【ComfyUI】ZhengPeng7/BiRefNetを使用して動画の背景を高精度で削除する方法

【ComfyUI】ZhengPeng7/BiRefNetを使用して動画の背景を削除する方法

ZhengPeng7/BiRefNet

BiRefNetは画像処理の“AIモデル(=処理エンジン本体)で、

最大の特徴は、髪の毛・レース・細いパーツなどの再現が強く、2K〜4Kでも劣化しにくい事(現代最強クラス)です。

又、人物・動物・物体すべてに対応してくれます。

目次

前提条件

BiRefNetを使用するための前提条件は

ComfyUIが使用できる環境

だけです。

精度面では、かなり高評価のBiRefNetですが、

弱点として、VRAM・計算コストが高い為、速度が他モデルより15%ほど遅く、メモリ使用量が約12%多いと言われていますが、
それでも、VRAM8GB~16GBで動くと言われています。

SAKASAは、Wan2.2と併用する事が多いので、高VRAMGPUで使用する事が多いですが、その際の処理は、5秒の動画で1分前後です。

BiRefNet単体の最低VRAMは未検証ですが、
NVIDIA RTX 2000 Ada Generation(VRAM 16GB)**では動作確認はしまし。2回の生成成功後に3回目でOOMエラーが出ました。
16GB → BiRefNet動画用途では不足
遅い → RTX 2000 Adaの処理能力の問題

OOMが発生するとPodの再起動が必要になる場合があります。連続生成する際は数回ごとにComfyUIのメモリ解放を行うか、
長めの動画や高解像度動画は24GB以上のGPUを推奨します

Wanなどと併用する場合は、クラウドGPUでの使用がおすすめです。
私は、重い作業はすべてRunpodを使用しています。

ワンクリックセットアップツール

このページで紹介しているBiRefNetのダウンロードやモデル配置などの作業をまとめて代替してくれるツールを作成しました。

Runpod上で今すぐ使用できる”ComfyUIが数分で立ち上がるワンクリックセットアップツール”で、Runpodのテンプレート選択などの手間も一切必要ありません。
詳しくはこちらのページで解説しています。Runpod専用ですが、かなり快適なツールなのでおすすめです。

ダウンロードするファイル

model.safetensors(444MB)

他のファイル(.py, .json, .txtなど)はComfyUIノード側が処理するので必要ありません。


ダウンロード方法

ページ上の model.safetensors の右にある ダウンロードアイコン(↓) をクリックしてDLします。

ダウンロードした model.safetensors は、lldacing版では General.safetensors にリネームしておきます。

model.safetensors

General.safetensors

ワークフローは、lldacing版を参考にします

lldacing版は新旧両方のBiRefNetモデルに対応

モデルの種類が非常に豊富で、人物用の Portrait、マッティング用の Matting、高解像度用の General-HR など用途別に選択可能です。

利用できるノード

  • AutoDownloadBiRefNetModel:初回実行時に自動でモデルをダウンロード
  • RembgByBiRefNet:透過前景画像とマスクを出力
  • RembgByBiRefNetAdvanced:細かいパラメータ調整が可能な上位版
  • GetMaskByBiRefNet:マスクのみ出力
  • BlurFusionForegroundEstimation:前景をより自然に推定する追加処理

    引用元:GitHub

ComfyUI Managerからのインストール

  1. ComfyUIを起動
  2. 右上の 「Manager」 ボタンをクリック
  3. 「Custom Nodes Manager」 を選択
  4. 以下のノードをDLします

BiRefNet_ll
Comfyui-easyapi
VideoHelperSuite

インストール完了後、ComfyUIを再起動します。


モデルの配置場所

ComfyUI/
└─ models/
   └─ BiRefNet/
       └─ General.safetensors


ダウンロード後、ComfyUIを再起動して、ノードに General.safetensors が表示されれば完了です。

より精度が欲しい場合は、Portrait.safetensors を追加でダウンロードします。

動画読み込み用ノード

  • AutoDownloadBiRefNetModel
  • LoadRembgByBiRefNetModel

Video Combineのformat

BiRefNet出力形式とアルファチャンネルの対応

形式アルファ(透過)DaVinci Resolveで使えるか
video/8bit-png✅ ありそのまま使える
video/16bit-png✅ ありそのまま使える
video/ProRes✅ あり(4444の場合)ProResはApple独自のコーデック
video/ffv1-mkv✅ あり△ 要確認
video/av1-webm✅ 技術的には可能△ サポートが不安定
video/webm△ 条件次第△ 不安定
video/h264-mp4❌ なし❌ 黒背景になる
video/h265-mp4❌ ほぼなし❌ 黒背景になる
video/nvenc_h264-mp4❌ なし❌ 黒背景になる
video/nvenc_av1-mp4❌ なし❌ 黒背景になる
image/gif△ 256色制限あり△ 品質が低い
image/webp✅ あり△ 動画としては不向き
video/ffmpeg-gif△ 256色制限あり△ 品質が低い

video/8bit-pngが最も実用的ではないかと思います。
8bit-pngの処理方法(ファイルの扱い方)についてはこちらの記事にまとめました。

背景を差し替える方法

元画像のクオリティーを上げる方法

高画質化

元画像のクオリティーをサクッと上げたい時に重宝する方法についてはこちら。

当サイトでは、実際に生成・検証・触りながらの過程の記録置き場として「アトリエ 逆」を始めました
試行錯誤の流れ、うまくいかなかった失敗設定例、修正の判断や変化を”画面録画+メモ付き”で確認できます。
今は初期ログをまとめて公開しています。一度覗いてみてください!

atelier SAKASA

よかったらシェアしてね!
  • URLをコピーしました!
目次