【ComfyUI】ZhengPeng7/BiRefNetを使用して動画の背景を高精度で削除する方法

ZhengPeng7/BiRefNet

BiRefNetは画像処理の“AIモデル（＝処理エンジン本体）で、

最大の特徴は、髪の毛・レース・細いパーツなどの再現が強く、2K〜4Kでも劣化しにくい事（現代最強クラス）です。

又、人物・動物・物体すべてに対応してくれます。

前提条件

BiRefNetを使用するための前提条件は

ComfyUIが使用できる環境

だけです。

ComfyUIの使い方

ComfyUIとは？Stable Diffusion 各モデルの特徴・用途・対応ツールのインストールと使い方 ComfyUIの使い方 Stable Diffusionの代表的WebUI「AUTOMATIC1111」に続き、InvokeAIやForgeも人気が急上昇。しかし、最も高機能なツールとして注目されるのは、自由自在…

精度面では、かなり高評価のBiRefNetですが、

弱点として、VRAM・計算コストが高い為、速度が他モデルより15%ほど遅く、メモリ使用量が約12%多いと言われていますので、クラウドGPUでの使用もおすすめです。
私は、重い作業はすべてRunpodを使用しています。

ダウンロードするファイル

model.safetensors（444MB)

他のファイル（.py, .json, .txtなど）はComfyUIノード側が処理するので必要ありません。

ダウンロード方法

ページ上の model.safetensors の右にある ダウンロードアイコン（↓） をクリックしてDLします。

ダウンロードした model.safetensors は、lldacing版では General.safetensors にリネームしておきます。

model.safetensors
↓
General.safetensors

ワークフローは、lldacing版を参考にします

lldacing版は新旧両方のBiRefNetモデルに対応

モデルの種類が非常に豊富で、人物用の Portrait、マッティング用の Matting、高解像度用の General-HR など用途別に選択可能です。

利用できるノード

AutoDownloadBiRefNetModel：初回実行時に自動でモデルをダウンロード
RembgByBiRefNet：透過前景画像とマスクを出力
RembgByBiRefNetAdvanced：細かいパラメータ調整が可能な上位版
GetMaskByBiRefNet：マスクのみ出力
BlurFusionForegroundEstimation：前景をより自然に推定する追加処理

引用元：GitHub

GitHub

GitHub – lldacing/ComfyUI_BiRefNet_ll Contribute to lldacing/ComfyUI_BiRefNet_ll development by creating an account on GitHub.

ComfyUI Managerからのインストール

ComfyUIを起動
右上の 「Manager」 ボタンをクリック
「Custom Nodes Manager」 を選択
以下のノードをDLします

BiRefNet_ll
Comfyui-easyapi
VideoHelperSuite

インストール完了後、ComfyUIを再起動します。

モデルの配置場所

ComfyUI/
└─ models/
└─ BiRefNet/
└─ General.safetensors

ダウンロード後、ComfyUIを再起動して、ノードに General.safetensors が表示されれば完了です。

より精度が欲しい場合は、Portrait.safetensors を追加でダウンロードします。

Video Combineのformat

BiRefNet出力形式とアルファチャンネルの対応

形式	アルファ（透過）	DaVinci Resolveで使えるか
video/8bit-png	✅ あり	✅ そのまま使える
video/16bit-png	✅ あり	✅ そのまま使える
video/ProRes	✅ あり（4444の場合）	ProResはApple独自のコーデック
video/ffv1-mkv	✅ あり	△ 要確認
video/av1-webm	✅ 技術的には可能	△ サポートが不安定
video/webm	△ 条件次第	△ 不安定
video/h264-mp4	❌ なし	❌ 黒背景になる
video/h265-mp4	❌ ほぼなし	❌ 黒背景になる
video/nvenc_h264-mp4	❌ なし	❌ 黒背景になる
video/nvenc_av1-mp4	❌ なし	❌ 黒背景になる
image/gif	△ 256色制限あり	△ 品質が低い
image/webp	✅ あり	△ 動画としては不向き
video/ffmpeg-gif	△ 256色制限あり	△ 品質が低い

私が試した感じでは、video/8bit-pngが最も実用的でした。
8bit-pngの処理方法（ファイルの扱い方）についてはこちらの記事にまとめました。

SAKASA AI

アルファチャンネル付き透過PNGをDaVinci Resolveで編集する方法 | SAKASA AI アルファチャンネル付き透過PNGの扱い方今回は、BiRefNetが出力したアルファチャンネル付き透過PNG（8bit PNG）をDaVinci Resolveで正しく扱うポイントについてまとめまし…

PCスペックが不安な方・動画付きで丁寧に学びたい方はこちら→note記事へ

PCスペックが不安な方、動画付きの丁寧な解説や、ちょっとしたコツやポイントは、note記事で書いています。

本記事の、ComfyUIでZhengPeng7/BiRefNetを使用して背景を削除するための、
さらに詳細な使用方法（動画解説）・・・ただいま準備中です

背景を差し替える方法

元画像のクオリティーを上げる方法

高画質化

元画像のクオリティーをサクッと上げたい時に重宝する方法についてこちらの記事で書いています。