プラグイン情報

SAM3D オブジェクト生成 (SAM3DObjectsPlugin)
製作者：panko200
配布場所：https://github.com/panko200/SAM3DObjectsPlugin

概要

YukkuriMovieMaker4 にて動作するプラグインです。
画像に対して、物体を簡単に3Dモデル化することができるようになるプラグインを作成しました。
ただ、正直あんまり使い道、実用性はありません。大人しくMeta社のDemoを使いましょう。

なお、内部でSAM3,SAM3D-objectというAIモデルを用いていますが、これは学習済みのモデルですので、入力した画像が勝手に学習されたりはしないので、安心してください。
また、ローカル実行ですので、CPUまたはGPUのパワーが必要です。

導入方法ですが、SAM3とほとんど同じなので、頑張ってください。なお、SAM3のプラグインの導入方法の詳細はこちらです。是非ご参照ください。

SAM3 のプラグインの導入方法

• Note
• Youtube
• niconico

使用方法

0. 【推奨】 NVIDIA GPUを使用している方は、CUDAのバージョンが、v12.8以上のドライバーをインストールする。
1. Microsoft Visual C++ 2015-2022 Redistributable (x64) のインストール。
2. Hugging Faceでアカウント作成
3. SAM3,SAM3D-objectsの利用許可の認証
4. アクセストークンの発行
5. プラグインをインストールして YMM4 を起動する。
6. 設定 から「SAM3D モデル生成設定」を開く。
7. SAM3,SAM3D-objectsそれぞれのトークンを入力して、python環境構築
8. ツールから、「SAM3D オブジェクト生成」を開く。
9. 各設定を各自で設定し、出力。

なお、SAM3,SAM3D-objectsの利用許可の認証は、このサイトからできます。

• SAM3 : https://huggingface.co/facebook/sam3
• SAM3D: https://huggingface.co/facebook/sam-3d-objects

アンインストール方法

1. YMM4 を起動して ヘルプ(H) > その他 > プラグインフォルダを開く をクリックする。
2. YMM4 を終了する。
3. SAM3DObjectsPlugin という名前のフォルダを削除する。
4. win + Rを押して、%LOCALAPPDATA%と入力し、中にあるYMM4_SAM3DObjectsPluginフォルダを削除する。(フォルダパスは、C:\Users\(ユーザー名)\AppData\Local\YMM4_SAM3DObjectsPlugin)

注意点

OS : Windows11 (64bit)
ゆっくりMovieMaker4 : v4.53.0.9
CPU : Ryzen 7 9700X
GPU : NVIDIA Geforce RTX 4070 Ti
RAM : DDR5 32GB x2 (64GB)
にて動作確認をしています。

運用上の注意

• Cドライブの容量を約15GB使用します 本プラグインは、%LOCALAPPDATA% 内に専用のPython環境を構築するため、Cドライブの容量を消費します。完全に削除したい場合は、上記のアンインストール手順に従って YMM4_SAM3DObjectsPlugin フォルダを Shift + Del などで完全に削除してください。

• GPU（グラフィックボード）の推奨 CPUでの推論も可能ですが処理に非常に時間がかかるため、動画への実行は現実的ではありません。NVIDIA GPUを使用している方はCUDA v12.8以上のドライバーの導入を強く推奨します。AMD RadeonやIntel Arcをご使用の場合は、CPU推論のみとなります。(CPUのテストはしたくないのでしてません。動かなかったらごめんね。)

• 入れたらすぐ動くプラグインではありません 少し複雑な導入工程が必要となります。お手数ですが、手順をしっかり踏んで導入を行ってください。

• プロセスが残ってしまった場合 処理の途中で強制終了するなどした場合、正常に終了せず、裏でプロセスが常駐してしまうことがあります。動作が重い・おかしいと感じたときは、タスクマネージャーから python.exe を探して強制終了してください。

• 出力はとんでもなく重いです ガチ重いです。まじで2時間ぐらいずっと放置とか余裕で行きます。RTX 4070 Tiでこれなので、RTX 3060 Tiとか、そこらへんだとマジで終わると思います。meta社のPCはツヨツヨなんだなぁということが分かります。

• もし、次のようなエラーが出てしまった場合 'sam3d_objects.pipeline.inference_pipeline_pointmap.InferencePipelinePointMap', set env var HYDRA_FULL_ERROR=1 to see chained exception.というエラーが出た場合、お手数ですが、C:\Users\(ユーザー名)\AppData\Local\YMM4_SAM3DObjectsPluginを一回全部消して、再度Python環境を構築してください。

• 生成された3Dモデルのポリゴン数は半端ないです えぐいです。20万ポリゴンとか行ってます。アホです。わたしが最大で見たポリゴン数は、60万ポリゴンです。多分、人間が作ったら、真面目に作っても400ポリゴンぐらいで作れます。

免責事項: 作者は、本プラグインの使用または使用不能に起因するいかなる損害についても、一切の責任を負いません。

アップデート内容

v0.1.0
初コミット

ライセンス

また、このプラグインはroutersys様制作の、ObjLoaderがあれば、自動的にタイムラインに配置します(PLYは配置されません。)

ObjLoader

• License: MIT License
• https://github.com/routersys/YMM4-ObjLoader

本プロジェクトは、MIT License のもと公開しています。
MIT License