ショッピングカート

フルトラッキングとは?

By Site Master 1月 21, 2025 79

フルトラッキングとは

フルトラッキングとは、体全身でアバターを操作する技術の略称で、 正式にはフルボディトラッキング(以下フルトラ 英語:FullBodyTrackingでFBT)といい、一般的にはフルトラとも呼ばれます。  

フルトラッキングを実現するには体全体にトラッカーと呼ばれるセンサーを付けることで体全体の動きを認識させるのが従来のやり方であり、映画撮影などの高精度なトラキングが必要な場合では現在でも使われていますが、最近ではAIの進化によりトラッカーなどのセンサーを使わないでカメラ画像だけでフルトラッキングできる技術が進化し、どんどん精度が良くなっています。  

カメラ1台でフルトラッキングして全身を使ってダンスや熱唱する等のシーンも出来るため、利用する人達が増えています。  

※左画像が全身トラッカーのイメージ、右がAIによるカメラだけでフルトラッキングのイメージ  

049c66ee-ed52-4515-b478-066939687ecd.jpg

86d2773f-4bc9-4abc-b889-91ab8332fc73.jpg

 

 

 

Vtuberの現状

一般的なVtuberの場合、顔の表現を行うための「ファイシャル・トラッキング」が一般的に使われていて、目(アイトラッキング)や口(リップシンク)の動きで表現するのは一般的で、手や腕(ハンドトラキング)をするケースも増えています。  

※Live2D 等を使った上半身のみの配信の場合、フルトラッキングが不要ということもあります。  

 

フルトラッキングで出来ること

皆さんご存じの「初音ミク」は、ステージ上で歌ったり踊ったりすることで出来ることで有名ですね。  

従来の方法では、踊りをする演者さんの全身に多数のセンサーを付けて踊りだけ行い、歌やしゃべりも別人が行っているなど、大変な設備と多くのスタッフ、そして複数台の高性能なサーバー等が連携して作品を作っています。  

その流れで「ホロライブ」という大勢のバーチャルキャラクターがステージで踊って歌って、素晴らしい作品を沢山残していますが、これらも大変な演者等と多数のサーバー、スタッフなどが関わって作られていると思われます。    
※本サービスでは、上記と同等の作品を誰でも、ほとんどコストを掛けず1人で制作できるやり方もお教えします。以下は、実際にホロライブのデモを行った例です。皆さんも出来るようになりますよ!  

 

 

AI時代フルトラッキングで出来ること

例えば、Live2Dで2Dキャラの上半身Vtuberでは、顔の表情と上半身の2次元的な動き(例えば揺れとか)の表現が一般的で、上半身だけで全身の表現は出来ません。  

それに対して、AI時代のフルトラッキングでは、3次元(3D)リアルの人間と同じように全身で表現できるため、先ほどの動画の様に複数人で踊ったり歌ったりできます。    
 

AI時代フルトラッキングで出来ること、続き

3次元(3D)フルトラッキングの凄いところは、360度カメラを移動して、どこからでも好きな位置から撮影できることです。TVや映画では当たり前ですが、2次元(2D)では不可能だったのを3次元(3D)になることで、簡単に実現できるようになりました。    
360度カメラに対応するために、2次元(2D)では、背景が2次元、つまり背景画像で良かったのですが、3次元(3D)では、背景も3次元(3D)にする必要がありました。  

それを実現したのがステージです。    
3次元(3D)フルトラッキングの醍醐味は、3次元(3D)ステージで3次元(3D)キャラが歌って踊るというエンターテイメント性の凄さを自由に演出できることです。  

※以下の動画は、歴史上の超有名人「織田信長」がパーカーを着て、激しいカメラワークとレーザービームの演出の中で、天井からのカメラアングルなどで楽しく踊っています。  

これらも本サービスでは、皆さんがご希望であれば、作り方をお教えします。  

 

共有:

投稿者

わいちゃん先生

AI Director & Teacher

老若男女・性別、障害の有無を  含む全ての人に負担なく    AIを使った未来を届けます。

わいちゃん先生

投稿者

AI Maid KiKi

AI maid concierge

私は夢見るAI Maid KiKi💛 AIの世界でみんなで楽しみましょ❣

AI Maid KiKi

最新の投稿