リアルとバーチャルを繋ぐ技術的なお話。
バーチャル世界に生きてる方は別ですが、僕みたいにリアルとバーチャルを行き来する人間やVRChatを楽しむ人は一般的にフェイストラッキングソフトを使います。
これはLive2Dモデルを使う場合も、3Dモデルを使う場合も共通です。
いろんなソフトウェアがありますが、僕はPC版の「iFacialMocap Powered by NVIDIA Broadcast」を使っていますが、簡易的には「WebcamMotionCapture」なども活用できます。今回はこれらのソフトウェアで動作確認している話ですが、おそらく他のソフトウェアでも通用するのではと思います。
とにかくカメラを小型化したい
iPhoneはでかい
フェイストラッキングで使うカメラですが、よく言われるのは「中古でもいいからiPhoneを買って、そこでiFacialMocapを使え」という話です。
これはフェイストラッキングの精度が高いからというのが理由らしいです。
が、中古でも高いし、カメラとしてはデカいので却下してます。
比較してないのでフェイストラッキング精度についてはわかりませんが、そもそももっと自作3Dモデルをブラッシュアップしなきゃです（）
サンワサプライの広角WEBカメラはイイゾ
僕が持ってるアップル製品はiPadだけなので普段はサンわのWEBカメラを使っています。そもそもカメラ用途だけであればiPhoneはデカいので邪魔です。中古でも高いし。
iPhoneを普段使いしてたとしても、使うたびにPCに接続とかその辺も面倒です。
置きっぱなし、挿しっぱなしが正義！
WebcamMotionCaputureでボディトラッキングもする場合、広角カメラであれば手を広げてもあまり範囲外にならずトラッキングが外れないので、150°の広角を誇るサンワサプライWEBカメラはWebcamMotionCaptureユーザーにはオススメです。
それでも正面に置くとなんだかんだ邪魔です。
僕の場合は正面に上下2台のモニターがあるのでその間に置いてますけど、座る姿勢によってツールバーが見えなくなったりタブが見えなくなったり。
別にモニタの下とか横に置いても良いらしいですが、それこそトラッキング精度が落ちるので避けたいところです。
ということで、カメラの小型化を図りました。
OSMO PCKET 3
手持ちのカメラではOSMO PCKET 3がありました。
細長いので横向きにしたり、カメラ部分だけのぞかせたりできます。
ただiPhoneも同様ですが、もったいない。
元々が動画撮影用のお高いカメラなので、ただの画像処理用途で繋ぎっぱなしにするには惜しすぎる。
オーバースペックでもある。
もっとカス画質で良い（言い過ぎ）。
EYE-2-CAM
小さいWEBカメラで探し回ったら「EYE-2-CAM」という製品がありました。
モニターに映る相手を見ながらしゃべっても目線がズレないように、というもの。
モニターの中央付近に貼り付けて使うのでかなり小型です。
画質は後継機だと4Kまでありオートフォーカスらしいですが、そこまでのスペックはいりません。
しかも新品だと1.5万円くらいします。テストで使うのもちょっと怖い。
EYE-2-CAM的ななにか
でも興味はあったので中古市場を探っていたら、なんかパクリ製品的なのを見つけました。
画質はHDです。
これこれ、こういうのでいいんだよ。
まともに動作するかが不安でしたが、3000円前後だったのでトライしてみました。
8mmレンズ3MegaPixelのカメラでもイケる
てことで購入したカメラがコチラ。
カメラとUSB端子のみっていう感じの超シンプル機材。
うーむ、これでiPhoneと戦おうとは畏れ多いｗ
でもわかりやすくてこういうの好きです！
こういう類の製品はまずPCに認識されるかというところからﾄﾞｷﾄﾞｷですが、問題なく接続できました。
そしてiFacialMocapですが、こちらも問題なくしっかり顔認識はできています。
オートフォーカスも無い（ねじってピントを変更はできる）ですが、多少ボケてても全然問題なくトラッキングはしてくれるので困ることは無さそうです。
想定している用途ではないので今回はかまわないのですが、広角ではないのでWebcamMotionCaptureなどを使ったボディトラッキングには向いていません。
iPhoneの精度の高さというのがよくわからないですが、一応パーフェクトシンク対応でもHD画質のカメラで支障はなさそうです。
「VTuberになるためにはある程度の投資は必要！」という考えもありますが、あまりiPhoneにこだわらずこういったカメラを駆使するのもアリかなぁと思うのでした。
今後の課題
課題といいつつ既にクリアしてる物もありますが。
広角化
カメラをより近くで、つまりより広角で使えれば、どこを向いても顔認識してくれるカメラが作れます。
頭にぶら下げるような感じ。
これができれば3Dモデルでいろんなところを向いても表情が破綻しません。
僕はボディトラッキングは基本的にWebcamMotionCaputureを使っていますが、新3Dお披露目の時などはIMU方式のトラッキング装置（コスパが良いと聞いてREBOCAP）を使っています。
固定カメラでの画像認識だけだと、できることがそのカメラに映ってる部分のみに限られますが、追従するカメラやトラッキング方式を活用できれば表現の幅がさらに広がりますね。
ていうかこれは前述のサンワサプライWEBカメラを使ってこっそり配信上でもやったことがありますが、やっぱ頭が重いのとデカいので視界の邪魔でした。頭を動かすとマイクにぶつかったりして物理的にも邪魔だった。
ということで広角化についてはできているのでまた別途書こうと思います。
無線化
今回使用しているカメラは有線式です。
無線式にできれば取り回しがとてもしやすく、縦横無尽に動くことが可能になります。
いまのところこれはまだ解決方法が見つかっていません。
ある程度ユニットが大きくなれば出来そうなんですけど、視界や重量の点で、小型のカメラで実現したい……。
こちらは引き続き模索していきます。
送信中です
コメント