3teneとRealSense D435とnuitrack＆WEBカメラでVTuberになるための方法　#1

誰でも（わりと簡単に）VTuberになれる！

VTuber（バーチャルYouTuber）と言えば以前は知る人ぞ知るマニアックなイメージがありましたが、VTuberのテレビ出演などもありここ数年でかなり広く認知されるようになりましたね。

2019年後半頃からはピークを越えてやや衰退に向かっている雰囲気がありますが、YouTubeが伸びている今、まだまだVTuberというものに需要があると考えています。

VTuberをやろうと思ったきっかけ

僕はVTuberに関してそこまで興味がなく、「そういうのがある」っていう程度の認知度でした。

1年ほど前からYouTubeでチャンネルを開設し動画を公開するようになり「顔出しはしたくないけどもう少し画面に動きを出したいな」と思うようになりました。

そこで、「そうだ、VTuberでやってみよう」と思ったのがVTuberを自分でやってみようと思ったきっかけでした。

始めはVカツでやってみた

VTuberと言えば高性能パソコンにVR機器を身に着けて撮影するイメージがありますが、最近ではスマホ1つでVTuberになることもできるようです。

最初は、WEBカメラでのフェイストラッキングに対応して、さらにオリジナルのVTuberモデル作成もできる「Vカツ」を試してみました。

WEBカメラで頭の動きや口の動きを読み取って動かすことはできましたが、キャラメイクの自由度がそこまで高くなく、キャラクターのオリジナリティーを出すのは少し難しいと思いました。

VRoidStudioと3tene PRO（FREE）の組み合わせに落ち着いた

まず、オリジナルのVTuberキャラを作りたかったので、キャラクターデータ（VRM）をほぼゼロから作成できるVRoidStudioを使うことにしました。

そしてVTuberツールは、VRMデータを読み込んでキャラクターを動かせる「3tene」を使用することにしました。今はRealSense というカメラを使って全身の骨格を読み取ってキャラクターを動かせる「3tene PRO」を使用していますが、最初は無料版の「3tene FREE」で始めることをおすすめします。

前置きがだいぶ長くなりましたが、この記事ではいくつかの投稿に分けて「3tene PRO」と「RealSense D435」、「Logicool C525」を使用してVTuberを操作するまでを解説していきたいと思います。

必要な物を準備しよう

目的に合わせて用意するものが変わりますが、今回は骨格認識で上半身を自由に動かすことを目的として解説していきます。

番外編として「LEAP MOTION」を使った操作方法も解説する予定です。

用意した物を順番に解説していきます。

VRoidStudioのメイン画面

pixiv社が無料で公開している3Dモデルの作成アプリです。

公式サイト：https://vroid.com/studio/

無料とは思えないほど自由度が高く、いろいろな3Dキャラクターを作ることができます。

3Dモデリングというと難しいイメージですが、実際に操作してみると2Dの絵を描くのに近い感覚で3Dモデルを作ることができます。

とはいえ、髪の毛や目元などちょっとコツが必要になる部分もあり、慣れが必要かもしれません。

VRoidStudioはGoogleなどで検索すると詳しく解説されているブログがありますので、よかったらそちらをご参照ください。

なお、キャラメイクが難しい場合は、VRMデータをフリー公開されているクリエイターさんもいらっしゃいますので、イメージに合うものをダウンロードして動かすこともできます。

VRoidHub：https://hub.vroid.com/

ダウンロードにはpixivのID登録が必要です。

3teneの操作画面

VRoidStudio等で作成したり、ダウンロードしたVRMデータを表示して動かすためのVTuber支援ツールです。

公式サイト：https://3tene.com/

目的に合わせていくつかのバージョンがあります。

バージョンを簡単に紹介すると、

・3tene FREE

価格：無料

WEBカメラでのフェイストラッキングに対応しており、頭を動かしたり、まばたきや口の動きを読み取ってキャラクターを動かすことができます。

また、「LEAP MOTION」も使用可能で、腕や手、指先も動かすことができます。

・3tene PRO

価格：1,100円。2Dモデルに対応したLive2D版は2,200円（いずれも税込）

FREE版の機能に加えてiphoneXを使用した精度の高い顔認識、REALSENSEやVR機器を用いた全身制御に対応しています。

また、出力解像度はFREE版では1600×900ですが、PRO版は4K出力に対応しています。

・3tene STUDIO

価格：32,780円～

PRO版の機能に加えてさらに高精度な「PERCEPTION NEURON」に対応しています。

複数のVTuberを1つの画面に表示できるなど充実した機能が搭載されています。

今回の記事では3tene PRO版で解説しています。

公式サイト：https://www.intel.co.jp/content/www/jp/ja/architecture-and-technology/realsense-overview.html

価格：2万円台後半

intelが販売している深度センサー搭載のカメラです。通常のカメラは平面のみの撮影で、映像から距離を計算することはできませんが、このカメラは2つのセンサーで物体までの距離を計測できます。この技術を応用して人間の骨格を検出しています。

公式サイト：https://nuitrack.com/

上記のRealSense と組み合わせて使用します。深度カメラは物体の距離を割り出すことはできますが、直接人物の骨格を読み取ることはできません。このnuitrackというミドルウェアを使用することで骨格検出が可能になり、3teneでVRMキャラクターを動かすことができるようになるのです。

nuitrackは有料ミドルウェアです。3分間はトライアルとして動かすことができますが、3分を過ぎると動きが止まります。自分の環境で問題なく動くことが確認できてから購入しましょう。

このミドルウェアは海外でしか購入できませんので若干敷居が高い感じがしますが公式サイトで購入できますので大丈夫です。

価格：＄39.99（1年間の期限付き）

＄99.99（期限なしの買いきり）

1年後のVTuberがどうなっているかわからなかったので、僕はとりあえず1年のライセンスにしました（笑

価格：2,000円くらい

よっぽど解像度が低くなければ安いもので大丈夫です。

フェイストラッキングで使用します。本来、RealSense に搭載されているカメラでフェイストラッキングができるはずなんですが、設定（config）を変更してもうまくいかなかったので別にWEBカメラを使用することにしました。

次回からは実際にソフトウェアとハードウェアを設定してみる

というわけで、今回はVTuberをパソコンで実現するために必要ないろいろなモノについて解説しました。

次回からは実際に機器を接続して設定していきたいと思います。

#2の記事はこちら