RealSense D435とnuitrackを使ってアバターを自然に動かそう！
目次
前回までの記事で3teneとWEBカメラを使ってフェイストラッキングを行う方法を解説しました。
今回はいよいよ深度センサーカメラ「RealSense D435」と「nuitrack」を使用してアバター全身を動かすことにチャレンジしてみましょう。
今までの紹介したWEBカメラのみやLEAP MOTIONを使う方法に比べて少し出費がかさみますが、VTuberを本格的にやりたいけどVR機器をそろえるほどの予算がない！という方にはおすすめです。
必要なモノと大まかな予算
アバター全身を動かすために必要な機材やソフトウェアは#1の記事でも少し触れましたがおさらいです。
3tene PRO（もしくは+Live2D）
価格：1,100円（+Live2Dは2,200円） ※2020年2月時点
VTuber支援ソフトも無料版の3tene FREEでは骨格検出制御はできません。
PRO版はVR機器制御にも対応していますので将来的にもっとステップアップしたい方も使えます。また、高解像度出力にも対応しているので1,100円という価格はなかなか良心的だと思いますよ。
公式サイトの購入画面
深度センサーカメラRealSense D435、D415
RealSense D435
価格：28,000円前後
3tene PROではRealSenseシリーズのD435、D415いずれかの製品に対応しています。それぞれに製品の特長があり、ここで詳細な説明はしませんがD415よりもD435が視野角度が広かったりの違いがあります。3teneの公式サイトで2つの製品が対応となっていますので、3teneで使用する上ではどちらが優れているということはないと思います。
ちなみに僕はD435を選択しました。
D435のドライバーソフトをインストールすると自動的にファームウェアの更新がないか確認し、必要であればアップデートが表示されます。
以前は手動でいろいろなコマンドを入力してアップデートしていたそうですが、簡単になっているようです。
ちなみにUSB2.0では動きませんのでご注意を！
専用アプリ画面
画像の通り、センサーが物体の距離を割り出して色で深度を表示しています。
ちなみにこのカメラ本体で人間の骨格データを作り出すことはできません。次に紹介するnuitrackが必要になります。
骨格検出ミドルウェア「nuitrack」
nuitrack公式サイト
価格：
＄39.99（1年間の期限付き）
＄99.99（期限なしの買いきり）
RealSenseで読み取った物体の距離などの情報から人体の骨格を検出して3tene PROに受け渡す役割をします。
このミドルウェアは有償提供となっています。3分まではトライアル版として無料で使用できます。3分でも意外と使えると思うかもしれませんが、3teneを起動して背景の色やカメラの調整なんかをしているとすぐ3分経って動かなくなります。自分がそうでしたので（笑
nuitrackのダウンロードとセットアップをしてトライアル版で無事動くことを確認出来たらライセンスの購入をおすすめします。
実際に骨格検出を試しているところ
というわけで、予算の合計を計算すると
3tene PRO 1,100円
RealSense D435 28,000円前後（2020年2月時点）
nuitrack $39.99（2020年2月のレートで4,351円）
WEBカメラ 2,000円前後
合計でおよそ35,000円といったところです。VR機器を導入するよりは安く抑えられますよね。
nuitrackのライセンス登録、セットアップ
実は僕はここで結構つまづきました（汗
セットアップするにあたっていろいろググって調べてみたんですが、ミドルウェアのインストール方法とかが微妙に変わっていてスムーズにいかなかったんです。なので、自分が実際に行った手順を記事にしていきますね。
公式サイトのトライアルボタン
１．nuitrack公式サイトから「無料トライアル」ボタンをクリック。（ちなみに画像の公式サイトは自動翻訳で日本語表示にしてあります）
メール登録
２．メールアドレスと名前を入力して「トライアルを入手」をクリック。
３．nuitrackのミドルウェアをダウンロードしましょう。
64bit版のOSを使用している場合は「nuitrack-windows-x64.exe」です。
使用しているWindowsのバージョンに合わせて32bit（x86）か64bitをダウンロードしてください。
３．アカウントを作成して「トライアルライセンス」をゲットする
アカウントを作成する
公式サイトのトップページにある「Sign in」からアカウントを作成できます。
アカウントを作成すると自分のライセンス情報が確認できます。
トライアルライセンスを生成する
Trial Licensesの「Active」をクリックすると3分間まで試せるライセンスコードを生成するためのボタンが表示されます。
「Generate」をクリックするとやっとライセンスコードを入手できます。
「license:xxxxxxxxxxxxxxxxxxxxxxxx」っていうのがライセンスコードです。
４．「nuitrack-windows-x64.exe」をインストールする
nuitrack-windows-x64.exeを実行すると必要なミドルウェアがインストールされます。
「OpenNI-Win64（32）-1.5.7-Dev.msi」も同時にインストールされます。
※3teneの公式ページには上記ソフトを個別にインストールするように書かれていますが、実際には同時にインストールされています。
「Visual C++ 再頒布可能パッケージ」をインストールします。googleで検索すればマイクロソフトのサイトからダウンロードできます。
５．nuitrackを動かすための設定をする
nuitrackを動かすためにはライセンスコード以外に少し面倒な設定が必要になります。
環境変数というものを手動で設定する必要があります。
・「コントロールパネル」-「システムとセキュリティ」-「システム」を開きます。（デスクトップのPCアイコンの右クリック-プロパティでも開けます）
・「システムの詳細設定」をクリックして「システムのプロパティ」を表示します。
・「環境変数」のボタンをクリックします。
・「新規」をクリックして「変数名」に「NUITRACK_HOME」、変数値にnuitrackのインストール先を入力します
※インストール先を変更していなければ「C:\Program Files\Nuitrack\nuitrack\nuitrack」になっているはずです。
「Path」をダブルクリックして「C:\Program Files\Nuitrack\nuitrack\nuitrack\bin」を追加します。
設定は以上です！
６．activation_toolを動かしてトライアルライセンスを入力する
ここまで来たらもう一息です。
nuitrackのインストール先に「activation_tool」というフォルダがあり、その中に「Nuitrack.exe」がありますので実行します。
アクティベーションツールが起動しますので、「compatibility test」をクリックしてデバイスが正常に作動するかチェックします。
テストがうまくいくとアクティベーションキーのテキストボックスにライセンスキーを入力できるようになるので
さっきゲットしたトライアルライセンスキーを「license:」の部分も含めて入力して「Active」をクリックします。
これでやっと3tene PROでアバターを操作することができます！
お疲れ様でした。
次回の記事ではセットアップが完了したnuitrackを使って実際にアバターを動かしてみましょう！
