VRMモデルとFaceTrackingでバ美肉できるiOSアプリ（PC連携含む）を比べてみた

Create: 2020/5/27
Update: 2020/6/6
Auther: 一夜ひいろ @HiiroHitoyo

背景

コロナにより空前のバ美肉ブーム！
乗るしかないこのビッグウェーブに！！
でも、Macで動くバ美肉ツールが無い！！！

という理由でアプリを作った。
せっかく作ったからには公開しようと考えた。
が、どうやら同じようなことを考えていた人はたくさんいたようで…
最初に探したときには見つからなかったアプリが沢山見つかってしまった！！！！

じゃあ、比べてみて作ったアプリとどこに差異があるのか確認しようか、せっかく比べたなら結果を残しておこうかというのが背景。

免責

それぞれのアプリをしっかり使い込んだわけでは無いので、間違っていたらゴメンナサイ。

更新履歴

date contents
2020/6/6 waidayoのアップデートに伴い内容更新
2020/5/27 Emosignについての記述を追加。
2020/5/27 初版

動作確認環境

端末： iPad Pro 2018 11inch iOS 13.4.1
PC： Mac OS Catalina 10.15.4

確認したアプリ一覧

2DR

単体動作：可能
PC連携動作：不可
iPad画面対応：対応
画面回転：対応
背景画像の差し替え：対応
VRoid Hub：非対応

コメント：
ARKitのFaceTrackingでは無いため、TuneDepthカメラ非搭載の端末でも動くのがメリット。
ただし、その代償として支払った表情のトラッキング精度劣化がとても大きい…。
表情のトラッキング精度さえよければ求めていたアプリにほぼ近いものだった。
なお、Live2Dのモデルも読み込める。（むしろこちらがメインの模様）

参考：
https://github.com/VNOS-official/2dr/wiki

ZZ3D

単体動作：可能
PC連携動作：不可
iPad画面対応：非対応
画面回転：非対応（横向きのままでの使用は可能）
背景画像の差し替え：対応
VRoid Hub：対応

コメント：
顔の位置を動かすとモデルごと移動するのが他には無い特徴。
大きな動きを付けられるが、画面外に移動してしまうこともしばしば。
モデルごと動くので動きが若干不自然なのも少し残念。
個人的にはiPadにあまり対応していないのが痛い。
iPadで動作しないわけでは無いが、互換表示モードになるのと、UIがうまく操作できない。

参考：
https://halmin.wixsite.com/zz3d

waidayo

単体動作：可能ではあるが限定的（白or黒背景のみ）
PC連携動作：可能
iPad画面対応：対応
画面回転： 対応
背景画像の差し替え：非対応（アプリ：白or黒背景のみ、PC：グリーンバックのみ）
VRoid Hub：スマホアプリのみ対応（PC側はVRMファイル必須）

コメント：
PC連携がほぼ必須だが、比べたアプリの中で一番使いやすいと感じた。
ばもきゃと連携ができるのが大きな特徴（試してはいない）。
ばもきゃのプロトコルに沿って通信していると思われるので、受信側アプリを自作すれば可能性は無限大のはず。
強いて欠点をあげるなら、画面の回転に対応していないことと、首の動きは上下方向にしかオフセットがかけられないことか。（ちなみに、上方向にオフセットをかけられないバグがあるっぽい？）
6/6 追記
画面の回転に対応してた！メニューアイコンの非表示化、黒背景にも対応してた。首の動きのオフセット機能はなくなったっぽい？
ちなみに、PC側の非公式アプリとしてOredayo4VがあるがWindows専用。 やはりMacでバ美肉はマゾ向けなのでは…？

参考：
https://github.com/nmchan/waidayo/wiki

恋顔（Koigao）

単体動作：不可
PC連携動作：可能
iPad画面対応：非対応
画面回転：非対応（横向きのままでの使用は可能）
背景画像の差し替え：色の変更のみ対応（背景は単色）
VRoid Hub：非対応

コメント：
PC連携必須のオーソドックスなアプリ。同一ネットワークであれば、IPアドレス不要で連携できるのが便利。
端末側は顔のトラッキング動作に徹しており、モデルの表示は無い。
体験利用はできるものの有料のアプリ。
欲を言えばPC側のUnityアプリはウィンドウサイズを可変にして欲しかった。
noteでは表情の表現の幅を広げることに言及していたので今後に期待。

参考：
https://note.com/hirarichan/n/n59373c645887
https://hiragram.github.io/koigao-website/

3toneFT

動作確認できなかったため画像略

単体動作：不可
PC連携動作：可能
iPad画面対応：非対応
画面回転：非対応
背景画像の差し替え：不明
VRoid Hub：不明

コメント：
PCと連携して使うアプリだたが、有料ということで動作確認できなかった。
調査して見つけたので載せるだけ載せておく。

参考：
https://3tene.github.io/WebDocument/#ft_iphone.md

Emosign（現在ベータ版）

単体動作：可能
PC連携動作：将来的に可能になる予定
iPad画面対応：対応
画面回転：対応
背景画像の差し替え：R・G・B単色orUnityデフォルト背景から選択
VRoid Hub：非対応
※執筆時点での挙動です。今後変更されることが大いに想像されます。

コメント：
（自分の用途では）もうこのアプリでいいんじゃ無いかな…と思えるくらい理想型のアプリ。
ハンドトラッキングができ、表現力がとても高いのがとても良い。
ハンドトラッキングの精度はあまり高くなく、腕や指が荒ぶることがあるのは残念。（特に、腕をおろしているのに、手を誤認識して腕が上がってしまうパターンが一番よろしく無い。背景に気をつければ大丈夫なのかもしれないが。）
現在ベータ版でTestFlightでの配布であること、体験版はあるものの有料アプリであることにはご注意。

参考：
https://akihiro0105.github.io/EmosignLandingPage/

バ美肉Camera（仮）

※個人的に作っていたアプリ

単体動作：可能
PC連携動作：不可
iPad画面対応：対応
画面回転：対応
背景画像の差し替え：可能
VRoid Hub:：非対応（現時点では）

コメント：
iPadに対応していること、前後や左右に大きく動けることが他のアプリとの大きな違いか。
そのため、ビデオチャットのカメラ替りにする用途には向いているが、プレゼンの右下に常時表示するような用途には向いていないと思われる。
なお、カメラ座標を基準にモデルを表示しているので、端末を持って移動しても位置や向きが変わらないという特徴もある。

2020/5/27追記
まとめを作ってから１日も経たないで更新することになるとは…。
現在ベータ版ではあるがEmosignがやりたかったことをほぼ全て満たしてくれていた。
現状では背景を任意の画像にすることはできないが、時間の問題だと思う。
細かい点を除けばもう値段くらいしか差が無い。（うちのアプリは無料公開する予定）
まあ、Emosignは月額料金なので大きな違いではあるが…。

まとめ

みんないろいろな特徴があって面白い！
個人的に作っていたアプリは他のアプリと差異がだせそうだからこのままアプリ登録に持っていくぜ！
Emosignで若干萎え中。でも頑張る。