Live2Dのボイスのリップシンクの挙動がおかしい時がある

[nunu]

・宴のバージョン：4.1.7
・Unityのバージョン：2022.3.21f1
・OSバージョン：Windows11
・Unityの習熟度：宴のSendMessageは使えます

お世話になっております。
Live2D＋ボイスの使用を初めて試すことになったのですが、リップシンクで不具合かもしれない挙動があったのでご報告させてください。

Live2D関連の質問になりますので、サポート範囲外(Live2D公式に問い合せるべき)でしたらお手数ですがその旨をご一報ください。
(似た質問がないかざっと確認したのですが、もし重複していたら申し訳ございません)


下記の①～④を全て満たした状態だと、Live2Dモデルの口パクがガクガクと不自然な動きをする現象が発生しました。
①Live2DLipSynchのTypeを「Voice」または「Text and Voice」にする
②CubismMouthControllerのBlendModeを「Override」または「Multiply」にする
③Live2Dのリップシンクに対応したパラメータ(普通だと口の開閉)が0以上となる表情モーションを再生する
　⇒例：口の開閉を「0.7」にした「口を開けた表情」
④スクリプト上でボイスを再生してリップシンクさせる

最初はボイスデータにノイズがあるのかと思ったのですが、念入りにノイズを除去しても改善せず、また口を閉じた表情(パラメータが0)だと不具合は発生しないので、ボイスの内容は関係ないと思われます。

CubismMouthControllerのBlendModeを「Additive」にすると不具合は発生しませんが、この場合口を開けた表情 (パラメータが1)  の時に口パクしなくなってしまうので、できれば「Override」を使いたいと思っています。

必要であれば、不具合が確認できるプロジェクトデータをお送りできます。

お忙しいところ大変お手数ですが、お手すきの際にご確認いただけますと幸いです。

[マッドネスラボ]

宴のLive2DLipSynchは、基本的にはLive2D側の機能をオンオフしてるだけで、パラメータの調整は行っていません。

おそらく、宴なしでCubismMouthController単体で使ったとしてもおそらく同じ結果になると思います。

テキスト表示のときは、CubismMouthControllerとCubismAudioMouthInputがオンになります。

ボイスが再生中は、CubismMouthControllerとCubismAudioMouthInputがオンになります。

（最新のLive2Dの事情はあまりわかってないのですが）

たしかCubismMouthControllerは口の開閉パラメーターを一つ設定して操作するものだったかと思います。

https://docs.live2d.com/cubism-sdk-tutorials/lipsync/

「Override」でもガクガクしたりするのであれば、

・ほかのパラメーターも口の開閉に影響を与えている。（その影響と、リップシンクのパラメーター変動が二重に影響してガクガクしている）

・なんらかの原因で、CubismMouthControllerのOverrideで変更したパラメーターが、変更の後にさらにパラメーターを変化させたいる

ということになるかと思います。

または、宴側の設定でCubismMouthControllerのオンオフが小刻みにされてしまっていて、結果としてリップシンクがガクガクしてしまうというケースがあるかもしれません。

特にボイス再生中に、ガクガクするのが激しいようであればLipSyncVolumeMinのしきい値が影響している可能性があります。

https://madnesslabo.net/utage/?page_id=14870

「LipSyncVolumeMin」を-1など負の値にしてしまって、ボイス再生中は音量によらずリップシンクを有効（Live2D側の制御に任せる）としたほうが良いかもしれません。

2025年2月24日月曜日 1:21:43 UTC+9 nunu:

[nunu]

ご回答ありがとうございます！
宴3の頃から使っていたプロジェクトだったので、これまでAdvScenarioSoundを使わずに来てしまったようです。
LipSyncVolumeMinを設定したところ、ガクガクとした不自然な挙動はなくなりました。
大変助かりました……！

2025年2月24日月曜日 2:27:29 UTC+9 マッドネスラボ: