dev
2023.09.10
【実現可能か】人間の声をSota様のキュートボイスにリアルタイム音声合成し会話したい
Sotaサポート様
お世話になっております。
掲題のとおりです。
タイトルの通りです。
お手数ではありますが、ご確認よろしくおねがいします。
何卒宜しくお願いします。
◆質問
生身の人間が喋った言葉をSota様のキュートな声にリアルタイムに音声合成し、Sota機体から発話させるような仕組みは実現可能でしょうか?
可能であれば詳細をご教示ください。
◆背景
保育園や幼稚園などの小さなお子さんがいる施設でロボットがまるで人間のように喋るデモを実演しようと企画しています。
現状、Sota様音声解析サーバネットワーク通信をするため、当然ですが会話の返答まで約2〜3秒ほどの待機時間が発生します。
したがって、間髪あけずにリアルタイムに返答可能な仕組みが必要だと考え本質問に至りました。
◆やりたいこと(概要)
※ここは読まなくても問題ございません。
どんなワークフローを実現したいのかを参考までに記載します。
・1)お子さんがSota様に話しかける。
・2)保育士さんの返答を何らかの方法でSota様の声に音声合成する。
・3)2)の返答や内容に応じて、Sota様が首を振ったり手を振ったり目が光ったりの動作をする。
・4)お子さんがロボットと会話する事によりビックリしたり喜んだりする微笑ましい光景が撮れる。
◆やたりたいこと(詳細)
ご存知かと思いますが、リアルタイムボイスチェンジャーアプリやPCソフトが出回っています。
そのようなソフトの音声合成結果をなんとかしてSota様に接続しつつ、アプリの実装に落とし込みたいです。
◆補足
想定機体はオレンジ色のDeveloper版Sota様です。
SSH可能で開発した会話Javaアプリ(jarファイル)を登録し動作させることが可能な機体を指しています。
お世話になっております。
掲題のとおりです。
タイトルの通りです。
お手数ではありますが、ご確認よろしくおねがいします。
何卒宜しくお願いします。
◆質問
生身の人間が喋った言葉をSota様のキュートな声にリアルタイムに音声合成し、Sota機体から発話させるような仕組みは実現可能でしょうか?
可能であれば詳細をご教示ください。
◆背景
保育園や幼稚園などの小さなお子さんがいる施設でロボットがまるで人間のように喋るデモを実演しようと企画しています。
現状、Sota様音声解析サーバネットワーク通信をするため、当然ですが会話の返答まで約2〜3秒ほどの待機時間が発生します。
したがって、間髪あけずにリアルタイムに返答可能な仕組みが必要だと考え本質問に至りました。
◆やりたいこと(概要)
※ここは読まなくても問題ございません。
どんなワークフローを実現したいのかを参考までに記載します。
・1)お子さんがSota様に話しかける。
・2)保育士さんの返答を何らかの方法でSota様の声に音声合成する。
・3)2)の返答や内容に応じて、Sota様が首を振ったり手を振ったり目が光ったりの動作をする。
・4)お子さんがロボットと会話する事によりビックリしたり喜んだりする微笑ましい光景が撮れる。
◆やたりたいこと(詳細)
ご存知かと思いますが、リアルタイムボイスチェンジャーアプリやPCソフトが出回っています。
そのようなソフトの音声合成結果をなんとかしてSota様に接続しつつ、アプリの実装に落とし込みたいです。
◆補足
想定機体はオレンジ色のDeveloper版Sota様です。
SSH可能で開発した会話Javaアプリ(jarファイル)を登録し動作させることが可能な機体を指しています。
回答
Sotaサポート
2023.09.11
dev様
お世話になっております。Sotaサポートです。
頂いたご質問にお答えします。
> 生身の人間が喋った言葉をSota様のキュートな声にリアルタイムに音声合成し、Sota機体から発話させるような仕組みは実現可能でしょうか?
> 可能であれば詳細をご教示ください。
弊社が標準で提供している機能はTextToSpeechの音声合成エンジンのため、いわゆるボイスチェンジャーのような機能は持っておらず、またSotaの音声の合成モデル情報も非公開のため、類似した音声の別システムをご用意いただく形になります。
実現方法としては、通常の音声通話が実現できそうなアプリをSota本体に組み込んで音声通話できる状態を作成し、更にどこかの経路にボイスチェンジャーをかませるような仕組みになるかと思われます。
音声通話自体は、ロボコネクトSotaで遠隔通話機能を実装しておりますが、こちらは外部非公開のため詳しい情報をお伝えすることができません。
また、それを使用した場合においても、ボイスチェンジャーの利用は弊社で検証していないため、どういった機器・アプリが利用可能か、Sotaに近い声質のものは存在するかなどは把握しておりません。
何卒宜しくお願い致します。
お世話になっております。Sotaサポートです。
頂いたご質問にお答えします。
> 生身の人間が喋った言葉をSota様のキュートな声にリアルタイムに音声合成し、Sota機体から発話させるような仕組みは実現可能でしょうか?
> 可能であれば詳細をご教示ください。
弊社が標準で提供している機能はTextToSpeechの音声合成エンジンのため、いわゆるボイスチェンジャーのような機能は持っておらず、またSotaの音声の合成モデル情報も非公開のため、類似した音声の別システムをご用意いただく形になります。
実現方法としては、通常の音声通話が実現できそうなアプリをSota本体に組み込んで音声通話できる状態を作成し、更にどこかの経路にボイスチェンジャーをかませるような仕組みになるかと思われます。
音声通話自体は、ロボコネクトSotaで遠隔通話機能を実装しておりますが、こちらは外部非公開のため詳しい情報をお伝えすることができません。
また、それを使用した場合においても、ボイスチェンジャーの利用は弊社で検証していないため、どういった機器・アプリが利用可能か、Sotaに近い声質のものは存在するかなどは把握しておりません。
何卒宜しくお願い致します。
この質問に回答する