音声自動応答による「双方向の展示」という試み

須磨海浜水族園（以下、スマスイ）の来園者のペンギンに関する質問に答える「マゼランペンギン型解説システム」を開発・設置してきました。このブログでは、開発の経緯や開発風景などをご紹介します。

なぜ音声の解説システムを設置したのか

きっかけは、2018年に出展させていただいたイベントでブースに来られたスマスイのご担当者が「スピーカーに水族について解説させてみたい」とおっしゃったことからでした。

飼育に携わっているスタッフは、水族の生態はもちろん水槽やそのエサに至るまで知識が豊富で、来園者に解説すると大変喜ばれるのだそうです。例えば、水槽の前で「この魚ってどのくらいのスピードで泳げるんだろうね」という会話があったとき、そこに飼育員がいれば楽しく雑学を交えながら詳しく解説してもらえるので、大変興味を深めてもらえるというようなことです。

＜須磨海浜水族園＞

しかし、飼育や研究職との兼務ということもあり、コスト的にも来園者の質問に答えるには限界があります。そこで、AIを使って、飼育員が解説するような展示を来園者に提供できないだろうかと考えたそうです。

これ、すごくわかりますね。観光や美術品でも、普段はスルーしてしまうところも、おもしろい解説をしてもらえるとぐっと興味が湧いてきます。帰宅してからも検索したり、誰かに得意気に説明したくなります。

どこで何（キャラ）が何について回答するか

まず、どこで何を回答するかを検討しました。質問に答えるということは、質問と回答のデータが必要です。検討しながら館内を回っていると、ペンギン館に質問コーナーがありました。質問を書いて投函すると、それに飼育員が答えてくれるコーナーです。

＜ペンギン館の質問コーナー＞

3年間分の質問と回答のデータが既にたまっていて、デジタル化しておられたので、それを使うことに。なんと、8500件もの質問があったとのこと。回答を作ったスタッフの方にも頭が下がります。デジタル化しておけば、活用の可能性が広がるものですね。

次に、何に回答させるかです。これまで何度か音声による自動応答は試してきたのですが、音声認識精度を担保するために環境は重要です。また、話しかけてもらいやすい見た目にする必要があります。いろいろ検討した結果、スマスイ監修のぬいぐるみを使って、ツガイで漫才ぽくしたら楽しく話しかけてもらえるのではないかということに。

＜打ち合わせ風景＞

というわけで、ペンギン館でマゼランペンギンがペンギンに関する質問に答えることに決定しました。キャラ設定はスマスイの飼育員の方に考えていただきました。名前は、「アレハンドロ（オス・15歳）」と「アンジェリーナ（メス・15歳）」。15歳というのはペンギンではなかなか高齢なのだそうです。年齢不詳でうらやましい。

夫婦でお手頃価格の定食屋を営んでおり、アレハンドロは三度の飯よりテキーラが好き、アンジェリーナはアルゼンチンタンゴのステップが特技、など細かいキャラクターが設定されました。

開発とDIY

さて、どこで何を話すかが決まり、展示システムの開発です。周囲の雑音を拾わず、且つ音声認識の精度をあげるために、ペンギン小屋の中に話しかけてもらうことにしました。

実物に近いものを作ろうとペンギン館の展示スペースに特別に入らせていただきました。（テンション上がりました。）ちなみに、ペンギン小屋は繁殖時期だけ出すそうで、中でご夫婦が卵を温めるのに利用するそうです。スマスイでは木製の小屋を使っているそうです。

＜卵を温めるご夫婦＞

個体によって全然性格が違うのだそうで、ものすごい勢いで睨んでくるペンギンもいれば、無関心なペンギンも人懐っこいのも。でも一様に、給餌のバケツを見ると豹変するのだとか。突かれることもよくあるそうで、飼育員さんの腕が傷だらけでした。

＜小屋から飛び出してきてめっちゃ睨まれた＞

飼育員の方にいろいろ説明してもらいましたが、本当に面白いです。「飼育員が解説するような展示をAIで」と書きましたが、飼育員さんの説明レベルになるのはまだまだ遠い。

というわけで、組み立て式の犬小屋を購入。どうみても休日DIYのような組み立て中の風景はこちら（会議室）。

＜組み立て式の犬小屋を利用＞

小屋の中に集音マイクを設置し、中にぬいぐるみを入れてみました。しかし、置いてあるだけでは話しかけてもらえないことは過去の経験から痛感しています。興味を持ち、話しかけてもらえる工夫が必要です。いろいろ考えてみた結果、待機中に羽をパタパタさせるアクションをつけることにしました。

また、会話のタイムラグによってユーザーとすれ違いが起きないよう、会話中は小屋内を光らせて、会話を認識していることが直感的にわかるようにしました。また、小屋を覗き込むと自動的に会話モードに入るように、人感センサを取り付けました。ちなみに、対話の部分はラズパイをベースに開発しています。

全体の動作としてはこんな感じです。

羽をパタパタさせて気を引く
人が顔を近づけると小屋内のLEDが光ってとまる
話しかけるとLEDが点滅して回答を探し、LEDが止まってペンギンが答える

顔を近づけてもらわないと音声の認識が心配なので、ペンギンはちょっと奥の方に入っています。話しかけるときはしっかり覗き込んでくださいね！

運営側ではLINEでログ確認

運営側からすると、質問と回答の状況気になりますよね。ログは、チャットアプリのLINEで観測でき、シナリオの更新も、管理者がスプレッドシートでリアルタイムに追加・更新に行えるようにしました。QAやどのキャラで発話するかも設定できて、本番への反映も1ボタンです。ログの観測は防犯という意味でも有効ですね。シナリオの更新って何？という方はこちらをご参照ください。

設置してみた

ついにスマスイにお引越しの日。防犯や耐久性のために、がっちり固定しているのでこのまま運びます。ここまで開発しているとさすがに愛着が湧いてきますよね。しっかり働いておいで。

到着しました。ドナドナが聞こえる・・・。運ぶだけでかなり来園者の注目を浴びたので、きっと人気が出るはず！

予定の場所で認識精度などを試してみます。BGMや館内放送、反響などやや想定外のこともあり、リリースまでに、少し手を入れることになりました。

聞こえやすいようにスピーカーを付けたり、認識精度を上げるために反響音を防ぐ吸音材を付けたりして、改修しました。

＜かわいいペンギンを作るのはおじさんたち＞

テストやシナリオ更新はスマスイの皆様にもかなりご協力いただきました。

作ったシナリオは、音声以外にもチャットボットやアプリなど別のUXへの展開も期待できますね。

最後に

音声による対話はこどもから大人までほとんどの方に馴染みがあり、画面操作よりも直感的に使ってもらえると言われています。また、「会話をする」ことで人間の温かみや感情を表現でき、画面操作にはない体験を生みだせるところも魅力です。認識の精度や処理のスピードなど課題はまだありますが、実際に試してみるとこれまでにない可能性や別の視点を見出せることがあり、非常に伸びしろが大きい分野です。

AIや音声認識の技術進歩に伴って、今後ますます活用しやすくなってくることでしょう。