Koji Inoue (井上 昂治)

Assistant Professor
Speech and Audio Processing Laboratory,
Dept. of Intelligence Science and Technology,
Graduate School of Informatics, Kyoto University, Japan

京都大学 大学院情報学研究科 (工学部情報学科兼担) 助教
音声メディア分野

人間と音声で会話をするシステム(音声対話システム)の研究を行っています。最近ではスマートフォンやスマートスピーカなどにおいて、音声で会話をするアプリケーションが実用化されています。その中で、私は「人間らしい自然な会話」を指向して研究を進めています。人間のように、しなやかで深い会話を行う会話ロボットを実現することが究極の目標です。扱う情報は、音声をベースとしていますが、マルチモーダルな情報(音声+画像など)も扱っています。深層学習(Deep learning)やベイズ学習などの機械学習技術も積極的に取り入れています。また、会話分析、言語学、認知科学などの分野の知見も参考にしています。

2018年ごろまでの研究生活をまとめた記事 NIKKEI STYLE U22 ロボットエリカと話したい 自然な会話へ試行錯誤 AIの未来を若手研究者が語る


Activity & news

  • 音声に関する国際会議 INTERSPEECH に共著論文を発表しました (Turn-taking Prediction Based on Detection of Transition Relevance Place) [4th Oct. 2019]
  • マルチモーダルインタラクションに関する国際会議ICMIに共著論文がアクセプトされました (Smooth turn-taking by a robot using an online continuous model to generate turn-taking cues) [19th July 2019]
  • 音声に関する国際会議 INTERSPEECH に共著論文がアクセプトされました (Turn-taking Prediction Based on Detection of Transition Relevance Place) [19th June 2019]
  • 音声対話システムに関する国際ワークショップ IWSDS (International Workshop on Spoken Dialogue Systems Technology) に主著論文2本(うち1本はデモ論文)と共著論文1本を発表しました [9th May 2019]
  • 京都大学 大学院情報学研究科 助教に着任しました [1st April 2019]

研究デモ動画

  • 「空気が読める会話ロボット」IPSJ-ONE 2019 (第81回情報処理学会全国大会 @福岡大学)

  • 井上の講演は、7時間11分32秒 頃からです。
  • アンドロイドERICAによる研究室紹介

相手が話を聞くときの態度(Engagement = エンゲージメント)を自動で推定し、ERICAからのフィードバック("話を聞いてもらえているようでうれしいです"など)を生成したり、研究室紹介のコンテンツを切替えたりしています。相手に合わせて「空気を読みながら」説明をする説明上手なロボットを目指しています。

関連文献 (詳細は文献リストへ)
  • Engagement recognition by a latent character model based on multimodal listener behaviors in spoken dialogue (APSIPA Trans. Signal & Information Processing)
  • 潜在キャラクタモデルによる聞き手のふるまいに基づく対話エンゲージメントの推定 (人工知能学会論文誌)
  • Engagement-based adaptive behaviors for laboratory guide in human-robot dialogue (IWSDS 2019)
  • Engagement recognition in spoken dialogue via neural network by aggregating different annotators' models (INTERSPEECH 2018)
  • Latent Character Model for Engagement Recognition Based on Multimodal Behaviors (IWSDS 2018)

  • アンドロイドERICAによる傾聴対話

相手の話に合わせて、あいづち、くり返し(オウム返し)、評価(すごい、残念、など)、掘り下げ質問などの「聞き手応答」を生成しています。話し手に寄り添う「聞き上手」なロボットを目指しています。

関連文献 (詳細は文献リストへ)
  • Attentive listening system with backchanneling, response generation and flexible turn-taking,” SIGdial Meeting on Discourse and Dialogue (SIGDIAL 2017)
  • 自律型アンドロイドERICAによる傾聴対話 (人工知能学会SLUD研究会 2018)

  • アンドロイドERICAによる就職面接対話

発言の充足度やキーワードに応じて、掘り下げ質問を動的に生成します。人間の面接官と対話しているような、緊張感のあるリアルな面接対話を目指しています。

関連文献 (詳細は文献リストへ)
  • A job interview dialogue system with autonomous android ERICA (IWSDS 2019)
  • 自律型アンドロイドERICAによる就職面接対話 (人工知能学会SLUD研究会 2018)