Koji Inoue (井上 昂治)

Assistant Professor
Speech and Audio Processing Laboratory,
Dept. of Intelligence Science and Technology,
Graduate School of Informatics, Kyoto University, Japan

京都大学 大学院情報学研究科 (工学部情報学科兼担) 助教
音声メディア分野

人間と音声で会話をするシステム(音声対話システム)の研究を行っています。最近ではスマートフォンやスマートスピーカなどにおいて、音声で会話をするアプリケーションが実用化されています。その中で、私は「人間らしい自然な会話」を指向して研究を進めています。人間のように、しなやかで深い会話を行う会話ロボットを実現することが究極の目標です。扱う情報は、音声をベースとしていますが、マルチモーダルな情報(音声+画像など)も扱っています。深層学習(Deep learning)やベイズ学習などの機械学習技術も積極的に取り入れています。また、会話分析、言語学、認知科学などの分野の知見も参考にしています。

2018年ごろまでの研究生活をまとめた記事 NIKKEI STYLE U22 ロボットエリカと話したい 自然な会話へ試行錯誤 AIの未来を若手研究者が語る


Activity & news

  • マルチモーダルインタラクションに関する国際会議ICMIに論文がアクセプトされました (Job interviewer android with elaborate follow-up question generation) [8th Aug. 2020]
  • 第4回 JST ERATO石黒共生HRIプロジェクトシンポジウムにて傾聴対話システムの発表を行いました (アンドロイドERICAによる傾聴対話システム) [6th Aug. 2020]
  • 音声に関する国際会議 INTERSPEECH に共著論文がアクセプトされました (Semi-supervised learning for character expression of spoken dialogue systems) [27th July 2020]
  • 人工知能学会 2019年度 研究会優秀賞(SIG-SLUD)を受賞しました [22nd June 2020]
  • 対話システムに関する国際会議 SIGDIAL (SIGdial Meeting on Discourse and Dialogue) に主著論文(Long paper)がアクセプトされました (An attentive listening system with android ERICA: Comparison of autonomous and WOZ interactions) [15th May 2020]
  • 科研費 若手研究(研究代表者)ならびに基盤研究(A)(分担者)に採択されました [1st April 2020]
  • 日本音響学会誌に解説記事が掲載されました (アンドロイドを用いた音声対話研究 プレプリント版PDF) [8th April 2020]
  • 日本音響学会春季研究発表会にて主著論文を発表しました (自律型アンドロイドERICAによる就職面接対話) [18th March 2020]
  • 日本音響学会から粟屋潔学術奨励賞を受賞しました [17th March 2020]
  • 音声対話システムに関する国際ワークショップ IWSDS (International Workshop on Spoken Dialogue Systems Technology) に共著論文2本がアクセプトされました (A character expression model affecting spoken dialogue behaviors, Response generation to out-of-database questions for example-based dialogue systems) [25th Feb. 2020]
  • 京都大学第14回ICTイノベーションにて傾聴対話システムの発表および対話デモを行い,優秀研究賞を受賞しました [19th Feb. 2020]
  • 人工知能学会 言語・音声理解と対話処理研究会 (SIG-SLUD) にて主著論文1本と共著論文2本を発表しました [9th Dec. 2019]
  • IPSJ-ONE 2019 での講演内容が記事になりました 河合塾 みらいぶプラス - 会話相手の興味や意欲を自動推定!空気が読める会話ロボットエリカ誕生!! [22nd Oct. 2019]
  • マルチモーダルインタラクションに関する国際会議ICMIにて共著論文を発表しました (Smooth turn-taking by a robot using an online continuous model to generate turn-taking cues) [22nd Oct. 2019]
  • 音声に関する国際会議 INTERSPEECH にて共著論文を発表しました (Turn-taking Prediction Based on Detection of Transition Relevance Place) [4th Oct. 2019]
  • マルチモーダルインタラクションに関する国際会議ICMIに共著論文がアクセプトされました (Smooth turn-taking by a robot using an online continuous model to generate turn-taking cues) [19th July 2019]
  • 音声に関する国際会議 INTERSPEECH に共著論文がアクセプトされました (Turn-taking Prediction Based on Detection of Transition Relevance Place) [19th June 2019]
  • 音声対話システムに関する国際ワークショップ IWSDS (International Workshop on Spoken Dialogue Systems Technology) にて主著論文2本(うち1本はデモ論文)と共著論文1本を発表しました [9th May 2019]
  • 京都大学 大学院情報学研究科 助教に着任しました [1st April 2019]

研究デモ動画

  • 「空気が読める会話ロボット」IPSJ-ONE 2019 (第81回情報処理学会全国大会 @福岡大学)

特集記事 河合塾 みらいぶプラス - 会話相手の興味や意欲を自動推定!空気が読める会話ロボットエリカ誕生!!

  • アンドロイドERICAによる研究室紹介

相手が話を聞くときの態度(Engagement = エンゲージメント)を自動で推定し、ERICAからのフィードバック("話を聞いてもらえているようでうれしいです"など)を生成したり、研究室紹介のコンテンツを切替えたりしています。相手に合わせて「空気を読みながら」説明をする説明上手なロボットを目指しています。

関連文献 (詳細は文献リストへ)
  • Engagement recognition by a latent character model based on multimodal listener behaviors in spoken dialogue (APSIPA Trans. Signal & Information Processing)
  • 潜在キャラクタモデルによる聞き手のふるまいに基づく対話エンゲージメントの推定 (人工知能学会論文誌)
  • Engagement-based adaptive behaviors for laboratory guide in human-robot dialogue (IWSDS 2019)
  • Engagement recognition in spoken dialogue via neural network by aggregating different annotators' models (INTERSPEECH 2018)
  • Latent Character Model for Engagement Recognition Based on Multimodal Behaviors (IWSDS 2018)

  • アンドロイドERICAによる傾聴対話

相手の話に合わせて、あいづち、くり返し(オウム返し)、評価(すごい、残念、など)、掘り下げ質問などの「聞き手応答」を生成しています。話し手に寄り添う「聞き上手」なロボットを目指しています。

関連文献 (詳細は文献リストへ)
  • WOZとの比較による自律型アンドロイドERICAの傾聴対話システムの評価 (日本音響学会秋季研究発表会 2020)
  • An attentive listening system with android ERICA: Comparison of autonomous and WOZ interactions (SIGDIAL 2020)
  • 自律型アンドロイドERICAによる傾聴対話の評価 (日本音響学会秋季研究発表会 2019) 日本音響学会粟屋潔学術奨励賞受賞
  • 自律型アンドロイドERICAによる傾聴対話システムの評価 (人工知能学会SLUD研究会 2019)
  • 自律型アンドロイドERICAによる傾聴対話 (人工知能学会SLUD研究会 2018)
  • Attentive listening system with backchanneling, response generation and flexible turn-taking (SIGDIAL 2017)

  • アンドロイドERICAによる就職面接対話

発言の充足度やキーワードに応じて、掘り下げ質問を動的に生成します。人間の面接官と対話しているような、緊張感のあるリアルな面接対話を目指しています。

関連文献 (詳細は文献リストへ)
  • Job interviewer android with elaborate follow-up question generation (ICMI 2020)
  • 掘り下げ質問を行う就職面接対話システムの自律型アンドロイドでの実装と評価 (人工知能学会論文誌 2020)
  • 自律型アンドロイドERICAによる就職面接対話 (日本音響学会春季研究発表会 2020)
  • アンドロイドERICAによる面接対話における掘り下げ質問生成 (人工知能学会SLUD研究会 2019)
  • A job interview dialogue system with autonomous android ERICA (IWSDS 2019)
  • 自律型アンドロイドERICAによる就職面接対話 (人工知能学会SLUD研究会 2018)

授業関係

  • 実験4 (音楽情報処理) の演習ページはこちら [26th Nov. 2019]