Koji Inoue (井上 昂治, KI)

Assistant Professor
Graduate School of Informatics, Kyoto University, Japan

My research centers on developing a system for conversing with humans, specifically in the realm of conversational AI. The advent of large language models (LLMs) has significantly influenced their integration into smartphone applications and conversational robots. My primary focus is on creating "human-like natural conversation," aiming to design conversational robots capable of engaging in flexible and profound interactions akin to human communication. While the main modality used in my research is audio-based, my approach incorporates multimodal data. I am leveraging technologies such as large-scale foundation models and continuous prediction models. Additionally, I draw insights from conversation analysis, linguistics, and cognitive science. Through this research, my ultimate objective is to reveal the mechanisms underlying human-to-human communication.

My CV is available here.

Interview articles (In Japanese)

音声対話システム-基礎から実装まで- (井上昂治・河原達也 共著, 2022年10月15日 発売, オーム社刊)

Research Talk

Yeah, Well, Haha: Generating Non-linguistic Behaviors For Human-like Conversational Robots
Keynote, SIGDIAL 2024 (September 18th, 2024)



空気が読める会話ロボット
IPSJ-ONE 2019 (第81回情報処理学会全国大会) (March 16th, 2019)

特集記事 河合塾 みらいぶプラス - 会話相手の興味や意欲を自動推定！空気が読める会話ロボットエリカ誕生!!



Research Demonstration


Publications
  • Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection (IWSDS 2024)
  • Multilingual Turn-taking Prediction Using Voice Activity Projection (LREC-COLING 2024)


報道情報 (Selected)
関連文献 (詳細は文献リストへ)
  • Can a robot laugh with you?: Shared laughter generation for empathetic spoken dialogue (Frontiers in Robotics and AI)
  • 共感を表出する音声対話システムのための共有笑い生成 (人工知能学会SLUD研究会 2021)
  • 自律型アンドロイドによる対話における同調的笑いの生成 (情報処理学会SLP研究会 2017)

  • アンドロイドERICAによる研究室紹介

相手が話を聞くときの態度（Engagement = エンゲージメント）を自動で推定し、ERICAからのフィードバック（"話を聞いてもらえているようでうれしいです"など）を生成したり、研究室紹介のコンテンツを切替えたりしています。相手に合わせて「空気を読みながら」説明をする説明上手なロボットを目指しています。

関連文献 (詳細は文献リストへ)
  • Engagement recognition by a latent character model based on multimodal listener behaviors in spoken dialogue (APSIPA Trans. Signal & Information Processing)
  • 潜在キャラクタモデルによる聞き手のふるまいに基づく対話エンゲージメントの推定 (人工知能学会論文誌)
  • Engagement-based adaptive behaviors for laboratory guide in human-robot dialogue (IWSDS 2019)
  • Engagement recognition in spoken dialogue via neural network by aggregating different annotators' models (INTERSPEECH 2018)
  • Latent Character Model for Engagement Recognition Based on Multimodal Behaviors (IWSDS 2018)

  • アンドロイドERICAによる傾聴対話

相手の話に合わせて、あいづち、くり返し（オウム返し）、評価（すごい、残念、など）、掘り下げ質問などの「聞き手応答」を生成しています。話し手に寄り添う「聞き上手」なロボットを目指しています。

関連文献 (詳細は文献リストへ)
  • アンドロイドERICAの傾聴対話システム–人間による傾聴との比較評価– (人工知能学会論文誌 2021)
  • WOZとの比較による自律型アンドロイドERICAの傾聴対話システムの評価 (日本音響学会秋季研究発表会 2020)
  • An attentive listening system with android ERICA: Comparison of autonomous and WOZ interactions (SIGDIAL 2020)
  • 自律型アンドロイドERICAによる傾聴対話の評価 (日本音響学会秋季研究発表会 2019) 日本音響学会粟屋潔学術奨励賞受賞
  • 自律型アンドロイドERICAによる傾聴対話システムの評価 (人工知能学会SLUD研究会 2019)
  • 自律型アンドロイドERICAによる傾聴対話 (人工知能学会SLUD研究会 2018)
  • Attentive listening system with backchanneling, response generation and flexible turn-taking (SIGDIAL 2017)

  • アンドロイドERICAによる就職面接対話

発言の充足度やキーワードに応じて、掘り下げ質問を動的に生成します。人間の面接官と対話しているような、緊張感のあるリアルな面接対話を目指しています。

関連文献 (詳細は文献リストへ)
  • Job interviewer android with elaborate follow-up question generation (ICMI 2020)
  • 掘り下げ質問を行う就職面接対話システムの自律型アンドロイドでの実装と評価 (人工知能学会論文誌 2020)
  • 自律型アンドロイドERICAによる就職面接対話 (日本音響学会春季研究発表会 2020)
  • アンドロイドERICAによる面接対話における掘り下げ質問生成 (人工知能学会SLUD研究会 2019)
  • A job interview dialogue system with autonomous android ERICA (IWSDS 2019)
  • 自律型アンドロイドERICAによる就職面接対話 (人工知能学会SLUD研究会 2018)