Koji Inoue (KI)

Koji Inoue (井上 昂治, KI)

Assistant Professor
Graduate School of Informatics, Kyoto University, Japan

Specially Appointed Assistant Professor
Graduate School of Engineering Science, The University of Osaka, Japan

My research centers on developing a system for conversing with humans, specifically in the realm of conversational AI. The advent of large language models (LLMs) has significantly influenced their integration into smartphone applications and conversational robots. My primary focus is on creating "human-like natural conversation," aiming to design conversational robots capable of engaging in flexible and profound interactions akin to human communication. While the main modality used in my research is audio-based, my approach incorporates multimodal data. I am leveraging technologies such as large-scale foundation models and continuous prediction models. Additionally, I draw insights from conversation analysis, linguistics, and cognitive science. Through this research, my ultimate objective is to reveal the mechanisms underlying human-to-human communication.

My CV is available here.

Interview articles (In Japanese)

• NIKKEI STYLE U22 ロボットエリカと話したい 自然な会話へ試行錯誤 AIの未来を若手研究者が語る
• 読売新聞 きょう・人・十色 ＡＩエリカを笑わせる

---

音声対話システム-基礎から実装まで- (井上昂治・河原達也 共著, 2022年10月15日 発売, オーム社刊)

• 出版社 書籍紹介ページ
• サポートページ（環境構築・サンプルソースコードなど）

---

Research Talk

Yeah, Well, Haha: Generating Non-linguistic Behaviors For Human-like Conversational Robots
Keynote, SIGDIAL 2024 (September 18th, 2024)



空気が読める会話ロボット
IPSJ-ONE 2019 (第81回情報処理学会全国大会) (March 16th, 2019)

特集記事 河合塾 みらいぶプラス - 会話相手の興味や意欲を自動推定！空気が読める会話ロボットエリカ誕生!!

---

Research Demonstration

• Real-time and Continous Turn-Taking (GitHub repository)

Publications

• Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection (IWSDS 2024)
• Multilingual Turn-taking Prediction Using Voice Activity Projection (LREC-COLING 2024)

• Laughing Robots (project page)

報道情報 (Selected)

• 京都大学プレスリリース
• 新聞 (産経新聞, 日本経済新聞, 日刊工業新聞, 読売新聞, 朝日新聞)
• テレビ (テレビ朝日 ニュース, 関西テレビ 報道ランナー, 日本テレビ 所さんの目がテン)
• 海外メディア (Gurdian, Telegraph, Bloomberg, Independent, BBC World Service Radio, The BATCH, Science News Explores, INVERSE, Berliner Zeitung, MangoTV, tagesthemen, RedaktionsNetzwerk Deutschland)
• その他 (Abema news, NewsPicks)

関連文献 (詳細は文献リストへ)

• Can a robot laugh with you?: Shared laughter generation for empathetic spoken dialogue (Frontiers in Robotics and AI)
• 共感を表出する音声対話システムのための共有笑い生成 (人工知能学会SLUD研究会 2021)
• 自律型アンドロイドによる対話における同調的笑いの生成 (情報処理学会SLP研究会 2017)