Koji Inoue

Koji Inoue (井上 昂治)

Assistant Professor
Speech and Audio Processing Laboratory,
Dept. of Intelligence Science and Technology,
Graduate School of Informatics, Kyoto University, Japan

My research centers around spoken dialogue systems—systems capable of conversing with humans using speech. Recently, there has been a practical application of this technology in devices like smartphones and smart speakers, which now feature applications capable of verbal communication. My research specifically aims to develop conversations that mimic the natural flow of human dialogue. Ultimately, I aspire to create conversational robots capable of engaging in conversations as fluid and insightful as those between humans. Although my work primarily deals with speech-based information, I also handle multimodal information such as audio-visual data. I proactively incorporate machine learning techniques, including deep learning and Bayesian methods. Furthermore, my research is informed by insights from various fields such as conversation analysis, linguistics, and cognitive science.

My CV is available here.

Interview articles (In Japanese)

• NIKKEI STYLE U22 ロボットエリカと話したい 自然な会話へ試行錯誤 AIの未来を若手研究者が語る
• 京都新聞 愛想笑いできる「美人ロボ」はなぜ生まれたか　京都大学のＡＩ研究者が込めた思い
• 読売新聞 きょう・人・十色 ＡＩエリカを笑わせる

音声対話システム-基礎から実装まで- (井上昂治・河原達也 共著, 2022年10月15日 発売, オーム社刊)

• 出版社 書籍紹介ページ
• サポートページ（環境構築・サンプルソースコードなど）

---

Activity & news

• 同調笑いに関するERICAのシステムがNETEXPLOによる2022年の世界のイノベーションTop 10に選ばれました [18th April 2023]
• Shared laughter（同調笑い）の生成に関する論文が Frontiers in Robotics and AI の 2022 outstanding article に選ばれました [13th March 2023]
• 音声対話システムに関する国際ワークショップIWSDSでBest Paper Awardを受賞しました [28th Feb. 2023]
• 音声対話システムに関する国際ワークショップIWSDSで3本の論文を発表しました [24th Feb. 2023]
• Computer Speech and Language誌にて論文が公開されました (Character expression for spoken dialogue systems with semi-supervised learning using Variational Auto-Encoder) [19th Dec. 2022]
• ヒューマンエージェントインタラクションに関する国際会議HAIにて傍参与者としての聞き手応答生成に関する論文を発表しました (Backchannel Generation Model for a Third Party Listening Agent) [19th Dec. 2022]
• 書籍「音声対話システム-基礎から実装まで-」を発売しました [29th Sep. 2022]
• 人と一緒に笑う会話ロボットについて報道発表しました [15th Oct. 2022]
• Frontiers in Robotics and AI（国際論文誌）に共有笑い生成に関する論文がアクセプトされました (Can a robot laugh with you?: Shared laughter generation for empathetic spoken dialogue) [4th Aug. 2022]
• 対話システムに関する国際会議SIGDIALに同時並列就職面接対話システムに関する論文がアクセプトされました (Simultaneous Job Interview System Using Multiple Semi-autonomous Agents) [4th July 2022]
• 音声に関する国際会議INTERSPEECHに説得対話コーパスに関する論文がアクセプトされました (Multimodal Persuasive Dialogue Corpus using Teleoperated Android) [15th June 2022]
• 第4回 日本オープンイノベーション大賞 文部科学大臣賞を受賞しました [22nd Feb. 2022]
• 人工知能学会 言語・音声理解と対話処理研究会 (SIG-SLUD) 第12回対話システムシンポジウムにて主著論文1本と共著論文1本を発表しました [31st Nov. 2021]
• マルチモーダルインタラクションに関する国際会議ICMIにてOutstanding Reviewer Awardを受賞しました [27th Oct. 2021]

---

研究デモ動画

• 共感的な音声対話のための同調笑いの生成 (デモページ)

報道情報 (抜粋)

• 京都大学プレスリリース
• 新聞 (毎日新聞, 産経新聞, 日本経済新聞, 時事通信, 共同通信, 日刊工業新聞, 京都新聞, 読売新聞, 朝日新聞)
• テレビ (NHK京都, NHK関西, テレビ朝日 ニュース, 朝日放送テレビ, 関西テレビ 報道ランナー, 日本テレビ 所さんの目がテン)
• 海外メディア (Gurdian, Telegraph, Bloomberg, Independent, BBC World Service Radio, The BATCH, Berliner Zeitung, MangoTV, tagesthemen, RedaktionsNetzwerk Deutschland)
• その他 (Abema news, NHKニュース, NHKラジオ, NewsPicks)

関連文献 (詳細は文献リストへ)

• Can a robot laugh with you?: Shared laughter generation for empathetic spoken dialogue (Frontiers in Robotics and AI)
• 共感を表出する音声対話システムのための共有笑い生成 (人工知能学会SLUD研究会 2021)
• 自律型アンドロイドによる対話における同調的笑いの生成 (情報処理学会SLP研究会 2017)

• 「空気が読める会話ロボット」IPSJ-ONE 2019 (第81回情報処理学会全国大会 @福岡大学)

特集記事 河合塾 みらいぶプラス - 会話相手の興味や意欲を自動推定！空気が読める会話ロボットエリカ誕生!!

• アンドロイドERICAによる研究室紹介

相手が話を聞くときの態度（Engagement = エンゲージメント）を自動で推定し、ERICAからのフィードバック（"話を聞いてもらえているようでうれしいです"など）を生成したり、研究室紹介のコンテンツを切替えたりしています。相手に合わせて「空気を読みながら」説明をする説明上手なロボットを目指しています。

関連文献 (詳細は文献リストへ)

• Engagement recognition by a latent character model based on multimodal listener behaviors in spoken dialogue (APSIPA Trans. Signal & Information Processing)
• 潜在キャラクタモデルによる聞き手のふるまいに基づく対話エンゲージメントの推定 (人工知能学会論文誌)
• Engagement-based adaptive behaviors for laboratory guide in human-robot dialogue (IWSDS 2019)
• Engagement recognition in spoken dialogue via neural network by aggregating different annotators' models (INTERSPEECH 2018)
• Latent Character Model for Engagement Recognition Based on Multimodal Behaviors (IWSDS 2018)

• アンドロイドERICAによる傾聴対話

相手の話に合わせて、あいづち、くり返し（オウム返し）、評価（すごい、残念、など）、掘り下げ質問などの「聞き手応答」を生成しています。話し手に寄り添う「聞き上手」なロボットを目指しています。

関連文献 (詳細は文献リストへ)

• アンドロイドERICAの傾聴対話システム–人間による傾聴との比較評価– (人工知能学会論文誌 2021)
• WOZとの比較による自律型アンドロイドERICAの傾聴対話システムの評価 (日本音響学会秋季研究発表会 2020)
• An attentive listening system with android ERICA: Comparison of autonomous and WOZ interactions (SIGDIAL 2020)
• 自律型アンドロイドERICAによる傾聴対話の評価 (日本音響学会秋季研究発表会 2019) 日本音響学会粟屋潔学術奨励賞受賞
• 自律型アンドロイドERICAによる傾聴対話システムの評価 (人工知能学会SLUD研究会 2019)
• 自律型アンドロイドERICAによる傾聴対話 (人工知能学会SLUD研究会 2018)
• Attentive listening system with backchanneling, response generation and flexible turn-taking (SIGDIAL 2017)

• アンドロイドERICAによる就職面接対話

発言の充足度やキーワードに応じて、掘り下げ質問を動的に生成します。人間の面接官と対話しているような、緊張感のあるリアルな面接対話を目指しています。

関連文献 (詳細は文献リストへ)

• Job interviewer android with elaborate follow-up question generation (ICMI 2020)
• 掘り下げ質問を行う就職面接対話システムの自律型アンドロイドでの実装と評価 (人工知能学会論文誌 2020)
• 自律型アンドロイドERICAによる就職面接対話 (日本音響学会春季研究発表会 2020)
• アンドロイドERICAによる面接対話における掘り下げ質問生成 (人工知能学会SLUD研究会 2019)
• A job interview dialogue system with autonomous android ERICA (IWSDS 2019)
• 自律型アンドロイドERICAによる就職面接対話 (人工知能学会SLUD研究会 2018)

---