コンピュータ／ロボット支援言語学習（CALL/RALL）システム
コンピュータやロボットを用いて英語の発音，文型構築，対話の訓練が行えるコンピュータ／ロボット支援言語学習（CALL/RALL）システムの実現を目指し，日本人学習者向け英語音声認識，英語韻律評価，文型評価など要素技術の研究と，人型ロボット2体を用いたJoining-in-type Robot-Assisted Language Learning (JIT-RALL)システムの構築と日本人大学生を対象とする学習効果の測定を行っています．
マルチモーダル会話分析
人間同士の会話では言語情報だけでなく視線やジェスチャなどの非言語情報を用いて円滑な会話を成立させています．第二言語による会話や人とロボットとの会話のような，円滑な会話の成立が難しい会話においては，言語能力の不足を補うために非言語情報はより重要になります．マルチモーダル会話分析プロジェクトでは特に視線行動に注目し，母語会話と第二言語会話における行動の違いの分析を通して非言語情報の授受のメカニズム解明に取り組んでいます．将来的には，定量的な分析から得られた知見を活用し，会話中における人の状態推定モデルや，ロボットの振る舞い制御モデルの構築にも取り組んでいく予定です．
日本人小学生の英語音声の追跡的分析
2020年度から，現在小学5・6年生で行われている外国語に親しむ活動は3・4年生に前倒しされ，小学5・6年生で英語が教科化されます．身体的・知能的発達，さらに英語教育によって小学生の音声がどのように変化していくのか，かねてより英語教育に力を入れてきた同志社小学校の協力を得て，児童の英語音声と日本語音声を定期的に録音し，その変化を分析しています．
音声対話分析
スマートスピーカやスマートデバイス上の対話エージェントの実用化により，対話システムに求められる知的な処理の要求は急速に増大しています．現在は，対話コーパスを用いた意図理解，対話破綻検出に取り組んでいます．今後，対話エンジンの構築にも取り組む予定です．
音楽研究
鍵とハンマー位置のディジタルレコーディング機能付きのベーゼンドルファーと光学式モーションキャプチャシステムにより，ピアノ演奏時の指の動き，ピアノの鍵とハンマーの動き，オーディオを組み合わせて分析することができます．また，音楽演奏においては知らず知らずのうちにテンポが”走る”傾向がありますが，このテンポ変化に対する知覚能力に着目し，テンポ変化知覚能力と音楽経験の関係，テンポ維持能力との関係に関する研究を行っています．
スマートデバイス文字入力インターフェース
スマートフォン，タブレット，スマートウォッチなどスマートデバイスにおける文字入力インターフェースを中心に，スマートデバイス向けのユーザインタフェースの試作と評価を行っています．指などの体の動きを行動信号と捉え，行動信号処理に基づくインテリジェントなユーザインタフェースを目指しています．
機械翻訳
グローバル化が進む現代において言葉の壁を取り除くことを目指し，機械翻訳（翻訳を機械で自動で行う技術）を高度化するための研究を行っています．例えば，文の構造を考慮するニューラル機械翻訳技術や，翻訳したい文に関連する画像を活用するマルチモーダル機械翻訳技術に取り組んでいます．
シンボルグラウンディング
自然言語と実世界を結び付ける技術の研究を行っています．現在は，人間の視覚により捉える実世界を画像と想定し，画像と自然言語をつなぐ技術に注力しています．具体的には，入力画像を表すテキストを自動生成するキャプション生成技術や，入力テキストを表す画像を自動生成する画像生成技術に取り組んでいます．
