少ないサンプルで商品を推薦するロボット
Interactive-SmartClerk
機械学習でモデルをつくるときには大量のサンプルが必要です。ある人の好みのモデルをファインチューニングするにしても、それなりの好みのサンプルが必要です。一方で、店の店員は2,3好みを聞くことで商品を推薦できたりします。この研究では、人が相手の好みをどのように推定するのか、認知科学実験をおこない明らかになった数理モデルを利用しています。4着のドレスの好みを聞くだけで、好みのドレスを推薦することができます。
聞き逃し支援システム
zoomなどのオンライン会議では、他のことをしていてつい他の人の話を聞き逃してしまうことがあります。話を聞いていない時に、意見を求められて困った経験がある人もいると思います。このような聞き逃した発言の中から重要な発言（SCAINsと呼んでいます）を見つけるアルゴリズを作りました。また、聞き逃した人にSCAINsを提示して、聞き逃し場面を乗り切るSCAINs Presenterを作りました。この研究が実用化されることで、一人の人が複数の会議に参加できたり、複数の仕事を効率良くこなすことができるようになります。
上のビデオでは、Aさんとあなたが横にある絵について会話をしていて、Bさんが話を聞いていない場面です(このビデオではAさんとBさんは、gpt4を用いています。あなたは、人間の入力です)。Aさんとあなたの会話の中で聞き逃すと意味が発生する会話が生じると、該当箇所が黄色と赤色で表示されます（アルゴリズムの判定をわかりやすくするために色をつけてます）。ビデオの中では、この場面で、該当箇所を聞き逃すとどうなるかを、Bさんに話を振ることで確かめています。色のついた場所を聞き逃しているBさんが検討違いのことを言い出すのがわかると思います。
英語穴埋め問題の自動生成システム CLOZER
Q. 以下の穴埋め問題に入る単語を答えよ．“If you want to go to Keio University, you should ____ hard.” このような自由記述の穴埋め問題をcloze testと言います．この研究では，正解の単語意外文脈的に入らない問題を良いcloze testとして，自動で問題を生成するアルゴリズムCLOZERを開発しました．CLOZERでは，大規模自然言語モデルであるBERTを用いて人間の解答傾向をシュミレートし，ジニ係数に基づいたGapスコアを算出することで問題を生成します．機械学習モデルは問題を解く際の人間の思考をシュミレートすることができるのか，そして機械学習モデルは良い問題を作ることができるのかを明らかにするために，研究を行っています．
仲の良し悪しを判断しながら会話するロボット
人は、会話の中で意見が合う合わないを考えながら、会話します。時には話し合いの中で仲間割れが生じます。本研究は、大規模言語モデルで会話参加者の関係を推測させながら、ハイダーのバランス理論と呼ばれる三人の間の好き嫌いの関係の変化規則を利用することで、仲間になったり、仲間割れが発生する会話を実現しています。慶應ファンのペッパーくんと、早稲田ファンのペッパーちゃんと、人間の三人の会話を見てみましょう。
対話を通じた旅行体験記生成
ロボットとの対話を通じて旅行体験記を生成するシステムの実現を目指しています。画像キャプショニングが登場し、画像に関する説明文が得られるようになっていますが、その写真をとった時のエピソードや、体験したことなどの思い出は、画像情報から得られません。旅行体験記を作るためには、本人から情報を聞き出す必要があります。本研究では、旅行で撮った写真に対して人と会話するロボットを実現しました。そして、ロボットとの会話を通して得られた情報をもとに、思い出話の詰まった旅行体験記を生成することができます。