大学共同利用機関法人 情報・システム研究機構 国立情報学研究所(NII、東京都千代田区、所長：喜連川 優、以下 NII)が取り組む人工知能(AI)プロジェクト「ロボットは東大に入れるか」(プロジェクトディレクター：NII情報社会相関研究系教授 新井 紀子)の本年度の研究活動に参加した日本ユニシス株式会社(日本ユニシス、本社：東京都江東区、代表取締役社長：黒川 茂、以下 日本ユニシス)は、株式会社ベネッセコーポレーションから本プロジェクトに提供された「進研模試 総合学力マーク模試」の世界史Bに挑戦し、平均点を30点上回る76点(偏差値66.5)という好成績を収めました。

大学入試センター試験(以下 センター試験)の世界史の問題をコンピューターで解くためには、自然言語で記述されている教科書などを知識源として、各設問に記述されている質問文に対する適切な答えを解答群の中から正しく選択することが求められます。自然言語処理分野の研究において、自然言語で記述された知識源に関する質問に答えるために有効とされる主な手法には、「含意関係認識技術(注1)の適用」「事実型質問応答技術(注2)の応用」「構文木(こうぶんぎ)の類似度評価」があります。日本ユニシスでは、これらの手法に基づき、センター試験の世界史の観点から解法を独自に定式化して解答を導き出す仕組みを実装することで、今回の成果を達成しました。

「ロボットは東大に入れるか」は、昭和50年代後半以降細分化されたAIの分野を再統合することでAI研究の新たな地平を切り拓こうと、平成23年度(2011年度)に始まりました。大学入試問題は問題文を解析する自然言語処理をはじめさまざまな技術が求められる統合的な課題で、点数と偏差値により成果を定量的に評価することが可能なタスクです。こうした特性を持つ大学入試問題にAIが挑戦することで、「AIが人間に取って代わる可能性のある分野は何か」といった問題を考える際の指標となりうるAIの進化の客観的なベンチマークを指し示すことが、本プロジェクトの目的です。

【取り組みの背景】

日本ユニシス総合技術研究所(注3)は平成26年度(2014年度)、含意関係認識に関する同社の研究のベンチマークとして、NIIの情報アクセス技術の評価と性能比較のための研究基盤プロジェクト「NTCIR(エンティサイル)」(注4)の含意関係認識部門(RITE-VAL)に参加し、文に含まれる単語の一致率に着目した機械学習と全文検索技術を駆使した含意関係認識システムを構築してトップの成績を収めました。しかし、同部門で構築したシステムの実力を試すためにNTCIRの大学入試問題の世界史を解く部門(QALab)でセンター試験の過去問に挑戦した結果、同システムをそのまま適用しても正解を導き出せないケースがあることがわかりました。

このため、同研究所ではセンター試験の世界史の問題をあらためて観察し、正解を導き出すために必要となる手法について検討を重ねて、本年度、NTCIRのQALabに再挑戦することを通じて、NTCIRと協賛関係にある「ロボットは東大に入れるか」プロジェクトのセンター試験の世界史受験に取り組みました。

【解法の概要】

センター試験の世界史では、解答群の各選択肢の文が意味する事柄が教科書などの知識源に含まれていれば正文、知識源から導き出すことができなければ誤文と判断する「正誤判定問題」が最も難易度が高く、出題の大部分を占めます。

日本ユニシス総合技術研究所では、知識源を有効に活用できるようにするため、教科書やWikipedia、イベントオントロジーEVT(注5)から問題に関係する箇所を局所的に抽出可能な全文検索システムを構築しました。また、問題に含まれる人名、出来事名、地名といった固有表現が問題を解く上での鍵となるため、固有表現や語彙の意味関係(注6)の辞書を知識源から半自動で情報抽出することで拡充しました。その上で、正誤判定問題を解くため、以下の手法により解答を生成しました。なお、正誤判定問題のほかに、穴埋め問題、出来事が起こった年代順を答える問題にも同じ手法を適用することができます。

(1)事実型質問応答技術の適用

正誤判定問題の誤文では、年代、国名、人名などの固有表現に誤りがあるケースが多くあります。誤りを検出するためには、解答群の選択肢の文に含まれる固有表現一つ一つを順番に空欄として扱うことで、穴埋め問題として捉えて事実型質問応答技術を適用することができます。今回、知識源における質問と回答の位置関係の凝集度を独自に定式化し、回答候補を精度良くスコアリングする手法を実装しています。

(2)照応解析を含めた、構文木の類似度評価

解答群の選択肢の文と教科書の文それぞれから生成した構文木の類似度を評価することで、文の構造の矛盾や反義語を検知し、正誤を判定します。ただし、教科書内の単文においては、主語、時間、場所などの省略や、代名詞による参照を含んでいるため、教科書の文をそのまま構文木に変換しても正しく類似度を評価できないこともあります。そのため、対象となる文の前に記述されている複数の文を参照し、省略の補完や、代名詞の参照先の解決を行う照応解析を組み込んでいます。また、構文木の類似度評価で判定できない場合には、含意関係認識により判定します。

(3)単語の共起確率

世界史におけるこの「出来事」ならこの「人物」といった固有表現のペアで記憶するという受験テクニックを取り入れ、解答群の選択肢に含まれる固有表現のペアが、教科書やWikipedia内で近接して現れる確率を算出することで、ペアとして現れやすい固有表現、現れにくい固有表現を判別し、正誤を判定します。

(4)アンサンブル学習による解答

各手法の不安定さを抑えるアンサンブル学習(注7)の効果を得る目的で、上記(1)〜(3)の3手法それぞれの解答から合議制で最終的な解答を導き出しました。

【今後の展開】

今回、既存の自然言語処理の手法をセンター試験の世界史に適応した形で再定式化し、これまでにない高得点を獲得することができました。ここで使用した世界史という特定ドメインへの適応の方策や手順などは、専門性が高い分野で精緻な情報が必要とされる場面において広く応用できると考えています。

一方で、過去問や模試での誤りを解析した結果、今回のアプローチ(知識源からの検索として解く手法)にも限界があることを感じており、さらに上を目指すには、より広い意味での常識や、きめ細やかな日本語運用能力などを備えた仕組みと組み合わせる必要があります。

日本ユニシス総合技術研究所では、会議室などコミュニケーションの場として利用される空間が、その場の雰囲気や会話の文脈を理解し、状況に応じた情報を提示することで会話の進展をサポートできる「空間プラットフォーム」の実現を目指しています。現在は、人間がコミュニケーションを取るときの前提として共有している常識的な背景知識や感覚(コモンセンス)を備えるAIとしての「コモンセンスAI」を基にして、空間内で人とAIとが自然なインタフェースを介して相互作用できる環境の研究開発を進めています。

今後は、会話の文脈を理解し、コミュニケーションの目的や内容に応じて、より専門性の高い精緻な知識や過去の正確な事象についての知識を備えるAIも必要となります。今回の取り組みで得られた研究成果とコモンセンスAIを融合させることで、空間プラットフォームの実現に一歩近づけることができると考えています。

■過去2年間の受験結果との得点比較(世界史B)

■問題・解答の例(正誤判定問題)