氏名：大倉 史生
所属：情報科学研究科
概要：近年，画像とテキストを統合的に扱うことができる大規模視覚言語モデル（LVLM）が急速に発展している．しかし，言語的な事前知識や文脈だけでは正解できない，視覚情報に基づいた推論が求められる視覚中心タスクが依然として大きな課題となっている．視覚中心タスクの精度向上を目指す既存手法は，モデル拡張や大規模データ収集を伴う場合があり，さらに，特定の視覚能力に焦点を当てるため汎用性に乏しい．加えて，既存研究では，LVLMの視覚エンコーダが視覚タスク遂行に十分な情報を抽出しているにもかかわらず，言語側である大規模言語モデル（LLM）がその情報を十分に活用できずに言語情報や事前知識に過度に依存して誤った推論を行う傾向があることが指摘されている．そこで本研究では，自然言語による記述が困難な複雑な幾何学図形からなる合成データセットを用いて学習を行う手法を提案する．本データセットのタスクは，LLMが視覚情報をより深く活用する能力を高めることを目的とし，複数の画像を注意深く観察・比較しなければ解けないように設計されている．また，学習時には，幾何学図形のみの学習による実画像処理能力の低下を抑えるため，実画像データセットを一定の比率で混合して学習する．複数のオープンウェイトモデルによる評価実験の結果，提案手法で学習したモデルは，実画像のみで学習したモデルと比較して，視覚中心タスクに特化したベンチマークで高精度を示した．さらに，アブレーション実験により，視覚側を学習対象とするよりもLLM側を学習させる方が効果的であることを確認した．これらの結果から，提案する合成データがLVLMの基礎的な視覚推論能力を底上げするうえで有効であることを実証した．