Author：Kuniaki Saito
Affiliation：OMRON SINICX
Abstract：本研究では、特定領域の知識（特定知）に適応可能なマルチモーダル基盤モデルの構築を目的とする。近年の視覚言語モデル（VLM）は汎用的な理解能力を有する一方で、医療、製造、農業などの専門領域においては知識不足や誤認識（ハルシネーション）が顕著であり、実応用における信頼性に課題がある。

本研究では、大規模な汎用マルチモーダルモデルを基盤としつつ、特定知への適応を実現するための学習・推論フレームワークを提案する。具体的には、(1) 専門領域データに基づく効率的な適応手法（軽量ファインチューニングやプロンプト学習）、(2) 外部知識ベースや構造化情報を活用した知識統合、(3) 出力の信頼性を評価・制御するためのアラインメントおよびハルシネーション検出機構の導入、を行う。

さらに、複数の専門領域にまたがる評価ベンチマークを構築し、モデルの汎用性と専門性の両立を定量的に検証する。これにより、実世界の高度な意思決定支援に資する、高信頼なマルチモーダル基盤モデルの実現を目指す。

 

Publication related to this research
（Etc）

• Kuniaki Saito, Risa Shinoda, Shohei Tanaka, Tosho Hirasawa, Fumio Okura, Yoshitaka Ushiku, "HalDec-Bench: Benchmarking Hallucination Detector in Image Captioning", arXiv:2511.20515, Mar. 2026.