Author：Fusa Haruno
Affiliation：Okayama University of Science
Abstract：日本の産業動物獣医療領域におけるLLMの診断性能を体系的に評価し、今後のモデル開発のベースラインを把握することを目的とした研究。産業動物臨床学QA（知識量評価）と産業動物臨床Clinic（臨床推論能力評価）の2種類のベンチマークを提案し、既存モデルの性能を評価した。評価の結果、一部のオープンソースモデル（例：Llama-4-Scout）は、知識量評価では高い正答率（79.2％）を示した一方で、対話型臨床推論能力は低く（6.7％）、診断性能の低さは単なる知識不足だけでなく、対話的臨床推論能力の制約に起因する可能性が示唆された。

 

Publication related to this research
（Domestic conference/workshop）

• Haruno Fusa, Chonho Lee, Yasunori Shinozuka, Sakuei Onishi, Hiromitsu Shiina, "日本の産業動物獣医学分野におけるオープンソース大規模言語モデルの評価", 人工知能学会全国大会（第40回）.

 

（Etc）

• Haruno Fusa, Chonho Lee, Yasunori Shinozuka, Sakuei Onishi, Kanshin Fusa, and Hiromitsu Shiina, "A Systematic Evaluation Framework for Large Language Models in Japanese Farm Animal Clinical Medicine", ICAIHE 2026に投稿済（査読中）.