２．研究内容及び本成果の意義

本研究では、胸部CT画像と肺結節の形態的特徴に関する構造化情報を活用し、画像・質問・所見文を対応づけたデータセット（VQAデータセット）を構築しました。このデータセットを用いて視覚言語モデルを学習することで、CT画像に対して「形状は？」「内部構造は？」といった質問に応じて、肺結節の特徴を文章として生成する視覚的質問応答技術（Visual Question Answering: VQA）を実現しました（図２）。

図２：開発した視覚言語モデルによる応答例