Benchmarking Local Vision-Language Models and Knowledge-Graph-Assisted Differential Diagnosis of Plant Diseases

方法

26814张图像、Qwen3-Embedding-8B检索投票、Neo4j知识图

发现

硬投票提升全部模型准确率，混合检索问答模拟准确率达97.27%。

机会点

可探索真实田间条件下的诊断鲁棒性，及症状描述生成与知识图谱的端到端可解释优化。

基于图像的植物病害诊断因症状重叠和成像条件多变而变得复杂。我们评估了六个可本地部署的视觉语言模型（VLM）作为可检索症状描述生成器的性能，并将所选模型与知识图谱辅助的鉴别诊断相集成。数据集包含26,814张图像，涵盖22种病害，其中21,441张为参考图像，5,373张为内部评估图像。症状描述使用Qwen3-Embedding-8B进行嵌入，并通过同寄主参考病例间的Top-1检索、软投票和硬投票进行评估。硬投票提升了全部六个VLM的内部准确率。Qwen3.5-35B-A3B在K = 19时达到68.94%的准确率和66.33%的宏F1值，而仅使用图像、寄主和允许病害标签进行直接分类的基线方法（无检索）准确率为40.87%，宏F1值为46.25%。所选VLM与Neo4j知识图谱集成于AI Plant Doctor第2版中。在使用440张图像平衡子集和完整、与真实标注一致的回答进行的理想化问答模拟中，仅GraphRAG和混合检索辅助工作流的准确率分别为74.55%和97.27%。这些数值并非田间诊断准确率的估计值。这一模块化且可解释的框架为植物病害决策支持提供了有前景的基础，可通过AI Plant Doctor第2版获取，网址为https://pdoc.scnu.ac.kr/pdoc2。