Multimodal ai in smart agriculture for crop disease detection

方法

CNN/视觉Transformer提取图像特征，RNN/LSTM建模时序环境数据

发现

多模态融合可弥补单靠叶片图像无法解释病害环境成因的不足，但尚无实验精度结果。

机会点

可实证验证多模态融合相对单模态的增益，并探索低成本边缘部署与可解释告警。

作物病害会降低农业生产力，若症状发现较晚，还可能造成重大经济损失。基于图像的深度学习已改进了自动化病害识别，但仅凭叶片图像可能无法解释促成病害发展的环境条件。本文提出一个有理据支撑的智慧农业多模态人工智能（AI）概念框架，将作物图像与传感器读数、天气信息、土壤测量数据以及（在可获得时）遥感数据相结合。该框架主要受Shrotriya等人用于多模态棉花植株病害检测的CNN–RNN集成方法启发，该方法融合了空间图像特征与时间环境模式。卷积神经网络（CNN）或视觉Transformer提取视觉症状，而循环神经网络（RNN/LSTM）对序列测量数据进行建模。编码后的各模态在病害分类及可选的严重程度估计之前进行对齐与融合。所提出的流程还包括置信度报告、可解释输出和面向农户的警报。有关遥感分析、节能AI、土壤与灌溉综合建议以及AIoT数据管理的相关研究为更广泛的系统设计提供了参考。本文是提出的框架与文献综合，而非新开展实验的报告；因此，不主张任何原创准确率结果。本文讨论了方法、评估方案、局限性以及低成本部署的机会。关键词：多模态AI，作物病害检测，CNN，RNN，集成学习，智慧农业