Semi-Supervised Audio Transformers for Non-Invasive Welfare Monitoring in Pig Farming: A BEATs-Based Approach

方法

BEATs音频Transformer两阶段微调，加伪标签半监督学习。

发现

二阶段微调使异常叫声识别达94.9%，但跨月与跨源泛化下降。

机会点

可研究跨农场跨季节域适应与多模态融合，提升音频福利监测泛化性。

本研究提出了一种用于商业育肥猪舍的非侵入式声学监测框架。该框架分两步进行：模型I将猪（Sus scrofa）的叫声与猪舍噪声分离，模型II将保留的叫声分类为警报性或非警报性。两个模型均将BEATs音频变换器适配于1秒音频片段，并分为两个阶段。在第一阶段，仅在有标注数据上训练分类头，编码器保持冻结。在第二阶段，对整个网络进行微调，并将来自无标注录音的高置信度、类别平衡的伪标签加入有标注数据。在五折交叉验证中，第二阶段将猪检测的准确率从93.0%提升至96.5%，将警报性叫声的准确率从88.0%提升至94.9%。在留出测试集上，两个模型分别达到95.7%和94.5%，优于基于MFCC的分类器和微调后的HuBERT模型。在训练期间未见过的录音月份上，准确率降至约85%（模型I）和87%（模型II），且仅基于单一数据源（养殖场或公开数据）训练的模型无法迁移至另一数据源。消融实验将第二阶段的大部分增益归因于编码器微调而非伪标签。在对15个自动标记事件的回顾性评估中，两名兽医分别确认60.0%和73.3%为警报性事件。在两人共同评估的11个事件上，兽医间一致率为81.8%，Cohen's kappa为0.42。因此，该框架被提出作为一种经过离线验证的片段级决策支持工具，用于引导专家关注被标记的时段，而非作为实时警报系统。