基于多模态多示例学习的免疫介导性肾小球疾病自动分类方法

目的 探讨如何利用多模态深度学习方法,联合光学显微镜（OM）、免疫荧光显微镜（IM）及透射电子显微镜（TEM）对应的3种图像进行免疫介导性肾小球疾病分类。方法 基于273例患者的病理图像进行回顾性研究,构建多模态多示例模型对3种免疫介导性的肾小球疾病——免疫球蛋白A肾病（IgAN）、膜性肾病（MN）、狼疮性肾炎（LN）进行分类。该模型采用示例水平的多示例学习（I-MIL）方法挑选患者的TEM图像并与同一患者的OM图像和IM图像进行多模态特征融合。通过该模型与单模态、双模态模型的比较,探究3种模态之间的不同组合形式以及模态特征融合方式的特性。结果 联合OM、IM以及TEM图像建立的多模态多示例模型准确率为（88.34±2.12）%,优于准确率为（87.08±4.25）%的最优的单模态模型,以及准确率为（87.92±3.06）%的最优的双模态模型。结论 本研究成功建立基于OM、IM及TEM三种模态图像的多模态多示例模型,并验证了采用多示例学习结合多模态学习方法对免疫介导性肾小球疾病分类的有效性。