Integrated SKNet/Mobilenet V3 Classification of Mango Leaf Diseases and Infestations
-
摘要:目的 针对芒果叶片病虫害缺少数据集和识别准确率低的问题，筛选构建芒果叶片病虫害分类模型，以提高芒果叶病虫害分类准确率。方法 提出使用去噪扩散模型进行病虫害数据增强，同时联合SKNet与MobilenetV3模型的芒果叶片病虫害分类方法。首先使用去噪扩散模型对数据集进行扩充，再采用多尺度结构相似性指标对生成的病虫害图像与拍摄的病虫害图像之间的相似程度进行评估，接着对DDIM与DCGAN网络训练和生成效果进行比对。在MobilenetV3模型中，将SE注意力模块替换为SKNet模块进行构建网络模型。结果 使用DDIM生成的所有类型的病虫害图像与拍摄的病虫害图像的MS-SSIM指标均大于0.63，且都高于DCGAN。相较于其他注意力模块，联合SKNet与MobilenetV3的分类效果最佳，在98%以上。对添加CA、CBAM、ECA注意力模块进行平滑类激活图可视化，对比其他注意力模块，使用SKNet注意力分布区域更为集中在病虫害叶片上。结论 该方法在病虫害叶片检测上具有良好的应用前景，能提升病虫害识别效率与精度，减少检测成本，同时可应用于移动式或者嵌入式设备。
-
关键词:
- 芒果叶片 /
- 扩散概率模型 /
- Mobilenet /
- Selective Kernel Networks
Abstract:Objective Leaf diseases and infestations on mango trees were classified for database establishment and precision identification by combining the Mobilenet V3 model with Selective Kernel Network (SKNet).Method To improve the accuracy of disease and infestation classification on mango plants, data augmentation was firstly conducted. A denoising diffusion model was applied to expand the dataset followed by using a multi-scale structural similarity index to examine the similarity between the virtually generated and the camera-captured images of the diseases or infestations. Then, the training and generation effects of DDIM and DCGAN networks were compared. In the Mobilenet V3 model, the SE attention module was replaced with SKNet to construct the final platform.Results The MS-SSIM index of all types of DDIM images was greater than 0.63, which was higher than that of DCGAN. The classification accuracy of 98% delivered by merging SKNet with Mobilenet V3 was the best performance. Furthermore, combination of the two programs afforded more focus on the diseased leaves than did other smooth grade activation visualization by adding CA, CBAM, or ECA.Conclusion The newly developed classification method by integrating SKNet and Mobilenet V3 performed satisfactorily in distinguishing various diseased or infested mango leaves. The application not only significantly improved the efficiency and accuracy of disease identification but also reduced the epidemic monitoring costs by easily incorporating it with mobile or embedded devices.-
Keywords:
- Mango leaf /
- diffusion probability model /
- Mobilenet /
- Selective Kernel Networks
-
0. 引言
【研究意义】骨形态发生蛋白（Bone morphogenetic proteins，BMPs）家族除BMP1属于金属肽链内切酶家族外，其他均属于转化生长因子超家族。它们广泛存在，与两类特异受体结合组成信号传导通路诱导细胞内的一系列生理活动并参与生物体内多种功能，包括骨和喙的形成、羽毛发育、卵泡发育和癌症发生等[1-2]。检测骨形态发生蛋白在宿主细胞的表达水平能反应宿主的发育生长状态，在临床应用中有着重要的价值。【前人研究进展】研究发现，BMP家族蛋白除了均对骨骼发育起作用外，BMP1、4、6、8a和15还在哺乳动物卵巢发育及卵泡发生过程的阶段中起作用[3-7]；BMP家族蛋白基因还对动物体的发育有不同程度的调控作用，BMP2对胚胎心脏和羊膜发育起重要作用[8]，BMP5可在动物急性损伤中被激活，从而促进动物不同器官和组织的修复 [9]，BMP7和BMP8a在肾的发育[10]以及精子形成[6]的过程中有重要作用；BMP3在成骨组织的形成，对骨组织中的其他BMP具有拮抗作用[11]；BMP10主要表达于胚胎心脏发育，已证明可抑制多种癌症的发展[12-14]。目前，在人（Homo）[15]、大鼠（Rattus）[16]、麻羊（Capra hircus）[17]、军曹鱼（Rachycentron canadum）[18]、兔（Oryctolagus cuniculus）[19]等动物中均有构建部分BMP家族蛋白的SYBR Green Ⅰ 荧光定量RT-PCR的检测方法。基因的mRNA表达水平的检测方法包括实时荧光定量RT-PCR技术和转录组测序（RNA-seq），但目前最常用的方法是实时荧光定量RT-PCR，其优势在于可以更加简便、快速、准确地进行定量表达。【本研究切入点】而目前用SYBR Green Ⅰ 荧光定量RT-PCR方法测定鸭BMP家族蛋白mRNA表达水平还未见报道。【拟解决的关键问题】本研究旨在建立一种用于检测鸭BMPs蛋白mRNA表达水平的SYBR Green Ⅰ实时荧光定量RT-PCR方法，从而快速、精确检测鸭细胞和体内的BMPs蛋白mRNA转录水平，为BMPs蛋白的功能研究奠定基础。
1. 材料与方法
1.1 样本与细胞
无菌采集7日龄健康半番鸭心脏、肝脏、脾脏、肾脏、胸腺、法氏囊、上喙、肌肉组织，分别称量100 mg，加入1 mL Trizol后用高通量组织研磨仪研磨捣碎，提取RNA，−70 ℃保存备用；大肠杆菌DH5α感受态细胞购自北京全式金生物技术有限公司；鸭胚成纤维细胞传代细胞系（DEFs）购自美国ATCC细胞库。
1.2 主要试剂
SYBR Green Ⅰ qPCR MIX和RNA提取试剂盒及RNA纯化试剂盒购自北京全式金生物技术有限公司，RT-PCR反转录试剂盒、胶回收试剂盒和Phanta Max Super-Fidelity DNA Polymerase均购自南京诺唯赞生物科技有限公司，DNase购自天根生化科技（北京）有限公司，质粒小提试剂盒购自QIAGEN公司，pMD-18-T载体购自宝生物工程（大连）有限公司，2×Dream Taq Green PCR Master Mix购自赛默飞世尔科技（中国）有限公司。
1.3 引物设计与合成
根据GenBank登录的鸭BMP1、BMP2、BMP3、BMP4、BMP5、BMP6、BMP7、BMP8a、BMP10和BMP15基因序列，应用Oligo 6软件，分别设计一对特异性的引物（表1），均由生工生物工程（上海）股份有限公司合成。
表 1 BMP基因的扩增引物Table 1. BMP amplification primers引物名称
Primer name引物序列（5′-3′）
Primer sequence扩增长度
Amplification length/bp参考序列编号
GenBank No.BMP1-F CTTGAAGATGGAGCCGGAG 182 XM038166990 BMP1-R TGTCTCCTTTGCTCAGCCTC BMP2-F CCACGAAGAAGTTTTGGAAG
CTGTTGTTCTCAAAGGCTCC156 XM027453308 BMP2-R BMP3-F ATGAACTTCTGATCGGTGTC 170 XM038178529 BMP3-R GACCCTTGTCAGAGGATTAC BMP4-F CCACCATGAAGAGCACCTGG
TTTATCCGGTGGAAGCCCCT180 XM038179087 BMP4-R BMP5-F CCCAACAGGGATGCAGACTT
ACTTCGACCGTCCCCAGTTT165 XM038177391 BMP5-R BMP6-F CAAACAGATCCTCTGACCTG
TTTACACTGAAACCGTCCTG169 XM027451601 BMP6-R BMP7-F AAAGCATAGACGGGCAAAGC
TTTGGATCGATTCTGGCTCC167 XM005010474 BMP7-R BMP8a-F GCACCCTGCACATCAGCATC
AGCCCATCATCCGTCTCCAC202 XM038167176 BMP8a-R BMP10-F TCCTGGACTTGGAGAACCTG 181 XM038167140 BMP10-R GAATCCCAGCCAATCTCCTT BMP15-F ACGCCGTGGTGCAGAACTTGGT 157 XM027465364 BMP15-R CAGGACTCTGCGATCATGTTCT 1.4 cDNA样品的制备
用总RNA提取试剂盒按操作说明书分别提取鸭DEFs细胞的总RNA，提取的RNA经DNase消化后，用RNA纯化试剂盒纯化，溶于35 μL DEPC水，用于合成cDNA。按20 μL反应体系：总RNA 1 μg，5×Super Mix 4 μL，gDNA Remove 1 μL，加水补至20 μL，按说明书反应程序50 ℃ 5 min、85 ℃ 2 min，合成cDNA后用于PCR扩增及荧光定量PCR检测，剩余的cDNA放置于−20 ℃保存备用。
1.5 标准品的制备
用引物做常规PCR扩增组织样品基因，回收PCR产物，经试剂盒纯化后连接入pMD-18-T载体，转化至DH5α大肠杆菌，提取阳性质粒经PCR鉴定和通过序列测定分析验证后，测定DNA浓度，按公式计算标准品的拷贝数，以10倍系列稀释质粒标准品到下限至10−1 拷贝·μL−1。
1.6 标准曲线的建立
以10倍稀释好的标准品为模板，使用SYBR Green I荧光定量PCR法进行测定。反应体系：SYBR Green Ⅰ Real-time PCR Master Mix 10 μL，上游/下游引物各0.5 μL，模板1 μL，ddH2O 8 μL。
1.7 特异性和敏感性试验
应用1.4制备的cDNA样品，用常规PCR和荧光定量PCR验证所设计的BMP家族蛋白qPCR引物的特异性，对PCR产物进行核酸凝胶电泳及荧光定量PCR产物的熔解曲线进行分析，对扩增产物进行测序分析；将101～103 拷贝·μL−1的阳性标准质粒作为模板，其qPCR的Ct值变异系数均小于1%的样本最低浓度即为检出限。
1.8 重复性试验
分别用所建立的qPCR方法检测半番鸭脾脏组织样品BMP家族蛋白的mRNA表达水平，组间、组内各进行3次重复性试验，并计算变异系数。
1.9 组织样品的BMPs基因荧光定量PCR检测
无菌采集3只雏半番鸭心脏、肝脏、脾脏、肾脏、胸腺、法氏囊、喙和肌肉等组织，用总RNA提取试剂盒提取的组织RNA，用DNase去除基因组DNA后进行反转录合成cDNA，按照已确定的反应条件进行荧光定量PCR，计算各组织中BMPs基因的拷贝数，并进行统计分析。
2. 结果与分析
2.1 标准阳性质粒的制备
由DEFs细胞提取的总RNA经反转录成cDNA后，用表1中的特异性引物对BMP1、BMP2、BMP3、BMP4、BMP5、BMP6、BMP7、BMP8a、BMP10和BMP15基因进行PCR扩增，3%琼脂糖凝胶电泳得到与目的片段大小一致的产物，大小介于156～202 bp（图1）。产物回收后与pMD-18-T载体连接，并转化DH5α感受态细胞。经PCR及测序鉴定，与预期结果一致。重组质粒DNA的测序结果表明，插入片段与原始片段的序列同源性为100%，表明成功构建了质粒标准品。
![]()
图 1 BMPs基因PCR扩增结果M：DNA DL 500 相对分子质量标准；1～10分别为BMP1、BMP2、BMP3、BMP4、BMP5、BMP6、BMP7、BMP8a、BMP10和BMP15。Figure 1. PCR amplification of BMPsM: DL500 DNA marker; 1-10: BMP1, BMP2, BMP3, BMP4, BMP5, BMP6, BMP7, BMP8a, BMP10, and BMP15, respectively.2.2 荧光定量PCR检测
以10倍梯度稀释的质粒标准品为模板进行qPCR，得到BMP1、BMP2、BMP3、BMP4、BMP5、BMP6、BMP7、BMP8a、BMP10和BMP15的扩增曲线（图2）、标准曲线（图3）及熔解曲线（图4）。结果表明，标准品起始模板浓度与Ct值呈现良好的线性关系，相关系数均达到0.998以上，熔解曲线扩增产物形成单一的特异性熔解峰。
![]()
图 2 BMP基因的SYBR Green I荧光定量PCR扩增曲线A：1～6分别为6.03×108～6.03×103 copies·μL−1，7为DEPC水；B：1～6分别为6.41×108～6.41×103 copies·μL−1，7为DEPC水；C：1～6分别为1.73×108～1.73×103 copies·μL−1，7为DEPC水；D：1～6分别为6.22×107～6.22×102 copies·μL−1，7为DEPC水；E：1～6分别为1.84×108～1.84×103 copies·μL−1，7为DEPC水；F：1～6分别为1.85×107～1.85×102 copies·μL−1，7为DEPC水；G：1～6分别为1.49×107～1.49×102 copies·μL−1，7为DEPC水；H：1～6分别为7.01×107～7.01×102 copies·μL−1，7为DEPC水；I：1～6分别为6.03×108～6.03×103 copies·μL−1，7为DEPC水；J：1～6分别为2.86×107～2.86×102 copies·μL−1，7为DEPC水。Figure 2. Amplification curves of BMPs by SYBR Green I qRT-PCRA: 1–6 represent 6.03×108–6.03×103 copies·μL−1, respectively, 7 represents DEPC water; B: 1–6 represent 6.41×108–6.41×103 copies·μL−1, respectively, 7 represents DEPC water; C: 1–6 represent 1.73×108–1.73×103 copies·μL−1, respectively, 7 represents DEPC water; D: 1–6 represent 6.22×107–6.22×102 copies·μL−1, respectively, 7 represents DEPC water; E: 1–6 represent 1.84×108–1.84×103 copies·μL−1, respectively, 7 represents DEPC water; F: 1–6 represent 1.85×107–1.85×102 copies·μL−1, respectively, 7 represents DEPC water; G: 1–6 represent 1.49×107–1.49×102 copies·μL−1, respectively, 7 represents DEPC water; H: 1–6 represent 7.01×107–7.01×102 copies·μL−1, respectively, 7 represents DEPC water; I: 1–6 represent 6.03×108–6.03×103 copies·μL−1, respectively, 7 represents DEPC water; J: 1–6 represent 2.86×107–2.86×102 copies·μL−1, respectively, 7 represents DEPC water.![]()
图 3 BMP基因SYBR Green I荧光定量PCR的标准曲线Figure 3. Standard curves of BMPs by SYBR Green I qRT-PCR![]()
图 4 BMP基因SYBR Green I荧光定量PCR的熔解曲线Figure 4. Melting curves of BMPs by SYBR Green I qRT-PCR2.3 特异性试验
应用所设计的10个BMP家族基因引物对鸭胚成纤维细胞样品进行常规PCR扩增，仅出现单条带；应用引物进行qPCR检测，熔解曲线为单峰，无杂峰（图4），且扩增测序结果与对应目的基因的同源性为100%，表明本研究设计的引物特异性好。
2.4 敏感性检测
取含量为101～103 拷贝·μL−1阳性标准重组质粒作为模板，每个样品组内重复3次，进行qPCR检测，计算各不同浓度样品的Ct值（
¯x±SD ）。结果（表2）表明，BMP1、BMP2、BMP3、BMP4、BMP5、BMP6、BMP7、BMP8a、BMP10和BMP15的检测下限分别为6.03×102、6.41×102、1.73×102、6.22×102、1.84×102、1.85×102、1.49×102、7.01×102、1.34×102、2.86×102 拷贝·μL−1。表 2 实时荧光定量PCR敏感性检测Table 2. Sensitivity of qRT-PCR assay基因
Gene质粒浓度
Concentration of
plasmid standard /
(拷贝·μL−1)Ct值(¯x±SD)
Ct value (¯x±SD)变异系数
Coefficient of
variation/%BMP1 6.03×103 26.48±0.05 0.18 6.03×102 29.94±0.10 0.33 6.03×101 33.63±0.56 1.67 BMP2 6.41×103 28.93±0.03 0.11 6.41×102 32.36±0.23 0.71 6.41×101 33.97±0.62 1.83 BMP3 1.73×103 26.11±0.03 0.12 1.73×102 29.40±0.21 0.72 1.73×101 33.10±0.72 2.20 BMP4 6.22×103 29.07±0.10 0.34 6.22×102 32.09±0.10 0.34 6.22×101 33.94±0.55 1.64 BMP5 1.84×103 28.38±0.16 0.58 1.84×102 30.10±0.24 0.82 1.84×101 31.17±0.42 1.36 BMP6 1.85×103 28.45±0.02 0.08 1.85×102 31.92±0.09 0.27 1.85×101 36.35±0.46 1.28 BMP7 1.49×103 29.39±0.07 0.25 1.49×102 32.72±0.10 0.31 1.49×101 36.30±0.58 1.59 BMP8a 7.01×103 26.44±0.04 0.15 7.01×102 30.10±0.07 0.24 7.01×101 33.98±0.48 1.41 BMP10 1.34×104 24.53±0.07 0.31 1.34×102 27.43±0.18 0.68 1.34×101 30.44±0.53 1.74 BMP15 2.86×103 28.11±0.07 0.23 2.86×102 32.14±0.19 0.58 2.86×101 35.93±0.80 2.23 2.5 重复性试验
将采集的半番鸭脾脏用所建立的方法分别对BMP1、BMP2、BMP3、BMP4、BMP5、BMP6、BMP7、BMP8a、BMP10和BMP15进行重复性试验，计算变异系数，结果（表3）表示，组内变异系数为0.06%～0.28%，组间变异系数为0.32%～0.74%，变异系数均小于1%，表明重复性良好。
表 3 荧光定量PCR重复性试验结果Table 3. Reproducibility of qRT-PCR assay基因
Gene组内重复性试验Ct值
The Ct values of intra-assay组间重复性试验Ct值
The Ct values of inter-assay平均值±标准差
Means ± SD变异系数
CV/%平均值±标准差
Means ± SD变异系数
CV/%BMP1 20.19±0.02 0.12 20.04±0.08 0.42 BMP2 26.71±0.03 0.11 26.90±0.19 0.69 BMP3 28.88±0.08 0.28 28.79±0.12 0.41 BMP4 29.20±0.08 0.28 29.32±0.16 0.56 BMP5 31.06±0.06 0.20 31.37±0.23 0.72 BMP6 26.87±0.04 0.13 26.81±0.20 0.74 BMP7 23.40±0.03 0.12 23.52±0.11 0.47 BMP8a 32.14±0.07 0.22 32.11±0.19 0.60 BMP10 27.81±0.07 0.24 27.69±0.18 0.65 BMP15 25.13±0.01 0.06 25.17±0.08 0.32 2.6 组织样品BMPs表达水平的qRT-PCR检测
提取半番鸭中各个组织RNA，反转录后进行荧光定量PCR检测，计算BMPs基因的拷贝值。结果（图5）表明，所检测的基因在心脏、肝脏、脾脏、肾脏、胸腺、法氏囊、上喙、肌肉中均有表达。BMP1、BMP2、BMP5和BMP7基因在心脏中表达量较高，分别为5.5×104、1.1×105、5.1×105和7.7×105 拷贝·μL−1；BMP6和BMP10基因在肝脏中表达量较高，分别为7.5×104、7.6×103 拷贝·μL−1；而BMP3、BMP4、BMP8a和BMP15分别在法氏囊、胸腺、喙和脾脏中表达量较高，分别为1.5×105、2.1×104、1.8×103和3.3×103 拷贝·μL−1。
![]()
图 5 荧光定量PCR检测不同组织中BMPs表达量Figure 5. Expressions of BMPs in different tissues detected by qRT-PCR3. 讨论
目前为止，已确定的BMP家族成员约20个，但对于鸭BMP蛋白功能应用的研究较少。BMPs通过其分子的抗原决定簇与细胞表面的BMP Ⅰ型受体和Ⅱ型受体结合形成异源三聚体复合物，其中BMP配体与BMP Ⅱ型受体结合，使其氨基酸残基发生次磷酸化，激活Ⅱ型受体并磷酸化 Ⅰ 型受体的GS区（Glycine and serine-rich domain），激活 Ⅰ 型受体，并进一步将信号传递给细胞内的Smad蛋白。通过激活受体调节型Smad蛋白（Receptor regulate smad，R-smad）将信号传递至胞浆内，再和共同调节型Smad蛋白（Common mediator smad，Co-smad）结合后转移至细胞核，与靶基因结合诱导BMP蛋白合成[2, 20-21]，参与诸如中胚层形成、神经系统分化、软骨、牙齿、骨骼发育以及癌症发生等许多重要的生物学过程。
通过本研究建立的qRT-PCR检测方法进行检测，发现鸭BMPs基因在已检测的8个组织中均有表达并呈现出一定的差异性。总体来看，BMP1～BMP7基因在各组织中拷贝量高于BMP8a、BMP10和BMP15基因；BMP1、BMP2、BMP5和BMP7基因在心脏中检测表达量较高，BMP6和BMP10基因在肝脏中的表达量较高，而BMP3、BMP4、BMP8a和BMP15基因分别在法氏囊、胸腺、喙和脾脏中的检出量最高。Somi等[20]发现通过抑制BMP2、4、5、6、7蛋白的合成，会导致体外培养的鸡心肌细胞的形成数量下降，证明BMP蛋白对鸡心肌形成至关重要；Huang等[22]发现BMP4基因具有调节人CD4+ T细胞中的糖酵解和干扰素γ的产生的机制； Wang等[23]确定BMP6是内皮细胞与肝细胞间串扰的主要调节因子，并进一步影响小鼠体内游离铁离子的调节代谢，BMPs基因还有可能参与调控鸭的繁殖生长、疾病产生和发展等方面，具体有待深入研究探讨。
SYBR Green Ⅰ实时荧光定量PCR技术相较于TaqMan实时RT-PCR的检测方法，成本低、无需设计探针；相较于常规PCR，减少了复杂的加样和电泳步骤，能够有效缩短样品的检测时间。本研究所设计的BMPs引物在常规PCR扩增出156～202 bp目的片段，均为单一条带，且无引物二聚体，荧光定量PCR所检测出的熔解曲线均为单峰，表明设计的引物特异性强；所绘制的标准曲线相关系数R2均大于0.998，组内变异系数为0.06%～0.28%，组间变异系数为0.32%～0.74%，均小于1%，表明该方法建立的标准曲线线性拟合度高，重复性良好，可以快速、精确、简便检测样品中BMPs的mRNA表达量。本研究建立的检测方法还可以通过同步检测BMPs和内参基因，得到BMPs mRNA的相对表达水平，为明确BMP家族蛋白在组织和细胞间的表达差异以及致病过程中BMP家族蛋白的表达机制研究奠定基础。
综上，本研究建立的鸭BMP家族蛋白mRNA转录水平的SYBR Green Ⅰ实时荧光定量RT-PCR检测方法特异性高、敏感性强、重复性好，可研究鸭不同组织和细胞中BMPs的差异，为检测鸭BMPs表达水平提供了技术手段。
-
![]()
图 3 融合SKNet的bneck模型结构
⊕：元素相加运算；⊗：元素相乘运算。
Figure 3. SKNet-integrated bneck model
⊕: Element-wise addition; ⊗: element-wise multiplication.
![]()
图 7 迭代次数0~80下数据增强前后损失值与准确率
Figure 7. Loss and accuracy before and after data augmentation over Epochs 0–80
![]()
图 8 原始图像集（上）、DCGAN数据增强（中）、DDIM数据增强（下）分类混淆矩阵
Figure 8. Classification confusion matrix on original (top), DCGAN data augmented (middle), and DDIM data augmented (bottom) image sets
![]()
图 9 不同注意力模块的MobilenetV3模型平滑类激活图
Figure 9. Smooth Grad-CAM of Mobilenet V3 model introduced with different attention modules
表 1 MobilenetV3模型结构
Table 1 Structure of Mobilenet V3
输入尺寸
Input shape操作算子
Operation扩展尺寸
Expand size输出通道
Output channelSE模块
SE module激活函数
Activation function步长
Stride2242 conv2d,3×3 — 16 — HS 2 1122×16 bneck,3×3 16 16 √ RE 2 562×16 bneck,3×3 72 24 — RE 2 282×24 bneck,3×3 88 24 — RE 1 282×24 bneck,5×5 96 40 √ HS 2 142×40 bneck,5×5 240 40 √ HS 1 142×40 bneck,5×5 240 40 √ HS 1 142×40 bneck,5×5 120 48 √ HS 1 142×48 bneck,5×5 144 48 √ HS 1 142×48 bneck,5×5 288 96 √ HS 2 72×96 bneck,5×5 576 96 √ HS 1 72×96 bneck,5×5 576 96 √ HS 1 72×96 conv2d,1×1 — 576 √ HS 1 72×576 pool,7×7 — — — — 1 12×576 conv2d1×1,NBN — 1280 — HS 1 12× 1024 conv2d1×1,NBN — 7 — — 1 conv2d—二维卷积；bneck—瓶颈模块；pool—池化层；NBN—不使用批量归一化；HS—硬切线激活函数；RE—修正线性单元；√—使用SE模块。
conv2d: 2D convolution; bneck: bottleneck module; pool: pooling layer; NBN: no batch normalization; HS: hard swish activation function; RE: ReLU (rectified linear unit); √: SE module applied.
下载: 导出CSV
表 2 图片生成前后数据量比较
Table 2 Data volumes before and after image generation
类型
Type原始图数量
Original dataset增强后图像数量
Augmented dataset炭疽病
Colletotrichum gloeosporioides320 1800 细菌性角斑病
Xanthomonas campestris pv. mangiferaeindicae324 1800 切叶象甲 Myllocerus viridanus 320 1800 枯萎病 Fusarium oxysporum 320 1800 瘿蚊 Erosomyia mangiferae 544 1800 白粉病 Oidium mangiferae 320 1800 煤污病 Capnodium mangiferae 320 1800
下载: 导出CSV
表 3 DDIM与DCGAN网络模型训练指标对比
Table 3 Network model training metrics of DDIM and DCGAN
指标 Index DDIM DCGAN 模型大小 Model size/MB 117 89 训练时间 Training time /h 48 36 收敛速度(训练轮次) Convergence speed (epochs) 19 57 训练中损失函数的标准偏差 Standard deviation 0.05 0.15 总耗时 Total time/s 392.6 457.2
下载: 导出CSV
表 4 生成的病虫害图像与拍摄的病虫害图像MS-SSIM值
Table 4 MS-SSIM values on virtually generated and camera-captured images of diseased leaves
图像类型 Image type DDIM DCGAN 炭疽病 Colletotrichum gloeosporioides 0.6312 0.5992 细菌性角斑病
Xanthomonas campestris pv. mangiferaeindicae0.7298 0.6912 切叶象甲 Myllocerus viridanus 0.6754 0.6413 枯萎病 Fusarium oxysporum 0.7123 0.6805 瘿蚊 Erosomyia mangiferae 0.7459 0.6990 白粉病 Oidium mangiferae 0.7211 0.6853 煤污病 Capnodium mangiferae 0.6671 0.6396
下载: 导出CSV
表 5 引入注意力模块的MobilenetV3模型试验对比
Table 5 Experimental results on Mobilenet V3 model introduced with attention modules
算法
Algorithm准确率
Accuracy/%参数量
Params/M乘加运算数
MACs/GMobilenetV3(SE) 97.24 2.54 0.06 MobilenetV3+CA 95.75 2.18 0.06 MobilenetV3+CBAM 97.69 2.59 0.09 MobilenetV3+ECA 97.51 2.08 0.06 MobilenetV3+SKNet 98.21 2.58 0.06
下载: 导出CSV
-
[1] 杨芝霓. 芒果主要采后病害的病原鉴定及炭疽病的生物防治[D]. 南宁: 广西大学. YANG Z N. Pathogen identification of mango post havest disease and biological control of anthracnose[D]. Nanning: Guangxi University. (in Chinese)
[2] 秦丰, 刘东霞, 孙炳达, 等. 基于图像处理技术的四种苜蓿叶部病害的识别 [J]. 中国农业大学学报, 2016, 21(10):65−75. QIN F, LIU D X, SUN B D, et al. Recognition of four different alfalfa leaf diseases based on image processing technology [J]. Journal of China Agricultural University, 2016, 21(10): 65−75. (in Chinese)
[3] 柴阿丽, 李宝聚, 石延霞, 等. 基于计算机视觉技术的番茄叶部病害识别 [J]. 园艺学报, 2010, 37(9):1423−1430. CHAI A L, LI B J, SHI Y X, et al. Recognition of tomato foliage disease based on computer vision technology [J]. Acta Horticulturae Sinica, 2010, 37(9): 1423−1430. (in Chinese)
[4] SHI B Z, ZHOU X L, QIN Z K, et al. Corn ear quality recognition based on DCGAN data enhancement and transfer learning[C]//The 4th International Conference on Electronics, Communications and Control Engineering. Seoul Republic of Korea. ACM, 2021.
[5] AZIZI S, KORNBLITH S, SAHARIA C, et al. Synthetic data from diffusion models improves imagenet classification [J]. arXiv preprint arXiv:2304.08466, 2023.
[6] 哈马友吉, 任万春, 张秤, 等. 基于轻量级网络MobileNet V2的二极管玻壳缺陷识别 [J]. 传感器与微系统, 2022, 41(4):153−155,160. HAMA Y J, REN W C, ZHANG C, et al. Defect recognition of diode glass shells based on lightweight network MobileNet V2 [J]. Transducer and Microsystem Technologies, 2022, 41(4): 153−155,160. (in Chinese)
[7] 王志强, 于雪莹, 杨晓婧, 等. 基于WGAN和MCA-MobileNet的番茄叶片病害识别 [J]. 农业机械学报, 2023, 54(5):244−252. WANG Z Q, YU X Y, YANG X J, et al. Tomato leaf diseases recognition based on WGAN and MCA-MobileNet [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(5): 244−252. (in Chinese)
[8] LI X, WANG W H, HU X L, et al. Selective kernel networks[J]. IEEE, 2020. DOI: 10.1109/CVPR.2019.00060.
[9] AHMED S I, IBRAHIM M, NADIM M, et al. MangoLeafBD: A comprehensive image dataset to classify diseased and healthy mango leaves [J]. Data in Brief, 2023, 47: 108941. DOI: 10.1016/j.dib.2023.108941
[10] ZHANG Q S, TAO M L, CHEN Y X. gDDIM: Generalized denoising diffusion implicit models [J]. arXiv preprint arXiv: 2206.05564v1, 2022.
[11] 闫志浩, 周长兵, 李小翠. 生成扩散模型研究综述 [J]. 计算机科学, 2024, 51(1):273−283. YAN Z H, ZHOU C B, LI X C. Survey on generative diffusion model [J]. Computer Science, 2024, 51(1): 273−283. (in Chinese)
[12] WANG Z, SIMONCELLI E P, BOVIK A C. Multiscale structural similarity for image quality assessment[C]//The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003. Pacific Grove, CA, USA. IEEE, 2003: 1398-1402.
[13] HOWARD A G, ZHU M L, CHEN B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications [J]. arXiv preprint arXiv:1704.04861, 2017.
[14] SANDLER M, HOWARD A, ZHU M L, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23, 2018. Salt Lake City, UT. IEEE, 2018: 4510-4520.
[15] HOWARD A, SANDLER M, CHEN B, et al. Searching for MobileNetV3[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). October 27-November 2, 2019. Seoul, Korea (South). IEEE, 2019: 1314-1324.
[16] 刘勇国, 高攀, 兰荻, 等. ECA-SKNet: 玉米单倍体种子的卷积神经网络识别模型 [J]. 电子科技大学学报, 2023, 52(6):866−871. LIU Y G, GAO P, LAN D, et al. ECA-SKNet: Convolutional neural network identification model for corn haploid seeds [J]. Journal of University of Electronic Science and Technology of China, 2023, 52(6): 866−871. (in Chinese)
[17] 何翔. 基于DCGANs的半片光伏组件电致发光图像增强技术 [J]. 应用光学, 2023, 44(2):314−322. DOI: 10.5768/JAO202344.0202003 HE X. Electroluminescence image enhancement technology of half-cut photovoltaic module based on DCGANs [J]. Journal of Applied Optics, 2023, 44(2): 314−322. (in Chinese) DOI: 10.5768/JAO202344.0202003
[18] HOU Q B, ZHOU D Q, FENG J S. Coordinate attention for efficient mobile network design[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 20-25, 2021. Nashville, TN, USA. IEEE, 2021: 13713−13722.
[19] WANG Q L, WU B G, ZHU P F, et al. ECA-net: Efficient channel attention for deep convolutional neural networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 13-19, 2020. Seattle, WA, USA. IEEE, 2020: 11534-11542.
[20] WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[M]//Computer Vision – ECCV 2018. Cham: Springer International Publishing, 2018: 3-19.
计量
- 文章访问数: 195
- HTML全文浏览量: 75
- PDF下载量: 50
