基于深度卷积神经网络的番茄主要器官分类识别方法-周云成.pdf

《基于深度卷积神经网络的番茄主要器官分类识别方法-周云成.pdf》由会员分享，可在线阅读，更多相关《基于深度卷积神经网络的番茄主要器官分类识别方法-周云成.pdf（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 33 卷 第 15 期 农 业 工 程 学 报 Vol.33 No.15 2017 年 8月 Transactions of the Chinese Society of Agricultural Engineering Aug. 2017 219 基于深度卷积神经网络的番茄主要器官分类识别方法周云成，许童羽，郑 伟，邓寒冰 （沈阳农业大学信息与电气工程学院，沈阳 100866） 摘 要： 为实现番茄不同器官的快速、准确检测，提出一种基于深度卷积神经网络的番茄主要器官分类识别方法。在VGGNet 基础上，通过结构优化调整，构建了 10 种番茄器官分类网络模型，在番茄器官图像数据集上，应用多

2、种数据增广技术对网络进行训练，测试结果表明各网络的分类错误率均低于 6.392%。综合考虑分类性能和速度，优选出一种 8 层网络用于番茄主要器官特征提取与表达。用筛选出的 8 层网络作为基本结构，设计了一种番茄主要器官检测器，结合Selective Search 算法生成番茄器官候选检测区域。通过对番茄植株图像进行检测识别，试验结果表明，该检测器对果、花、茎的检测平均精度分别为 81.64%、 84.48%和 53.94%，能够同时对不同成熟度的果和不同花龄的花进行有效识别，且在检测速度和精度上优于 R-CNN 和 Fast R-CNN。 关键词： 目标识别；图像处理；像素；番茄器官；深度卷积

3、神经网络；数据增广；深度学习 doi： 10.11975/j.issn.1002-6819.2017.15.028 中图分类号： TP183 文献标志码： A 文章编号： 1002-6819(2017)-15-0219-08 周云成，许童羽，郑 伟，邓寒冰. 基于深度卷积神经网络的番茄主要器官分类识别方法 J. 农 业工程学报，2017，33(15)：219226. doi： 10.11975/j.issn.1002-6819.2017.15.028 http:/www.tcsae.org Zhou Yuncheng, Xu Tongyu, Zhen Wei, Deng Hanbing. Cl

4、assification and recognition approaches of tomato main organs based on DCNNJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 219226. (in Chinese with English abstract) doi： 10.11975/j.issn.1002-6819.2017.15.028 http:/www.tcsae.org 0 引 言从植株图像

5、中检测出番茄的主要器官（花、果、茎、叶）是典型的目标识别问题，其对病虫害检测、靶向施药、日光温室场景理解，以及智能农机的发展都具有重要意义。利用颜色空间的差异进行图像分割是常采用的传统目标识别方法之一。文献 1-2利用成熟番茄与背景颜色特征的差异，通过阈值分割的方法识别红色成熟番茄，但这种方法无法识别未成熟果。文献 3通过分析番茄植株图像的 HIS 颜色空间分布特性，用 Otsu 分割算法突出红色吊蔓绳区域来间接识别番茄的主茎杆，该方法需要借助于红色吊蔓绳，有一定的制约性。用过滤器算子提取图像低等级特征后再用分类器分类是另一种传统目标识别方法。 Haar4、 HOG5、 Sift6等是一些常用

6、的过滤器算子。文献 7用 Haar-like 提取成熟番茄的非颜色编码特征， 结合 AdaBoost 算法构建识别成熟番茄的分类器。文献 8提出一种融合 Harris 和 Sift 算法的荔枝采摘点计算与立体匹配方案。过滤器结合分类器的目标识别方法需要人工选择过滤器算子，算子类型和数量的选择需要结合大量的试验测试，适用性往往受到抑制。番茄器官，特别是果和花，其形态多样、颜色变化丰富、重叠遮挡严重、环境背景复杂，用传统方法识别的技术难度较大，收稿日期： 2017-03-06 修订日期： 2017-07-25 基金项目：辽宁省科学事业公益研究基金（ 2016004001） ；国家自然科学基金（ 3

7、1601218） 作者简介：周云成，男，安徽阜阳人，副教授，博士，主要从事机器学习在农业信息处理中的应用研究。沈阳 沈阳农业大学信息与电气工程学院，100866。 Email： 且很难用一种方法同时识别所有类型的器官。 近年来发展起来的深度卷积神经网络（ deep convolutional neural network, Deep CNN, DCNN）是一种新的目标分类识别方法。 该方法能够实现自动化的图像特征提取，与分类识别过程融为一体，并通过数据实现自我学习。国内外学者在 DCNN 的基本理论9、分类网络10-15与识别网络16-20设计，以及大规模图像处理的应用21上开展了相关研究，

8、取得了长足进展。 DCNN在图像处理领域正得到越来越广泛的应用22。 文献 23用视频分析方法提取奶牛躯干图像作为 DCNN 的输入来识别奶牛的个体身份。 Ouyang 等设计了具有多分辨率图像输入的 DCNN 来分类浮游生物24。文献 25用约简的 AlexNet10识别茶园主要害虫。文献 26设计了一个 7 层结构的 CNN 网络，用于鲜茶叶智能分选系统的茶叶等级筛选。文献 27结合 CNN 和支持向量机（ support vector machine, SVM）提出一种适用于空心村高分影像的建筑物自动化检测方法。这些研究表明CNN 在图像多类型目标的分类识别中具有很好的适用性，克服了传统

9、方法的不足。 为同时实现番茄不同器官的快速、准确检测，本文借鉴 Fast R-CNN18， 提出 1 种基于 DCNN 的番茄器官分类识别方法。考虑番茄器官形态多样性，在不同环境光条件下采集番茄主要器官和植株图像，构建训练样本。基于 VGGNet13，以 top-1 错误率为判据，通过优化调整网络结构及输入图像维度，同时利用避免网络过拟合的数据增广（ data augmentation）技术，设计、训练、筛选高性能分类网络。以筛选出的分类网络为基础，将其卷万方数据农业工程学报（ http:/www.tcsae.org） 2017 年 220 积部分用于番茄植株图像的特征提取与表达，建立番茄器官

10、检测器，并通过检测试验检验本文方法的有效性。 1 番茄图像采集 图像数据采集自沈阳农业大学实验基地日光温室，主要采集番茄的花、果、茎、叶 4 类图像。为了将番茄植株和器官同环境背景区别开，采集温室背景环境（温室建筑、土壤等）作为第 5 类图像。使用高清摄像机和本文开发的快速图像获取程序采集图像，共采集 30 000幅 5 种类型的 RGB 图像，用于网络的训练和测试。为降低训练样本的多样性不足导致的网络过拟合的概率，图像采集过程中采取了一些措施：考虑温室环境光条件的不同造成的成像结果的差异，分别在晴朗天气和阴天分时段采样；采样时考虑番茄器官的不同形态、遮挡情况，以果实部分为例，分别对不同果形、

11、不同成熟度的果，从多个角度进行成像，以增加样本的多样性。同时采集 了 1 000 幅番茄植株图像，用于识别网络的训练和测试。 2 基于 VGGNet 的番茄器官分类网络 网络变得更深是深度学习的本质24，理论上，增加网络的宽度和深度，可提高网络的学习能力。尽管加深网络层次已成为通用的方法，但随着深度的增加，网络的训练成本也大幅增加，且有研究表明当网络增加到一定层数后，再增加深度，性能反而降低14。因此，为设计 1 个实用的番茄器官分类网络，需要结合理论分析和大量的试验验证。 2.1 VGGNet 网络架构 VGGNet 是 DCNN 的典型代表，其 33 小卷积核的设计思想使得网络的参数更少，

12、 且在具有 1 000 个分类的大规模图像数据集 ImageNet21的分类和定位上的适用性已得到了充分的验证，因此许多网络均以此为基础进行设计。图 1是含 16 个权重层的 VGGNet 网络结构（ VGG-16）。 注： conv3-64 等表示卷积核大小为 33，通道数为 64 的卷积层，下同； pool,/2 表示滑动步长为 2 pixel 的池化层； FC-4 096 等表示通道数为 4 096 的全连接层，下同。 Note: conv3-64 and so on indicate some convolutional layers with 33 convolution kerne

13、l and 64 channels, the same below; pool,/2 represents 2 pixel sliding step pooling layer; FC-4 096 and so on means the fully-connected layers with 4 096 channels, the same below. 图 1 16 个权重层的 VGGNet 网络架构 Fig.1 16 weight layers VGGNet architecture VGGNet 的输入为 224224 pixel 的 RGB 图像， 图像经过网络的处理，输出其属于每个类

14、别的概率。 VGGNet架构总体上由 5个用于特征映射和降维的池化层分隔成 6部分（ 6 组），其中前 5 组分别由多个卷积核大小为 33的卷积层构成， 第 6 组为 3 个全连接 （ fully-connected, FC）层。 VGGNet 的每个卷积层卷积操作的滑动步长（ stride）固定为 1 pixel，并通过边界填充（ padding）来保持输入 /输出数据维数（宽高）不变。 5 组卷积层的通道数从 64开始，后一组的数量是上一组的 2 倍，直至扩大到 512。VGGNet 的池化层均采用最大池化（ max-pool），池化窗口大小为 22。 3 个 FC 层的通道数分别为 4

15、096、 4 096和 1 000，第 3 个 FC 层的 1 000 个出口（ way）分别表示1 幅图像属于每个类别的得分。 VGGNet 的最后一层为soft-max 层，用于将得分转化为图像属于每个类别的概率。在 VGGNet 中，除池化层外，每个隐层后都设置 1个修正线性单元（ ReLU）做非线性变换，以加快网络收敛速度。 2.2 基于 VGGNet 的番茄器官分类网络配置 将 VGG-16 直接用于番茄器官特征提取与分类有许多不适用的地方。首先番茄的果、花在植株图像上的成像通常较小，因此选择 128128 pixel 和 6464 pixel 两种规格的 RGB 图像作为网络输入，

16、并通过后续试验选择适宜大小。针对番茄花、果、茎、叶及背景图像的 5 分类问题， 将 VGGNet 的第 3 个 FC 层的神经元数量 （通道数）调整为 5 个。 VGG-16 的权重参数达 65 M13，是为解决类似 ImageNet 这种大规模图像任务而设计的 DCNN，其训练和应用过程中的计算量庞大。番茄器官的分类识别在类型和样本数量上都远小于 ImageNet。为提高计算效率，在保持 VGGNet 基本架构不变的前提下，本文通过调整 VGG-16 的网络深度和宽度，配置了 10 种类型的番茄器官分类网络（表 1），通过后续试验选择高性能的网络，每种网络需训练的参数数量如表 2。 VGGN

17、et 的权重参数主要集中在 FC 层。 表 2 说明，随着网络深度的增加，网络参数的数量逐渐增加，但增加的幅度要远小于通过增加网络的宽度带来的参数增加量。 3 番茄器官分类网络的训练与分析 3.1 图像数据增广与预处理 表 1 中网络需要 128128 或 6464 pixel 大小的输入图像，由于番茄器官样本图像大小不同，在输入前，要对读入的每幅图像进行预处理。在预处理中，除了将图万方数据第 15 期 周云成等：基于深度卷积神经网络的番茄主要器官分类识别方法 221 像缩放 /裁剪为合适的大小，还需要利用数据增广技术来降低网络过拟合的风险。数据增广是指在保持图像数据类型（标签）不变的前提下，

18、对原图像进行各种变换，以增加样本的多样性。 表 1 基于 VGGNet 的 10 种分类网络配置 Table 1 10 kinds of network configurations based on VGGNet 网络配置 Network configurations 网络名称 Network name Conv1 Pool1 Conv2 Pool2 Conv3 Pool3 Conv4 Pool4 Conv5 Pool5 FC1 FC2 FC3 输出Output权重层数Weightlayers I conv3-64 max-pool conv3-128 max-pool conv3-256

19、max-pool conv3-512 max-pool - - FC-4096 FC-4096 FC-5 soft-max 7 II conv3-64 max-pool conv3-128 max-pool conv3-256 max-pool conv3-512 max-pool conv3-512 max-pool FC-4096 FC-4096 FC-5 soft-max 8 III conv3-64 max-pool conv3-128 max-pool conv3-256 2 max-poolconv3-5122 max-poolconv3-5122 max-pool FC-4096

20、 FC-4096 FC-5 soft-max 11 IV conv3-64 2 max-pool conv3-128 2 max-pool conv3-256 2 max-poolconv3-5122 max-poolconv3-5122 max-pool FC-4096 FC-4096 FC-5 soft-max 13 V conv3-64 2 max-pool conv3-128 2 max-pool conv3-256 3 max-poolconv3-5123 max-poolconv3-5123 max-pool FC-4096 FC-4096 FC-5 soft-max 16 VI

21、conv3-64 2 max-pool conv3-128 2 max-pool conv3-256 4 max-poolconv3-5124 max-poolconv3-5124 max-pool FC-4096 FC-4096 FC-5 soft-max 19 VII conv3-32 max-pool conv3-64 max-pool conv3-128 max-pool conv3-256 max-pool conv3-256 max-pool FC-2048 FC-2048 FC-5 soft-max 8 VIII conv3-16 max-pool conv3-32 max-po

22、ol conv3-64 max-pool conv3-128 max-pool conv3-128 max-pool FC-1024 FC-1024 FC-5 soft-max 8 IX conv3-8 max-pool conv3-16 max-pool conv3-32 max-pool conv3-64 max-pool conv3-64 max-pool FC-512 FC-512 FC-5 soft-max 8 X conv3-4 max-pool conv3-8 max-pool conv3-16 max-pool conv3-32 max-pool conv3-32 max-po

23、ol FC-256 FC-256 FC-5 soft-max 8 注： Conv1Conv5 表示第 1第 5 组卷积层； Pool1Pool5 表示第 1第 5 个池化层； FC1FC3 表示第 1第 3 个全连接层， 下同； conv3-64 2 等表示 2 层 conv3-64。 Note: Conv1-Conv5 represent 1st to 5th convolutional layer groups; Pool1-Pool5 represent 1st to 5th pooling layers; FC1-FC3 represent 1st to 3rd fully-conne

24、cted layers, and the same below; conv3-64 2 and so on represent 2 conv3-64 layers. 表 2 网络参数的数量 Table 2 Number of network parameters 分类网络 Classification network/M 输入大小 Input size I II III IV V VI VII VIII IX X 128128 pixel 51.902 54.261 59.570 59.754 65.063 70.371 13.571 3.396 0.880 0.213 6464 pixel

25、26.372 29.096 34.404 34.588 39.897 45.205 7.279 1.823 0.487 0.115 本文首先采用的数据增广方法是对原图像随机旋转一定角度（ 0 180）形成新的图像。番茄器官图像采集过程中虽然考虑了样本形态、角度等的多样性，但番茄的花、果、叶生长以及成像的角度具有随机性。通过对原图像进行随机角度旋转，可部分消除样本多样性不足的问题。 采用的第 2 种数据增广方法是平移和水平翻转图像。针对输入尺寸为 128128 pixel 的网络， 将矩形图像进行等比例缩放，使其短边长为 150 pixel，然后从缩放后的图像中随机裁剪 128128 pixel

26、 的块作为结果， 同时对裁剪结果做随机水平翻转。经过这种处理，会使训练样本数量进一步增加。对输入尺寸为 6464 pixel 的网络，首先将图像等比例缩放到短边长为 75 pixel，其余处理方法相同。 采用的另一种数据增广方法是改变图像 RGB 通道的强度10。由于光照强度和颜色的变化对成像结果有很大影响，采用这种方法，可在一定程度上消除光环境的影响。具体做法是通过对图像的 RGB 像素值做主成分分析（ PCA），然后对图像中的每个像素T,RGBxy xy xy xyI III= ，添加一个随机倍数的主成分。 T123 112233, , ,ppp （ 1） 式中 pi和 i分别为图像 RG

27、B 像素值的 33 协方差矩阵的特征向量和特征值， i是一个随机变量， i的随机性符合平均值为 0，标准偏差为 0.1 的高斯随机分布10。 由于成像传感器噪声、通道传输误差等，图像噪声难以避免，一定程度上影响了图像的特征提取。因此，除数据增广外，图像在输入网络之前还需要进行去噪处理，本文采用的图像去噪方法为中值滤波。 3.2 网络训练方法 采用带动量因子 （ momentum） 的小批量 （ mini-batch）随机梯度下降法（ stochastic gradient descent, SGD）对网络进行训练。每一小批量样本的数量为 128，动量因子设置为固定值 0.915。权重的初始化影

28、响网络的收敛速度，本文采用均值为 0、标准偏差为 0.01 的高斯分布为网络所有层的权重进行随机初始化13，所有卷积层和全连接层的偏置（ bias）均初始化为 0。对网络中的所有层采用相同的学习速率， 初始学习速率设置为 10-2， 训练过程中，当验证集的分类精度停止增加的时候，则降低学习速率，降低的方式是将学习速率变为当前速率的 1/10，直至通过调整学习速率不再提高分类精度为止。 在微软开源的深度学习计算框架 CNTK2.028基础上，利用 BrainScript 编写了针对表 1 不同网络配置的程序脚本，在一台配有 4 个 Intel Xeon E7-4820 CPU、 1 个Tesla

29、 K40 GPU 和 128 GB 内存的计算机上开展相关试验研究。 3.3 试验结果与分析 用采集的 5 分类 30 000 幅番茄器官图像数据作为样本， 其中训练集 20 000 幅， 验证集 5 000 幅， 测试集 5 000万方数据农业工程学报（ http:/www.tcsae.org） 2017 年 222 幅，针对表 1 中 10 种网络的 2 种输入规格，开展相关试验。借鉴 ILSVRC 的评判标准，使用 top-1 错误率（ top-1 error rate，指没有被网络正确分类的图像的比例）评价各个网络的性能，结果如表 3。 表 3 2 种输入规格下 10 种网络的分类性能

30、 Table 3 Classification performance of 10 networks under 2 input image size top-1 错误率 top-1 error rates /% 分类网络 Classification network 128128 pixel 6464 pixel I 0.595 0.446 II 0.297 0.557 III 0.446 0.483 IV 0.483 0.409 V 1.189 0.706 VI 1.70 0.929 VII 0.446 0.780 VIII 1.003 1.449 IX 1.747 3.344 X 5.1

31、28 6.392 由表 3 可知， 10 种网络都具有较高的分类性能，对输入尺寸为 128128 pixel 的图像，网络 II 具有最高的分类精度，网络 X 的性能最差。针对番茄器官样本，在网络宽度相同的前提下，当 CNN 网络层数较少时，适当增加网络的层数，可提高网络的分类性能，如网络 II 的精度要高于网络 I。但当继续增加深度时，网络的性能反而有所下降。这可能是由于随着网络深度的增加，前面卷积层的输出特征在向后传递过程中，部分特征被抑制15，影响了全连接层的分类效果。 在网络深度相同（网络 II、 VII、 VIII、 IX、 X）的前提下，当增加网络的宽度时，其分类性能有所提高。当宽

32、度增加时，每个卷积层的卷积核数量也会增加，使其可以从输入图像中提取更多的特征，即特征提取更加充分，进而提高网络的分类性能。 从表 3 可以看出，针对 2 种网络输入尺寸，当网络的层数较多（网络 IV、 V、 VI）时， 6464 pixel 的图像输入比 128128 pixel 的输入具有较高的分类性能。这可能是由于在图像缩放过程中，小尺寸的图像抑制了更多的图像噪声，尽管图像在输入网络之前进行了中值滤波，但这种方法并不能滤掉所有图像噪声。当网络较浅或网络的宽度较小 （网络 II、 VII、 VIII、 IX、 X） 时， 128128 pixel的输入具有更高的分类性能。这是因为输入为 12

33、8 128 pixel 的网络经最后一个池化层输出的特征数量是输入为 6464 pixel 网络的 4 倍。 据此推测， 对于 CNN 来说，深度网络可能对输入图像的噪声敏感，而浅层网络对输入图像的尺寸敏感。 4 番茄器官的检测识别 番茄器官的识别可通过在一幅植株图像中定位并分割出器官（待检测目标）的矩形边界（候选区域），然后用检测器（识别网络）对候选区域内的图像进行特征提取和分类（检测）的方法实现。 4.1 候选区域选择方法 候选区域选择方法是在整幅番茄植株图像中确定待检测目标边界的方法。候选区域的选择方法和选择数量与目标检测过程中的特征提取的计算量相关，是影响目标检测性能的关键因素之一。本

34、文采用 Selective Search (SS)29作为番茄主要器官候选检测区域的生成方法。 SS采用层次算法对图像进行像素级分割，形成小的区域，然后基于图像低等级特征（颜色、纹理、大小等）对小区域进行合并， 生成高质量的、 指定数量的目标候选矩形区域，该方法在 PASCAL 目标检测中取得了良好的效果29， 能够克服传统滑动窗技术生成大量候选区域、检测过程计算量巨大的问题。 4.2 番茄器官识别网络的设计与训练 4.2.1 识别网络设计 如果直接将前文的番茄器官分类网络用于从植株图像中识别番茄主要器官，需要根据 Selective Search 算法生成的目标候选区域，从植株图像中裁剪出每

35、个区域图像，然后缩放为分类网络所需大小，送入分类网络进行分类识别，这也是 R-CNN17的实现方式。这种方式需要对每个区域图像分别进行单独的卷积操作，存在大量冗余计算，检测速度慢。本文参考 Fast R-CNN，用 RoI（ Region of Interesting） pooling 取代分类网络的最后一个池化层，设计出番茄主要器官识别网络（检测器），命名为 TD-Net（图 2 所示）。这种改进使得检测器只需对整幅植株图像进行一次连续卷积操作，可实现端到端的训练与测试。 图 2 基于 Fast R-CNN 的番茄主要器官检测器（ TD-Net）架构 Fig.2 Tomato main or

36、gans detector (TD-Net) architecture based on Fast R-CNN 万方数据第 15 期 周云成等：基于深度卷积神经网络的番茄主要器官分类识别方法 223 TD-Net 通过卷积 -池化层对输入的整幅图像进行特征提取，生成特征图（ feature map, fm），并用 Selective Search 算法生成大量候选区域，如图 2 中的 1 个矩形候选区域覆盖了植株图像中的花。 RoI pooling 层根据候选区域到 fm 的坐标投影，从 fm 上提取各个候选区域特征，并归一化为 HW 大小固定的输出特征，经由 FC层和 soft-max 构成

37、的分类器分类，实现每个候选区域的分类识别。 分类性能高的 CNN 网络，说明其具有强的特征提取和表达能力。表 3 数据表明输入大小为 128128 pixel 的具有 8 层权重参数的网络 II 具有最高的分类性能，且与权重层数较多的网络 III、 IV、 V、 VI 比较，权重参数相对较少、计算量较小，因此 TD-Net 选择网络 II 作为其基本结构，用 RoI pooling 替换网络 II 的最后一个池化层，并将输出维度 HW 设置为 44。 由于植株形态的原因，在番茄植株图像中，相互簇拥的叶片是图像中的主要部分，为了有效检测出果、花、茎主要器官，将叶片和植株生长环境背景作为果、花、茎

38、检测的背景，即 TD-Net 需要识别 4 个分类（背景、果、花、茎）。据此将 TD-Net 网络的第 3 个全连接层 FC3 的神经元数量设置为 4，其余 2 个全连接层保持不变，这种处理方法也可以降低人工标注训练和测试样本的工作量。 4.2.2 TD-Net 的训练 随机选择 800 幅番茄植株图像作为训练集。通过人工对每幅图像进行标注，圈选出果、花、茎的真实区域（ ground truth regions, GTRs），并标注区域类别。利用Selective Search 方法为每幅图像生成 1500 个左右的目标候选区域（ object region proposals, ORPs）。

39、利用 IoU（ intersection over union） 指标衡量 ORP和 GTR的吻合程度。 ORP GTRIoUORP GTR=IU（ 2） 式中 IoU 表示 ORP 和 GTR 的交集面积比上其并集面积。 如果某个 ORP 和所有 GTRs 的最大 IoU 0.5，则该ORP 被标记为对应 GTR 内的对象类别（正例）。如果ORP 和 GTRs 的最大 IoU0.2，则该 ORP 被标记为背景（负例）。为每幅图像选择 256 个 ORPs，其中正例占比不少于 25%，其余为负例。由植株图像、图像对应的 256个 ORPs 及其类别标记构成训练样本，用于训练 TD-Net检测器

40、。 由于 TD-Net 继承了网络 II 的基本结构，对 TD-Net的训练相对简单。已完成训练的网络 II 的卷积层能够提取图像特征， 因此 TD-Net 的卷积部分共享网络 II 的卷积层的权重参数，全连接层 FC1 和 FC2 利用网络 II 的对应全连接层进行初始化， FC3 利用均值为 0 标准偏差为 0.01的高斯随机分布进行初始化，偏置初始化为 0，并在训练中对各层参数进行微调。 本文采用 2 种方案微调 TD-Net：A 方案直接将已训练的网络 II 用于 TD-Net 的初始化； B方案将植株图像的 ORPs 的正、 负例区域图像截取出来混入网络 II 的训练样本，继续对网络

41、 II 进行训练，利用再训练的网络 II 初始化 TD-Net。 TD-Net 的训练超参数采用与 3.2 节相同的配置。经过 20 代（ epochs）迭代， A、 B方案训练的 TD-Net 的训练损失均收敛到稳定值。为比对本文方法的有效性， 同时利用相同样本， 按文献 16、 18方法分别训练 R-CNN 和 Fast R-CNN 两种检测网络，其中 Fast R-CNN 采用 VGG-16 作为基础网络结构。训练与测试环境与 3.2 相同。 4.3 识别测试与分析 同样用手工方式对由 200 幅番茄植株图像构成的测试样本进行标注，圈出 GTRs 并标注对应类别，采用Selective

42、Search 为每张图像生成 1 500 个左右的 ORPs。将图像及 ORPs作为 TD-Net的输入， TD-Net通过 soft-max层输出该图像的每个 ORP 分别属于背景、花、果、茎的概率， 其中花、 果、 茎概率高的 ORPs 即为目标所在区域。 图像中的同一个目标可能被 ORPs 中的一个或多个区域完全或部分覆盖，需要对 ORPs 进行合并，以获得检测目标的数量和精确位置。采用非最大值抑制（ non-maximum suppression， NMS）30算法对 ORPs 进行合并。 NMS 的基本思想是：如果多个 ORPs 相交，则选择得分最高的 ORP 作为最后结果，其他 O

43、RPs 与该 ORP的 IoU 如果高于一定阈值（本文为 0.5），则被抑制；如候选区域与其他区域不相交，则直接将该区域作为最终结果。经 NMS 算法合并后的 ORPs 是本文方法的最终检测结果，记为 LRs。 利用文献 31的平均精度（ average precision, AP）和mAP（ mean AP）指标来评价番茄器官的检测效果。在计算 AP 时， 需要获取 LRs 的真实类别。 基于测试集的 GTRs获得 LRs 的真实类别，当 LR 与 GTRs 的最大 IoU 0.5时， LR 的真实类别与对应 GTR 相同。用 Selective Search方法在测试集上生成相同的候选区域

44、后，分别用 TD-Net和上文训练的 R-CNN、 Fast R-CNN对测试样本进行检测，结果如表 4。 表 4 番茄器官检测速度及平均精度 Table 4 Tomato organ test detection average precision and test rate 检测网络Detection network 训练方案Training program 检测速度 Test rate/ (sim-1) 果 Tomato /% 花 Flower /% 茎 Stem/% 类别平均精度 mAP/%A 0.357 80.68 82.46 49.68 70.94 TD-Net B 0.357 8

45、1.64 84.48 53.94 73.35 R-CNN - 3.546 67.24 74.50 32.05 57.93 Fast R-CNN - 0.782 77.27 74.96 42.43 64.89 表 4 数据表明，与 R-CNN 和 Fast R-CNN 相比，TD-Net 在果、花、茎器官的检测上具有更高的精度和速度，对果、花、茎的检测平均精度分别为 81.64%、 84.48%和 53.94%。 TD-Net 参考 Fast R-CNN， 都使用了 RoI pooling层，不同尺寸和纵横比的候选区域被其池化为统一尺度的特征，且全连接层经大量样本微调后，对不同尺度的候选区域具有

46、一定的鲁棒性，而 R-CNN 的训练样本为番茄器官图像，图像尺度多样性相对较小，因此 TD-Net 和Fast R-CNN 的识别精度均高于 R-CNN。 TD-Net 使用分类精度更高的网络 II 作为基础网络， Fast R-CNN 使用VGG-16（表 1 中网络 V）作为基础网络，分类精度低于万方数据农业工程学报（ http:/www.tcsae.org） 2017 年 224 网络 II， 因此 TD-Net的检测精度优于 Fast R-CNN。 R-CNN需要对每个候选区域分别执行卷积操作，因此 R-CNN 的检测速度远低于 TD-Net 和 Fast R-CNN。同时 TD-Ne

47、t 的卷积层数少于 Fast R-CNN， 因此 TD-Net 的检测速度也要高于 Fast R-CNN。 试验结果同时说明，用 B 方案训练的 TD-Net 比 A 方案的类别平均精度（ mAP）提高 2.41%，说明增大样本量可进一步提高 CNN 的特征提取能力，进而提高 TD-Net的检测性能。 TD-Net 对花的检测效果最好，茎的检测效果最差。由于花的颜色、纹理较单一，易于提取特征。不同成熟度的果颜色差异较大，对果的特征的提取主要以形态轮廓为主。茎的生长形态具有随机性， Selective Search 生成的茎的 ORPs 和人工标注的 GTRs 吻合程度要小于果和花，因此在计算茎

48、的 AP 时，一些被检出的茎的 ORPs 被误认为背景，导致茎的 AP 较低，但从 TD-Net 检测结果（图 3） 来看， 本文方法生成的番茄器官候选检测区域 （图3 中紫色方框）能较好的覆盖植株图像中的主要器官，检测出方框内器官的类型及概率 （图 3中的 flower: 0.96等） ，由检测结果可知，器官的检测概率均大于 0.86，说明TD-Net 可有效分类识别出候选区域内的器官类型。该检测器能够对不同成熟度的果和不同花龄的花进行有效检测。 注：紫色方框表示检测器检测到的目标所在区域， flower: 0.96 等表示方框内为花的概率为 96%。 Note: The purple box indicates the target area detected by the detector