2022年用于知识蒸馏的网络训练方法、装置、介质与电子设备的制作方法 .pdf

《2022年用于知识蒸馏的网络训练方法、装置、介质与电子设备的制作方法 .pdf》由会员分享，可在线阅读，更多相关《2022年用于知识蒸馏的网络训练方法、装置、介质与电子设备的制作方法 .pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、本公开提供了一种用于知识蒸馏的网络训练方法、装置、存储介质与电子设备，涉及人工智能技术 领域。该方法包括：将样本数据输入教师网络，获得所述样本数据对应的软标签数据，将所述样本数据输入学生网络，获得所述样本数据对应的预测数据；基于所述预测数据、所述软标签数据和所述样本数据对应的硬标签数据，构建损失函数；根据所述损失函数更新所述教师网络中的参数和所述学生网络中的参数。本公开可以对教师网络和学生网络同步训练，降低学生网络对于教师网络的依赖度，提高学生网络的训练效果，并且可以加速训练过程，提高效率。技术要求1.一种用于知识蒸馏的网络训练方法，其特征在于，包括：将样本数据输入教师网络，获得所述样本数据对

2、应的软标签数据，将所述样本数据输入学生网络，获得所述样本数据对应的预测数据；基于所述预测数据、所述软标签数据和所述样本数据对应的硬标签数据，构建损失函数；根据所述损失函数更新所述教师网络中的参数和所述学生网络中的参数。2.根据权利要求1所述的方法，其特征在于，所述软标签数据包括通过所述教师网络对所述样本数据进行分类得到的第一概率数据，所述预测数据包括通过所分类得到的第二概率数据。3.根据权利要求1所述的方法，其特征在于，所述基于所述预测数据、所述软标签数据和所述样本数据对应的硬标签数据，构建损失函数，包括：根据所述预测数据和所述硬标签数据，构建第一子损失；根据所述预测数据和所述软标签数据，构建

3、第二子损失；根据所述第一子损失和所述第二子损失，确定所述损失函数。4.根据权利要求3所述的方法，其特征在于，所述样本数据包括正样本；所述根据所述预测数据和所述软标签数据，构建第二子损失，包括：根据所述正样本对应的预测数据和所述正样本对应的软标签数据，构建所述第二子损失。5.根据权利要求4所述的方法，其特征在于，所述根据所述损失函数更新所述教师网络中的参数和所述学生网络中的参数，包括：根据所述损失函数和所述正样本对应的预测数据，更新所述学生网络中的参数；根据所述损失函数和所述正样本对应的软标签数据，更新所述教师网络中的参数。6.根据权利要求5所述的方法，其特征在于，所述正样本对应的预测数据包括对

4、所述正样本的学生预测值和所述学生预测值对应的概率；所述根据所述损失函据，更新所述学生网络中的参数，包括：根据所述损失函数对所述学生预测值的梯度，更新所述学生网络中的参数，使所述学生预测值对应的概率趋近于1。7.根据权利要求6所述的方法，其特征在于，所述正样本对应的软标签数据包括对所述正样本的教师预测值和所述教师预测值对应的概率，所述根据所述损失更新所述学生网络中的参数，使所述学生预测值对应的概率趋近于1，包括：根据所述损失函数对所述学生预测值的梯度，以及所述学生预测值和所述教师预测值之间的误差，更新所述学生网络中的参数，使所述学生预测值对应的概的概率。8.根据权利要求6所述的方法，其特征在于，

5、所述根据所述损失函数和所述正样本对应的软标签数据，更新所述教师网络中的参数，包括：根据所述损失函数对所述教师预测值的梯度，更新所述教师网络中的参数，使所述教师预测值对应的概率趋近于1。名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 9 页 -9.根据权利要求1所述的方法，其特征在于，所述损失函数为：其中，L为所述损失函数，i表示所述硬标签数据的类别，yi为第i类硬标签数据，为第i类硬标签数据对应的预测数据，为第i类硬标签数据对应的数，min(yi)1-pA(x1)，pT(x1)1-pT(x1)；(8)y(x2)0；(9)名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共

6、 9 页 -pA(x2)1-pA(x2)，pT(x2)1-pT(x2)；(10)其中，x1为第一类正样本，x2为第二类正样本，y(x1)为x1对应的硬标签数据，y(x2)为x2对应的硬标签数据，pA(x1)为x1对应的预测数据，pA(x2)为x2网络正确分类的负标签(0)样本数据。基于此，可以根据pA(x1)和pT(x1)分别计算第一梯度和第二梯度的下降，以分别更新学生网络和教师网络中的参数，使p别计算第一梯度和第二梯度的下降，以分别更新学生网络和教师网络中的参数，使pA(x2)趋近于pT(x2)和y(x2)，且pT(x2)趋近于pA(x2)和y(x2)。其中，pT(x1)为x1对应的软标签数

7、据，pT(x2)为x2对应的软标签数据。需要说明的是，上述两个步骤分别是在x1和x2上进行的调整，可以是相互独立的步骤。述。在第一梯度下降的过程中，学生网络主要做两点调整：逐渐增大pA(x1)，使其趋近于y(x1)(即1)；使pA(x1)逐渐趋近于pT(x1)，即希望学生网络逐渐拟合教师网在第二梯度下降的过程中，教师网络主要是在x1上逐渐增大pT(x1)，使pT(x1)逐渐趋近于y(x1)(即1)，同时也逐渐拟合pA(x1)。教师网络所采用的第二梯度为对数函数，相比于学生网络，教师网络在梯度下降的过程中较为稳定，其调整量小于学生网络，这符合知识蒸馏本身的原理。越高，教师网络接受到的监督信息越来

8、越精确，反过来也会给学生网络提供越来越准确的监督信息。在一种可选的实施方式中，可以将交叉熵形式的误差进一步优化，以体现出在各个类别样本上的信息。基于此，损失函数可以表示如下：其中，各项参数的含义与损失函数(1)中基本相同，需要注意的是，此处的i表示硬标签数据的类别，yi为第i类硬标签数据，为第i类硬标签数据对应的在硬标签数据的最大值与最小值之间，即满足min(yi)max(yi)，例如当硬标签数据为0或1时，满足01，且通常是值较小的正数，防止误差值在负例损失，且a和c中至少一个不为0，即损失函数包含第一和第三子损失的至少一个。通过上述损失函数(11)，在训练网络的过程中，损失函数每次都针对于

9、拟合程度较差的样本类别(如正例或负例)进行优化，而不仅仅是优化正例样本，最终在在一种可选的实施方式中，也可以采用损失函数(11)的变化形式，参考图3所示，在通过教师网络(Teacher Network)和学生网络(Apprentice Network)处理样本数数据(通常是全连接层的输出)分别为zT和zA，可以和温度参数T一起进行Softmax计算，即知识蒸馏的处理过程，得到软标签数据pT，教师网络实际的输出为进行Softmax计算得到预测数据pA，zA进行常规Softmax计算后输出数据qA。因此，可以基于pT、qT、pA、qA以及硬标签数据(HardLabel)y计算损失函数Loss换而言

10、之，第一和第三子损失中的用于拟合的输出数据可以采用常规Softmax输出的数据，更有利于教师网络和学生网络向硬标签数据的拟合。在上述性别识别的场景中，采用损失函数(11)结合第一梯度(5)和第二梯度(6)的训练策略，可以将20M的学生网络ResNet的FPR(False Positive Rate，假阳率)从本公开的示例性实施方式还提供了一种用于知识蒸馏的网络训练装置，如图4所示，该网络训练装置400可以包括：处理模块410，用于将样本数据输入教师网应的预测数据；构建模块420，用于基于预测数据、软标签数据和硬标签数据之间的误差，构建损失函数；训练模块430，用于根据损失函数更新教师网络中在一

11、种可选的实施方式中，软标签数据可以包括通过教师网络对样本数据进行分类得到的第一概率数据，预测数据可以包括通过学生网络对样本数据进行分在一种可选的实施方式中，构建模块420包括：第一子损失单元，用于根据预测数据和硬标签数据，构建第一子损失；第二子损失单元，用于根据预测数据和损失，确定损失函数。名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 9 页 -在一种可选的实施方式中，样本数据可以包括正样本，第二子损失单元，还可以用于根据正样本对应的预测数据和正样本对应的软标签数据，构建第二在一种可选的实施方式中，训练模块430可以包括：学生网络训练单元，用于根据损失函数和正样本对应的预测数据

12、，更新学生网络中的参数；教师网络训练在一种可选的实施方式中，正样本对应的预测数据可以包括对正样本的学生预测值和学生预测值对应的概率；学生网络训练单元，还可以用于根据损失函数在一种可选的实施方式中，正样本对应的软标签数据可以包括对正样本的教师预测值和教师预测值对应的概率；学生网络训练单元，还可以用于根据损失函中的参数，使学生预测值对应的概率趋近于1和教师预测值对应的概率。在一种可选的实施方式中，教师网络训练单元，还可以用于根据损失函数对教师预测值的梯度，更新教师网络中的参数，使教师预测值对应的概率趋近于1。在一种可选的实施方式中，损失函数可以是：其中，L为损失函数，i表示硬标签数据的类别，yi为

13、第i类硬标签数据，为第i类硬标签数据对应的预测数据，为第i类硬标签数据对应的软标签数且a和c中至少一个不为0。上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的方案细节可以参见方法部分的实施方式内容，因而不再赘述。所属技术 领域的 技术 人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的的实施方式，这里可以统称为“电路”、“模块”或“系统”。本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个上运行时，程序代码用于使终端设备执

14、行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。参考图5所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品500，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)

15、、可擦式可编程只读存储器储器件、或者上述的任意合适的组合。计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C+等，还包括完全地在用户计算设备上执行、部分地

16、在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连本公开的示例性实施方式还提供了一种能够实现上述方法的电子设备。下面参照图6来描述根据本公开的这种示例性实施方式的电子设备600。图6显示的电子制。如图6所示，电子设备600可以以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同存储单元620存储有程序代码，程序代码可以被处理单元61

17、0执行，使得处理单元610执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)621和/或高速缓存存储单元622，还可以进一步包括只读存储单元(ROM存储单元620还可以包括具有一组(至少一个)程序模块625的程序/实用工具624，这样的程序模块625包括但不限于：操作系统、一个或者多个应用程序、其它现。名师资料总结-精品资料欢迎下载-名师精心整理-第 8 页，共 9 页 -总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多

18、种总线结构中的电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、备份存储系统等。通过以上的实施方式的描述，本领域的技术 人员易于理解，这里描述的示例性实施方式可以通过软件实现，也可以通过软件结合必

19、要的硬件的方式来实现。品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些步执行的。应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。本领域 技术人员在考虑说明书及实践这里公开的技术后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这术领域中的公知常识或惯用技术 手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利名师资料总结-精品资料欢迎下载-名师精心整理-第 9 页，共 9 页 -