文献类型：专利

专利类型：发明专利

是否失效：否

是否授权：否

申 请 号：CN202111189126.4

申 请 日：20211012

发 明 人：吴英 杨志 翟渊 向毅

申 请 人：重庆科技学院

申请人地址：401331 重庆市沙坪坝区大学城东路20号

公 开 日：20220301

公 开 号：CN114118402A

代 理 人：李娜

代理机构：11616 北京喆翙知识产权代理有限公司

语　　种：中文

摘　　要：本发明属于网络压缩技术领域，具体涉及基于分组注意力机制的自适应剪枝模型压缩算法，包括基于注意力机制的通道剪枝方法和基于强化学习的模型相关剪枝策略，通过设置分组注意力剪枝模块，不仅实现了卷积核评价的功能，而且也完成了剪枝任务，分组注意力模块可以为每个卷积核生成一个重要性分值，与传统注意力模块的区别在于可以体现出前一层剪枝对后面层剪枝的影响，可以针对输入数据的不同，选择不同的参数参与前后向的运算，模型的容量不会减少，造成的精度损失会大幅降低，为不同数据自适应评估每个卷积核的重要性，将分数低的卷积核忽略，不参与运算，可以有效地提高模型推理速度。

主 权 项：1.基于分组注意力机制的自适应剪枝模型压缩算法，其特征在于，包括基于注意力机制的通道剪枝方法和基于强化学习的模型相关剪枝策略，基于注意力机制的通道剪枝方法具体过程为：第一步：卷积核重要性评估；第二步：剪枝；第三步：重训练；自适应剪枝算法处理流程分为两个方面：给定一个训练好的CNN模型，一方面利用分组注意力机制模块完成目标层的通道剪枝，另一方面利用强化学习算法结合模型剪枝效果进行跨层的剪枝位置决策；具体过程为：(1)数据集Cifar-100数据集对剪枝算法进行评价，ImageNet用于对剪枝后网络的泛化性进行评价，以验证剪枝模型对数据集的敏感程度，这两个数据集全部来自于官方版本，下载后包括训练集和测试集两部分，训练集用于对重构后的剪枝模型进行训练，训练完毕后在测试集测试分类准确度，在对数据集的处理方面，首先对训练集和测试集的样本做归一化预处理，进一步，为了丰富训练样本，对Cifar-100和Imagenet数据集做数据增强处理，增强手段包括：随机翻转和随机裁剪；(2)模型结构用于做自适应剪枝实验的模型结构包括VGG19全卷积网络和ResNet56残差模型，这两个模型的结构比较有代表性，分别代表了全卷积神经网络与带残差连接的神经网络，也是目前卷积神经网络中广泛应用的模型结构；(3)对比实验Filter pruning：利用L1范数评估每层每个卷积核的重要性，L1范数较大的卷积核被认为重要，反之认为不重要，在评估完成后，按照逐层剪枝或者贪心的全局剪枝方式对模型进行剪枝，每层剪枝比例的设定，通过敏感度实验测试，敏感度较高的网络层剪枝率设置高值，敏感度较高的网络层剪枝率设置低值；Network slimming：通过Batch Norm层中的gamma系数建模通道的重要性，并在损失函数中增加针对gam

关 键 词：剪枝 卷积核 注意力 注意力机制  自适应 分组  运算  剪枝策略 精度损失  模型压缩  强化学习  网络压缩  后面层  有效地  算法  推理  评估  

IPC专利分类号：G06N3/08(20060101);G06N3/04(20060101);G06N5/04(20060101)