博客
关于我
Learning both Weights and Connections for Efficient Neural Networks
阅读量:804 次
发布时间:2023-01-30

本文共 785 字,大约阅读时间需要 2 分钟。

《Learning both Weights and Connections for Efficient Neural Networks》

为高效神经网络同时学习权重和连接的方法

作者:Song Han、Jeff Pool 等

单位:斯坦福大学、NVIDIA

发表会议及时间:NIPS 2015

当前的神经网络在计算需求和存储占用上都存在一定的挑战,尤其是在嵌入式系统中部署时更为困难。此外,传统网络的架构通常在训练开始前就固定下来,这意味着在训练过程中无法优化网络的结构。为了解决这些问题,本文提出了一种方法,可以在训练过程中同时学习权重和连接,从而将存储和计算需求降低一大半,同时保持模型的精度。我们的剪枝方法通过三步训练过程实现:首先是对正431}>

在数据集上对未压缩的模型进行完整训练至收敛。第二步,在训练完成后,剪掉权重小于阈值的神经元。第三步,对剪枝后的模型进行权重微调,恢复其精度。通过对AlexNet和VGG-16的实验表明,我们的方法可以将参数量减少9倍和13倍而不影响模型性能。

通过在训练过程中改变模型结构,可以减少模型参数量、降低计算量、加快推理速度。这种方法的核心在于利用训练时学习到的权重不仅用于预测结果,还可以作为衡量神经元重要性的依据。

同时训练权重和要剪的神经元可以降低损失。这种方法通过迭代训练的方式减少剪枝对精度的影响,并讨论了正则化方法在剪枝过程中的影响。

实验成果

在Imagenet数据集上,本文的方法在将AlexNet压缩了9倍参数的情况下,精度基本保持不变。类似实验表明,VGG-16的参数量可以减少13倍,而总体性能并未下降。

方法意义

  • 通过迭代训练的方法将剪枝引入模型训练过程,降低了剪枝导致的精度损失
  • 采用权重值作为神经元重要性判断依据,简化了神经元重要性计算的过程
  • 对各种正则化方法对剪枝过程的影响进行了深入讨论

转载地址:http://jtgyk.baihongyu.com/

你可能感兴趣的文章
mysql一个字段为空时使用另一个字段排序
查看>>
MySQL一个表A中多个字段关联了表B的ID,如何关联查询?
查看>>
MYSQL一直显示正在启动
查看>>
MySQL一站到底!华为首发MySQL进阶宝典,基础+优化+源码+架构+实战五飞
查看>>
MySQL万字总结!超详细!
查看>>
Mysql下载以及安装(新手入门,超详细)
查看>>
MySQL不会性能调优?看看这份清华架构师编写的MySQL性能优化手册吧
查看>>
MySQL不同字符集及排序规则详解:业务场景下的最佳选
查看>>
Mysql不同官方版本对比
查看>>
MySQL与Informix数据库中的同义表创建:深入解析与比较
查看>>
mysql与mem_细说 MySQL 之 MEM_ROOT
查看>>
MySQL与Oracle的数据迁移注意事项,另附转换工具链接
查看>>
mysql丢失更新问题
查看>>
MySQL两千万数据优化&迁移
查看>>
MySql中 delimiter 详解
查看>>
MYSQL中 find_in_set() 函数用法详解
查看>>
MySQL中auto_increment有什么作用?(IT枫斗者)
查看>>
MySQL中B+Tree索引原理
查看>>
mysql中cast() 和convert()的用法讲解
查看>>
mysql中datetime与timestamp类型有什么区别
查看>>