基于梯度优化的多任务混合学习方法

时间:2022-12-19 03:11:40
作者:郭 辉,郭静纯,张 甜
关键字:多任务学习,硬参数共享,特征提取,混合训练,梯度优化
DOI:10.3969/j.issn.1673-629X.2021.10.002
查看次数:937

如需要完整文档点击下方 "点击下载文档" 按钮

多任务学习作为深度学习的一个分支,得到了广泛关注与深入研究,但仍然存在网络结构复杂、任务区分困难的问题。 据此,基于硬参数共享神经网络给出梯度优化的多任务混合学习方法。 首先,无需区分不同任务,将多任务训练数据一同送入网络进行混合训练,所有任务共用一个损失函数,前一次训练所得的网络共享层参数作为下次训练的共享层初始化参数;其次,根据不同共享层提取特征的差异和任务在深层梯度变化的不同,调节相应的激活值,优化网络参数,既保持了硬参数共享神经网络结构的简洁性特点,又利于解决多任务训练过程中数据的非平衡问题;最后,通过在 UCI 公开数据集中的鸢尾花和天平秤数据上的实际应用,以及与传统的硬参数共享神经网络的纵向对比,验证了该学习方法的可行性与有效性。

如需要完整文档点击下方 "点击下载文档" 按钮

基于梯度优化的多任务混合学习方法
《基于梯度优化的多任务混合学习方法》
完整文档 下载到本地,方便收藏和查阅
文件号:061348
基于梯度优化的多任务混合学习方法
点击下载文档
基于梯度优化的多任务混合学习方法

点击下载 文件号:061348(点击复制) 公众号(点击复制)

x