在上述神经网络训练的过程中涉及到回归问题, 面对回归问题常用均方误差损失(mean squared error, MSE)作为训练的损失函数来评估模型的性能. 这种误差损失是衡量模型预测值$ y $与真实值$ \hat{y} $之间的平方差. 在每个训练批次中, 模型会对数据进行均方误差计算后执行反向传播, 然后更新模型参数, 使得预测值与真实值之间的误差逐渐减小, 以提高预测的精确度. 当损失值越小, 神经网络训练得到的模型就越接近BW2核质量模型, 达到训练出的模型近似为BW2模型的效果. 损失函数表达式为
合适的优化器能够快速减小神经网络训练中的损失值, 本实验设计自适应梯度优化器对神经元之间的权重和偏置的参数进行更新. 在Adam优化器中, 有两个影响神经网络训练的超参数: 学习率$ lr $和权重衰减参数$ w $. 学习率控制参数更新的步长, 而权重衰减参数是一种常用的正则化技术, 选择合适的权重衰减值可以有更强的正则化效果, 有效地控制模型的复杂度, 提高其泛化能力. Adam优化器输出的参数值被用于更新神经网络模型, 从而使得损失函数逐渐减小, 使MLP在训练模型的收敛过程中更快速、更准确、更稳定地逼近BW2模型的特征, 达到输出最优系数组的效果.
本节设计了Adam优化器在不同学习率和权重衰减参数下, 对神经网络模型损失值收敛到0.1%以下的速度和稳定性的影响. 在项目研究中进行了一系列的实验来验证不同学习率和权重衰减参数对模型性能的影响. 实验对优化器的学习率分别设置为0.0001, 0.001和0.01, 权重衰减参数分别设置为0.001和0.01进行了对比. 图2为不同学习率和权重衰减参数的损失函数损失值的变化图, 其中垂直坐标为损失值, 水平坐标为训练次数.
图2(a)—(c)和图2(d)—(f)具有相同的权重衰减参数与不同的学习率. 结果表明, 在权重衰减参数相同的情况下, 当学习率为0.0001时, 模型具有更加稳定的收敛性能, 然而收敛速度较慢, 而且在损失函数收敛的过程中收敛曲线下降不平缓; 当学习率为0.01时, 模型的收敛速度会加快, 但由于较大的学习步长, 也容易导致训练过程不稳定, 甚至出现振荡或无法收敛的情况. 同理, 图2(a), (d), 图2(b), (e)以及图2(c), (f)具有相同的学习率与不同的权重衰减参数. 在学习率相同的情况下, 0.001大小的权重衰减参数, 在收敛的过程中不容易出现损失值的振荡, 具有更好的稳定性, 有助于控制模型的复杂度并防止过拟合. 然而较大的权重衰减参数虽然能够有效地抑制模型的过拟合, 但降低了模型的训练速度, 甚至会导致欠拟合.
综合实验结果分析, 最终搭建的模型使用参数采用学习率为0.001, 权重衰减参数为0.001的Adam优化器训练的效果较好. 综合上述优化器实验结果可知, 优化器在不同学习率和权重衰减参数的组合下, MLP神经网络模型的收敛速度和稳定性呈现出不同的特征. 考虑到模型的复杂度、训练数据规模以及任务要求, 实验决定权衡收敛速度和稳定性, 最终选择的这组学习率和权重衰减参数能使得参数更新更为平缓, 更加有助于避免在参数空间中跳过局部最优解. 同时, 较为合适的学习率有助于实验过程中保持稳定的训练, 特别是在本项目利用深度神经网络寻找最合适参数中, 由于参数数量庞大, 模型很容易发生梯度消失或爆炸. 在0.001大小的学习率下, 能够确保模型参数在优化过程中更稳定地更新, 并且能够在寻找最优解过程中更好地收敛. 此外, 基于对模型数据的正则化需求, 选择了0.001大小的权重衰减参数. 最终实验表明当学习率为0.001且权重衰减参数为0.001时, 本模型在测试集上能够计算出更优秀的结果, 反映在损失函数的均方误差上其效果直接表现为更快的收敛速度、更低的损失值和更高的准确率. 这组参数更适用于本次实验的任务和数据集, 同时有助于模型更好地泛化到BW2模型数据上.