怎么样训练优化“AI神经网络”模型？-外链论坛

7wu1wm0 发表于 2024-8-31 05:49:36

怎么样训练优化“AI神经网络”模型？

在上一篇文案中，咱们仔细介绍了神经网络的基本概念和原理，神经网络的优良和应用场景，以及神经网络的制品案例：网易有道AI翻译。倘若想认识神经网络的更加多详情，能够翻阅我之前写的《8000字干货说清楚AI制品经理必修的“神经网络” 》
在认识神经网络的结构和原理后，我产生了进一步的好奇，明明便是有些抽象的数学模型却能够实现类似人脑的智慧，神经网络是怎样经过数据训练来实现这般奥妙的效果呢？本篇就以这个问题做为切入点来展开说说。
本篇为大众揭晓，AI如此“神机妙算”的背面，亦是需要经历一段训练过程的，怎样训练AI神经网络？又怎样识别训练过程是有效的？<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-axegupay5k/18864dd447534832b259e34028b50085~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=ydDt8GyTY5XYXL%2FpnX3pgubuIgw%3D" style="width: 50%; margin-bottom: 20px;">
在这个碎片化学习的环境中，亦许已然很少有人能够沉下心来看完一篇长文了，但我还是期盼你能够保持看完，相信会给你带来不同样的，更深厚的收获。 按例，开篇供给本篇文案结构导图，方便大众在阅读前总揽全局，有大致的画面框架。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/bcafa8f8532b8e36b7d2d7ac9fb0d24c~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=uTTFX7fWveS10JA7wtZTeoyOO6U%3D" style="width: 50%; margin-bottom: 20px;">
<h1 style="color: black; text-align: left; margin-bottom: 10px;">1、AI神经网络需要被训练后，才可派上用场</h1>
看过上一篇文案的伴侣会晓得，神经网络中有两个重点部分,：结构和权重。结构包含神经元及其连接, 权重是一些数字，是连接神经元之间的参数。
它们能够微调神经元中的数学运算方式，从而得到一个输出。倘若神经网络犯了错误，亦便是说输出的结果和预期不符，这一般寓意着权重无正确调节，咱们需要更新它们，以便它们下次做出更好的预测。
听起来是不是觉得很简单，其实这背面的训练过程是很繁杂的，我这般说只是为了好理解有些。但咱们毕竟是在讨论AI行业的知识，内容中没法避免会遇到有些专业词汇，于是乎，后面讲到了我再逐一解释吧。
神经网络中的权重决定了区别神经元之间的连接强度，为神经网络结构找到最佳权重的过程叫作为优化。
神经网络做为一种模型，想让它真正有“神机妙算”的本领，就需要咱们用海量的数据去训练它，未被训练过的模型常常容易给出非常多的错误答案，这亦是为何市面上那样多AI模型，需要被数据海量训练后才可真正面市了。
接下来，咱们能够再追问一步，计算机是怎样经过数据训练并优化神经网络的呢？
说到训练神经网络，咱们就离不开被数学安排的现实，神经网络的每一个神经元中都装着数学模型，若以非线性函数来举例解释神经网络的训练过程，些许复杂了，亦很难理解。
还是以线性回归为例吧，毕竟本篇的重点不是在数学模型上，而是说清楚神经网络是怎样训练和优化的。
因此，咱们以线性回归为例，来聊聊神经网络的训练优化策略。
<h1 style="color: black; text-align: left; margin-bottom: 10px;">2、以线性回归为例的训练优化策略</h1>
线性回归是一种统计学办法，用于科研两个或多个变量之间的关系。它基于一个假设，即观察到的数据点能够经过一条直线（在二维空间中）或一个超平面（在多维空间中）进行最佳拟合。
线性回归的目的是找到这条直线或超平面的参数，使得预测值与实质观测值之间的误差最小化。
基于线性回归的概念和特点，咱们能够发掘，在设备学习行业，线性回归能够用来做数据预测。经过拟合数据点的最佳直线，咱们能够预测连续值的结果。
例如，咱们想要知道一家度假村的游客人数和气温之间有什么关系，咱们需要晓得过去的数据，按照历史数据找到和数据最拟合的公式，假设这个公式可视化为一条折线图，能够直观暗示两个数据之间的关系。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/70fc8b0e24092055454fe863a1a3066f~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=iDmX%2Bd%2FxIaoF5pSK6mAVGFY0dZ4%3D" style="width: 50%; margin-bottom: 20px;">
得出预测线后，咱们就能够据此来预测将来日子里，区别气温下会有多少游客量，帮忙预测明年在区别季节时，提前准备承载游客量的应对方法，从而帮忙度假村加强整体运营效益。
咱们回想一下，图中的折线是怎样画出来的？亦便是说，计算机是怎样晓得这条折线能够最佳拟合游客人数和气温之间的关系呢？
这便是线性回归在背面起到的关键功效。
刚起始，计算机画一条随机的直线, 这条直线大概率便是不准的。因此计算机就需要计算这条直线和每一个数据点之间的距离, 所有加起来, 量化直线上的数据和真实数据之间的差距。
下一步，已知差距就要减少差距，线性回归的目的是调节直线, 使误差尽可能小, 咱们经过历史数据训练它，期盼这条线符合训练数据。
最后，经过数据训练后，得出的直线被叫作为最佳拟合线, 咱们能够用这条直线, 预测在任何温度下都会有多少游客显现。于是，你就看到计算机生成出了一条符合游客人数和气温之间关系的直线图了。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/9b7aa14d1d447cc8af8f7c50e67c2050~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=OdVX%2BmQJuWXogYLkDvEg4%2Boa9d0%3D" style="width: 50%; margin-bottom: 20px;">
在现实中，数据关系常常无那样简单，游客的人数并不是只和气温相关，为了预测更准确的结果, 咱们可能需要思虑两个以上的特性。
例如说, 加上节假日特征后，可视化图表会从2D图变成3D图,，咱们的最佳拟合线更像是一个最佳拟合平面。倘若咱们再增多第四个特性, 例如是不是下雨, 那样预测模型的图表将会变得更加繁杂，那就难以直观可视化呈现清楚了。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/a01732f6820c1801a3f2dd1b60f863af~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=qYKGm6zV8x9MlWERI4ENCuSRzxY%3D" style="width: 50%; margin-bottom: 20px;">
因此，当咱们思虑更加多的特性时，需要在图中添加更加多的维度，优化问题会变得更繁杂，拟合训练数据变得更加困难。
此时候，便是神经网络派上用场的地区了，经过将许多简单神经元和权重连接在一块，神经网络能够学习处理繁杂的问题，最佳拟合线变成为了一个奇怪的多维函数。
现实中，当咱们面临繁杂预测时，人工智能常常比普通人发挥得更好。例如，预测天气。
<h1 style="color: black; text-align: left; margin-bottom: 10px;">3、用损失函数来暗示误差</h1>
认识了训练数据的优化策略后，不如咱们再好奇一点，进一步追问下去，计算机是怎样晓得自己预测的数据和实质数据有差距呢？晓得差距后又是怎样减少差距，让输出的预测结果和实质结果最符合呢？
预测值和实质值之间的差距咱们能够叫作作误差，计算机想要晓得预测值与实质值之间是不是产生误差，还晓得误差有多大，就需要损失函数派上用场了。
神经网络中的损失函数是一种衡量模型预测结果与实质结果之间差距的办法。在训练神经网络时，咱们的目的是最小化损失函数以使模型更好地拟合数据，从而实现更准确的预期结果。
平常的损失函数有均方误差（MSE）、绝对值误差（MAE）、交叉熵损失（Cross-Entropy Loss）、Hinge损失（Hinge Loss）、对数损失（Log Loss）、Huber损失（Huber Loss）、平均绝对误差（Mean Absolute Error，简叫作MAE）等。
这些损失函数在区别场景下有各自的优良和适用性，选取合适的损失函数针对加强模型的性能至关重要。在实质应用中，咱们能够按照数据的特点和任务需要来选取合适的损失函数。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/776aa77860e3cec138aa7d966aedd6de~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=KqdcbXLe1HTzMm1MGn5gWutV1as%3D" style="width: 50%; margin-bottom: 20px;">
以均方误差（MSE）为例，均方误差是预测值与真实值之间差值的平方和的平均值。详细来讲，倘若咱们有n个预测值和对应的实质值，MSE的计算公式便是：
MSE = (1/n) * Σ(yi – ŷi)^2
其中，y_i暗示实质值，ŷ_i暗示预测值，n暗示样本数量，Σ暗示求和。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/a29a306a6e71e4c836679c7a21751082~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=bzg7TquS%2BN9Sx%2FBzMSb88S1qxeY%3D" style="width: 50%; margin-bottom: 20px;">
在均方误差（MSE）的结果中，MSE越小，模型拟合效果越好，说明预测模型的准确性越高。相反，倘若MSE的值很强，那样预测模型的准确性就相对较低。
因此呢，在实质应用中，咱们一般期盼MSE的值尽可能小，以得到更好的预测效果。
任何一个模型都有其适用的边界，均方误差亦不例外。均方误差（MSE）适用于连续型数据，尤其是回归问题。既然晓得均方误差在回归问题上比较有效，咱们亦有必要先对回归问题有个大概的认识。
在统计学和设备学习行业中，回归问题常用于预测一个连续变量的值基于其他关联变量的影响，创立一个模型，经过分析已知的自变量和因变量的数据，来理解它们之间的关系。
本文第二段“以线性回归为例的训练优化策略”中说到的线性回归指的便是自变量和因变量之间存在线性关系的状况。
回归问题在现实生活中有着广泛的应用，如预测房价，预测股票价格，又或仅仅预测度假村游客人数和气温高低的关系等。
经过对海量历史数据的分析和建模，咱们能够为这些实质问题供给有价值的预测结果。当然，前提是数据的质量是优秀的，模型的选取是匹配的。
综上所述，咱们经过损失函数来暗示模型预测的误差，以均方误差为例，MSE用于暗示某个线性回归模型预测的准确率。
接第二段中度假村的例子，倘若首次MSE的值为10，经过多次调节后，最后一次MSE的值为0.1，MSE从10降到了1，则说明调节后的预测模型变得更准确了。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/76dd2b469e831dad60a6ab04ed2a3a54~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=0b5G09ghhZ2Bb4FIHZFZt0gONgE%3D" style="width: 50%; margin-bottom: 20px;">
然而，咱们不可仅从MSE的值来决定一个模型的好坏。这是由于，在区别的应用场景中，咱们针对模型的预测精度需求是区别的。
例如，在某些对预测精度需求极高的场景中，即使MSE的值仅有0.01，咱们亦可能认为这个模型的效果欠好，而在有些对预测精度需求较低的场景中，即使MSE的值达到了0.1，咱们亦可能认为这个模型的效果已然足够好。
值得重视的是：即使是标准化的AI模型，在实质运用中，亦需要详细问题详细分析，切不可无脑照搬，采用什么模型，首要的便是先清楚待处理的问题是什么，只用清楚了问题的本质才可找对适合的模型，这节奏，是不是有点拿着AI方法进行私人订制那味儿了？
<h1 style="color: black; text-align: left; margin-bottom: 10px;">4、用反向传播来减少误差</h1>
上段说到，损失函数能够优化AI模型预测的准确性，这话不全对。由于，仅仅是损失函数，只是起到了一半的功效，需要完成另一一半，才能够真正达成模型的训练调优。
这另一一半，便是反向传播（Back Propagation），亦被叫作为反向训练或反向学习，是一种重要的设备学习算法。
它的核心思想是经过计算网络的输出误差并将其反向传播到神经网络之前的每一层，从而更新原神经网络中的权重和偏置，以使得神经网络的预测结果更接近于真实的目的值。
正如咱们前几篇文案中所认识到的，在神经网络中，每一层的神经元都会对输入数据进行一系列的处理和变换，而后将处理后的结果传递给下一层。
这个过程能够被视为一个信息的传递过程，而在这个过程中，网络的权重和偏置起着关键的功效。
然而，因为神经网络的繁杂性，咱们很难直接经过数学公式计算出神经网络的最优权重和偏置。因此呢，咱们需要运用一种迭代的办法来逐步优化这些参数，这便是反向传播算法的思想起源。
因此说，为了训练优化神经网络，在损失函数得出误差值后，反向传播算法会将结果反馈给神经网络前几层的神经元并促其调节，有些神经元的计算可能比其他神经元的计算更易导致错误,，权重会调节得多有些，错误少的就调节得少有些，层层几次反馈和调节后，就能够让计算机得出比之前更准确的预测结果，神经网络模型亦因此呢得到训练和优化。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/5871ac08e1865262c833203b0d6af5a7~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=k2RNp3P3a46mVeg7AsVLtC7SAFI%3D" style="width: 50%; margin-bottom: 20px;">
以上，便是反向传播工作的基本原理了。不如，咱们再往下追问一步，反向传播算法是怎样改变原神经网络的权重和偏置呢？
咱们已知，反向传播的基本思想是从输出层起始，逐层向前计算每一个神经元对损失函数的负贡献（即梯度），这其中的“梯度”，便能够更新神经网络的权重和偏置，从而得到较低的损失函数值。
因此，咱们还需要弄清楚两个问题：1.梯度是什么？2.梯度是怎样更新权重和偏置的？
简而言之，梯度便是一个函数在某一点上的斜率或变化率。更详细地说，它暗示的是函数输出值关于输入值的变化状况。这个梯度告诉咱们，倘若咱们想减小损失函数的值，应该怎样调节网络的权重。因此，咱们需要先计算梯度，再更新网络的权重。
在反向传播算法中，梯度的计算分为前向传播和反向传播两个周期。
在前向传播周期，网络首要将输入数据传递到输出层，而后逐层向前计算每一层的输出和损失函数的值。
在这个过程中，每一个神经元都会按照其前一层的输出和激活函数来计算自己的输出，并将这个输出传递给下一层。同期，每一个神经元还会计算其输入与输出之间的误差，这个误差会随着数据在网络中的传播而被累积起来。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/bc1fd0928bfb056ccdffdc4e69d7ec33~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=QYPvZQGrLyddM0TcyBLMk6CyJ3U%3D" style="width: 50%; margin-bottom: 20px;">
在前向传播完成后，反向传播周期起始计算梯度。
从输出层起始，每一个神经元都会按照其输出误差和激活函数的导数来计算其在反向传播过程中对损失函数的贡献。
而后，这些梯度信息会逐层向后传播，直到传回输入层。这般，咱们就能够得到每一个参数针对损失函数的贡献，即参数的梯度。
为了计算梯度，咱们需要用到链式法则（Chain Rule）。
链式法则是微积分中的一个基本法则，它描述了复合函数的导数是怎样分解为简单函数的导数之积的。
在反向传播中，咱们能够将全部神经网络看作是一个复合函数，其中每一个神经元都是一个简单函数。
经过链式法则，咱们能够计算出损失函数关于每一个权重的偏导数（即梯度），而后用这些梯度去更新网络的权重。
得出了梯度后，计算机又是怎样借助梯度来更新权重和偏置的呢？
俗话说，用魔法打败魔法，算法应对算法，因此咱们需要借助有些优化算法来更新梯度，从而实现权重和偏置的有效优化。
平常的优化算法有梯度下降法、随机梯度下降法（SGD）、Adam这三种。
以梯度下降法为例，展开说一下其实现原理。
梯度下降法是一种在设备学习和深度学习中常用的优化算法。它的核心思想是沿着目的函数的梯度负方向进行迭代，从而找到使目的函数取得最小值的点。
为了形象地解释这一过程，咱们能够将其比喻为一个登山者在攀登一座陡峭的山峰。
假设这座山峰便是咱们的目的函数，咱们期盼找到一个最低的位置（即目的函数的最小值）。然而，这座山是如此陡峭，以至于咱们没法一眼就看到最低点在哪里。因此呢，咱们需要借助有些工具来帮忙咱们找到这个位置。
最起始，咱们需要确定一个初始位置，这个初始位置能够是一个随机选取的值，亦能够是之前的迭代结果。而后，咱们需要起始攀登。在每一步攀登中，咱们都会测绘当前的海拔高度，这便是咱们计算目的函数值的过程。
接下来，咱们需要判断当前的位置是不是已然足够接近最低点。为了实现这一点，咱们需要观察并测绘当前位置周边的地形变化。在这座山的脚下到最高点之间，地形变化是逐步减小的。
咱们能够将这种地形变化叫作为梯度。梯度的方向便是山坡最陡峭的地区，亦便是咱们下一步需要前进的方向。经过持续地测绘梯度并朝相反的方向前进，咱们能够逐步降低海拔高度，从而更接近最低点。
在爬山过程中，咱们还需要思虑一个重要的原因：步长。
步长过大可能引起咱们跳过最低点，步长过小则可能引起咱们陷入局部最低点而没法到达全局最低点。
因此呢，在梯度下降法中，咱们需要按照实质状况调节步长体积，以便更快地找到目的函数的最小值。
以登山为例，梯度下降法就像是一场寻找最低点的攀登之旅。经过测绘梯度并沿着梯度的负方向前进，咱们能够逐步降低目的函数值，最后找到全局最优解。
此刻，咱们再来试着回答这个问题：梯度是怎样更新权重和偏置的？
咱们能够先定义一个损失函数，这个函数用于衡量神经网络预测结果与真实结果之间的差距，就像刚起始找山峰的初始点。而后，咱们经过反向传播算法计算出损失函数对每一个权重和偏置的梯度。
接下来，需要设定一个学习率，这个学习率决定了咱们每次更新参数时移动的步长。通常来讲，学习率不可设置得太大，否则可能会引起算法在最小值点周边震荡不前；亦不可设置得太小，否则算法收敛速度会非常慢。
最后，咱们就能够按照计算出的梯度和学习率来更新神经网络的权重和偏置了。
详细来讲，针对每一个权重和偏置，咱们将其当前值减去学习率乘以对应的梯度，得到新的值。这般，经过多次迭代，咱们就能逐步找到使损失函数最小的参数值。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/7f94b7b6cff8d592729be58f62a62c90~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=j1PfbyPLcUHJLzW%2BDQCpmXYNeT8%3D" style="width: 50%; margin-bottom: 20px;">
在这一系列的过程中，梯度便实现了对神经网络权重和偏置的优化。而反向传播算法亦因借助梯度的帮忙，减少了神经网络模型对预测结果的误差。
最后，咱们从表象结果看来，AI的模型经过训练优化后，预测的准确率变得越来越高。
<h1 style="color: black; text-align: left; margin-bottom: 10px;">5、神经网络的数据拟合问题</h1>
有时, 反向传播在使神经网络适合于某些数据方面做得太好了, 在大数据集中产生了非常多巧合的关系，这些关系可能并不是真实世界中的因果关系，而是因为数据集的特点或训练过程中的随机性所引起的。
例如，“香蕉和火灾”。按照数据表示，当香蕉价格上涨时，火灾的出现率亦会随之提升。
然而，这并不寓意着香蕉和火灾之间存在因果关系。实质上，这两个事件之间并无必然的联系。这便是一个典型的大数据中无因果关系然则数据表示相关系的巧合例子。
因此，即使咱们训练出了AI模型，但结果并不必定如你所愿，搞欠好还会闹出笑话，咱们还需要关注AI中的数据拟合问题。
数据拟合问题能够分为过拟合与欠拟合，每一个问题的出现背面都有着区别的原由，亦需要区别的处理办法。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/3fb9708c389ca3607bccba3eb1b1bac9~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=wSWD5ibOl3mON3N9KNdHLCyWcSI%3D" style="width: 50%; margin-bottom: 20px;">
当然，关于数据拟合问题亦能够有其他区别的归类，本文重点还是就过拟合与欠拟合展开介绍。
<h2 style="color: black; text-align: left; margin-bottom: 10px;">1. 过拟合（Overfitting）</h2>
过拟合指的是模型在训练数据上表现得非常好，然则在新的、未见过的数据上表现不良。
这一般是由于模型过于繁杂，学习到了训练数据中的噪声和不具表率性的特征，过于依赖训练数据中的细节，忽略了数据的通常规律。
为了更好理解过拟合问题在实质应用中的影响，假设咱们用一个数学模型来预测学生的成绩。
在数据训练中，咱们能够从历史数据中发掘，学生的身高和成绩之间存在必定的正关联关系。于是咱们训练了一个简单的线性回归模型，将身高做为自变量，成绩做为因变量。经过训练，咱们发掘这个模型在训练集上的表现非常出色，预测成绩与实质成绩高度一致。
但有基本常识的咱们即使不预测数据都会晓得，学生的成绩和身高之间并不会产生直接的关联关系。因此，当咱们将这个模型应用到新的学生数据上时，会发掘预测的准确性大幅下降，乃至可能显现完全错误的预测。<img src="https://p26-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/9d65bf9801f4b4fdb378a8c3a565d403~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=f1aPgrZsMSOVcTYBISlKro4fuOo%3D" style="width: 50%; margin-bottom: 20px;">
在这个例子中，咱们的线性回归模型可能过于繁杂，过分强调了身高对学生成绩的影响，而忽略了其他潜在的影响原因，如学习态度、奋斗程度等。
因此呢，当面对新的学生数据时，因为这些数据中可能包括与训练数据区别的特征分布，模型的预测性能就大打折扣。因此，咱们在数据训练的过程中，需要识别数据是不是过拟合，来避免后续问题。
为了识别过拟合现象，咱们一般会将数据集分为训练集、验证集和测试集。
训练集用于训练模型，验证集用于调节模型参数以得到最佳的性能，而测试集则用于评定模型在未知数据上的表现。经过对比模型在这三个数据集上的表现，咱们能够判断模型是不是存在过拟合问题。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/b344bcbd51d294f920ea6654e1c6665d~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=xNMgP24d1f5gmC0wbKKwil2YoPk%3D" style="width: 50%; margin-bottom: 20px;">
那样，显现了过拟合问题时，咱们该怎样处理呢？
为认识决过拟合问题，咱们能够增多数据量、简化模型、正则化或交叉验证等办法来处理。
【增多数据量】
顾名思义便是引入更加多的数据，帮忙模型更好地捉捕到潜在的模式，从而减少过拟合的危害。然而，在实质应用中，获取海量高质量数据可能会有有些不现实。
【简化模型】
便是选取较少的参数或较简单的模型结构来减小模型繁杂度，例如减少神经网络中的隐匿层的数量或节点数。这个办法能够降低模型对训练数据的依赖，从而减少过拟合的危害。然则，过于简化的模型可能会损失有些有用的信息，影响模型的性能。
【正则化】
正则化是经过向模型的损失函数添加额外的项，来限制模型参数的体积，防止其过度膨胀。常用的正则化技术包含L1正则化和L2正则化。L1正则化倾向于使有些参数变为零，从而实现特征选取。而L2正则化经过处罚参数的平方值，使得参数变得更为均匀。正则化能够帮忙咱们在保持模型性能的同期，降低过拟合的危害。
【交叉验证】
交叉验证是一种评定模型泛化能力的有效办法。它将数据集划分为多个子集，而后运用区别的子集进行训练和验证，最后将各个子集的结果综合起来得到最后的评定指标。交叉验证能够帮忙咱们发掘过拟合问题，并选取合适的模型参数。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/b344bcbd51d294f920ea6654e1c6665d~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=xNMgP24d1f5gmC0wbKKwil2YoPk%3D" style="width: 50%; margin-bottom: 20px;">
<h2 style="color: black; text-align: left; margin-bottom: 10px;">2.欠拟合（Underfitting）</h2>
欠拟合指的是神经网络在训练数据和新数据上都表现不良的现象。这一般是由于模型过于简单，没法捉捕到数据中的关键特征和规律。
例如，倘若咱们运用一个仅有一层的神经网络来拟合繁杂的非线性关系，那样模型很可能没法准确地捉捕到数据中的模式，引起训练和测试效果都不睬想。就像一个小学生去解大学微积分的题目，大概率是给不出正确答案的。
咱们继续以预测学生成绩为例，来详细解释一下欠拟合现象。
假设咱们有一份学生的成绩数据集，然则这次咱们的模型过于简单，只思虑了学习时间，而无思虑其他可能影响成绩的原因，例如学生的先前知识水平、家庭背景、课程难度、考试形式等。
那样咱们的模型就可能会显现数据欠拟合的问题，那样咱们就没法仅仅经过学习时间，来准确预测学生成绩。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/352b3af3a26d6f997f27b6c87e222aad~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=cF0ZnppuJwIJv31pzEDlDJoVErA%3D" style="width: 50%; margin-bottom: 20px;">
咱们在数据训练的过程中，又该怎样识别数据欠拟合？其实，欠拟合的重点表现包含高偏差和低方差。
【高偏差】
欠拟合模型的预测结果与真实值之间存在很强的差距，即模型没法准确地估计出数据的均值。这一般是因为模型过于简单，没法捉捕到数据中的繁杂关系所引起的。
例如，在回归问题中，倘若采用线性回归模型来处理非线性关系的数据，那样模型就没法准确地描述这种关系，从而引起预测结果偏离实质值。
【低方差】
欠拟合模型对训练数据的误差较小，但在测试数据上的误差很强。这是由于欠拟合模型过于简单，不可很好地泛化到新的数据上。换句话说，虽然欠拟合模型在训练数据上的表现不错，但在未知数据上可能表现得非常糟糕。
咱们再深挖一点，为何会显现欠拟合问题？
欠拟合问题产生的原由亦有多种，一般出现在以下状况：模型繁杂度不足：运用过于简单的模型，例如线性模型去拟合非线性关系的数据。特征不足：数据中的重要特征未被思虑，引起模型没法准确地预测目的变量。训练不足：模型在训练集上无足够的迭代学习，未能很好地适应数据。噪声干扰：数据中的噪声干扰过大，模型过于敏锐，难以区分真实信号和噪声。样本量不足：训练数据量过小，难以捉捕整体数据分布。欠拟合是咱们在训练数据时，必须要关注的问题，由于它可能引起模型在实质应用中的性能不佳，到最后让团队之前的奋斗付诸东流。
那样，显现了欠拟合问题时，咱们该怎样处理呢？
当咱们晓得欠拟合问题的原由之后，处理该问题的关键是增多模型的繁杂性，以便计算机更好地捉捕数据中的关系和特征。同期，还需要重视避免过拟合，以避免过度繁杂引起泛化性能下降。
为认识决欠拟合问题，咱们能够经过增多模型繁杂度、增多更多的特征、降低正则化参数或增多训练数据等办法来处理。
【增多模型繁杂度】
倘若模型过于简单，没法捉捕数据中的繁杂模式，能够思虑运用更繁杂的模型，如增多更加多的层或节点，引入更加多的特征或改变模型的结构，使其能够更好地捉捕数据中的繁杂关系。例如，能够尝试运用多项式回归、支持向量机等更繁杂的模型来处理非线性问题，或在神经网络中，增多隐匿层的数量或节点的数量。
【增多更加多的特征】
咱们能够经过增多更加多的特征来使模型变得更加繁杂，从而更好地拟合数据。这些特征能够是现有的特征的线性或非线性组合，亦能够是新的、从其他数据源得到的特征。在学生考试成绩的例子中，能够思虑加入更加多可能影响成绩的原因，如家庭背景、学生兴趣等。
【降低正则化参数】
正则化是一种防止过拟合的办法，但在某些状况下，过度的正则化可能引起欠拟合。因此呢，能够适当降低正则化参数，以准许模型更灵活地适应训练数据。
【增多训练数据】
欠拟合一般与训练数据量不足相关。经过收集更加多的训练数据，能够加强模型的学习能力和泛化能力，从而减轻欠拟合现象。<img src="https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/5d07759d7cdab0d19d60987e9c1647ef~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1725628893&x-signature=4x5LPTx0RJBTc%2FufYsgbESw8J7w%3D" style="width: 50%; margin-bottom: 20px;">
因此，当咱们晓得了怎样经过数据来训练神经网络之后，还需要关注在训练过程中显现的数据拟合问题，亦能够理解成AI训练中亦需要过程监督吧。
当咱们发掘数据过拟合时，需要借助增多数据量、简化模型、正则化或交叉验证等办法来处理。当咱们发掘数据欠拟合时，能够借助增多模型繁杂度、增多更加多的特征、降低正则化参数或增多训练数据等办法来解决。
<h1 style="color: black; text-align: left; margin-bottom: 10px;">6、全文总结</h1>
倘若你看到此处，足以说明你对AI亦有着非通常的兴趣和热情，我这里送上真诚的感谢。倘若你和我同样，亦对AI模型是怎样训练优化的背面原理感兴趣，相信这篇文案会给你带来帮忙。
在最后，我就本文做一个简单的总结，倘若你无第1时间所有理解，按照总结亦能够带走有些收获。
神经网络是AI的核心，其真正发挥功效之前需要经过充分的训练。本文讨论了对神经网络的训练过程及关联优化策略，并深入探讨神经网络中的数据拟合问题。
与人类学习同样，神经网络需要经过海量的数据输入进行学习，以适应特定任务。在训练的过程中，咱们以线性回归为例，经过优化策略来加强模型的性能。
在训练优化过程中，咱们运用损失函数来暗示模型的预测与实质结果之间的误差。这个误差越小，模型的性能就越好。经过调节模型的参数，咱们试图最小化损失函数，使得模型的预测更加准确。
损失函数的引入使得咱们能够量化模型的误差，从而为优化供给方向。经过梯度下降等办法，咱们能够找到使损失函数最小化的参数值，从而加强模型的准确性。这一过程中，反向传播起到了关键作用。
反向传播经过计算损失函数对模型参数的梯度，实现了误差的反向传递。这寓意着咱们能够按照误差的方向来更新模型的参数，使得模型逐步趋向最优。
然而，即使经过精心的训练，神经网络在处理数据时仍然可能面临拟合问题。数据拟合问题表现为过拟合和欠拟合，面对区别的问题，咱们亦需要有区别的处理办法。
神经网络的训练过程是一个繁杂而精细的过程，经过本篇，期盼各位看官能够理解和巧妙运用这些概念和办法，亦能够更好地利用神经网络来处理实质问题。
《孙子·谋攻篇》有云，“知彼知己，百战不殆；不知彼而知己，一胜一负；不知彼不知己，每战必殆。”
知是成事的前提。这里引用，不是要把AI当作敌人，而是要知AI，懂AI，而后才可有效和AI共处，在AI的助力下做出更有价值的事情。
咱们都是浩瀚星河中的一粒，在AI的浪潮中簇拥着前行。AI到底是什么，是咱们必须要弄清楚的课题。
本文由 @果酿原创发布于人人都是制品经理，未经作者许可，禁止转载。
题图来自 Unsplash，基于CC0协议。
该文观点仅表率作者自己，人人都是制品经理平台仅供给信息存储空间服务。

4zhvml8 发表于 2024-10-10 19:21:53

“沙发”（SF，第一个回帖的人）‌

7wu1wm0 发表于 2024-10-28 23:13:25

祝福你、祝你幸福、早日实现等。

页: [1]

外链论坛's Archiver

怎么样训练优化“AI神经网络”模型？