如何训练神经网络
1、先别着急写代码训练神经网络前,别管代码,先从预处理数据集开始。我们先花几个小时的时间,了解数据的分布并找出其中的规律。
Andrej有一次在整理数据时发现了重复的样本,还有一次发现了图像和标签中的错误。所以先看一眼数据能避免我们走很多弯路。
由于神经网络实际上是数据集的压缩版本,因此您将能够查看网络(错误)预测并了解它们的来源。如果你的网络给你的预测看起来与你在数据中看到的内容不一致,那么就会有所收获。
一旦从数据中发现规律,可以编写一些代码对他们进行搜索、过滤、排序。把数据可视化能帮助我们发现异常值,而异常值总能揭示数据的质量或预处理中的一些错误。
2、设置端到端的训练评估框架处理完数据集,接下来就能开始训练模型了吗?并不能!下一步是建立一个完整的训练+评估框架。在这个阶段,我们选择一个简单又不至于搞砸的模型,比如线性分类器、CNN,可视化损失。
获得准确度等衡量模型的标准,用模型进行预测。这个阶段的技巧有:·固定随机种子使用固定的随机种子,来保证运行代码两次都获得相同的结果,消除差异因素。·简单化在此阶段不要有任何幻想,不要扩增数据。
扩增数据后面会用到,但是在这里不要使用,现在引入只会导致错误。
·在评估中添加有效数字在绘制测试集损失时,对整个测试集进行评估,不要只绘制批次测试损失图像,然后用Tensorboard对它们进行平滑处理。·在初始阶段验证损失函数验证函数是否从正确的损失值开始。
例如,如果正确初始化最后一层,则应在softmax初始化时测量-log(1/n_classes)。·初始化正确初始化最后一层的权重。如果回归一些平均值为50的值,则将最终偏差初始化为50。
如果有一个比例为1:10的不平衡数据集,请设置对数的偏差,使网络预测概率在初始化时为0.1。正确设置这些可以加速模型的收敛。·人类基线监控除人为可解释和可检查的损失之外的指标。
尽可能评估人的准确性并与之进行比较。或者对测试数据进行两次注释,并且对于每个示例,将一个注释视为预测,将第二个注释视为事实。
·设置一个独立于输入的基线最简单的方法是将所有输入设置为零,看看模型是否学会从输入中提取任何信息。·过拟合一个batch增加了模型的容量并验证我们可以达到的最低损失。
·验证减少训练损失尝试稍微增加数据容量。
谷歌人工智能写作项目:神经网络伪原创
在模式识别,人工神经网络方法中,为什么要进行数据预处理
写作猫。
可以降低数据大小,通过归约,可以建立好的样本集,因为脏数据的存在,需要预处理单位不一致,比如,身高1.7米,体重120斤,那么1.7和120不在一个数量级上,导致1.7的权重被淹没有时候需要降维,降低运算量,有时需要升维,达到线性可分,这些都是预处理的方面。
在模式识别、人工神经网络方法中,为什么要进行数据预处理呢?
1.原数据可能数据量很大,维数很,计算机处理起来时间复杂度很高,预处理可以降低数据维度。2.数据的很多特性非常影响神经网络等分类模型的效果。
比如数据值得分布不在一个尺度上,当地气温值与当