除了前一节介绍的权重衰减以外，深度学习模型常常使用丢弃法（dropout）来应对过拟合问题 标准处理流程： $ℎ=σ(𝑊1𝑥+𝑏1)$ 第一个隐藏

权重衰减就是我们常说的L2正则化 正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小。 权重衰减通过惩罚绝对值较大的模型参数为需要学习的模

**交叉验证：**就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏

多层感知机在输出层与输入层之间加入了一个或多个全连接隐藏层，并通过激活函数对隐藏层输出进行变换。 从零实现 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

从零实现softmax回归 softmax的公式: $$ softmax(X){ij} = \frac{e^{X{ij}}}{\sum_k{e^{X_{ij}}}} $$ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41

数据处理 Dataset 主要负责数据的抽象 DataSet是抽象类，无法实例化 数据集被抽象为Dataset类,实现自定义的数据集需要集成Dataset，并实