剑胆琴心

剑胆琴心

潜心学习,去成为你想成为的人

Batch和epoch

Batch是大小 epoch是数量 Batch Batch大小是一个超参数,用于定义在更新内部模型参数之前要处理的样本数。将批处理视为循环迭代一个或多个样

权重衰减

权重衰减就是我们常说的L2正则化 正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小。 权重衰减通过惩罚绝对值较大的模型参数为需要学习的模

实现多层感知机

多层感知机在输出层与输入层之间加入了一个或多个全连接隐藏层,并通过激活函数对隐藏层输出进行变换。 从零实现 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

实现Softmax回归

从零实现softmax回归 softmax的公式: $$ softmax(X){ij} = \frac{e^{X{ij}}}{\sum_k{e^{X_{ij}}}} $$ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41
0%