Starry's Blog

代码简介实现

2 min read

线性回归

nn是神经网络的缩写

from torch import nn
net = nn.Sequential(nn.Linear(2, 1))

将两个参数传递到nn.Linear中。 第一个指定输入特征形状，第二个指定输出特征形状

torch.nn.init.uniform_(_tensor_, _a=0.0_, _b=1.0_, _generator=None_)
# a b分别为上界、下界
torch.nn.init.normal_(_tensor_, _mean=0.0_, _std=1.0_, _generator=None_)

loss = nn.MSELoss() 为L_2范数 trainer = torch.optim.SGD(net.parameters(), lr=0.03)

num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X) ,y)
        trainer.zero_grad()
        l.backward()
        trainer.step()
    l = loss(net(features), labels)
    print(f'epoch {epoch + 1}, loss {l:f}')
  • features：整个训练集的输入
  • labels：整个训练集的标签
  • 这个 l 是整轮训练后的整体损失

Softmax

softmax回归的输出层是一个全连接层

net = nn.Sequential(  
nn.Flatten(),  
nn.Linear(784, 10)
# 做的是线性变换：o=XW+b
)

nn.Flatten() 把每张图片展平成一个长向量 loss = nn.CrossEntropyLoss() 也就是完成了：

  • 先对输出做 softmax
  • 再取对数
  • 再计算交叉熵损失

感知机

隐藏层

学习复杂的非线性特征； 隐藏层包含：线性变换 + 非线性激活 线性层→隐藏层→输出层

net = nn.Sequential(nn.Flatten(),
                    nn.Linear(784, 256),
                    nn.ReLU(),
                    nn.Linear(256, 10))
# 第一层为隐藏层（包含Relu）第二层为输出层
def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, std=0.01)
 
net.apply(init_weights);

训练：

batch_size, lr, num_epochs = 256, 0.1, 10
loss = nn.CrossEntropyLoss(reduction='none')
trainer = torch.optim.SGD(net.parameters(), lr=lr)
 
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)

数据集

validation/traning/test set k折交叉验证

过拟合与欠拟合

VC维：最大数据集的大小

Graph View