继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
1 p4 T( r! h. v" `1 J0 K----------------------------------------------
import torch
$ T  x0 V+ z! h; n5 u! S) D, |7 Cimport numpy as np
% g! ~8 l1 b" s6 r+ n7 simport matplotlib.pyplot as plt
import random
  N# ^7 D$ H: N" ]9 f
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
1 Z9 R: {! I$ D7 `
( v% U2 P  [: p; o2 |4 A2 C  ~w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
! A8 |: V% r9 t  N
epochs = 100

3 K6 y0 P% f; slosses = []
& N6 `/ t" j9 r1 ?0 F5 Ufor i in range(epochs):
  y_pred = (x*w+b)    # 预测
3 {# V3 u& c/ d  R* z  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
; F' [% F1 b, Q' z2 d: w  
6 D& w1 r! j# h0 j7 q  U2 i  loss.backward() # autograd
  with torch.no_grad():
. K$ a% |) n! }& j: `: e    w  -= w.grad*0.0001   # 回归 w
8 h7 o0 p9 U; N. n* E    b  -= b.grad*0.0001    # 回归 b
: u/ [) _, l5 O$ \: Q! G1 r  w.grad.zero_()  
& ]' v- j" f' A- B" [2 s7 G& ~  b.grad.zero_()

print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
1 Y: x9 v" V$ f( P----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

1 {' [+ [1 |3 ~3 n
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
! ~! u0 F: [, c* W9 U没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
2 ^( W$ t% I$ q-------
不好意思， ...

0 P2 I9 E* ^* m' C谢谢，算法应该没问题，就是最简单的线性回归。
9 O. k( g% ?' B我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
/ d  V+ M$ p2 O. x. _. C* F1 Z谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
5 a2 g9 N# p2 G) s0 b7 \
* y8 A8 }. |- ^或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

1 U2 ^" `& b5 e或者把b但的起点改为1试试。 ...

# N+ e4 Y. h# q9 M, K2 g" v
你是对的。
/ Q* c. `. m) J1 I+ {# r' l5 B. n去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
9 a0 Y) M- u8 o  U3 c3 D/ s% ay = (x*27+15).reshape(-1)

- l& C" W. s. j循环次数加成10倍，就看到 b 收敛了
$ i' X; \- @: l, I3 G# Jw , b
6 A9 W0 G, V# q  z0 D27.002620697021484 14.826167106628418

, X: T. `" H9 V# T, a4 F+ X和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。