继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
2 A" R. J: a1 m' Timport torch
import numpy as np
  g5 S: c/ i; z% \- ]import matplotlib.pyplot as plt
+ }2 G& h( I5 T: ]% j8 \" Z3 Dimport random
0 R$ Q; ~# x' J/ p2 t  `* ^& c/ V, Q
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
/ I8 @7 N) d; W% N! u, F( u. H- Lb = torch.tensor(0.,requires_grad=True)
# H% L# C+ {; }/ J% k, a. U3 x' H5 O+ e
1 S' N$ e4 }4 t' c' ]1 \9 lepochs = 100

losses = []
for i in range(epochs):
; a$ [! }7 h6 n% d+ a  y_pred = (x*w+b)    # 预测
, D$ p" R2 N4 V: E) h* ?2 \  y_pred.reshape(-1)

6 j* E, l# i% ~+ i, y5 p7 `  loss = torch.square(y_pred - y).mean()   #计算 loss
+ B) _1 Y9 ~: U  losses.append(loss)
$ o' x' @! ^. E# {  
# ]: g, @: j% W& p4 m6 L  loss.backward() # autograd
  with torch.no_grad():
: i' R4 X' C- H; v$ L* C    w  -= w.grad*0.0001   # 回归 w
% s+ r& r( F' ]# |- A* r, u8 s6 f    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
0 s% Y0 X) X$ \# a* U5 C  b.grad.zero_()

5 e; x$ P! h' ^/ _+ k! `  t: V2 L; wprint(w.item(),b.item()) #结果
% P( Q. A4 j( Q9 x) T+ g* T. ~2 h1 _
Output： 27.26387596130371  0.4974517822265625
* V2 R) ?1 d1 R, D----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

# A+ H, k  o' C+ J) X5 k没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
! z* l8 z2 N4 a, x1 ^$ h+ p7 F-------
0 w4 o% Z. b$ u& V4 t& p不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
, [* M4 M( \0 i7 N3 c/ F: B算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
; J0 ^' N# q2 L5 N-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
$ M& g# S( n' ~6 P$ q6 G+ L我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

; c, v8 O+ ~* X  V
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

  P# g- G- e' I. r! M% W或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
3 L$ L. X& b0 F2 y# m  I
或者把b但的起点改为1试试。 ...

, V2 ?) @9 E$ d$ X5 P; _你是对的。
; B+ r, `% n0 Y去掉了随机部分
$ w5 H4 v+ I8 E! P& U7 l0 R3 E8 B3 r" l#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
0 N' |% K: L) Y6 @5 h
6 Q- `9 ~9 ?- r# R循环次数加成10倍，就看到 b 收敛了
w , b
( W* N  B5 q8 H* k27.002620697021484 14.826167106628418
7 [* u) n: o0 ?, i% W- l- c1 a
* S8 R2 Q, _) t4 J和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。