继续请教问题:关于 Pytorch 的 Autograd

雷达

: Z# ?/ Z+ V$ F. v) W
* ?$ U( A- D# F, Z$ X5 }& T为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
# K9 M( F* Z- n, Z1 bimport torch
: F! R1 h  a. [: N5 O0 Yimport numpy as np
% O. Q4 {" L% }9 i0 D8 ]import matplotlib.pyplot as plt
import random
  x5 ?: B8 X2 n' s6 Q4 _2 U
x = torch.tensor(np.arange(1,100,1))
% E# ]. i  f; Qy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
# d2 w, W" T' Db = torch.tensor(0.,requires_grad=True)
  u4 O, u% }* A
7 |8 B- V: O1 ?' xepochs = 100
$ v4 q: G5 c' h& J, @
losses = []
for i in range(epochs):
. J, s  [8 Z% ]4 F' t  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
' U- M& d3 b- v- U( Y* N3 W  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
+ X9 P5 L# h1 _7 m1 Z  w.grad.zero_()  
  b.grad.zero_()

! y7 P2 ]5 Y  J- O9 ^' lprint(w.item(),b.item()) #结果
7 X; |! B% j2 H7 }0 R
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
; s1 V+ n* V6 O最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

, J6 p! ?$ c0 y
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
3 N2 r/ @3 z& a: b/ @: f-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
0 L/ B/ n* K! P' Q-------
/ A0 D2 A  F( O0 L) T1 @4 m7 j# d2 K算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
2 W' l4 {6 F7 I8 C$ \+ k-------
不好意思， ...

0 A. |% Z9 f0 |! M1 C谢谢，算法应该没问题，就是最简单的线性回归。
6 {6 q+ R) ~3 r我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
) j/ M* \% E% V# A谢谢，算法应该没问题，就是最简单的线性回归。
5 U  p, Q* G2 X我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

  M; y2 \% u+ H2 B3 u刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

: T- ?9 m9 X/ e$ m: A6 ]- M7 |或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
7 _" O. ]! r0 o" F刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
3 Z0 h9 ~! W) {* R' q
或者把b但的起点改为1试试。 ...

& O+ G$ Y- s1 c$ B0 S! s- ^% T
你是对的。
去掉了随机部分
5 D( W5 \3 h" I* f& Q5 k, s#y = (x*27+15+random.randint(-2,3)).reshape(-1)
+ m; d; l3 c/ N! p7 K7 H9 u9 E0 G) `y = (x*27+15).reshape(-1)

2 e! S" Q2 h! O5 L% b/ E循环次数加成10倍，就看到 b 收敛了
/ c- \& \9 e3 [$ N9 v+ s( q* nw , b
3 E( S& w. g3 W' b9 `  \27.002620697021484 14.826167106628418
* @; Q/ w. T) \! `% ^
- c& C+ y7 c* w$ z# ~) N8 h2 Y# J和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。