继续请教问题:关于 Pytorch 的 Autograd

雷达

* ~: L/ y; C' N6 _0 O$ N
" Y, L: i3 X8 p! H为预防老年痴呆，时不时学点新东东玩一玩。
2 x5 d6 X' i  t" w( K; V! xPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
" o( N$ a" x; y2 n" r+ t# ]import torch
import numpy as np
import matplotlib.pyplot as plt
2 f' k5 w: Z' s3 Y; ~import random
( }' V9 O8 J1 ?/ M
" B, D$ E, ?8 v# L$ ^: Ix = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
) I9 V9 N7 E$ v9 v: R1 Ub = torch.tensor(0.,requires_grad=True)
/ u6 Y- R" z. A  D7 ^
- c' ?: J+ D! d" d' E# R6 _epochs = 100
: P/ `. Z- E. ?1 }
losses = []
for i in range(epochs):
5 P- i8 }% j# i! P2 T6 W  y_pred = (x*w+b)    # 预测
$ T; y: W0 ]9 h' \4 s  y_pred.reshape(-1)
$ B" g3 A* v' a) t
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
  loss.backward() # autograd
. D3 y5 ^; J) t) D2 m/ d  with torch.no_grad():
; l& c! x* U; F, S. J+ T    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
; c0 H8 S3 z5 e; W& _: R  w.grad.zero_()  
  b.grad.zero_()

( e4 A$ v0 U4 Nprint(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
8 e+ {* X2 H8 p7 B% U9 V+ c. M高手们帮看看是神马原因？

老福

# ]9 p3 \, ]2 L( h# l) H# u
! T  e+ c3 }. J6 B* D4 e没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
$ W- L  J! h$ C3 C; e8 h不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
* v* W4 k& H. l6 y. F算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
1 T7 J( J0 l* Z5 R+ S  p-------
不好意思， ...

  }7 T, ]  B. f6 p2 ^9 d  s3 H3 I& ?. E谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
! z( T" o  s% E) G9 O我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
- Z! H" g! `, v  S  j9 U  [& f
或者把b但的起点改为1试试。

雷达

/ v5 ~* l7 i& o+ t4 z' s

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
+ V2 G; V* y3 V) S/ M/ I' V" `y = (x*27+15).reshape(-1)
! o' B, W1 d$ @- D2 w
$ z6 g1 f8 C+ C% Y3 v- a4 ?. Y循环次数加成10倍，就看到 b 收敛了
  A6 ^$ E' e2 F3 Z4 K; J. M+ `7 q) cw , b
* b' ~6 g2 h8 q& e- ?2 C0 j, w" ~  d4 z27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。