继续请教问题:关于 Pytorch 的 Autograd

雷达

0 [" g' _9 _4 d# }  }
为预防老年痴呆，时不时学点新东东玩一玩。
% A. ~% ]1 m1 ^2 ~+ hPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
% P- [$ z# C0 @! {import numpy as np
. S7 Y2 ?0 f9 b6 K4 U; Nimport matplotlib.pyplot as plt
5 k; g: M' u4 S# yimport random
) N- c: Q+ M) ^
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
: K2 K( k) J  ]( o4 N1 q+ a4 W6 a
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
; W3 K; X; n& j; bb = torch.tensor(0.,requires_grad=True)
/ x: W+ `" B+ U5 t5 I9 |
epochs = 100

7 c1 m9 d- a, _$ Z. j. i2 ]$ T: ]losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
: B/ j) E# [! ~5 r9 H3 m6 L
7 |2 z" X5 [4 a7 W9 m0 F  loss = torch.square(y_pred - y).mean()   #计算 loss
3 {6 O; v( W5 T$ ]  L4 m; G% w& S  losses.append(loss)
  
) v% q, A1 y5 U- V- M  loss.backward() # autograd
1 P3 ^4 s2 |* s9 D# c- Q# t( o  with torch.no_grad():
1 M+ R" D: n- _( X    w  -= w.grad*0.0001   # 回归 w
: A; _5 {# Y1 @1 s" F5 n/ O% P    b  -= b.grad*0.0001    # 回归 b
% E& `& e% I  d7 k  w.grad.zero_()  
  b.grad.zero_()
1 W* Q. X7 B3 @0 e/ u6 @& R. h: D/ f
print(w.item(),b.item()) #结果

7 l. t/ [3 k2 @. }& o3 j8 `3 i: fOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
6 x1 @" f/ T$ }+ ^& y9 _最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
6 k8 L) w* W6 B' v/ @# n' h9 D0 I高手们帮看看是神马原因？

老福

! h) A+ Z  ^) O% y& K! k0 S3 F7 T, }没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
5 p* q# ~9 o5 r3 v/ g/ Z-------
/ W8 A9 h, \- y7 B( ^不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
2 ^3 u1 G) I* i" A/ a. G7 g-------
" @3 Q1 U9 o7 M. T4 R+ ~0 H- f* B算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
' t0 [; c5 D( t3 j3 N/ B没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
9 y7 o3 A+ c7 f+ w我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

6 w# w- e6 w1 H( R7 F8 j

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
* _! ~( M/ `0 t: y3 P' C/ D
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
+ }7 e2 b' l# G' Q( s刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
7 x$ X  S% r! N, G0 t
1 _7 Q. w! E1 I8 {0 n# g或者把b但的起点改为1试试。 ...

你是对的。
( m" [1 }" J' V! u9 K( Y$ t  e1 m  b去掉了随机部分
  H2 G4 v/ U) S- g6 i* G$ u* m#y = (x*27+15+random.randint(-2,3)).reshape(-1)
+ C8 `, N% ]3 Vy = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
% a0 A" C7 }; L8 z* o$ \! j27.002620697021484 14.826167106628418

% D/ V! V+ z5 s5 s/ S  [6 a* v, ?和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。