继续请教问题:关于 Pytorch 的 Autograd

雷达

, @8 K, s, D* Z# i- I' @; F2 Z
0 x7 \' V  I% b+ f" q为预防老年痴呆，时不时学点新东东玩一玩。
4 h7 z8 E. e9 N3 E: M* @Pytorch 下面的代码做最简单的一元线性回归：
. k3 b& n3 E  I, B4 ~----------------------------------------------
import torch
& K! S' W2 C" U$ g4 m' himport numpy as np
import matplotlib.pyplot as plt
( ?( U. N. j5 E# z: nimport random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
' l5 O3 T0 F5 Q; l
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
5 ?/ K) W  ]6 T' e; ?: V
5 M+ t7 q% |' ]2 |* T1 I. Eepochs = 100

losses = []
for i in range(epochs):
+ @) G  ~6 T7 e  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

2 g! _. u9 I5 A/ P/ h6 a& J  loss = torch.square(y_pred - y).mean()   #计算 loss
( m% h" \3 L8 S- m; J5 u* `  losses.append(loss)
* A- N. M8 x8 J% H  
: \& K) b3 ]4 g4 c  loss.backward() # autograd
8 h2 a; P, C8 u  with torch.no_grad():
7 m: A0 c  X" C8 V/ n6 f    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
0 Y& y' P( a" C4 P, z3 N  b.grad.zero_()
$ P4 s/ z' }7 g2 u0 e; ~" w" f
print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
* t# S% p: j7 t  ?: U# Q8 X# ~

老福

8 ~+ @3 A; T9 T
  `& R& p6 H8 u5 ]3 u, j! A没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
5 {6 D6 H8 \& w9 w5 v/ _-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
( @' K* K3 D1 i! ?7 A-------
( m! V- D& _9 x8 K$ G" i2 `算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
3 ?  g& U( r; G+ v: `7 Q不好意思， ...

% `! X; R# s. C; P. d% i7 B2 ^谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
& w$ C: s" V: u5 `' u$ [4 c; Z谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

. E1 d0 h# y* B+ v
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
$ P  j$ Z) `) `
0 R( z) y8 h, }1 v2 ?- f6 w2 z! T或者把b但的起点改为1试试。

雷达

9 {! }+ a  K; C5 u  A

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
! M! R+ f7 ?- `
4 o' ]4 @/ t$ z4 Z$ f0 c/ U或者把b但的起点改为1试试。 ...

7 _* \( ~2 i2 U) w1 d6 p你是对的。
6 Y) k( x: A" k8 o9 N0 l. A" C去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
+ N- ~4 O2 i/ S; ~
循环次数加成10倍，就看到 b 收敛了
w , b
1 Z* {  a1 I1 u: q2 G9 q) k0 B27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。