继续请教问题:关于 Pytorch 的 Autograd

雷达

: I! v, A+ V: e7 z- s! O2 a1 |) y为预防老年痴呆，时不时学点新东东玩一玩。
7 n; y4 F8 j0 m0 OPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
; o8 H$ h* H: ]4 cimport numpy as np
import matplotlib.pyplot as plt
1 {, ~7 ^1 c  G# J- w5 @3 yimport random

, v" D1 k" ]+ U1 u& ^; Dx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
" w  c% e: g2 ^; k9 H8 P
3 h6 A( U3 V( E3 u) H* Ow = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
3 d% n% N9 E5 {( h, `: f6 W2 }5 cb = torch.tensor(0.,requires_grad=True)
( f8 ^4 Z* c2 Z  H  M/ v
epochs = 100
) V7 G& o+ v; w1 y
, \3 \; t0 N- T! w/ Ilosses = []
for i in range(epochs):
% M4 h4 F! D8 Q+ A$ q" Z+ ^  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
% e+ m- M% C# s, [  Q
+ E4 C$ w8 Y0 M0 s# a5 H+ ?  loss = torch.square(y_pred - y).mean()   #计算 loss
3 T7 d7 a& U. {9 B  losses.append(loss)
  
# r2 G* Z3 N' `1 f( Q  loss.backward() # autograd
4 V' I) t1 M, g! `$ H/ o* [; Y. e  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
" Q9 I. K. Y4 ~
9 D- W% W( |- qprint(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
  ~) x9 @2 E: @: N# c最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
1 _  ]' R1 Q: P- O6 H

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
1 v* ^& a" u& j  s不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
" J1 Y, }  u0 G" q" q. b$ I-------
8 |# ]$ t& z. T5 k1 W3 y" `算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
* {4 ?" f# r) m( [/ S' Y/ l没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
- c3 O% ]3 P6 z3 X-------
. A8 w3 @5 l$ D9 U8 U0 b6 }. Q不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
( u, m; i# r9 D- g$ a2 g: v我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
1 ^7 c; c5 k/ g+ @1 W% _我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

$ I7 B, E! R" l: {6 Y3 g, g9 L
+ S: w0 l% R* f7 n刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
% ^: s) j7 J  e+ v/ H
: V0 R( Y1 a# Z或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

0 q1 v8 k: I6 }# ?+ n你是对的。
去掉了随机部分
# a9 y7 l. l  _1 ^#y = (x*27+15+random.randint(-2,3)).reshape(-1)
9 H. V) Y  o% n) S, }1 j& ry = (x*27+15).reshape(-1)
( S0 p: s; n0 C  c4 N8 |! ?! P) r
循环次数加成10倍，就看到 b 收敛了
w , b
+ C5 V1 q( Y  X) \* [; b27.002620697021484 14.826167106628418
# d2 I$ i( m0 [- x7 z$ D
2 z+ M' @, b# H& Y- |和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。