继续请教问题:关于 Pytorch 的 Autograd

雷达

# I8 n3 v" a- t为预防老年痴呆，时不时学点新东东玩一玩。
6 \( O) ]: b1 ~2 B' {Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
/ ]1 A: o0 I! G: v' L# oimport torch
import numpy as np
: R) i2 j1 \- z& A; `6 t/ e' |: vimport matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
  S/ [7 ]$ A# V. z0 z) ey = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

2 E9 e9 }+ c2 q; b8 [  G) Vw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

; I0 w' Z. q3 s9 ?  m2 F2 t, Lepochs = 100

losses = []
. @5 }' f# a# h1 X6 z+ I% rfor i in range(epochs):
5 Z3 A, U/ c. P4 V- g* _, m9 E  y_pred = (x*w+b)    # 预测
3 y% ~" ^  }" W" ^: O$ j% |  y_pred.reshape(-1)
& ]% t8 U6 Z& p$ {. L3 i
% q. \# I7 I* S/ Y7 R# t  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
0 h. O0 A, n* q  
  loss.backward() # autograd
0 ]- @# L5 s. c( K' E  with torch.no_grad():
6 R% ~, ^% [$ K1 N# n/ V8 F    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
5 F( W+ d/ ~; }0 P5 W* e0 P  w.grad.zero_()  
4 `. x/ n6 ~0 u  q, t1 w  b.grad.zero_()

print(w.item(),b.item()) #结果
) c# b( J! t7 y' Q( f2 `
Output： 27.26387596130371  0.4974517822265625
+ A7 ~" e6 J  }) r& O5 i----------------------------------------------
  G9 }# E4 h3 y4 S最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
/ ~! M9 \: X4 T; b$ m高手们帮看看是神马原因？

老福

- o; M) H  X5 W' O
5 E9 b& I& }% n' B0 Q+ g没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
$ M7 T* ]% C$ y# q- Q/ R  A( E-------
" [+ K, [  o. O/ _+ j不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
( u2 `$ I& `' b0 r% t, O4 z+ p算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
3 l$ t. y* Y+ {没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
" Y0 P1 E* s4 w7 ]-------
不好意思， ...

2 m) e0 u0 d* d* d7 G: c谢谢，算法应该没问题，就是最简单的线性回归。
3 g1 X: s+ W8 V! d4 n我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
( d. `0 i; d( b; w) i8 x+ Z& [谢谢，算法应该没问题，就是最简单的线性回归。
7 A  a% b. _( I! f& k4 g: m9 q- U我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
* B: m5 D. U6 B5 }" S) K/ v9 g
或者把b但的起点改为1试试。

雷达

) O2 R! e9 {1 z! T! N6 Q* [) q

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

7 W' U3 L: D9 o# y或者把b但的起点改为1试试。 ...

9 y( b% S1 N6 v6 ?* r你是对的。
' k) g( t0 T6 @; o  r* |9 Q去掉了随机部分
7 I) U5 j- K0 m- r8 k0 q$ `$ @- i# h#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

8 W# L+ |- K7 }循环次数加成10倍，就看到 b 收敛了
w , b
/ {# P( P' p% }% {9 n2 d3 U27.002620697021484 14.826167106628418
- n, W: M5 W1 h( i+ ?9 B- i, S$ f
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。