继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
8 v; t$ E4 Z+ z' xPytorch 下面的代码做最简单的一元线性回归：
' ?, {$ y; J4 H----------------------------------------------
import torch
9 p. V, K* P2 |/ v$ n. y" U% \import numpy as np
7 U" @4 o5 p* I# w  E$ }import matplotlib.pyplot as plt
" |1 r: @8 s% s$ L1 ?) k8 {import random
1 Z2 q5 V" W2 B2 R
x = torch.tensor(np.arange(1,100,1))
" X3 {" h# C7 Q! b2 W/ e0 Iy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

7 o* f0 l7 C' ?" p* gepochs = 100

' d+ i! `0 t* h* E( Zlosses = []
for i in range(epochs):
: L' g2 s5 u0 f) H) ^  W- i  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

. T$ O9 b  z7 W4 J; k  loss = torch.square(y_pred - y).mean()   #计算 loss
( z6 k! }8 ?! j* B  losses.append(loss)
  
/ t0 ~8 U4 R! {$ u& y7 {  loss.backward() # autograd
  with torch.no_grad():
$ b* C+ O7 ?& ^! j    w  -= w.grad*0.0001   # 回归 w
4 ^; ]7 M% q9 _; e    b  -= b.grad*0.0001    # 回归 b
; c- `& N, Y+ _% Z, h  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果
) B# E8 d3 s! s4 C3 C3 ~
4 }  p3 r7 I1 Q" o3 ^' ]6 X, C: _: _Output： 27.26387596130371  0.4974517822265625
3 n1 s! [* r9 K% o" \----------------------------------------------
/ v2 y2 v0 K% H最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
" Z0 d! ~6 n% w1 _+ y高手们帮看看是神马原因？

老福

# K/ c* X6 J9 W4 x没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
( I) m" \1 }/ @1 E7 S不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
/ h6 W; r  W0 ^7 }. N9 m-------
$ l9 ~4 P4 ~- t算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
9 d5 F8 m$ `" T没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
: |% _) K8 I7 T# Z1 S; J7 [不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
: O0 l' |' X3 h4 h: g. B& ^- O: J我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
* I; v( i# V, J, ~0 B# C7 s3 P5 k* K谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

; |" A* ?6 }0 k+ b$ }( K+ l6 k3 n刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

1 y1 O. ^. n- ~+ G0 u或者把b但的起点改为1试试。

雷达

( r8 h6 V1 w4 D9 h2 _

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

' F; @; n1 U, v& {" z6 L2 l* P或者把b但的起点改为1试试。 ...

: h0 l% Y) F3 v/ O. U) P2 N& x- l你是对的。
3 @8 V. b. D+ s& d4 q6 X" o- c& }# [0 C, z去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
5 L$ K1 g0 C. i( |y = (x*27+15).reshape(-1)
9 x. ]0 u' G1 _" p+ a
( I. Z' H6 g" j  m6 L循环次数加成10倍，就看到 b 收敛了
w , b
3 u, p/ B* S, A27.002620697021484 14.826167106628418
2 J* B7 \  A& G, i2 {3 ^6 B% Z" }/ M7 `
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。