继续请教问题:关于 Pytorch 的 Autograd

雷达

6 ^) v1 C& S! I! W# j/ v2 a( `为预防老年痴呆，时不时学点新东东玩一玩。
0 k/ x# i+ n. b, Q6 l- H7 bPytorch 下面的代码做最简单的一元线性回归：
* v( d# a9 ]$ T) o. n----------------------------------------------
) y! |' `5 _7 n! Simport torch
1 ]' C; J" b2 ?3 |2 O6 ]import numpy as np
0 }, o: C* g2 _import matplotlib.pyplot as plt
import random
4 {1 ^" @/ N: H& y1 V
0 P" G4 R$ H, G. j! V8 B/ U; m, gx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
7 L3 \7 ]- M6 B1 }
epochs = 100

: L* o& L6 [: M3 r% e2 zlosses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
% E- [: B7 z6 M) L& o
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
- ]3 G+ i6 m9 j9 {. v4 K3 V  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
4 u) W% u: p. s% f% n
9 S  j* V0 W1 j% N# Q0 L) Hprint(w.item(),b.item()) #结果

8 Q" Q% u0 }' W( e8 i7 z) ]Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
  E( |- K9 N! J* d; g6 R最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
8 U/ I- x6 ^% b: b/ a' `1 v高手们帮看看是神马原因？

老福

" L' l/ L' Q1 A# Q5 }! Y5 M没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
' |' o% E* ~& D4 s$ \- B/ D6 L没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

6 J& k; v6 n  {5 s; m. k谢谢，算法应该没问题，就是最简单的线性回归。
% r# R3 |% n% b3 B/ {1 T我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

2 R3 _: Z7 T# a

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
4 l$ Q, O8 \- K- N$ x我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

1 O2 S6 z# ]7 R& p刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

, t) H$ s9 n( K' l& Z1 g4 u

老福 发表于 2023-2-14 22:00
$ k& e0 Q0 W  W  b* X刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

你是对的。
+ m8 j7 u: V/ d6 P, a% @$ G去掉了随机部分
3 D. c( w1 V/ T- @: n, e8 P6 \#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
7 B% i; c7 R5 G4 H9 w; A5 U7 ~
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。