继续请教问题:关于 Pytorch 的 Autograd

雷达

& A+ ]7 l; w/ o3 k# X4 v
/ L* R0 J. i# ~) x5 g7 N% o为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
7 C. X  f/ U0 N& q% ~! [import matplotlib.pyplot as plt
. ^6 ~+ p) q- x6 o8 pimport random

! O2 t3 n3 X' n& ^0 px = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

; v" j  Y% V8 \5 [  r0 ew = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
4 [% @$ i7 X9 f: e' U2 S7 ?b = torch.tensor(0.,requires_grad=True)
& f% U1 Z' n9 p* ~. n8 x$ t
  A9 V) }8 o* w9 z: c$ ~epochs = 100
3 d. I* v2 T' i
  e+ P2 V2 `4 I4 Tlosses = []
for i in range(epochs):
" w3 [0 ?8 j7 f  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
$ q6 ~  U" h& P  ?  
  loss.backward() # autograd
9 u$ w0 @! }8 a  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
8 q' I* X! M" ?3 A    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
. q% ]" M6 ~* p5 s9 p( B  b.grad.zero_()
; v; P2 a' n7 h1 [
( E+ G4 t- C* }' I& [print(w.item(),b.item()) #结果

# r) e9 ?( j- |# X8 ]Output： 27.26387596130371  0.4974517822265625
& \) C! k8 C( \9 U# C, T( ^----------------------------------------------
# ]: l5 K. u- u: Z最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
; D+ l/ E. F5 h! f7 z

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
/ r( C; R* c$ I; l-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
% E0 Q/ s$ u6 O) Q-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
3 b% Q3 ?0 d8 U( f" m+ A8 N) v没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
4 @, Y* t( B/ P1 a  c5 s& C-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

7 V5 [( H- Y6 h2 ^

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
) m" U& W1 W; V; X8 A! p5 ~7 R+ b4 W
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
) Z- F9 k! C  L: ~刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
; H1 M" u; B% ^- g) J$ U+ Z
或者把b但的起点改为1试试。 ...

# v( R9 L. i' F, J9 u! Q! p你是对的。
去掉了随机部分
3 Z6 {. O5 y5 l. U3 X#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

' t5 b) B; H2 \+ ~; b: D8 F循环次数加成10倍，就看到 b 收敛了
# |  j+ Y/ G( D+ j' g' ?' |w , b
) z1 X9 s) b7 ^5 P# `6 M, L3 j27.002620697021484 14.826167106628418
1 r: \3 Z" F5 I3 q' P* Q1 G6 |& ?
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。