继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
$ S  l9 e/ K* f: o' s' _----------------------------------------------
import torch
import numpy as np
, j/ Z/ {- \  F  U' e% s( himport matplotlib.pyplot as plt
$ `5 ~7 N7 k6 R: `* k8 r( mimport random

- K* T' m6 Q0 _x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
) y$ e8 Q7 r/ O4 B0 z0 C* ~- G+ A1 P
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
" o; _& q- Z' [8 c2 j. U4 Kb = torch.tensor(0.,requires_grad=True)
9 w7 B5 S' b' Y9 n
epochs = 100
8 d0 G5 k% g/ ?0 y- L
losses = []
* O, K( a4 a& S3 i# Mfor i in range(epochs):
4 R* g2 c  e6 I3 A6 I1 c7 w  y_pred = (x*w+b)    # 预测
& }4 i6 [" `/ `; _  y_pred.reshape(-1)
' P/ U, P7 X; W4 X
5 z* c1 g% d  v- h3 d  loss = torch.square(y_pred - y).mean()   #计算 loss
, J" M2 W1 U  D$ ]2 k, Q& k  losses.append(loss)
  
9 |7 a& X5 Y# Y9 x  loss.backward() # autograd
1 d$ _. G6 B6 S5 ^  with torch.no_grad():
* g' {  U. w) m! b    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
7 O/ b$ Z) x8 `6 }3 N3 J  w.grad.zero_()  
  b.grad.zero_()

+ O- @$ J/ G: u" ^0 eprint(w.item(),b.item()) #结果
0 \9 y. T! e; M
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
9 }3 W& L" a# o; ?3 F最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
+ [8 \6 r+ E. V7 J& l; L8 t2 d高手们帮看看是神马原因？
0 J; ]8 {8 y9 j$ h3 S" p0 N% ~

老福

! @+ F* v: ~' h没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
% `7 p4 ]% V) Y# E- K没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
; Z4 X. Z  w" ]' ~1 w8 L* h-------
- h& F5 K# Y7 L  d* \. Q$ ]不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
6 S! O6 \' m) l4 n3 y  l8 d我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

+ J* j) F/ S& u( r( X

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
3 R. T8 A, H% B6 y: R; t刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
4 A5 Z4 |& L( L, [* n0 {5 p  \
; P  Y" D$ U' ^; q5 z0 I# j6 s或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
6 a% z$ r& V0 k+ P: L: @#y = (x*27+15+random.randint(-2,3)).reshape(-1)
8 R0 W" W9 `# n5 J* n6 |y = (x*27+15).reshape(-1)
( K8 I$ ^* r; R6 A  k: e! F1 N- E
循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
* |/ ~+ ]0 n( [/ C
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。