设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3286|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    3 Y  `* F( T( k! A3 h$ L6 V  @& C8 j: `9 T/ O9 o" W7 h0 W' {# h
    为预防老年痴呆,时不时学点新东东玩一玩。
    * i& ~- \# ~" X. q0 nPytorch 下面的代码做最简单的一元线性回归:
      }, W& Z  l' Z( v* d0 V----------------------------------------------" O) S* g8 y3 E! I6 [
    import torch
    7 s$ G6 Z+ T! E  ]5 Yimport numpy as np" M, q/ c: F. C" ~- N5 P
    import matplotlib.pyplot as plt
    ' E% p/ a& h- l* M/ aimport random
    6 C3 p, x3 @$ t/ Z' B7 D4 W. U4 m7 U' I4 H
    x = torch.tensor(np.arange(1,100,1))! L! [: x  U) q5 F
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15- C4 d/ s# i$ R8 g: i
    ( x/ B! n* ~: Q  j% o3 ~/ o( t- i
    w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b6 J" f, g+ D, S5 p3 f2 f
    b = torch.tensor(0.,requires_grad=True)
    . H2 Q6 d/ e  x: ~5 _) ?
    # @5 Q, ~; y8 y0 p5 mepochs = 100, A+ {% c/ o; |( E9 U' W5 Q
    * M: e+ P' q; u
    losses = []
    6 A; D  s$ w9 z: W4 A3 ~for i in range(epochs):/ k! G/ ]  l/ O
      y_pred = (x*w+b)    # 预测
    * o+ z+ Y3 ]/ [" b/ g0 R8 N+ @4 _- b  y_pred.reshape(-1)/ o) t9 [4 Q+ b8 `

    6 n) w% Z; ?3 C  loss = torch.square(y_pred - y).mean()   #计算 loss. E5 o5 }" p* S: B) m) s
      losses.append(loss)7 p) b0 W- f4 k' z" h
      ! F6 g" s- T) j- x
      loss.backward() # autograd3 i" b/ T7 R) F" b
      with torch.no_grad():# Z$ N0 f9 N2 z: }$ S/ A7 y
        w  -= w.grad*0.0001   # 回归 w/ G6 x: l5 N$ r; G
        b  -= b.grad*0.0001    # 回归 b
    ! [0 W, X8 y6 s  w.grad.zero_()  
    1 h5 l5 F2 _1 L  b.grad.zero_()
      i  I: A' S) u: h' P; V
    / c0 k9 B& c& u, v& \* ]  L( |* kprint(w.item(),b.item()) #结果7 ^- O( R: k( G4 s/ x4 x

    + i9 P& Z) `1 Y1 r+ ]% KOutput: 27.26387596130371  0.49745178222656255 @7 s8 L% N; k9 P4 V
    ----------------------------------------------
    8 [! O4 t5 B7 a$ I. C3 I; E最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    ' X3 x* z: D' u7 }; L3 U高手们帮看看是神马原因?
    0 x. J# C0 b; d8 W# O9 C

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 / n6 H2 c( P7 [( [8 R" `" ?5 V
    * W  b$ ~2 U( k# E! Q
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    ( q/ e* {$ e1 }" A% r$ {-------* g5 f; P0 u* |# A
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    ' P$ d. w, z9 ?- j. Q' U4 T-------
    * C5 R4 `- m$ ?- W算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23/ Y+ ?7 D$ u1 L; f* c
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    ) j+ E( P  p3 \0 P-------, S3 p/ ?% E+ v+ ?, A
    不好意思, ...

    * z4 u4 n9 g; n0 M: U谢谢,算法应该没问题,就是最简单的线性回归。
    0 M8 [4 O. ?( j4 Z2 w+ N我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 / e2 i/ l* @$ Z
    雷达 发表于 2023-2-14 21:52
    ' T8 h. R6 c3 v( ~  @谢谢,算法应该没问题,就是最简单的线性回归。
    2 M. p# E4 ^. Z" S我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    , \9 d$ b6 F! W5 l6 m& p

    % q, g5 @& ^8 c9 w! K% L刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。/ n. c$ I" f! ^
    1 D8 v# Z0 a0 O0 H( d: U
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 : A2 Y0 k/ P& x+ T( B7 j
    老福 发表于 2023-2-14 22:00
    1 T, x/ ^, q5 m: z- S9 a刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    + U+ l# y0 x4 @  n4 s' r% s* f0 g7 _+ R0 [2 L* L8 N
    或者把b但的起点改为1试试。 ...
    6 `/ I" X9 s& c8 I! }, v

    4 c9 [3 Z. u$ t" I& q) ^( N  C你是对的。
    5 N/ G9 e1 f- J+ N去掉了随机部分! i5 K9 ]: t1 s$ Z0 V4 y
    #y = (x*27+15+random.randint(-2,3)).reshape(-1)( r! a/ m8 K% }9 [0 Q3 R3 L
    y = (x*27+15).reshape(-1)5 O. `6 D% \. h1 v5 M7 b  ^
    , }' I6 @, o9 x* s& b( k  L; V* R7 F
    循环次数加成10倍,就看到 b 收敛了% u+ H& R9 B2 Z
    w , b
    & Y( s* e' j. R% z4 i$ @; B27.002620697021484 14.826167106628418
    , Q8 w" _# |" _$ s4 c
    # h) b# g7 q; ?( P5 T8 Q# c和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-7-22 03:49 , Processed in 0.056516 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表