WiFi 发表于 2025-2-3 11:15
应该是用的H800,不是H20
晨枫 发表于 2025-2-4 01:353 E! E' b4 Y. p) o' q
两个说法都看到过,我都糊涂了。哪一个更弱?
xiejin77 发表于 2025-2-4 23:58( f* k( }7 v: |
相比于绕开cuda的突破,其实ds自己设计的Fire-Flyer AI-HPC框架,更值得自豪。0 s: G# W3 \2 i6 h9 {
# Y/ F8 H6 }2 r' e& z! t: q$ ]
在训练的尝试中有意绕开了 ...
晨枫 发表于 2025-2-5 14:13) t( s0 \) n5 V; C: p
这个能展开说说吗?
xiejin77 发表于 2025-2-5 00:21, V$ |& V+ V2 ^8 }6 t" t8 c' |
ds自己有篇论文,我找时间专门解读一下吧
WiFi 发表于 2025-2-4 01:15
应该是用的H800,不是H20
In detail, we employ the warp specialization technique (Bauer et al., 2014) and partition6 @, G1 I$ S: N- j# h
20 SMs into 10 communication channels. During the dispatching process, (1) IB sending, (2)0 y+ ^, e$ w6 }2 q+ K
IB-to-NVLink forwarding, and (3) NVLink receiving are handled by respective warps. The) l- }" @0 e6 @; |% J5 q8 Q/ a
number of warps allocated to each communication task is dynamically adjusted according to the! f9 s; F! Q' `5 u* V3 @/ D
actual workload across all SMs. Similarly, during the combining process, (1) NVLink sending,) a' j. V* y" ]; H$ L# M
(2) NVLink-to-IB forwarding and accumulation, and (3) IB receiving and accumulation are also3 ?, ~) @) ~5 u7 d& e1 @+ C2 d
handled by dynamically adjusted warps. In addition, both dispatching and combining kernels1 s0 s/ s4 u2 m
overlap with the computation stream, so we also consider their impact on other SM computation( E3 A# i* z! b" G4 R4 @; x
kernels. Specifically, we employ customized PTX (Parallel Thread Execution) instructions and
auto-tune the communication chunk size, which significantly reduces the use of the L2 cache
and the interference to other SMs.
xiejin77 发表于 2025-2-5 15:08
晨大的这个说法,我查了一下资料和信源,正好我之前写过ds-v3的解读。感觉可能是有点偏差。( I! @% Q) g3 Y! F7 [1 K
Parallel th ...
xiejin77 发表于 2025-2-5 01:08 i' e4 |' J. P- v; f
晨大的这个说法,我查了一下资料和信源,正好我之前写过ds-v3的解读。感觉可能是有点偏差。
5 k. H+ U1 Q/ F$ Q5 q
Parallel th ...
晨枫 发表于 2025-2-6 02:13
PTX是不是本来就chip specific?有可能利用大模型反过来把PTX写的东西反过来生成伪码,再针对新芯片的相 ...
xiejin77 发表于 2025-2-5 18:42
晨大好。
4 a3 Y: ]3 c: G8 C
我的理解,类asm的语言都是和硬件架构和芯片的指令集深度绑定的。
晨枫 发表于 2025-2-6 08:50& Z8 K H. ~1 j! }" u! T
多谢解释。那DS为什么不直接用CUDA,还要费事用PTX呢?
晨枫 发表于 2025-2-6 08:50
多谢解释。那DS为什么不直接用CUDA,还要费事用PTX呢?
唐家山 发表于 2025-2-5 19:51/ b$ G/ ~' m+ W* P
应该是性能的原因。打个比方吧,操作系统内核一般都是用C语言写的,但是一些关键部分会用汇编语言来写。 ...
晨枫 发表于 2025-2-6 09:539 Y& s$ t0 i( P- f9 S
多谢解释。# o: U0 g, F2 }% s- Z
那DS如果把模型移植到华为芯片,应该需要重写软件吧?而且无法从原有的CUDA架构下移植? ...
晨枫 发表于 2025-2-6 09:53) [" a5 [# q* k8 {% F( {. T
多谢解释。, s: c2 k; q6 N) [- \' N& L% p
那DS如果把模型移植到华为芯片,应该需要重写软件吧?而且无法从原有的CUDA架构下移植? ...
xiejin77 发表于 2025-2-5 19:58
这部分是DS用来做模型训练、推理的辅助工具软件使用的底层驱动,理论上说,效率可以接受的情况下是不需要 ...
唐家山 发表于 2025-2-5 19:59
确实需要重写。不过重写软件的代价并不像外界想象的那么高。显卡(计算卡)的硬件架构比较简单,上面用的 ...
晨枫 发表于 2025-2-6 10:04
多谢解释。
# C. k" ^. j# ]9 D
我用过的语言不多,除了常用的科学计算语言,工控语言用的比较多,各厂家之间基本上无法移植 ...
xiejin77 发表于 2025-2-6 09:58. o" N% s9 t) @. W6 Y) W
这部分是DS用来做模型训练、推理的辅助工具软件使用的底层驱动,理论上说,效率可以接受的情况下是不需要 ...
大黑蚊子 发表于 2025-2-6 10:43
DS训练用的是自己以前买的A100/H800,H100有没有,有多少,印象里DS没说
DS自己也买了很多华为的910B,事 ...
晨枫 发表于 2025-2-7 00:59
长期看来还是得上国产卡啊。9 a; g5 N9 s+ _3 ^+ [
不过美国也真是郁闷。中国这蛋糕没得吃舍不得,吃了,结果人家老母鸡变鸭了 ...
大黑蚊子 发表于 2025-2-7 01:03
看我这记性,说了一大堆是因为nvlink而起,关键东西忘说了8 E9 u# G/ D+ j- u. g Y6 B4 \1 `- K
910B的单芯片性能据说跟H800差不多,但是多芯 ...
xiejin77 发表于 2025-2-7 09:31
蚊行的知识面是真全面。
5 }8 B8 m. Y" @( F* k) r' ^2 V+ _" J
RDMA网卡的品牌厂商主要有三大巨头企业,分别是Marvell、intel、Mellanox,其中 ...
| 欢迎光临 爱吱声 (http://www.aswetalk.net/bbs/) | Powered by Discuz! X3.2 |