WiFi 发表于 2025-2-3 11:15
应该是用的H800,不是H20
晨枫 发表于 2025-2-4 01:35+ C- m/ t6 Q8 _ ?! W. E/ y
两个说法都看到过,我都糊涂了。哪一个更弱?
xiejin77 发表于 2025-2-4 23:58* i2 K5 ~2 l4 j$ V N3 R, V
相比于绕开cuda的突破,其实ds自己设计的Fire-Flyer AI-HPC框架,更值得自豪。
# S: c1 d" a( u$ K1 A. h2 l& t
在训练的尝试中有意绕开了 ...
晨枫 发表于 2025-2-5 14:139 z# c/ s, v+ ?- `" n/ `, q
这个能展开说说吗?
xiejin77 发表于 2025-2-5 00:21
ds自己有篇论文,我找时间专门解读一下吧
WiFi 发表于 2025-2-4 01:15
应该是用的H800,不是H20
In detail, we employ the warp specialization technique (Bauer et al., 2014) and partition. n) C6 w8 N3 P
20 SMs into 10 communication channels. During the dispatching process, (1) IB sending, (2)
IB-to-NVLink forwarding, and (3) NVLink receiving are handled by respective warps. The+ Y4 G# B% z! o. P1 V; J
number of warps allocated to each communication task is dynamically adjusted according to the
actual workload across all SMs. Similarly, during the combining process, (1) NVLink sending,
(2) NVLink-to-IB forwarding and accumulation, and (3) IB receiving and accumulation are also
handled by dynamically adjusted warps. In addition, both dispatching and combining kernels$ M1 P2 e. b5 G, h
overlap with the computation stream, so we also consider their impact on other SM computation" n# i: b* R; m4 i
kernels. Specifically, we employ customized PTX (Parallel Thread Execution) instructions and ]! @; I1 n6 U3 r$ X+ R
auto-tune the communication chunk size, which significantly reduces the use of the L2 cache
and the interference to other SMs.
xiejin77 发表于 2025-2-5 15:08
晨大的这个说法,我查了一下资料和信源,正好我之前写过ds-v3的解读。感觉可能是有点偏差。
Parallel th ...
xiejin77 发表于 2025-2-5 01:08
晨大的这个说法,我查了一下资料和信源,正好我之前写过ds-v3的解读。感觉可能是有点偏差。) b" p- x# p4 m, ]
Parallel th ...
晨枫 发表于 2025-2-6 02:13
PTX是不是本来就chip specific?有可能利用大模型反过来把PTX写的东西反过来生成伪码,再针对新芯片的相 ...
xiejin77 发表于 2025-2-5 18:42
晨大好。
我的理解,类asm的语言都是和硬件架构和芯片的指令集深度绑定的。
晨枫 发表于 2025-2-6 08:50
多谢解释。那DS为什么不直接用CUDA,还要费事用PTX呢?
晨枫 发表于 2025-2-6 08:50
多谢解释。那DS为什么不直接用CUDA,还要费事用PTX呢?
唐家山 发表于 2025-2-5 19:51
应该是性能的原因。打个比方吧,操作系统内核一般都是用C语言写的,但是一些关键部分会用汇编语言来写。 ...
晨枫 发表于 2025-2-6 09:53
多谢解释。
' w/ i5 D" F8 k
那DS如果把模型移植到华为芯片,应该需要重写软件吧?而且无法从原有的CUDA架构下移植? ...
晨枫 发表于 2025-2-6 09:53
多谢解释。
9 m1 M0 Q" l7 ]3 S( k
那DS如果把模型移植到华为芯片,应该需要重写软件吧?而且无法从原有的CUDA架构下移植? ...
xiejin77 发表于 2025-2-5 19:58
这部分是DS用来做模型训练、推理的辅助工具软件使用的底层驱动,理论上说,效率可以接受的情况下是不需要 ...
唐家山 发表于 2025-2-5 19:59
确实需要重写。不过重写软件的代价并不像外界想象的那么高。显卡(计算卡)的硬件架构比较简单,上面用的 ...
晨枫 发表于 2025-2-6 10:04& o+ H: g' \# b8 O. @
多谢解释。
" \' g. r3 v; z, U2 N# x3 {
我用过的语言不多,除了常用的科学计算语言,工控语言用的比较多,各厂家之间基本上无法移植 ...
xiejin77 发表于 2025-2-6 09:58( {# o: q$ k$ I3 r: H
这部分是DS用来做模型训练、推理的辅助工具软件使用的底层驱动,理论上说,效率可以接受的情况下是不需要 ...
大黑蚊子 发表于 2025-2-6 10:43
DS训练用的是自己以前买的A100/H800,H100有没有,有多少,印象里DS没说
DS自己也买了很多华为的910B,事 ...
晨枫 发表于 2025-2-7 00:591 j0 A7 s+ q" I. A, t3 W, `3 U
长期看来还是得上国产卡啊。
* Q1 {8 M$ {* ^2 r) t+ \7 Z
不过美国也真是郁闷。中国这蛋糕没得吃舍不得,吃了,结果人家老母鸡变鸭了 ...
大黑蚊子 发表于 2025-2-7 01:034 P! G; ]0 `4 {1 J, ~ O( `
看我这记性,说了一大堆是因为nvlink而起,关键东西忘说了1 O8 L: S" S# ~4 O
910B的单芯片性能据说跟H800差不多,但是多芯 ...
xiejin77 发表于 2025-2-7 09:31$ K' s' O; ?% E, v! \6 L' b# B* L
蚊行的知识面是真全面。3 ~( X" m* `% a- _$ p, @
RDMA网卡的品牌厂商主要有三大巨头企业,分别是Marvell、intel、Mellanox,其中 ...
| 欢迎光临 爱吱声 (http://www.aswetalk.net/bbs/) | Powered by Discuz! X3.2 |