对话季宇:大模型非必须在GPU跑 CPU内存带宽已足够

对话季宇:大模型非必须在GPU跑 CPU内存带宽已足够


所以我们大的逻辑是希望我们做的产品,是能够在像今天的消费电子一样的价位,同时又能够把今天超算才能做的这些最高质量的大模型,能用这样的产品能够支撑起来。 所以导致大家今天可能为了跑这样一个模型,得凑非常多的GPU,自然而然把整个行业的形态推成了一个8卡16卡的服务器的形态,然后价格都是上百万的。 但现在CPU的内存带宽也完全能够满足大模型的,顶级的服务器级CPU的内存带宽可以达到1.2TB/s,已经超过RTX 4090(1TB/s)的水平,而且它的容量也比GPU大的多,最重要的是跟动辄几百万的超算相比,内存条就相当于是不要钱了。


Published at: 2025-05-19 02:06:12

Still want to read the full version? Full article