澳门六合彩官网开奖结果 浅易解读NVIDIA Projects Digits——端侧推理新罗致?
最近DeepSeek V3大火，深度求索也在Github开源了671B畛域的模子权重，然而600B的模子即使使用INT4量化也需要300多GB的显存，而对于无为用户来说这个级别的显存满盈成为我方部署使用的禁绝，于是咱们看到有许多发热友盯上了Mac Mini，用多台Mac Mini互联来运转DeepSeek V3成了最有性价比的罗致。
行动AI时期硬件十足的霸主，NVIDIA彰着不会放过这个细分市集。在昨天的CES2025主题演讲上，黄仁勋就在压轴时带来了这款名为Project Digits的居品。对于这款居品，笔者也基于现存信息作念了一个简要解读。
率先，Project Digits和游戏相干不大，彰着长短常明确的给LLM场景使用的。因此Arm CPU并不会成为这款居品的槽点（是否需要运转Windows系统对AI诱骗来说并不进军）。
其次，算力1PFLOPS看起来很吓东说念主，然而要珍贵是FP4精度的。前阵子DeepSeek V3把FP8的羼杂精度测验跑出来齐是Infra层面的破裂，FP4短期看不太会成为主流精度罗致。是以从实质利用的情况来看，这个成就的FP16算力应该要在FP4的基础上打一个扣头（1PFLOPS是不是广博算力也省略情）。
不外不精深，当前大模子利用的瓶颈并不在算力上，而在显存大小和带宽上，这亦然这台机器最大的特质——128GB的LPDDR5X内存。GB200上的LPDDR5X CPU带宽是512GB/s，也即是说对GPU很有可能带宽也唯有512GB/s，这可比HBM低了不少。不外看起来这个机器和Mac的内存封装风物还有一些划分，是以这块还是等进一步证实比拟好。诚然我个东说念主合计按照老黄的刀法，基本上即是512GB/s了。
苹果采用了MOP封装工艺
512GB/s的带宽成果即是token/s的数据并不会有思象的那么好意思瞻念，内存读取的瓶颈还是蛮大的。而且诚然老黄堪称Project Digits能装下200B的int4模子，然而你总归要探究高下文的，200B的int4模子权重就要差未几100G，20G（留8G给CPU）的空间能装下若干高下文的KV Cache呢？
不外在PR稿里出现了一句很进军的话：这玩意儿不错连以太网，而且赞助高带宽交换机。
老黄确信只说不错连两台，但表面上基于以太网连个七八台也不是什么问题。
8台3000刀的机器拿到差未几1TB的显存，这玩意儿在不追求十足速率的情况下作念大模子的推理和运筹帷幄运筹帷幄应该是压力不大了。
诚然和工业界全是H100致使将来的NVL72比还是有差距澳门六合彩官网开奖结果，但有比莫得强嘛。