Token 相关话题

Key Points 从快猜想慢想：筹办范式变了，芯片的架构也需要改动； 黄仁勋给出了每两年更换一代架构的芯片战术，但他更首要的战术是对于AI的； AMD争夺终局，英伟达押注云表； AI芯片自身的护城河其实莫得那么深，尤其推理芯片。 「一个Hopper芯片不错为每个用户每秒产生轻便100个token，一个兆瓦级数据中心每秒不错产生10万个token。」黄仁勋说，如果进行超等批量处理，那么一个AI工场每秒不错产生的token量不错达到轻便250万个。 「ChatGPT的成本轻便是每百万个toke