😨😨😨有开发者在本地部署 #Kimi #K3 模型，仅需 8.24GB 内存就可以运行，只是速度为 33 秒 / Token (注意看单位)。
如果将内存提升到 128GB 则可以实现 20 秒 / Token，继续堆内存无法继续提高效率。
开发者已经将推理引擎开源，有兴趣的用户可以研究看看。
查看全文：ourl.co/114176?x
https://x.com/i/status/2084127618941817146
如果将内存提升到 128GB 则可以实现 20 秒 / Token，继续堆内存无法继续提高效率。
开发者已经将推理引擎开源，有兴趣的用户可以研究看看。
查看全文：ourl.co/114176?x
https://x.com/i/status/2084127618941817146
X (formerly Twitter)
蓝点网 (@landiantech) on X
😨😨😨有开发者在本地部署 #Kimi #K3 模型，仅需 8.24GB 内存就可以运行，只是速度为 33 秒 / Token (注意看单位)。
如果将内存提升到 128GB 则可以实现 20 秒 / Token，继续堆内存无法继续提高效率。
开发者已经将推理引擎开源，有兴趣的用户可以研究看看。
查看全文：https://t.co/vRsULAdNna
如果将内存提升到 128GB 则可以实现 20 秒 / Token，继续堆内存无法继续提高效率。
开发者已经将推理引擎开源，有兴趣的用户可以研究看看。
查看全文：https://t.co/vRsULAdNna