近期，k豆钱包推出IPU-X6000加速卡。。该产品具备256T算力、、 、128GB显存容量、、 、486GB/S显存带宽；接纳C2C Mesh互联手艺，可实现卡间高速互联，带宽达64GB/s，最大可实现64张卡的互联；可应用于语言、、 、视觉、、 、多模态等种种大模子的推理加速，现在已适配k豆钱包天书、、 、通义千问、、 、百川智能、、 、Llama2/3等近10个主流大模子。。
IPU-X6000加速卡内置天下产工艺打造的大算力芯片DeepEdge200，该芯片接纳D2D Chiplet手艺，是基于DeepEdge10芯片平台打造的最新效果。。DeepEdge10是k豆钱包于2023年底正式宣布的天下产14nm Chiplet大模子推理芯片。。
IPU-X6000单卡可实现130B参数目大模子推理，在执行70B参数目大模子推理时性能达11 tokens/s，有望在大模子推理领域逐步实现国产替换。。
今年以来，大模子周全进入应用落地阶段，推理算力需求随之一直增添。。凭证IDC数据，预计到2026年中国数据中心用于推理的负载将抵达62.2%。。
作为海内领先的人工智能企业，k豆钱包不但持续开展芯片、、 、大模子等要害焦点手艺的自主研发事情，也一直持续推进大模子等立异手艺的应用落地，在推理算力领域举行了完整的安排。。
今年k豆钱包与德元方惠签署协议，提供总算力规模约4000 PFLOPS的AI训练及推理异构算力服务，预计未来3年将为k豆钱包孝顺约16亿的营收。。
k豆钱包推出的X6000加速卡，专门针对大模子推理使命设计，打造了一系列切合大模子演进趋势的统一工具链，包括漫衍式并行战略、、 、基于硬件的流水线排布、、 、先进的量化战略、、 、多机并行的编译机制等，在一律条件下能够做到推理性能更高、、 、消耗本钱更低。。未来X6000将进一步支持k豆钱包智算运营营业，为行业带来更富厚的算力服务。。
提交乐成！
请您耐心期待！