IT之家 9 月 29 日音信，今晚，DeepSeek-V3.2-Exp 发布并开源，引入疏淡 Attention 架构。华为布告昇腾已快速基于 vLLM/SGLang 等推理框架完成适配部署开云(中国)Kaiyun·官方网站 - 登录入口，杀青 DeepSeek-V3.2-Exp 0day 复古，并面向配置者开源通盘推理代码和算子杀青。

IT之家从官方先容获悉，昇腾在 DeepSeek-V3.2-Exp 一发布开源即杀青了 DeepSeek-V3.2-Exp BF16 模子部署，并在 CANN 平台上完成对应的优化适配，合座部署计谋沿用 DeepSeek 的大 EP 并行决议，针对疏淡 DSA 结构，重迭杀青长序列亲和的 CP 并行计谋，兼顾时延和费解，在 128K 长序列下简略保合手 TTFT 低于 2 秒、TPOT 低于 30 毫秒的推理生成速率。

NPU DeepSeek-V3.2-Exp 推理优化实施：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_inference_guide.md

昇腾针对 DeepSeek-V3.2-Exp 架构中两个全新的算子：Lightning Indexer (LI) 以及 Sparse Flash Attention (SFA)，针对性地进行算子 Tiling 设想、Cube 核与 Vector 核间的活水优化、打算经过的杀青优化等，模子和和会 Kernel 均已开源。

NPU DeepSeek-V3.2-Exp Ascend C 和会算子优化：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_ascendc_operator_guide.md

为进一步提高昇腾和会算子的编程易用性，昇腾 CANN 初次推出大和会算子的编程体系 PyPTO，旨在简化算子配置经过，同期保合手高性能打算智力。该框架改换性地选拔 PTO (Parallel Tensor / Tile Operation) 编程范式，以 Tensor 为基本数据抒发形势，构建打算图，杀青高效打算与优化。现在在昇腾上也曾基于 PyPTO 完成 DeepSeek-V3.2-Exp 模子中 DeepSeek Indexer Attention 和 Lightning indexer 算子的配置实施，仅需几百行代码即可完成动态 Shape 算子编程和算子整网启动。

基于 PyPTO 的 Lightning Indexer 和 DeepSeek Indexer Attention 算子配置实施：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_pypto_operator_guide.md

昇腾不仅提供了 DeepSeek-V3.2-Exp 的官方参考实施，也同步复古 vLLM 和 SGLang 等业界主流大模子推理框架部署，提供竣工功能，简略让庸俗的配置者在社区径直下载关联代码体验 DeepSeek-V3.2-Exp 模子，不错在昇腾杀青和会算子、疏淡访存、多核并行打算等深度优化智力，并合手续优化 DeepSeek-V3.2-Exp 在主流社区的推感性能。

大模子推理框架 vLLM 及昇腾杀青：

https://github.com/vllm-project/vllm-ascend/tree/v0.9.1-dev/examples/deepseek.md

大模子推理框架 SGLang 及昇腾杀青：

https://github.com/sgl-project/sglang/issues/11060

]article_adlist-->

TileLang 是由 Tile-AI 社区发起的 Tile-level 的类 Python 的 AI 编程言语（DSL）神情，在 Tile 粒度上进行编程和编译，杀青模子算子和硬件的高效协同。昇腾也曾杀青 TileLang 的 Sparse Flash Attention 和 Lightning Indexer 算子配置，后续将复古更完备的 NPU 算子并擢升性能和泛化性。

NPU DeepSeek-V3.2-Exp TileLang 算子配置实施：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_tilelang_operator_guide.md

TileLang-Ascend 开源社区：

https://github.com/tile-ai/tilelang-ascend

]article_adlist-->

昇腾凭借敏捷协同优化智力开云(中国)Kaiyun·官方网站 - 登录入口，0Day 高效完成 DeepSeek-V3.2-Exp 适配，不仅深度灵通自研编程言语 AscendC 及 PyTorch 算子源码，也积极拥抱开源生态，同步杀青 vLLM、SGLang 等主流框架的快速复古，并联袂开源社区 Tile-AI 共同开源 NPU 编程神情 TileLang-Ascend。

告白声明：文内含有的对外跳转诱骗（包括不限于超诱骗、二维码、口令等情势），用于传递更多信息，从简甄选技艺，恶果仅供参考，IT之家通盘著述均包含本声明。

]article_adlist--> 　　声明：新浪网独家稿件，未经授权不容转载。 -->