摘要：內(nèi)附手把手開發(fā)教程
2025年5月28日深夜，DeepSeek 官方在用戶群中宣布完成“小版本試升級”，發(fā)布DeepSeek-R1-0528，昇思MindSpore開源社區(qū)開發(fā)者基于已支持的DeepSeek V3進行快速適配，1小時內(nèi)完成開發(fā)，修改代碼小于10行，實現(xiàn)鏡像替換、推理任務(wù)拉起，經(jīng)測試驗證，模型精度與官方開源版本一致。
基于昇思版本適配的DeepSeek-R1-0528已上架開源社區(qū)代碼倉及魔樂社區(qū)，面向開發(fā)者提供開箱即用的模型，便于開發(fā)者直接使用或二次開發(fā)。
本次快速適配應(yīng)用了MindSpore Transformers大模型使能套件，該套件依托MindSpore AI框架提供的豐富的多維混合并行能力，親和開源工具與通用數(shù)據(jù)格式，原生支持大模型蒸餾的端到端全流程開發(fā)，提供了高效、便捷的開發(fā)能力
同時，本次推理服務(wù)的拉起與部署應(yīng)用了MindSpore-vLLM插件，支持基于vLLM框架部署MindSpore模型的推理服務(wù)。
MindSpore Transformers代碼倉：https://gitee.com/mindspore/mindformers
MindSpore-vLLM代碼倉：
https://gitee.com/mindspore/vllm-mindspore
魔樂社區(qū)代碼倉：
https://modelers.cn/models/MindSpore-Lab/DeepSeek-R1-0528
本次發(fā)布的DeepSeek V3-0528主要升級以下能力：
1.推理與思維深度增強
思考長度翻倍：平均每題推理token從12K增至23K，解題步驟更詳盡(如AIME數(shù)學題準確率從70%→87.5%)。
幻覺率降低45~50%：在摘要、改寫等任務(wù)中輸出更可靠。
2.編程能力突破
前端代碼生成：可一次性生成超千行無Bug代碼，支持復雜動態(tài)效果(如天氣動畫、數(shù)據(jù)可視化)。
多語言支持：在LiveCodeBench測試中Pass@1從63.5%→73.3%，媲美OpenAI o3高版本。
3.新增功能與體驗優(yōu)化
工具調(diào)用(Function Calling)：支持外部API調(diào)用，Tau-Bench成績達OpenAI o1-high水平。
創(chuàng)意寫作提升：長文本結(jié)構(gòu)更完整，更貼近人類風格。
API兼容性：接口不變，新增JSON輸出支持。
手把手教程DeepSeek-R1-0528vLLM-MindSpore 使用指南
●本項目中提供的DeepSeek-R1-0528模型權(quán)重已反量化為BF16，權(quán)重文件大小1.3T。
環(huán)境搭建
環(huán)境準備：四臺Atlas 800I A2 (64G)，并配置好組網(wǎng)，四臺設(shè)備的卡與卡之間能夠互相ping通。
四臺設(shè)備分別拉取鏡像
docker pull hub.oepkgs.net/oedeploy/openeuler/aarch64/mindspore:20250529
四臺設(shè)備分別殺進程，避免其他進程影響
pkill -9 python
pkill -9 mindie
pkill -9 ray
四臺設(shè)備分別啟動容器，四臺設(shè)備的hostname需要不同，但容器名稱需要一致。
/data/deeepseek_r1_0528/用于存放權(quán)重及yaml配置文件。四臺服務(wù)器都需要下載權(quán)重，而且存放路徑需要一致，權(quán)重文件大小1.3T，需要預留足夠磁盤空間。
docker run -it --name=DSR10528 --ipc=host --network=host --privileged=true --hostname=worker23 \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /usr/local/sbin/:/usr/local/sbin/ \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/vnpu.cfg:/etc/vnpu.cfg \
-v /data/deeepseek_r1_0528/:/data/deeepseek_r1_0528/ \
hub.oepkgs.net/oedeploy/openeuler/aarch64/mindspore:20250428 \
/bin/bash
下載權(quán)重及yaml配置文件
四臺設(shè)備分別從魔樂社區(qū)下載權(quán)重及yaml配置文件。
pip install openmind_hub
export HUB_WHITE_LIST_PATHS=/data/deeepseek_r1_0528
python
from openmind_hub import snapshot_download
snapshot_download(
repo_id="MindSpore-Lab/DeepSeek-R1-0528",
local_dir="/data/deeepseek_r1_0528",
local_dir_use_symlinks=False
)
exit()
四臺設(shè)備分別修改yaml配置文件
# 修改為模型權(quán)重路徑
load_checkpoint: '/data/deeepseek_r1_0528/'
# 修改為模型tokenizer.json文件所在路徑
vocab_file: '/data/deeepseek_r1_0528/tokenizer.json'
# 修改為模型tokenizer.json文件所在路徑
tokenizer_file: '/data/deeepseek_r1_0528/tokenizer.json'
啟動
四臺設(shè)備的容器中分別添加環(huán)境變量。enp189s0f0是ifconfig命令顯示的網(wǎng)卡名稱，根據(jù)需要調(diào)整。
export
MINDFORMERS_MODEL_CONFIG=/data/deeepseek_r1_0528/peizhi/predict_deepseek_r1__671b.yaml
export ASCEND_CUSTOM_PATH=$ASCEND_HOME_PATH/../
export vLLM_MODEL_BACKEND=MindFormers
export MS_ENABLE_LCCL=off
export HCCL_OP_EXPANSION_MODE=AIV
export HCCL_SOCKET_IFNAME=enp189s0f0
export GLOO_SOCKET_IFNAME=enp189s0f0
export TP_SOCKET_IFNAME=enp189s0f0
export HCCL_CONNECT_TIMEOUT=3600
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
主機及輔機設(shè)置
選擇一臺設(shè)備作為主節(jié)點，執(zhí)行如下命令
ray stop
ray start --head --port=6380
其他三臺設(shè)備作為輔節(jié)點，依次執(zhí)行如下命令
ray stop
ray start --address=主節(jié)點IP:6380
在主節(jié)點容器中拉起服務(wù)，其他節(jié)點不需要。模型路徑根據(jù)需要調(diào)整。
python3 -m vllm_mindspore.entrypoints vllm.entrypoints.openai.api_server
--model "/data/deepseek_r1_0528_bf16" --trust_remote_code
--tensor_parallel_size=32 --max-num-seqs=256 --block-size=32
--max_model_len=16384 --max-num-batched-tokens=4096
--distributed-executor-backend=ray --gpu-memory-utilization=0.93
發(fā)起推理服務(wù)請求，若在主節(jié)點發(fā)起請求，新開一個終端，IP地址是0.0.0.0或者localhost
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "/data/deepseek_r1_0528_bf16",
"messages": [
{"role": "user", "content": "請介紹下北京的top景點"}
],
"temperature": 0.1,
"max_tokens": 4096,
"top_p": 0.9,
"repetition_penalty": 1.2
}'
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
