Blog de Simon🫣
历史归档
文章分类
文章标签
Github
About Me
友链
开往
文章
63
分类
4
标签
37
历史归档
文章分类
文章标签
Github
About Me
友链
开往
技术分享
🌪️
昇腾 310_P3 Qwen2.5 LLM VLM Emb Rerank部署
发布于: 2025-5-28
最后更新: 2025-8-23
次查看
llm
记录
部署
目录
0%
一、安装检查CANN（手册）
0. 检查驱动安装（手册）
1. 检查ascend_toolkit安装成功
2. 检查安装Kernels
3.Ascend Docker Runtime 要安装
3.1 编译需要安装 go
3.2 检查
二、华为官方的推理镜像
mis-tei（embedding rerank）
mindie（LLM VLM）
三、模型部署
1. embedding
2. rerank
3. VLM
4. LLM（跟 VLM 流程一致，不需要安装额外VL包）
四、接口转发
SimonSun
Internet Malou, LLM Rookie, Bug Maker🤧
文章
63
分类
4
标签
37
最新发布
读A.I. Should Elevate Your Thinking, Not Replace It 有感
2026-5-9
vibecoding skill 集合使用历程记录
2026-5-9
创业灵感挖掘与验证指南
2026-5-9
VLM
2026-5-9
vibe coding for 前端心路历程
2026-5-7
vibe coding 一年小结
2026-4-15
公告
🙌README🙌
🤯There is nothing left
in my right brain,
🤯and there is nothing right
in my left brain...
⭐I wish you every success⭐
目录
0%
一、安装检查CANN（手册）
0. 检查驱动安装（手册）
1. 检查ascend_toolkit安装成功
2. 检查安装Kernels
3.Ascend Docker Runtime 要安装
3.1 编译需要安装 go
3.2 检查
二、华为官方的推理镜像
mis-tei（embedding rerank）
mindie（LLM VLM）
三、模型部署
1. embedding
2. rerank
3. VLM
4. LLM（跟 VLM 流程一致，不需要安装额外VL包）
四、接口转发
.png?table=collection&id=cb472e47-cf59-4081-bd5f-899a844344db&t=cb472e47-cf59-4081-bd5f-899a844344db)
