借助LMStudio本地部署DeepSeek-R1系列模型
本地部署DeepSeek-R1模型小白教程
本文提供一个简易教程,指导用户如何在本地部署DeepSeek-R1模型,并将其API接入AI IDE,例如Cursor。
1. DeepSeek-R1及蒸馏模型
DeepSeek开源了完整的deepseek-r1 671B权重和一些蒸馏后的较小模型(Disstill系列)。其中,qwen-14b模型的性能与OpenAI-o1-mini相当。本教程将使用LMStudio部署这些较小的Disstill模型。
2. 选择本地部署工具:LMStudio
LMStudio是一个功能强大的本地大模型部署工具,支持Windows、macOS和Linux系统。它强调本地化操作,保障数据隐私和安全,非常适合处理敏感数据。无论用户是初学者还是资深开发者,都能轻松上手。
3. 步骤详解:本地部署DeepSeek-R1-Disstill模型
下载LMStudio
从LMStudio官网或GitHub仓库下载0.3.9版本安装包(其他版本可能不适用本教程)。
官网:https://lmstudio.ai/
GitHub:https://github.com/lmstudio-ai/lmstudio.js更换模型下载源及下载模型
由于Hugging Face访问限制,需要修改LMStudio的模型下载源。打开LMStudio安装目录下的
resources\app\.webpack\renderer\main_window.js
和resources\app\.webpack\main\index.js
这两个文件,将所有https://huggingface.co/
替换为https://hf-mirror.com/
。重启LMStudio。在LMStudio界面搜索”r1″,选择合适的DeepSeek-R1-Disstill模型下载(例如deepseek-r1-distill-qwen-7b)。模型加载与测试
下载完成后,LMStudio会自动加载模型。加载时间取决于模型大小和硬件配置。即使显存较小(例如6G显存的3060显卡),LMStudio也会利用内存辅助加载,从而实现本地部署。 可以使用测试问题进行验证,例如:”Strawberries 有几个 r?”。
部署API
点击LMStudio主界面的第二个按钮进入开发者界面,启用API部署服务。在设置中选择全部打开,以便在不同环境(例如WSL)访问服务。此API可供AI IDE(例如Cursor)调用。
4. 总结
本教程详细介绍了如何使用LMStudio本地部署DeepSeek-R1-Disstill系列模型,并提供了解决Hugging Face访问问题的方案。即使是配置较低的电脑,也能通过LMStudio实现本地部署,保障数据隐私和安全。 通过部署API,用户可以方便地将本地模型集成到其他AI开发环境中。
联系作者
文章来源:智猩猩GenAI
作者微信:
作者简介:智猩猩旗下账号,专注于生成式人工智能,主要分享技术文章、论文成果与产品信息。