DeepSeek R1本地部署,小白教程来了!


借助LMStudio本地部署DeepSeek-R1系列模型

DeepSeek R1本地部署,小白教程来了!

原标题:DeepSeek R1本地部署,小白教程来了!
文章来源:智猩猩GenAI
内容字数:2506字

本地部署DeepSeek-R1模型小白教程

本文提供一个简易教程,指导用户如何在本地部署DeepSeek-R1模型,并将其API接入AI IDE,例如Cursor。

1. DeepSeek-R1及蒸馏模型

DeepSeek开源了完整的deepseek-r1 671B权重和一些蒸馏后的较小模型(Disstill系列)。其中,qwen-14b模型的性能与OpenAI-o1-mini相当。本教程将使用LMStudio部署这些较小的Disstill模型。

2. 选择本地部署工具:LMStudio

LMStudio是一个功能强大的本地大模型部署工具,支持Windows、macOS和Linux系统。它强调本地化操作,保障数据隐私和安全,非常适合处理敏感数据。无论用户是初学者还是资深开发者,都能轻松上手。

3. 步骤详解:本地部署DeepSeek-R1-Disstill模型

  1. 下载LMStudio

    从LMStudio官网或GitHub仓库下载0.3.9版本安装包(其他版本可能不适用本教程)。
    官网:https://lmstudio.ai/
    GitHub:https://github.com/lmstudio-ai/lmstudio.js

  2. 更换模型下载源及下载模型

    由于Hugging Face访问限制,需要修改LMStudio的模型下载源。打开LMStudio安装目录下的resources\app\.webpack\renderer\main_window.jsresources\app\.webpack\main\index.js这两个文件,将所有https://huggingface.co/替换为https://hf-mirror.com/。重启LMStudio。在LMStudio界面搜索”r1″,选择合适的DeepSeek-R1-Disstill模型下载(例如deepseek-r1-distill-qwen-7b)。

  3. 模型加载测试

    下载完成后,LMStudio会自动加载模型。加载时间取决于模型大小和硬件配置。即使显存较小(例如6G显存的3060显卡),LMStudio也会利用内存辅助加载,从而实现本地部署。 可以使用测试问题进行验证,例如:”Strawberries 有几个 r?”。

  4. 部署API

    点击LMStudio主界面的第二个按钮进入开发者界面,启用API部署服务。在设置中选择全部打开,以便在不同环境(例如WSL)访问服务。此API可供AI IDE(例如Cursor)调用。

4. 总结

本教程详细介绍了如何使用LMStudio本地部署DeepSeek-R1-Disstill系列模型,并提供了解决Hugging Face访问问题的方案。即使是配置较低的电脑,也能通过LMStudio实现本地部署,保障数据隐私和安全。 通过部署API,用户可以方便地将本地模型集成到其他AI开发环境中。


联系作者

文章来源:智猩猩GenAI
作者微信:
作者简介:智猩猩旗下账号,专注于生成式人工智能,主要分享技术文章、论文成果与产品信息。

版权声明:atcat 发表于 2025-02-04 14:09:46。
转载请注明:DeepSeek R1本地部署,小白教程来了! | 86AIGC导航

暂无评论

暂无评论...