本地部署 Deepseek R1 未经审查(无限制)模型

1. 前言

最近Deepseek大语言模型非常火，其综合能力与OpenAI的O1模型基本持平甚至略胜一筹：

alt text

网上也有很多使用教程，包括本地部署，而本地部署的优势是无需联网使用，并且所有数据都在本地，非常安全，没有隐私问题，更重要的是没有网络审查机制，询问敏感问题时不会拒绝回答或者回答到关键点时停止，但也仅仅是少了网络审查，模型还有内置的审查机制，同样会拒绝回答用户的一些问题。

然后我从网上检索了下，找到了一个未经审查(uncensored)版本的Deepseek R1模型: https://ollama.com/huihui_ai/deepseek-r1-abliterated

据其介绍是使用了一种名为abliteration的技术，移除了模型的拒绝机制，除此外部署方式和原版的一模一样，都是通过ollama拉取模型，然后运行。

2. 部署

2.1. 安装ollama

ollama是一个开源的LLM运行框架，可以运行各种大语言模型，包括深度求索的Deepseek R1、Meta的llama、 阿里的qwen等等。

ollama的下载地址为：https://ollama.com/download

根据自己的操作系统选择对应的版本下载即可。安装完成后打开命令行，输入ollama -v即可确认安装是成功：

alt text

ollama是一个命令行工具，其命令比较类似docker，常用的命令如下：

1
2
3
4
5
6
ollama pull <模型名称>  # 拉取模型
ollama run <模型名称>  # 运行模型,模型不存在会自动拉取
ollama ps # 查看正在运行的模型
ollama ls  # 列出所有模型
ollama stop <模型名称>  # 停止模型
ollama rm <模型名称>  # 删除模型

ollama运行后会自动将API地址设置为http://127.0.0.1:11434，并且也兼容OpenAI的API接口，使用路径为：http://127.0.0.1:11434/v1/chat/completions。

推荐2个可以调用ollama的API接口的图形化工具：

2.2. 拉取并运行未经审查模型

根据自己电脑的配置，参考下图选择合适的模型进行下载和运行，4060 Laptop建议跑8b的：

alt text

1
2
3
4
5
ollama run huihui_ai/deepseek-r1-abliterated:7b
ollama run huihui_ai/deepseek-r1-abliterated:8b
ollama run huihui_ai/deepseek-r1-abliterated:14b
ollama run huihui_ai/deepseek-r1-abliterated:32b
ollama run huihui_ai/deepseek-r1-abliterated:70b

2.3. 对比测试

用同一个问题测试在线版本、官网API版本、本地原版、本地未经审查版本，对比结果如下：

  1. 在线版本：拒绝回答

alt text

  1. 在线API版本：拒绝回答

alt text

  1. 本地部署原版：拒绝回答

alt text

  1. 本地部署未经审查版本：正常回答

alt text

更多测试提示词可以看这里：https://github.com/llm-attacks/llm-attacks/blob/main/data/advbench/harmful_behaviors.csv

3. 其他

除了deepseek r1的未经审查版本，还有个叫 wizardlm-uncensored 的大语言模型也表现的不错：https://ollama.com/library/wizardlm-uncensored

alt text

只不过它只有13b参数的版本：

1
ollama run wizardlm-uncensored

ollama 默认会将模型下载到C盘，可以参考此文章修改存放位置: https://blog.powersee.top/2024/08/ollama-models-path/

4. 参考