首页 其他技术相关正文

Ollama本地部署deepseek-R1,通过open webui建立个人知识库

本文记录Ollama(windows环境)安装DeepSeek-R1,使用open webui进行界面聊天实现,建立个人知识库。


1、Ollama官网下载Ollama并安装,默认安装到C盘;

2、打开命令行, 自动下载并运行(本次选取8b版本)

ollama run deepseek-r1:8b



image.png

 

3、建立一个新模型,命令为ollama create <name> -f <Modelfile>,本次使用的Modelfile内容如下(参考网友参数)

FROM deepseek-r1:8b
PARAMETER temperature 1
PARAMETER num_ctx 1024
PARAMETER mirostat_eta 0.5
PARAMETER top_k 60
PARAMETER top_p 0.95
SYSTEM """
你是一个我的个人助手,昵称小睿。
"""

4、在局域网的一台Ubuntu服务器通过docker部署open webui,注意 --network=host 主要是因为docker需要访问外部ip,

docker run -d --network=host -p 3000:8000 -v open-webui:/app/backend/data --add-host=host.docker.internal:host-gateway --name open-webui --restart always ghcr.io/open-webui/open-webui:main

5、相关设置

A、Ollama允许外部访问(本处允许局域网的Ubuntu docker的open webui服务访问),windows电脑环境变量设置:OLLAMA_HOST    0.0.0.0:11434

B、在windows主机启动Ollama,打开软件即可

C、浏览器访问http://192.168.100.60:3000 (Ubuntu服务器地址),设置open webui的大模型等信息

image.png

设置模型

image.png

设置语义向量引擎、模型

6、建立个人知识库(这里),并聊天,聊天时输入“#”引用知识库

image.png

录入知识库

(录入文字内容为:不动东东是一只小狗,不动东东是一只来自于新疆的小狗,目前它在广东省广州市生活,它的主人名叫大军。)


{45008EB7-2020-4C8C-BDA8-033E9546099B}.png

最终效果

评论