本文记录Ollama(windows环境)安装DeepSeek-R1,使用open webui进行界面聊天实现,建立个人知识库。
1、Ollama官网下载Ollama并安装,默认安装到C盘;
2、打开命令行, 自动下载并运行(本次选取8b版本)
ollama run deepseek-r1:8b
3、建立一个新模型,命令为ollama create <name> -f <Modelfile>,本次使用的Modelfile内容如下(参考网友参数)
FROM deepseek-r1:8b PARAMETER temperature 1 PARAMETER num_ctx 1024 PARAMETER mirostat_eta 0.5 PARAMETER top_k 60 PARAMETER top_p 0.95 SYSTEM """ 你是一个我的个人助手,昵称小睿。 """
4、在局域网的一台Ubuntu服务器通过docker部署open webui,注意 --network=host 主要是因为docker需要访问外部ip,
docker run -d --network=host -p 3000:8000 -v open-webui:/app/backend/data --add-host=host.docker.internal:host-gateway --name open-webui --restart always ghcr.io/open-webui/open-webui:main
5、相关设置
A、Ollama允许外部访问(本处允许局域网的Ubuntu docker的open webui服务访问),windows电脑环境变量设置:OLLAMA_HOST 0.0.0.0:11434
B、在windows主机启动Ollama,打开软件即可
C、浏览器访问http://192.168.100.60:3000 (Ubuntu服务器地址),设置open webui的大模型等信息
设置模型
设置语义向量引擎、模型
6、建立个人知识库(这里),并聊天,聊天时输入“#”引用知识库
录入知识库
(录入文字内容为:不动东东是一只小狗,不动东东是一只来自于新疆的小狗,目前它在广东省广州市生活,它的主人名叫大军。)
最终效果
评论