下载安装ollama#
设置访问#
如果BuildingAI使用Docker部署,也需要开启 Ollama 允许外网访问。
如果你部署模型和BuildingAI同一服务器或者主机,需要开启允许外网访问。

大语言模型配置#
1
在
ollama官网,搜索你要安装的模型,注意模型参数,请选择主机能运行的模型,复制运行命令。

2
教程以
deepseek-r1:7b为例,复制后,在终端运行
ollama run deepseek-r1:7b,运行成功后,显示如下。


BuildingAI后台配置模型#
1
添加密钥模板
登录BuildingAI后台,点击【密钥管理】->【密钥模板】->【快速创建】,输入【模板名称】,添加
baseUrl和
apiKey两个字段,然后【保存】。
2
添加密钥
点击【密钥列表】-> 【新增密钥, 填写【密钥名称 】,选择上步骤添加的密钥模板,BaseUrl填写ollama地址,apiKey任意填写,然后保存。


3
添加模型厂商
点击【模型管理】->【自定义】,填写【供应商标识】和【供应商名称】,【API配置】选择上步骤添加的配置,支持模型类型选择LLM,点击【创建】。


4
模型配置
模型标识非常重要,无论是大语言模型或向量模型,需要使用ollama时的模型标识。
点击【模型】,填写Ollama运行的具体模型和标识如deepseek-r1:7b,选择LLM,点击【创建】。5
模型测试
大语言模型可以在前台测试是否配置成功。
