LobeChat+Ollama搭建本地大模型

乱弹 , , , , 评论

引言

参考资料

砂锅操作

Ollama离线安装

在线安装脚本引用了github在线下载文件，所以速度你懂得

  • ollama 安装脚本下载地址

  • ollama 安装包

    具备以上2个文件之后 修改安装脚本使其可正常安装，不同版本略有不同，具体思路

    1. 去掉shell中远程下载部分

    2. 修改shell中对安装包的引用路径确保能找到对应文件

    3. 关键字

      1
      2
      3
      4
      #下载链接
      status "Downloading ollama..."
      #ollama安装目录
      status "Installing ollama to $BINDIR..."

Ollama使用

可在官网搜索支持的大模型

Ollama-search-tools

运行llama3
1
2
3
# 1b =10亿参数
ollama run llama3.1
#下载成功后不出意外你就可以跟他say hello 了
修改ollama可以非localhost访问
1
2
3
4
5
6
7
8
#编辑配置文件
vi /etc/systemd/system/ollama.service.d/override.conf
#添加如下内容
[Service]
Environment="OLLAMA_HOST=0.0.0.0
#重启服务使生效
systemctl daemon-reload
systemctl restart ollama

anythingLLM安装

准备好docker环境
1
2
3
4
5
6
7
8
9
10
11
#防止便秘，先配置几个好用的docker源
vi /etc/docker/daemon.json
"registry-mirrors": [
        "https://dockerhub.icu",
        "https://docker.chenby.cn",
        "https://docker.1panel.live",
        "https://docker.awsl9527.cn",
        "https://docker.anyhub.us.kg",
        "https://dhub.kubesre.xyz"
    ]     
   

使用docker运行

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# 准备好配置目录
export STORAGE_LOCATION=/var/lib/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env"
#设置目录可完全读写
chmod -R 777 /var/lib/anythingllm
# 去吧皮卡丘
docker run -d \
 --name anythingllm \
 --add-host=host.docker.internal:host-gateway \
 --env STORAGE_DIR=/app/server/storage \
 --health-cmd "/bin/bash /usr/local/bin/docker-healthcheck.sh || exit 1" \
 --health-interval 60s \
 --health-start-period 60s \
 --health-timeout 10s \
 -p 3001:3001/tcp \
 --restart=always \
 --user anythingllm \
 -v ${STORAGE_LOCATION}:/app/server/storage \
 -v ${STORAGE_LOCATION}/.env:/app/server/.env \
 -w /app \
 mintplexlabs/anythingllm

anythingLLM 配置 ollama

  1. 访问地址 ： http://localhost:3001/

  2. 配置 ollama 地址

    注意这里的 ollama base url 需要填写docker配置的宿主机映射url

  3. hello word

4.[24.12.28]这里补充一下嵌入式模型

用于处理文档的嵌入式模型安装

1
ollama pull nomic-embed-text

OpenWebUI安装

1
2
3
4
5
6
7
8
9
docker pull ghcr.io/open-webui/open-webui:main   
#创建数据存储路径
mkdir -p /opt/openwebui/data
#给定访问权限
chmod 777 -R /opt/openwebui
#docker运行
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data --name open-webui \
--restart always ghcr.io/open-webui/open-webui:main

holdenJava & Linux

聊聊？