fastGpt

news/2024/12/5 3:20:30/

参考本地部署FastGPT使用在线大语言模型

1 rockylinx

1 ollama安装

        在rockylinux中安装的,ollama由1.5G,还是比较大,所有采用在windows下下载,然后安装的方式,linux安装

tar -C /usr -xzf ollama-linux-amd64.tgz
# 命令窗口启动
ollama serve
# 新开一个窗口
# 下载千问大模型
ollama run qwen:7b
# 下载词向量大模型
ollama pull shaw/dmeta-embedding-zh

        dmeta-embedding-zh下载哈后,直接输入,查看运行情况

curl http://localhost:11434/api/embeddings -d '{"model": "shaw/dmeta-embedding-zh","prompt": "天空是灰色的"
}'

        出现下面的结果标识运行成功 

        后台启动

cat > /etc/systemd/system/ollama.service <<EOF
[Unit]
Description=Ollama Service
After=network-online.target[Service]
User=root
ExecStart=/usr/bin/ollama serve
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"[Install]
WantedBy=default.target
EOFsystemctl daemon-reload
systemctl enable ollama 
systemctl start ollama 

2 安装fastGpt

搭建企业级知识库问答系统,本地、免费、私有化、离线、零成本,根据这个地址提供docker-compose文件安装

因为fastgpt依赖mysql、postgre、mongodb,直接执行不成功。

[root@bw5 ~]# cat /etc/docker/daemon.json 
{"registry-mirrors": ["https://你自己的.mirror.aliyuncs.com","https://docker.m.daocloud.io","https://dockerhub.timeweb.cloud"
],
"insecure-registries":["10.8.15.225", "10.101.10.200","10.101.12.200"]
}

于是换了一种方式,在docker-compose.yml中镜像的地址都改成自己私有harbor仓库,从自己的私有库下载就没有安装的烦恼。

# 将镜像一个个pull
docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 
# 打标签上传到自己私有的harbor中
docker tag registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 10.101.12.200/gpt/fastgpt:v4.8.1
docker push 10.101.12.200/gpt/fastgpt:v4.8.1

        启动后,fastgpt的默认密码为:1234,默认端口3000

        在fastgpt中创建本地知识库,索引模型dmeta-embedding-zh,文件处理模型采用qwen:7b

        手工录入问题,出现问题,因为oneapi中渠道模型必须与shaw/dmeta-embedding-zh保证一致。从下图检测,语义检索成功

        接下来创建一个带知识库的应用,保存的时候提示下面的错误。

        点击关联知识库中参数,查看问题优化哪里的模型不正确,需要再调整一下

3 openapi

oneapi的默认密码是123456:默认端口为3001,两者默认用户名均是root

        新建渠道,使用qwen:7b模型

        点击测试,提示下面的错误,这个与视频中说的错误不一致。

        通过fastgpt验证,也是同样的问题。

        因为前面ollama是本地root用户安装,通过窗口启动,于是改写了一些脚本,再启动脚本中执行Environment="OLLAMA_HOST=0.0.0.0",就可以了。

        成功后,调一下黑悟空,发现qwen:7b模型他并不知道。

2 windows

2.1 docker 

        安装docker desktop

待完善


http://www.ppmy.cn/news/1543320.html

相关文章

第七章利用CSS和多媒体美化页面

7.1 CSS链接的美化 7.1.1.文字链接的美化 在HTML5中&#xff0c;<a></a >标签始终定义超链接&#xff0c;用于从一张页面链接到另一张页面。<a>元素最重要的属性是href 属性&#xff0c;它指示链接的目标&#xff0c;如果未设置href属性&#xff0c;后续多个…

【开源免费】基于SpringBoot+Vue.JS在线文档管理系统(JAVA毕业设计)

本文项目编号 T 038 &#xff0c;文末自助获取源码 \color{red}{T038&#xff0c;文末自助获取源码} T038&#xff0c;文末自助获取源码 目录 一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析 六、核心代码6.1 查…

Java8中CompletableFuture.allOf的使用

目录标题 CompletableFuture.allOf(...)&#xff1b;CompletableFuture.allOf(...).get();CompletableFuture.allOf(...).join();总结如何优雅的处理异常呢&#xff1f; CompletableFuture.allOf(…)&#xff1b; CompletableFuture.allOf(…) 本身不会等待所有的 Completable…

【Kubernets】k8s进阶-深入了解一下Label的用法

文章目录 标签的用法标签选择器的用法查询方式 &#x1f914; 标签选择器有哪些高级用法&#xff1f;在Kubernetes中&#xff0c;标签选择器的高级用法非常灵活&#xff0c;允许进行复杂的资源选择和操作。以下是一些高级用法的例子&#xff1a;除了标签Label&#xff0c; 还有…

VBA在低版本Excel中创建unique函数的方法

UNIQUE函数通常用来返回列表或范围中的一系列唯一值&#xff0c;也就是过滤掉重复值。我们可以利用 UNIQUE 函数 与 FILTER 函数的组合进行深度筛选&#xff0c;但在Excel2021以上版本才会提供该函数&#xff0c;在低版本的Excel中我们可以使用VBA创建一个自定义函数来模仿高版…

HTML、JavaScript和CSS实现注册页面设计

目录 一、实现要求 二、实现页面图 1、注册页面 2.用户ID、用户名、口令验证成功后显示页面 三、用户ID、用户名、口令、确定口令验证逻辑js代码 1、验证用户ID 2、验证用户名 3、验证口令密码 四、总结 五、代码仓库 一、实现要求 综合使用HTML、JavaScript和CSS进…

uni-app使用movable-area 实现数据的拖拽排序功能

文档地址 template部分 <movable-area :style"getAreaStyle"><movable-view class"table-row" v-for"v,i in move.list":key"v.id":y"v.y"change"handle_moving"direction"vertical"touchst…

Linux 系统性能调优技巧

Linux 是一个强大且灵活的操作系统&#xff0c;广泛应用于服务器、云计算、嵌入式系统以及桌面环境。在高负载和复杂应用环境中&#xff0c;Linux 系统性能调优变得尤为重要。本文将深入介绍 Linux 系统性能调优的基本概念和实践技巧&#xff0c;涵盖 CPU、内存、磁盘 I/O、网络…