开源GPT-4小羊驼(Vicuna)快速上手指南

news/2024/5/24 11:48:03/

小羊驼(Vicuna)是什么

Vicuna: 一个开源的GPT,宣称实现了GPT-4 90%的功能。
UC伯克利学者联手CMU、斯坦福等,再次推出一个全新模型70亿/130亿参数的Vicuna,俗称「小羊驼」(骆马)。
并且和其他以往不同的是你可以在自己的设备上跑起来!比如Mac,再比如你的主力机!

官网在这:https://vicuna.lmsys.org
体验点这个(如果打不开就用魔法):https://chat.lmsys.org
在这里插入图片描述

一.环境准备

  • ubuntu 20.04 (自带python3,且版本满足要求)
  • 硬盘大约200G左右(100G也不是不能用,最好是200G,50G肯定是不行)
  • 内存(计划用vicuna-7b的30G,vicuna-13b的60G,选哪个大家自己按需,满分100的话7b大概是40分,13b的话大概70分)
  • 显卡(越贵越好,风浪越贵鱼越大)
    以我自己的环境为例:
    1.E5-2697-V2,64G内存,没有用显卡,能跑但是速度十分难受。
    2.Macbook Pro M1 pro版本16+512,7b的能跑,效果还行。

二.开始操作

1.LLaMa模型下载与转换

1.1 模型下载
磁力链接:magnet:?xt=urn:btih:b8287ebfa04f879b048d4d4404108cf3e8014352&dn=LLaMA
大家自行按需下载
在这里插入图片描述
以7b为例下载之后的模型长这样

在这里插入图片描述
这里我下载的路径是/home/douding/LLaMA
1.2 模型转换

$ git clone https://github.com/huggingface/transformers.git
$ cd transformers
7B参考下面的
$ python3 src/transformers/models/llama/convert_llama_weights_to_hf.py \--input_dir /home/douding/LLaMA --model_size 7B --output_dir ./output/llama-7b13B看这个$ python3 src/transformers/models/llama/convert_llama_weights_to_hf.py \--input_dir /home/douding/LLaMA --model_size 13B --output_dir ./output/llama-13b

转换完成后会在/home/douding/transformers/output中看到你的模型
在这里插入图片描述

2.小羊驼模型合并与生成

$ pip3 install fschat
$ pip3 install git+https://github.com/huggingface/transformers 
7b参考如下
$ git clone https://huggingface.co/lmsys/vicuna-7b-delta-v0注意这里需要手动下载大文件到/home/douding/lmsys/vicuna-7b-delta-v0中

在这里插入图片描述

$ python3 -m fastchat.model.apply_delta \--base /home/douding/transformers/output/llama-7b \--target /home/douding/vicuna-7b \--delta /home/douding/lmsys/vicuna-7b-delta-v0
 13b参考如下$git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0 /home/douding/lmsys/vicuna-13b-delta-v0

注意这里需要手动下载大文件到/home/douding/lmsys/vicuna-13b-delta-v0中
在这里插入图片描述

 $ python3 -m fastchat.model.apply_delta \--base /home/douding/transformers/output/llama-13b \--target /home/douding/vicuna-13b \--delta /home/douding/lmsys/vicuna-13b-delta-v0

成功后会对应的目录/home/douding/vicuna-7b和/home/douding/vicuna-13b中看到对应的小羊驼模型
在这里插入图片描述
在这里插入图片描述

我这里提供已经做好了的小羊驼模型(含7b和13b):
链接: https://pan.baidu.com/s/1t2He47-qDCYYJ38pak_beQ?pwd=w9nw 提取码: w9nw

3.运行

CPU纯享版

python3 -m fastchat.serve.cli --model-path /path/to/vicuna/weights --device cpu

GPU畅爽版

python3 -m fastchat.serve.cli --model-path /home/douding/vicuna-7b

Mac勉强享受版

python3 -m fastchat.serve.cli --model-path /home/douding/vicuna-7b --device mps --load-8bit

贴一张运行成功的截图,虽然满慢,但……充钱就可以变强!

在这里插入图片描述


http://www.ppmy.cn/news/46948.html

相关文章

2023红明谷杯部分WP

0x00 签到 一直点就能得到flag 0x01 Dreamer 拿到题感觉有点儿懵 先下发靶机看一眼 梦想家CMS,好嘛,我直接一手查找官网 直接一手演示中心碰运气 哎嘿嘿,运气不错进去了,突然想起之前有位大佬写的关于Dreamer CMS的代码审…

基于ArcGIS、ENVI、InVEST、FRAGSTATS等多技术融合提升环境、生态、水文、土地、土壤、农业、大气等领域的数据分析能力与项目科研水平

【原文链接】:基于ArcGIS、ENVI、InVEST、FRAGSTATS等多技术融合提升环境、生态、水文、土壤、农业、大气等领域的数据分析https://mp.weixin.qq.com/s?__bizMzU5NTkyMzcxNw&mid2247537467&idx4&sn10c4c12897282daf5320efae05caf3a4&chksmfe689551…

​​2021遥感应用组二等奖:基于机器学习回归算法的鄱阳湖水质遥感定量反演及时序变化监测研究

作品介绍 一、作品背景 鄱阳湖是中国第一大淡水湖,也是中国第二大湖,它在调节长江水位、涵养水源、改善当地气候等方面起着重大的作用。但近年来受围垦、环境污染等人类活动影响,鄱阳湖湿地退化严重,同时使鄱阳湖的容量减少&…

Kafka的历史版本对应SpringBoot版本

截至目前(2023年),Kafka的最新版本是2.9.0,发布于2022年11月30日。Kafka的历史版本可以在Kafka官方网站的下载页面中找到。Kafka从0.8版本开始发布,经历了多个版本的迭代和升级。以下是一些比较重要的Kafka版本及其发布…

US News退榜风波后,发布最新美国最佳法学院和医学院排名

从2022年11月开始,美国权威排名机构US News不断陷入风波。耶鲁大学法学院率先宣布退出US News法学院排名,先是法学院,后是医学院,包括哈佛大学大学、斯坦福大学、哥伦比亚大学和加州大学伯克利分校等名校也纷纷宣布退出。 这些老…

The 1st Universal Cup Stage 12: ̄Ookayama, April 15-16, 2023 题解

A XOR Tree Path 给一颗树&#xff0c;树上点有黑白两色&#xff0c;每次可以选一个叶子节点&#xff0c;翻转其到根路径上所有点的颜色&#xff0c;问最大黑色点数。 树dp #include<bits/stdc.h> using namespace std; #define MAXN (10000010) #define ll long long…

【社区图书馆】启迪后人——GPT 与读书的奇妙之旅

随着科技的发展和人工智能的不断进步&#xff0c;我们的阅读方式也在逐渐改变。作为一个热爱读书的人&#xff0c;我深感好奇与惊讶地发现&#xff0c;GPT&#xff08;即生成预训练 Transformer&#xff09;正以前所未有的方式拓展我们的阅读视野。在这篇博客中&#xff0c;我将…

RabbitMQ-整合mqtt

用 springboot rabbitmq可以搭建物联网&#xff08;IOT&#xff09;平台&#xff0c;rabbitmq 不是消息队列吗&#xff0c;原来rabbitmq有两种协议&#xff0c;消息队列是用的AMQP协议&#xff0c;而用在智能硬件中的是MQTT协议。 一、rabbitmq是什么&#xff1f; RabbitMQ就…

Windows 自带环境变量

目录 Windows自带环境变量说明Windows自带环境变量总结 所谓 Windows 环境变量&#xff0c;指的是 Windows 指定操作系统工作环境的一些设置选项或属性参数&#xff0c;比方说指定系统文件夹或临时文件夹的位置等。与常量相比&#xff0c;一个环境变量往往由变量名称和变量值组…

MySQL全局锁、表级锁、行级锁介绍演示(详细)

目录 介绍 分类 1、全局锁 1.1介绍 1.2场景 1.3语法 1.4演示 2、表级锁 2.1介绍 2.2分类 2.3语法 2.4演示 3、行级锁 3.1介绍 3.2分类 3.3场景 介绍 锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中&#xff0c;除传统的计算资源&#xff08;…

详解语义分割deeplabv3+模型的工业应用流程

来源&#xff1a;投稿 作者&#xff1a;某一个名字 编辑&#xff1a;学姐 导语 在工业视觉应用中&#xff0c;目标检测算法常用于特征的粗定位&#xff0c;而语义分割则在特征的精定位方面有着突出的表现。使用较多的语义分割模型主要有FCN、deeplab系列、unet等&#xff0c;根…

android framework-PackageManagerService(PKMS)包管理服务

一、概述 Android系统启动过程中&#xff0c;会启动一个包管理服务PackageManagerService(PKMS)&#xff0c;这个服务主要负责扫描系统中指定目录&#xff0c;找出里面以apk结尾的文件&#xff0c;通过对这些文件进行解析&#xff0c;得到应用程序的所有信息并完成应用程序的安…

【AI生产力工具】ChatPDF:将 PDF 文档转化为交互式阅读体验的利器

文章目录 简介一、ChatPDF 是什么&#xff1f;二、ChatPDF 的优势三、ChatPDF 的应用场景四、如何使用 ChatPDF&#xff1f;五、结语 简介 随着数字化时代的发展&#xff0c;PDF 文件已经成为了日常工作和学习中不可或缺的一部分。然而&#xff0c;仅仅将 PDF 文件上传或下载并…

【排序】快速排序(递归和非递归)

快速排序 前言图解大致思路对于hoare版本对于挖坑法对于前后指针法 实现方法递归非递归 快排的优化&#xff08;基于递归的优化&#xff09;三数取中法小区间优化 时间复杂度和空间复杂度 前言 快速排序&#xff0c;听名字就比较霸道&#xff0c;效率根名字一样&#xff0c;非…

理解C语言中的空指针和野指针

在C语言中&#xff0c;指针是一个非常重要的概念&#xff0c;可以用于操作变量和数据结构。但是&#xff0c;指针也是很容易出错的地方。其中包括两种可能的错误&#xff1a;空指针和野指针。 空指针 空指针指代无效的地址&#xff0c;表示指针不指向内存中的任何一个合法对象…

深入剖析:如何优化Android应用的性能和内存管理

深入剖析&#xff1a;如何优化Android应用的性能和内存管理 性能和内存管理的重要性 在今天的移动应用开发中&#xff0c;用户对于应用的性能和体验要求越来越高。一款性能卓越的Android应用能够提供流畅的操作体验、快速的响应速度以及较低的资源消耗&#xff0c;从而提高用户…

Android 11.0 设置默认DNS

1.前言 在11.0的系统rom产品定制化开发中,由于是wifi产品的定制,需要对wifi功能要求比较高,所以在wifi需求方面要求设置默认的dns功能,这就需要分析网络通讯 流程,然后在联网之后,设置默认的dns,来实现功能要求 2.设置默认DNS的核心类 frameworks\base\core\java\andr…

深入探索 Qt6 web模块 WebEngineCore:从基础原理到高级应用与技巧

深入探索 Qt WebEngineCore&#xff1a;从基础原理到高级应用与技巧 Diving into Qt WebEngineCore: From Basic Principles to Advanced Applications and Techniques 一、Qt WebEngineCore 模块简介及原理 (Introduction and Principles of Qt WebEngineCore Module)Qt WebEn…

使用layui组件库制作进度条

使用layui组件库制作进度条 html代码 <!DOCTYPE html> <html> <head><meta charset"UTF-8"><title>Example</title><!-- 引入 layui 的 CSS 文件 --><link rel"stylesheet" href"https://cdn.staticfil…

WordPress图片水印插件 Easy Watermark

1、概述 WordPress图片水印插件Easy Watermark 是一款实现上传图片自动添加水印LOGO功能的高效插件。当我们在WordPress网站后台上传图片文件到媒体库时&#xff0c;或者在发布文章上传图片时&#xff0c;Easy Watermark 都能为图片自动添加水印&#xff0c;同时&#xff0c;还…