简介

前段时间，斯坦福发布了Alpaca，是由Meta的LLaMA 7B微调而来，仅用了52k数据，性能可以与GPT-3.5匹敌。

FastChat集成了Vicuna、Koala、alpaca、llama等开源模型，其中Vicuna号称能够达到gpt-4的90%的质量，是开源的chatGPT模型中对答效果比较好的。

现在UC伯克利学者联手CMU、斯坦福等，再次推出一个全新模型70亿/130亿参数的Vicuna，俗称「小羊驼」（骆马）。小羊驼号称能达到GPT-4的90%性能，下面来体验一下。
项目地址:https://github.com/lm-sys/FastChat
体验地址:https://chat.lmsys.org/

部署

环境搭建

#官网要求Python版本要>= 3.8
conda create -n fastchat python=3.9
conda activate fastchat
#安装pytorch
pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116

安装后测试

conda activate fastchatimport torch
print(torch.__version__)

安装fastchat

pip3 install fschat
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip  # enable PEP 660 support
pip3 install -e .

权重文件

这里由于经费有限，所以使用7B模型，7B大约需要30 GB 的 CPU RAM

python3 -m fastchat.model.apply_delta \--base-model-path /path/to/llama-7b \--target-model-path /path/to/output/vicuna-7b \--delta-path lmsys/vicuna-7b-delta-v1.1

13B大约需要大约 60 GB 的 CPU RAM。执行方式如下

python3 -m fastchat.model.apply_delta \--base-model-path /path/to/llama-13b \--target-model-path /path/to/output/vicuna-13b \--delta-path lmsys/vicuna-13b-delta-v1.1

推理

执行以下命令后，可以在命令行窗口进行对话

python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0

效果如下：

webGuI

FastChat还提供了web界面可以使用，具体流程如下

启动 controller
- 新开命令行，进入fastchat环境执行 conda activate fastchat
- 然后执行命令执行 python -m fastchat.serve.controller
启动 model worker
- 新开命令行，进入fastchat环境执行 conda activate fastchat
- 执行命令执行 python3 -m fastchat.serve.model_worker --model-path /path/to/model/weights
- 如果你显卡内存不够，需要使用CPU，在后面加上参数–device cpu
启动前可以测试一下
- 新开命令行，进入fastchat环境执行 conda activate fastchat
- 然后执行 python -m fastchat.serve.test_message --model-name vicuna-7b
最后，启动 web server，执行 python -m fastchat.serve.gradio_web_server
打开浏览器，访问地址 http://127.0.0.1:7860/

此外还提供了API调用方法，具体可以参考官网调用方法。

FastChat(小羊驼模型)部署体验相关推荐

一文详解AI模型部署及工业落地方式
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 Hello大家好,我是老潘,好久不见各位~ 最近在复盘今年上半年做的一些事情,不管是训练模型.部署模型 ...
快速入门 TensorFlow2 模型部署
机器学习问题不仅是一个科学问题,更是一个工程问题. 大多数年轻的数据科学家都希望将大部分时间花在构建完美的机器学习模型上,但是企业不仅需要训练一个完美的模型,同时也需要将其部署,向用户提供便捷的服务. ...
直击行业痛点！端侧模型部署的成熟解决方案有了！
深度学习经过多年发展,AI已经深入人心,事实上,在图像.文本领域,AI在多个产业已经落地了诸多应用,我们熟知的自动驾驶.语音助手,背后就大量运用了AI技术. 当下,飞桨PaddlePaddle.Ten ...
飞桨企业版重磅发布智能边缘控制台 5分钟零代码自动化模型部署
12月12日,由深度学习技术及应用国家工程实验室主办的WAVE SUMMIT+ 2021深度学习开发者峰会在上海召开.此次峰会,最让开发者惊艳的是飞桨开源框架v2.2的重磅发布.百度深度学习技术平台部 ...
【经典回顾】静态结构不能满足模型部署性能需求？微软提出动态卷积结构，Top-1准确率提高2.9%！（附复现代码）...
关注公众号,发现CV技术之美本文分享论文『Dynamic Convolution: Attention over Convolution Kernels』,静态的结构依旧不能满足性能需求了?微软提出 ...
Tensorflow2.0数据和部署（四）——Tensorflow高级模型部署
文章目录一.TF Serving 1.安装 2.搭建服务 (1)构建模型 (2)保存模型 (3)运行TF Model Server 3.使用服务 (1)将数据传递给服务器 (2)从服务器获取结果二 ...
十月重点回顾：EasyDL八大国产芯片实现模型部署全适配！
10 月,EasyDL 模型部署国产芯片适配类型丰富度再进一步,新增「飞腾 CPU」.「龙芯 CPU」.「寒武纪 MLU270」.「比特大陆 SC5+」4 款国产芯片部署能力,实现八大主流国产芯片全 ...
【视频课】落地才是硬道理，微信小程序AI模型部署实践！
前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下: 第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用. 第2层 ...
LLM系列 | 02: Vicuna简介及模型部署实测
简介月黑见渔灯,孤光一点萤.微微风簇浪,散作满河星.小伙伴们好,我是微信公众号<小窗幽记机器学习>的小编:卖钢丝球的小男孩.今天这篇小作文主要介绍Vicuna模型.基于官方模型13B模型 ...

FastChat(小羊驼模型)部署体验

简介

部署

环境搭建

安装fastchat

权重文件

推理

webGuI

FastChat(小羊驼模型)部署体验相关推荐

最新文章

热门文章