ChatGlm-6B多张显卡的web_demo.py
from transformers import AutoModel, AutoTokenizer
import gradio as gr
import mdtex2html
from utils import load_model_on_gpus ＃要加的包
import os ＃要加的包os.environ["CUDA_VISIBLE_DEVICES"]='0,1' #把显卡加到全局变量中
tokenizer = AutoTokenizer.from_pretrained("chatglm-6b", trust_remote_code=True)
model = load_model_on_gpus("chatglm-6b",num_gpus=2)＃使用两块显卡
# model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
model = model.eval()在运行上面的代码需要保证你的显卡的驱动已经安装，需要验证以下代码反回为true
import torch
print(torch.cuda.is_available())
TruePrint(torch.cuda.device_count())
2以下是我运行ChatGlm的pip list
(glm) root@gpt:/home/gpt# pip list
Package Version
------------------ ------------
accelerate 0.19.0
aiofiles 23.1.0
aiohttp 3.8.4
aiosignal 1.3.1
altair 4.2.2
anyio 3.6.2
async-timeout 4.0.2
attrs 23.1.0
certifi 2022.12.7
charset-normalizer 2.1.1
click 8.1.3
cmake 3.25.0
contourpy 1.0.7
cpm-kernels 1.0.11
cycler 0.11.0
entrypoints 0.4
fastapi 0.95.1
ffmpy 0.3.0
filelock 3.9.0
fonttools 4.39.3
frozenlist 1.3.3
fsspec 2023.5.0
gradio 3.28.3
gradio_client 0.2.1
h11 0.14.0
httpcore 0.17.0
httpx 0.24.0
huggingface-hub 0.14.1
idna 3.4
Jinja2 3.1.2
jsonschema 4.17.3
kiwisolver 1.4.4
latex2mathml 3.75.5
linkify-it-py 2.0.2
lit 15.0.7
Markdown 3.4.3
markdown-it-py 2.2.0
MarkupSafe 2.1.2
matplotlib 3.7.1
mdit-py-plugins 0.3.3
mdtex2html 1.2.0
mdurl 0.1.2
mpmath 1.2.1
multidict 6.0.4
networkx 3.0
numpy 1.24.1
orjson 3.8.12
packaging 23.1
pandas 2.0.1
Pillow 9.3.0
pip 23.0.1
protobuf 4.23.0
psutil 5.9.5
pydantic 1.10.7
pydub 0.25.1
Pygments 2.15.1
pyparsing 3.0.9
pyrsistent 0.19.3
python-dateutil 2.8.2
python-multipart 0.0.6
pytz 2023.3
PyYAML 6.0
regex 2023.5.5
requests 2.28.1
semantic-version 2.10.0
sentencepiece 0.1.99
setuptools 66.0.0
six 1.16.0
sniffio 1.3.0
starlette 0.26.1
sympy 1.11.1
tokenizers 0.13.3
toolz 0.12.0
torch 2.0.1+cu118
torchaudio 2.0.2+cu118
torchvision 0.15.2+cu118
tqdm 4.65.0
transformers 4.27.1
triton 2.0.0
typing_extensions 4.4.0
tzdata 2023.3
uc-micro-py 1.0.2
urllib3 1.26.13
uvicorn 0.22.0
websockets 11.0.3
wheel 0.38.4
yarl 1.9.2
ChatGlm-6B多张显卡的web_demo.py相关推荐
- pytorch指定用多张显卡训练_Pytorch中多GPU训练指北
前言 在数据越来越多的时代,随着模型规模参数的增多,以及数据量的不断提升,使用多GPU去训练是不可避免的事情.Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式,本文简单讲解下使用P ...
- Keras同时用多张显卡训练网络
正文共4542个字,预计阅读时间12分钟. Author: Zongwei Zhou | 周纵苇 Weibo: @MrGiovanni Email: zongweiz@asu.edu Referenc ...
- 为什么amd显卡便宜却买的人少_这7张显卡现在最好不要买，千万不要花钱当冤大头...
买显卡前除了了解性能表现与价格之外,购买的时机也非常重要,特别是高端显卡,最近NVIDIA刚推出的RTX3080旗舰显卡,一经发售就立刻把上一代RTX2080 Ti打翻在地又踩上一脚,全新的3系显卡拥 ...
- 利用CUDA查看多张显卡可用显存和总显存大小
利用CUDA查看每张显卡上的可用显存大小和总的显存大小,参考了博文1,博文2,主要使用的函数是cudaMemGetInfo(),cudaGetDeviceCount()和cudaSetDevice() ...
- 两张显卡在win10上如何使用
我的服务器是装了win10 server系统,之前是2080ti显卡,正常使用没有问题,现在打算加装一张3080ti,但是显示感叹号,无法识别,想问问这种情况应该如何解决呢? 我也不是想两张卡交火,我 ...
- 一张显卡卖5-6万？Tesla计算卡你凭什么这么贵!
想必大家都知道,显卡巨头Nvidia公司的产品可以分为三大类:科学计算卡(Tesla).专业图形卡(Quadro)和家用显卡(Geforce)类.可是同样都是显卡,为什么Geforce卡只需要几千块, ...
- 史上最强吃鸡电脑配件更新!这张显卡都能买一套房子了
玩<绝地求生>的玩家都知道,没有一台好的电脑是吃不了鸡的,所以一台 高端的吃鸡电脑是非常重要的.而这里面最重要的就是显卡,1060级别的显卡是标配,3G的显然不行,得要6G才完全施展的开, ...
- 为什么amd显卡便宜却买的人少_为什么这三张显卡没人用? 性能高居榜首, 却无人问津? 网友: 我都没见人提过...
最近峰哥网上冲浪时,看到网友提问,图中AMD的三款显卡怎么没有人用甚至都很少有人提起. 其实根据AMD这3款显卡在显卡天梯图中的位置,就可以说明它们是旗舰类型的显卡,它们的性能自然不必多说,AMD显卡 ...
- 查询服务器上几张显卡命令
命令1 nvidia-smi --query-gpu=name --format=csv,noheader GeForce GTX 1080 Ti GeForce GTX 1080 Ti 命令2 nv ...
最新文章
- IOS - 设置与帮助界面
- 实战SSM_O2O商铺_05集成SSM后验证DAO层、Service层、Controller层的配置
- 5、ResultSet结果集
- 前端学习（1934）vue之电商管理系统电商系统之分析实现默认勾选权限
- python读取matlab数据_详解如何在python中读写和存储matlab的数据文件(*.mat)
- 回顾JavsScript对象的克隆
- 2.安装 Android SDK
- VMware密匙安装教程
- VS Code插件安装位置
- SQL中的升序和降序
- 计算机保研面试 / 考研复试常见问题整理
- php制作与设计动态网页,如何制作动态网站
- 科普:股票价格为什么会高开？
- 镜头主要参数与光 源 选 型，选型焦距计算公式,CS、C接口工业镜头与M12镜头的关系知识。
- 隐藏CAD图层内容，2种方法搞定
- 网络工程师模拟测试题
- 马云对话创业者：我不喜欢人工智能，机器应做人类做不到的事
- CodeWarrior flash
- AJAX与cooikes
- vue eslint 自动修复