Chat-GLM 详细部署（GPU显存＞=12GB）
建议配置: ( Windows OS 11 部署 )
CPU-i7 13700F ~ 13700KF
RAM: 16GB DDR4
GPU: RTX3080(12G)
安装 conda:
1. 下载安装 miniconda3 ：
https://docs.conda.io/en/latest/miniconda.html
conda是一个包和环境管理工具，它不仅能管理包，还能隔离和管理不同python版本的环境。类似管理nodejs环境的nvm工具。
2. conda环境变量：
新建 CONDA_HOME ：conda安装路径
在Path中添加 ：%CONDA_HOME%
在Path中添加 ：%CONDA_HOME%\Scripts
在Path中添加 ：%CONDA_HOME%\Miniconda3\Library\bin3. 激活conda:
打开CMD执行conda init
4. 测试conda安装是否成功:
打开CMD输入conda -V 回车后显示版本号表示Conda安装成功。
5. 更换源:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes6. 问题解决:
如果创建环境时报错：
An HTTP error occurred when trying to retrieve this URL.
HTTP errors are often intermittent, and a simple retry will get you on your way.找到C盘：.condarc 文件（一般是在 C:\Users\你电脑的用户名 下，没有的话全盘搜索下）
打开.condarc 文件并替换内容为：
channels:- defaults
show_channel_urls: true
default_channels:- http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free- http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
custom_channels:conda-forge: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmsys2: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudbioconda: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmenpo: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudsimpleitk: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud打开CMD输入conda clean -i 回车。
安装 CUDA与Torch：
1. 确认CUDA版本号:
在CMD中输入nvidia-smi 查询CUDA版本号。
2. 下载CUDA:
去官网下载对应的CUDA版本（CUDA Toolkit）
https://developer.nvidia.com/cuda-toolkit-archive
3. 安装CUDA：
4. CUDA环境变量：
一般来说安装完成后会自动添加环境变量，可以检查一下，如果没添加则需要添加一下：
CUDA_PATH
CUDA_PATH_V11_8
值为上一步选择安装位置的路径。
5. 测试CUDA安装是否成功:
打开CMD输入nvcc --version 回车显示版本号代表安装完成。
6. 安装Torch:
下载对应CUDA版本的Torch（这里用的版本是11.8）
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia用python代码测试torch是否生效，如果不生效找对应cuda版本下载torch（torch.cuda.is_available()返回false则不生效）
import torch
print(torch.__version__)
print(torch.cuda.is_available())
安装配置 ChatGLM
1. 克隆项目到本地:
如果没git需要安装git
CD到目标文件夹内执行命令：git clone https://github.com/THUDM/ChatGLM-6B.git
2. 创建conda工程:
打开CMD将目录CD到工程内。
执行命令：conda create --name ChatGLM-6B python=3.10.10
激活conda工程：conda activate ChatGLM-6B
3. 安装支持库
执行命令 ( 清华源 ) ：
pip install pip -U
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple some-package 这里在国内使用清华源加速
4. 启动web测试：
安装库 （清华源)
pip install streamlit -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
pip install streamlit_chat -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
pip install chardet -i https://pypi.tuna.tsinghua.edu.cn/simple some-package执行Demo ：streamlit run web_demo2.py 输入Email。
复制URL到浏览器则可以预览：
模型下载完成才可以正常对话，如果报错换下VPN节点多试几次
5. API部署
首先需要安装额外的依赖 pip install fastapi uvicorn，然后运行仓库中的 api.py：
python api.py默认部署在本地的 8000 端口，通过 POST 方法进行调用
curl -X POST "http://127.0.0.1:8000" \-H 'Content-Type: application/json' \-d '{"prompt": "你好", "history": []}'得到的返回值为
{"response":"你好
Chat-GLM 详细部署（GPU显存＞=12GB）相关推荐
- 模型占用GPU显存计算
相关博客: https://blog.csdn.net/wz22881916/article/details/81054036 https://blog.csdn.net/sweetseven_/ar ...
- 开源GPU显存虚拟化项目，你的2080Ti还能救一下
#开源GPU显存虚拟化项目,你的2080Ti还能救一下 vGPU device plugin 基于NVIDIA官方插件(NVIDIA/k8s-device-plugin),在保留官方功能的基础上,实现 ...
- 【经验分享】GPU 显存不足怎么办？
作者:老宋的茶书会 知乎专栏:NLP与深度学习 研究方向:自然语言处理 来自:AINLP 前言 最近跑的模型都比较大,尤其是Bert, 这真的是难为我 1080ti 了, 在Bert的Example中 ...
- 阿里 NIPS 2017 Workshop 论文：基于 TensorFlow 的深度模型训练 GPU 显存优化
NIPS 2017 在美国长滩举办,场面非常热烈.阿里巴巴一篇介绍深度模型训练 GPU 显存优化的论文<Training Deeper Models by GPU Memory Optimiza ...
- ubuntu服务器常见使用技巧及-kill掉后GPU显存不释放进程-
如何解决python进程被kill掉后GPU显存不释放的问题 1 重新开一个shell,然后输入: ps aux|grep user_name|grep python.所有该用户下的python程序就 ...
- pytorch 优化GPU显存占用，避免out of memory
pytorch 优化GPU显存占用,避免out of memory 分享一个最实用的招: 用完把tensor删掉,pytorch不会自动清理显存! 代码举例,最后多删除一个,gpu显存占用就会下降,训 ...
- 【Ubuntu-Tensorflow】程序结束掉GPU显存没有释放的问题
笔者在ubuntu上跑Tensorflow的程序的时候,中途使用了Win+C键结束了程序的进行,但是GPU的显存却显示没有释放,一直处于被占用状态. 使用命令 watch -n 1 nvidia-sm ...
- ubuntu安装nvidia显卡驱动+cuda9.0+cudnn7.0+查看cuda版本+安装tensorrt+python查看gpu显存
一,驱动安装 显卡驱动和cuda版本关系 卸载原先驱动 sudo apt-get remove --purge nvidia-\* ubuntu-drivers devices 查看显卡类型 Nvi ...
- nvidia-smi 显示无进程，但GPU显存被占用
问题场景 训练网络时,未等网络训练完,中途按了:ctrl + c结束网络训练.当再次进行训练网络时,提示GPU显存不足,使用nvidia-smi查看GPU,无进程占用,但GPU显存被占满. 问题分析 ...
- 矩池云中Tensorflow指定GPU及GPU显存设置
矩池云中Tensorflow指定GPU及GPU显存设置 指定GPU 查看机器上GPU情况 命令: nvidia-smi 功能:显示机器上gpu的情况 命令: nvidia-smi -l 功能:定时更新 ...
最新文章
- python和单片机的用处哪个大_用Python控制硬件1-Python控制硬件的几种方式
- javascript中的事件问题的总结
- 【计算机网络】数据链路层 : 流量控制 ( “流量控制“ 机制 | 停止-等待协议 | 滑动窗口协议 | 后退 N 帧协议 GBN | 选择重传协议 SR | 滑动窗口 与 流量控制、可靠传输 )
- 还在安装各种截图软件？Windows10自带的截图工具你会用吗？
- centos7限制cpu使用_CentOS7 CPU隔离配置
- （24）FPGA减法器设计（第5天）
- Android 应用开发----7. ViewPager+Fragment一步步打造顶部导航界面滑动效果
- 图形数据库、NOSQL和Neo4j
- ffmpeg和opencv 播放视频文件和显示器
- Outlook验证服务器证书,OUTLOOK2019 解决 无法验证您连接到的服务器使用的安全证书...
- 2019最新 Java商城秒杀系统的设计与实战视频教程（SpringBoot版）_1-3课程要求与收益...
- git 配置beyond compare
- JAVA-幂等性（一）：http幂等性
- SLAＭ算法开发中，Ｃ++编程+多节点的正确调试方法
- CPU性能的三大主要参数
- 5G聚合路由器助力无人机监控盲区打好疫情阻击战
- win7下批处理bat文件：切换网络设置
- linux 搜狗拼音输入法
- RTOS与linux区别
- 互联网用户公众账号信息服务管理规定
热门文章