如何让huggingface模型运行速度起飞

首先调用接口的时候不要调用一次就加载一下模型，直接一开始就加载好

其次能用GPU就不要cpu

import os
import json
from tqdm import tqdm
from transformers import pipeline, AutoModelWithLMHead, AutoTokenizer
from tqdm import tqdm
import torch
torch.cuda.is_available()
def get_en_to_zh_model():model = AutoModelWithLMHead.from_pretrained("Helsinki-NLP/opus-mt-en-zh")tokenizer = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-en-zh")translation = pipeline("translation_en_to_zh", model=model, tokenizer=tokenizer,device=1)return translation
translation = get_en_to_zh_model()def en_to_ch(text):# 英文翻译成中文#text = "Student accommodation centres, resorts"translated_text = translation(text, max_length=888)[0]['translation_text']return translated_text

大家需要把pytorch换成GPU版本

如何让huggingface模型运行速度起飞相关推荐

修改huggingface模型的储存位置的设置方法
大家好,我是爱编程的喵喵.双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中.从事机器学习以及相关的前后端开发工作.曾在阿里云.科大讯飞.CCF等比赛获得多次Top名次.现 ...
Huggingface 模型下载
预训练模型下载 https://huggingface.co/ 打开网址在搜索框中搜索需要的模型 git clone 模型地址安装git-lfs 我使用的archlinux 请根据自己系统版本安 ...
关于gazebo中模型散架/起飞等
异常现象如起飞,弹射等,是因为惯性矩在全部为0了,例如使用了xacro函数,当你的模型很小时,计算出来的数字非常小,这时就可能出现返回的系数或者语句中全部为0.0,导致起飞. 比如次现象
CVPR2021 | 重新思考BiSeNet让语义分割模型速度起飞
超强的实时语义分割新网络:STDC,表现SOTA!性能优于BiSeNetV2.SFNet等网络,其中一版本性能高达97.0FPS/76.8%mIoU,代码即将开源! 作者单位:美团 1 简介 BiSe ...
利用huggingface模型翻译英文
百度翻译的api要收费了,我们就用开源模型翻译英文 from transformers import pipeline, AutoModelWithLMHead, AutoTokenizer from ...
一文看懂深度学习模型压缩和加速
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:opencv学堂 1 前言近年来深度学习模型在计算机视 ...
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion 0. 前言 1. Amazon SageMaker 与机器学习 1.1 机器学习流程 1.2 Amazon ...
TensorFlow与PyTorch模型部署性能比较
TensorFlow与PyTorch模型部署性能比较前言 2022了,选 PyTorch 还是 TensorFlow?之前有一种说法:TensorFlow 适合业界,PyTorch 适合学界.这种说 ...
PaddleHub 1.0正式发布：一键模型加载，十行代码完成迁移学习
允中发自凹非寺量子位编辑 | 公众号 QbitAI 飞桨(PaddlePaddle)核心框架Paddle Fluid v1.5已经发布,而作为其关键工具,用来迁移学习的PaddleHub也进行 ...

如何让huggingface模型运行速度起飞

如何让huggingface模型运行速度起飞相关推荐

最新文章

热门文章