前言

Alpaca-Lora Huggingface项目
Tloen/Alpaca-Lora GitHub项目
如何简单使用Colab

安装环境

首先按照需要安装相应依赖

!pip install sentencepiece
%cd /content/drive/MyDrive/Repo/alpaca-lora-main
!pip install -r requirements.txt

在 修改 -> 笔记本设置 中修改硬件加速器为 GPU，否则后续运行到一半就寄了…
稍微修改下代码
上方设置 share=True，由于跑完后会出现一个本地连接进行测试，而在colab运行的本地连接在本机上是打不开的，需要设置开启公共链接。
下方为测试代码，查看在代码中调用接口是否成功。

运行generate代码

由于我不需要进行训练，直接拉下来默认训练后的模型即可，即只用调用 generate.py
需要设置相应模型参数，base_model 是必须参数。

%cd /content/drive/MyDrive/Repo/alpaca-lora-main
!python generate.py \--load_8bit \--base_model 'decapoda-research/llama-7b-hf' \--lora_weights 'tloen/alpaca-lora-7b'

运行时可以查看资源消耗是否正常
运行完成后会掉出URL，点击打开。
进行询问测试，回答还可以。（不大支持中文QA）
但是可以看到跑完了之后甚至没有跑那行 print("now2")，所以我选择注释掉启动启动器。
再次运行，发现会运行上述代码，虽然有丢丢慢，但是还行。

【深度学习，NLP，LM】Alpaca-Lora ，Colab上部署与调用相关推荐

【NLP】相当全面：各种深度学习模型在文本分类任务上的应用
论文标题:Deep Learning Based Text Classification:A Comprehensive Review 论文链接:https://arxiv.org/pdf/2004. ...
一文概述2017年深度学习NLP重大进展与趋势
本文,我将概述 2017 年深度学习技术在 NLP 领域带来的进步.可能会有遗漏,毕竟涵盖所有论文.框架和工具难度太大.我想和大家分享这一年我最喜欢的一些研究.我认为 2017 年是 NLP 领域的重 ...
【深度学习】Transfomer在文本处理上的应用(风格识别)
[深度学习]Transfomer在文本处理上的应用(风格识别) 文章目录 1 Transformers简介 2 数据预处理 3 作家风格识别 4 实验内容4.1 介绍数据集4.2 数据集预处理4.3 ...
[深度学习-NLP]什么是Self-attention, Muti-attention和Transformer
系列文章目录深度学习NLP(一)之Attention Model; 深度学习NLP(二)之Self-attention, Muti-attention和Transformer 深度学习NLP(三)之 ...
深度学习（1）---2017年深度学习NLP重大进展与趋势
深度学习(DL)架构和算法在图像识别.语音处理等领域实现了很大的进展.而深度学习在自然语言处理方面的表现最初并没有那么起眼,不过现在我们可以看到深度学习对 NLP 的贡献,在很多常见的 NLP 任务中 ...
【自然语言处理】一文概述2017年深度学习NLP重大进展与趋势
选自 tryolabs 机器之心编译参与:路雪.黄小天.蒋思源作者通过本文概述了 2017 年深度学习技术在 NLP 领域带来的进步,以及未来的发展趋势,并与大家分享了这一年中作者最喜欢的研究.2 ...
今日头条李航：深度学习NLP的现有优势与未来挑战
近日,AI 技术大牛李航博士(已加入今日头条)在<国家科学评论>(National Science Review,NSR)上发表了一篇题为<Deep Learning for Nat ...
保健中的深度学习nlp技术用于决策
介绍 (Introduction) The ubiquitous adoption of electronic health records in hospitals and other health ...
Python深度学习-NLP实战：字向量的训练与生成
系列文章目录 Python深度学习-NLP实战:深度学习系列培训教程 Linux服务器软件的简单使用 Linux命令的简单使用训练集.测试集.验证集的介绍及制作字向量的训练与生成文本分类之SVM ...

【深度学习，NLP，LM】Alpaca-Lora ，Colab上部署与调用

【深度学习，NLP，LM】Alpaca-Lora ，Colab上部署与调用

前言

安装环境

运行generate代码

【深度学习，NLP，LM】Alpaca-Lora ，Colab上部署与调用相关推荐

最新文章

热门文章