paddlenlp文本摘要模型实现

1、创建虚拟环境

conda create -n paddle python==3.8

2、下载库

pip install paddlenlp
pip install paddlepaddle

升级库

pip3 install --upgrade 库名

PaddleNLP帮助文档
程序

from paddlenlp import Taskflowtext ="1912年,河南大学的前身河南留学欧美预备学校,在古城开封清代贡院旧址诞生,首任校长为著名教育家林伯襄先生。1936年，河南大学南大门建成后，学校就将校训用柳体金字镌刻在正门内侧的门楣之上，正中上额横书“止于至善”，左书“明德”，右书“新民”，八字校训耀眼夺目，发人深省，予河大学子以光大学术，恢宏文化的启示，一入校门便油然而生对国家、民族崇高无上的历史责任感。"# 分词
def word_segmentation():# 没有CPU时，device_id设置为-1seg = Taskflow("word_segmentation", device_id=-1)my_list = seg(text)print(my_list)pass# 命名实体时别
def entity_recognition():seg = Taskflow("ner", device_id=-1)my_list = seg(text)print(my_list)if __name__ == '__main__':# word_segmentation()# entity_recognition()summarizer = Taskflow('text_summarization')res = summarizer('中国房地产进入黑铁时代')# corrector= Taskflow('text_correction')# res = corrector(['人生就是如此,经过磨练才能让自己更加拙壮','遇到逆竟时，我们必须勇于面对'])print(res)

报错解决：openpyxl Value must be either numerical or a string containing a wildcard 将openpyxl库版本降到3.0.9
其他框架实现：

from transformers import PegasusForConditionalGeneration
# Need to download tokenizers_pegasus.py and other Python script from Fengshenbang-LM github repo in advance,
# or you can download tokenizers_pegasus.py and data_utils.py in https://huggingface.co/IDEA-CCNL/Randeng_Pegasus_523M/tree/main
# Strongly recommend you git clone the Fengshenbang-LM repo:
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/examples/pegasus/
# and then you will see the tokenizers_pegasus.py and data_utils.py which are needed by pegasus modelfrom fengshen.examples.pegasus.tokenizers_pegasus import PegasusTokenizermodel = PegasusForConditionalGeneration.from_pretrained("Randeng-Pegasus-523M-Summary-Chinese-V1")
tokenizer = PegasusTokenizer.from_pretrained("Randeng-Pegasus-523M-Summary-Chinese-V1")text = "在北京冬奥会自由式滑雪女子坡面障碍技巧决赛中，中国选手谷爱凌夺得银牌。祝贺谷爱凌！今天上午，自由式滑雪女子坡面障碍技巧决赛举行。决赛分三轮进行，取选手最佳成绩排名决出奖牌。第一跳，中国选手谷爱凌获得69.90分。在12位选手中排名第三。完成动作后，谷爱凌又扮了个鬼脸，甚是可爱。第二轮中，谷爱凌在道具区第三个障碍处失误，落地时摔倒。获得16.98分。网友：摔倒了也没关系，继续加油！在第二跳失误摔倒的情况下，谷爱凌顶住压力，第三跳稳稳发挥，流畅落地！获得86.23分！此轮比赛，共12位选手参赛，谷爱凌第10位出场。网友：看比赛时我比谷爱凌紧张，加油！"
inputs = tokenizer(text, max_length=1024, return_tensors="pt")# Generate Summary
summary_ids = model.generate(inputs["input_ids"])
tokenizer.batch_decode(summary_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]# model Output: 自由式滑雪女子坡面障碍技巧决赛谷爱凌摘银

Randeng-Pegasus-523M-Summary-Chinese-V1模型介绍

paddlenlp文本摘要模型实现相关推荐

教你如何用Python实现文本摘要模型（附教程）
翻译 | 和中华校对 | 申利彬来源 | 数据派THU(ID:DatapiTHU) 本文介绍了如何利用seq2seq来建立一个文本摘要模型,以及其中的注意力机制.并利用Keras搭建编写了一个完整 ...
用Encoder-Decoder模型自动生成文本摘要
出品:贪心科技(公众号:贪心科技) 作者:Jason Brownlee 前言文本摘要是自然语言处理中的一个问题,即要为源文档创建一篇简短.准确.流畅的摘要.当针对机器翻译开发的Encoder-Dec ...
独家 | Python利用深度学习进行文本摘要的综合指南（附教程）
作者:ARAVIND PAI 翻译:和中华校对:申利彬本文约7500字,建议阅读15分钟. 本文介绍了如何利用seq2seq来建立一个文本摘要模型,以及其中的注意力机制.并利用Keras搭建编写了 ...
EasyNLP玩转文本摘要（新闻标题）生成
作者:王明.黄俊导读文本生成是自然语言处理领域的一个重要研究方向,具有丰富的实际应用场景以及研究价值.其中,生成式文本摘要作为文本生成的一个重要子任务,在实际应用场景中,包括新闻标题生成.摘要生成 ...
初学文本摘要——综述报告
** 本报告是本人在自学自然语言处理文本摘要方向初期研读综述性论文.博客.网站等后总结的综述报告. ** 主要内容: 1)文本摘要简介(是什么?) 2)文本摘要现状(怎么样?) 3)文本摘要分类(有哪 ...
Seq2Seq+Attention生成式文本摘要
任务描述: 自动摘要是指给出一段文本,我们从中提取出要点,然后再形成一个短的概括性的文本.自动的文本摘要是非常具有挑战性的,因为当我们作为人类总结一篇文章时,我们通常会完整地阅读它以发展我们的理解,然 ...
基于深度学习的文本摘要自动生成（自然语言处理）-本科毕业设计（附完整代码及数据集）
项目介绍: 通过模型的训练得到效果较好的文本摘要模型,输入一段文本,运行程序后得到摘要. 基本环境介绍 Python3.6 + Win系统 Opencv(使用pip install opencv-py ...
huggingface transformers实战系列-06_文本摘要
文本摘要简述随着互联网产生的文本数据越来越多,文本信息过载问题日益严重,对各类文本进行一个"降维"处理显得非常必要,文本摘要便是其中一个重要的手段.文本摘要旨在将文本或文本集合 ...
抽象文本摘要中的事实不一致问题：一项调查
论文:<The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey> Yichong Hua ...

paddlenlp文本摘要模型实现

paddlenlp文本摘要模型实现相关推荐

最新文章

热门文章