介绍

“NLP’s ImageNet moment has arrived.”

– Sebastian Ruder

想象一下我们有能力构建支持谷歌翻译的自然语言处理(NLP)模型，并且在Python中仅需几行代码来完成，这听起来是不是让人非常兴奋。

而现在我们就可以坐在自己的机器前实现这个了!借助于被HuggingFace称为PyTorch-Transformers目前最先进的NLP工具。

我们可以简单地用Python导入它并进行实验。

我对现在NLP的研发速度感到非常惊讶，每一篇新论文、每一个框架和库都在推动着这个不可思议的强大领域的发展。由于围绕人工智能的研究的开放文化和大量免费可用的文本数据，几乎没有什么是我们今天不能做的。

无论我再怎么强调PyTorch-Transformers对研究社区和NLP行业的影响也不为过。我相信这有可能彻底改变我们所知的自然语言处理领域。

揭开NLP的神秘面纱

本质上，自然语言处理是教计算机理解人类语言的复杂性。

在讨论PyTorch-Transformers的技术细节之前，让我们快速回顾一下该库构建的概念——NLP。我们还将理解最先进的(state-of-the-art)意味着什么。

在我们开始PyTorch-Transformers的讲解之前，这里有一些你需要了解的东西：

最先进的(state-of-the-art)是指目前对于某项任务“最好的”算法或技术。当我们说“最好的”时，我们的意思是这些算法是由像谷歌、Facebook、微软和亚马逊这样的巨头所倡导的。

NLP有许多定义明确的任务，研究人员正在研究创建智能技术来解决这些问题。一些最受欢迎的任务像机器翻译、文本摘要、问答系统等。

深度学习技术如Recurrent Neural Networks (RNNs), Sequence2Sequence, Attention,还有Word Embeddings(Glove, Word2Vec)对NLP任务来说曾是最先进的。

然而这些技术被一个叫Transformers的框架取代了，其背后是几乎所有的当前最先进的NLP模型。

注意 这篇文章将多处提及Transformers ，所以我强烈建议你阅读下面的指南,以对Transformers有个理解

PyTorch-Transformers是什么？

PyTorch-Transformers是一个最先进的自然语言处理预训练模型库。

我从PyTorch-Transformers的文档中选取了这一部分。这个库目前包含PyTorch实现、预训练的模型权重、使用脚本和用于以下模型的转换工具:

BERT(来自谷歌) 与论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 一起发布

GPT(来自OpenAI) 与论文 Improving Language Understanding by Generative Pre-Training 一起发布

GPT-2(来自OpenAI) 与论文 Language Models are Unsupervised Multitask Learners 一起发布

Transformer-XL(来自谷歌/CMU) 与论文 Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 一起发布

XLNet (来自谷歌/CMU) 与论文 XLNet: Generalized Autoregressive Pretraining for Language Understanding 一起发布

XLM (来自Facebook) 与论文 Cross-lingual Language Model Pretraining一起发布

上述所有模型都是适用于各种NLP任务的最佳模型。

大多数最先进的模型需要大量的训练数据和花费数天时间在昂贵的GPU硬件上进行训练，而这些只有大型技术公司和研究实验室才能负担得起。但随着PyTorch-Transformers的推出，现在任何人都可以利用这些最先进的模型!

在你的机器上安装PyTorch-Transformers

在Python中 Pytorch-Transformers非常简单。你可以只使用pip安装:

pip install pytorch-transformers

或者在Colab上使用以下命令:

!pip in