雷锋网AI科技议论编者按：今年年初，OpenAI发布了一个十分强壮的言语模型，能够模仿生成相似人类创作出的文本。一般在布告发布之后就会面向群众发布模型，但这这次的布告不同以往，它标明这样一个强壮的东西或许会构成危险，因而只发布了一个较小、功用较单一的模型。

 很快，除了学术的热议之外，这则新闻还被传到了群众媒体上，在那里，人们用适当简略和夸大的办法描绘它。在一般民众中引起了惊惧；其他NLP人士中也提出了批判定见；甚至连他们内部也提出了质疑。六个月后，OpenAI总算决议发布完好的模型。

那么这个模型是怎么练习的？它们是怎么运用的？它们真的那么好吗？真的具有危险吗？

本文将对以上问题做详细分析。 

一、 咱们评论什么？

最近大多数人在议论言语模型(language models，LMs)的原因并不是说他们都在进行文本生成研讨，而是由于经过预先练习的LMs(比方OpenAI GPT-2或Google的BERT)能够用于在各种NLP运用程序中生成文本表征，大大提高了它们的功能。这种作用相似于2013年预先练习过的单词嵌入对NLP发作的影响。我引荐阅览SebastianRuder的文章《NLP的ImageNet时刻现已到来》，对此有很好的总结。雷锋网接下来将带你领会文本生成。

在文本生成中有两种彻底不同的运用：

1、开放式文本生成：其意图是能够生成任何文本。它能够是一个特定的主题，也能够续写上一段，该模型被赋予了生成任何文本的最好作用。

2、约束性文本生成：这个模型预期将生成一个特定的文本。更正式地说，便是给定一些输入，模型应该严厉依据输入文本来生成。最好的比如是翻译：例如给出一个法语语句，模型有必要用英语生成一个与法语语句的意思相同的语句。其他比如包括摘要(给定长文档，生成包括文档中重要细节的简略文本)、图画SEO培训描绘(给定图画，生成描绘它的文本)、语音到文本(转化)、以及将文本转化为代码或SQL查询。

这篇文章的重点是开放式文本生成。

我之前从前评论过机器翻译的言语模型。简略来说，言语模型是在文本中给定一个单词来猜想后续呈现单词的概率散布。散布在词汇表上的一切单词在总量上一般十分巨大(或许是几十万或更多)。 

例如，"I'mtired, I want to"这个语句中的下一个单词会是什么？一个好的言语模型会把高分分配给p(sleep I'mtired, I want to)。像"bed"这样的词呈现的概率应该很低，虽然它是一个相关的术语，但它并不构成语法语句；再者是"party"，虽然语法上正确但与逻辑相对立。整个语句的概率是每个单词条件概率的乘积，运用链式法则，给定前面的单词：

其间和别离符号语句的最初和结束。请留意，我在这篇文章中运用了依据单词的LM进行演示，可是，能够将根本符号界说为token或"Word部件"/"子词单元"。 

虽然LMs能够用来对某一文本在一般言语逻辑中呈现的或许性进行评分，但在这篇文章中，咱们将评论它们的另一个常见马到挪车用法，即生成新文本。

假定咱们现已练习了一个言语模型，咱们怎么生成文本呢？

咱们用一个十分简略的玩具LM来演示，它的词汇量很小，仅有少数或许的言语：

来源:版权归属原作者,部分文章推送时未能及时与原作者取得联系,若来源标注错误或侵犯到您的权益烦请告知，我们会及时删除。联系QQ:110-242-789