在语法上的引擎盖下：用AI改变写作风格

当您需要给您写的人留下深刻印象时，您说的不是您唯一需要考虑的事情。你说的通常同样重要。选择正确的形式性可能是一个特殊的挑战 - 高度依赖上下文，您通常必须猜测收件人如何解释您的语气。

想象您正在写求职信。如果您有一个可以检测到您的写作太随意的工具（有时甚至更糟，太正式）的工具会改变多少？突然，您关于如何说要说的话的决定变得不那么阴暗。您不仅要依靠收件人如何看待您的消息的猜测，而且您有一种算法，该算法正在借鉴许多您个人没有的数据。更进一步，如果此工具不仅可以告诉您何时关闭，而且实际上为您提供了您的收件人更喜欢的替代措辞怎么办？

让计算机自动将一件写作从一种样式转换为另一种样式的过程称为样式转移，这是我与同事Sudha Rao一起写的一篇论文的主题。这是我们在语法上特别感兴趣的领域，因为我们知道以正确的方式进行交流是多么重要。

如果您想知道语法研究人员如何构建为您提供写作建议的系统，请继续阅读。

形式的非正式背景

在深入了解我们的算法的细节之前，让我们看看非正式语言与正规语言的示例。

非正式：必须看故事的两面

正式：您必须看到故事的两面。

这些句子之间有两个明显的区别。第一个句子的末尾的使用（“ gotta”）和缺乏标点符号信号非正式性。有一个时间和一个句子的地方 - 例如，朋友之间的短信交换。

当我们查看人类如何以更正式的风格重写非正式句子时，我们发现他们最频繁的变化涉及大写，标点符号和口语化。我们还注意到，人类有时必须对句子进行更严厉的重写以改善形式：

非正式：您什么时候参加会议？

正式：请让我知道您何时参加会议。

但是，我们如何教计算机像上面的计算机一样进行编辑？有几种解决问题的方法。

我们使用的一个承认，教授计算机在写作样式之间翻译的方式类似于教给它以翻译语言。这种方法称为机器翻译，其中一台计算机自动从一种语言（例如法语）转换为另一种语言（德语）。因此，在解决样式转移问题时，从翻译模型开始或在我们的情况下是多种模型是有意义的。

什么是翻译模型？

AI最近的突破之一是使用深度学习或神经网络，用于构建机器翻译模型的技术。

神经机器翻译（NMT）模型可以学习句子基本含义的表示。这有助于模型学习复杂的句子模式，使翻译流利，其含义忠于原始句子。

较旧的机器翻译方法，例如基于规则或基于短语的模型（PBMT），将句子分解为较小的单元，例如单词或短语，并独立翻译它们。这可能会导致翻译中的语法错误或荒谬的结果。但是，这些模型更容易调整，并且倾向于更保守，这可能是一个优势。例如，我们可以轻松地合并将lang语变成标准单词的规则。

我们研究了几种机器翻译的方法，以查看哪种在样式转移方面最好。

建立模型

NMT和PBMT充满了挑战，其中最重要的是找到一个良好的数据集来培训您的模型。在这种情况下，我们估计我们需要数十万个非正式和正式句子对的数据集。理想情况下，您会用数百万个句子对训练模型，但是由于样式转移是自然语言处理领域的一个相当新的领域，因此实际上我们无法使用现有的数据集。因此，我们创建了一个。

我们首先收集非正式句子。我们从雅虎公开发布的问题和回答中获取句子。答案。我们从该集合中自动选择了十万个非正式句子，并使用预定义的标准再次使用正式语言重写每个团队。 （请查看我们的论文以获取有关此过程的详细信息。）

拥有数据集后，您可以开始培训模型。训练该模型意味着给它很多“来源”句子（在我们的情况下，非正式句子），以及许多“目标”句子，对我们来说是正式的重写。然后，模型的算法寻找模式，以找出如何从源到目标的方式。它拥有的数据越多，它学越好。

在我们的情况下，该模型有十万个非正式句子及其正式改写以供学习。我们还尝试了创建人工形式数据以增加培训数据集规模的不同方式，因为NMT和PBMT模型通常需要更多数据才能表现良好。

但是，您还需要一种方法来评估模型完成其任务的能力。句子的含义改变了吗？新句子在语法上是否正确？它实际上更正式吗？那里有分类器 - 可以自动评估语气和写作风格的句子的程序 - 我们测试了一些学术界最常用的句子。但是，它们都不是非常准确的。因此，我们最终让人类比较了我们测试的各种模型的输出，并通过形式，准确性和流利度对其进行排名。

我们向我们的团队展示了原始的非正式句子，来自几种不同模型的输出以及人类的重写。我们没有告诉他们谁或什么是什么句子。然后，他们对重写进行了排名，允许联系。理想情况下，最好的模型将与人类改写相比甚至更好。总的来说，团队得分了500个非正式句子的重写。

我们发现的

总而言之，我们测试了数十个模型，但我们将重点关注最高模型：基于规则的，基于短语的（PBMT），基于神经网络（NMT）和一对结合各种方法的夫妇。

人类的重写得分最高，但PBMT和NMT模型并没有落后。实际上，在几种情况下，人类更喜欢模型输出而不是人类。这两个模型进行了更广泛的重写，但它们倾向于改变原始句子的含义。

另一方面，基于规则的模型进行了较小的更改。这意味着他们更擅长保留意义，但是他们制作的句子的正式程度不那么正式。与更长的句子相比，所有模型的处理时间都更容易。

以下是一个非正式句子的示例，其人类和模型重写。在这种特殊情况下，这是最后一个模型（具有PBMT翻译的NMT）在形式，含义和自然词句之间取得了最佳平衡。

原始非正式：我几乎看不到他在学校里通常看到他的兄弟篮球比赛。

人类改写：我几乎从未见过他在学校。我通常和我的兄弟一起打篮球。

基于规则的模型：我几乎看不到他在学校里通常看到他的兄弟篮球比赛。

PBMT模特：我也几乎看不到他在学校，但是我的兄弟篮球比赛。

NMT模特：我很少在学校见到他，要么我在哥哥的篮球比赛中见到他。

NMT（接受了其他PBMT生成的数据培训）：我很少在学校见到他，通常我在我的兄弟篮球比赛中见到他。

样式转移是自然语言处理的一个令人兴奋的新领域，具有广泛的应用程序。我一开始就假设的那个工具 - 可以帮助您弄清楚如何说出您需要说些什么的工具？仍然有很多工作要做，但是这种工具是可能的，对于求职者，语言学习者以及任何需要通过写作给某人留下良好印象的人来说，这是无价的。我们希望通过公开数据，我们和该领域的其他人将有一种方法可以相互基准并向前进。

至于语法，这项工作是我们朝着创建一个全面的沟通助手的愿景的又一步，可以帮助您的信息按预期理解。

Joel Tetreault是Grammarly的研究总监。 Sudha Rao是马里兰大学的博士生，是Grammarly的研究实习生。 Joel and Sudha will be presenting this research at the 16th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies in New Orleans, June 1-6, 2018. The accompanying research paper, entitled “Dear Sir or Madam, May I Introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer,” will be published in the Proceedings of the NAACL.