グラマリーのフードの下：aiでライティングスタイルを変換する
公開: 2018-05-31あなたが書いている人に良い印象を与える必要があるとき、あなたが言うことはあなたが考える必要がある唯一のことではありません。あなたが言う方法は、しばしば同じくらい重要です。適切なレベルの形式を選択することは特定の課題になる可能性があります。それは非常にコンテキスト依存性であり、多くの場合、受信者がどのようにトーンを解釈するかについて推測する必要があります。
カバーレターを書いていると想像してください。あなたの文章がカジュアルすぎる（または、さらに悪いことに形式的すぎる）ときに検出できるツールを持っていた場合、それはどれくらいのゲームチェンジャーでしょうか？突然、あなたが言おうとしていることを言う方法についてのあなたの決定は、はるかに曖昧になります。受信者がメッセージをどのように知覚するかについての推測に依存するだけではありません。個人的にはない多くのデータに基づいているアルゴリズムがあります。さらに一歩進んでください。このツールが何かが外れたときだけでなく、実際にあなたの受信者がより良く希望する代替の言い回しを提供した場合はどうなりますか？
コンピューターに、あるスタイルから別のスタイルに自動的にライティングを変換するプロセスはスタイル転送と呼ばれます。これは、同僚のSudha Raoと一緒に書いた今後の論文の主題です。これは、正しい方法を伝えることがどれほど重要かを知っているので、ここGrammarlyで特に興味深い分野です。
あなたに書く提案を提供するシステムをGrammarlyの研究エンジニアがどのように構築するのか疑問に思ったことがあるなら、読んでください。
形式に関する非公式の背景
アルゴリズムの詳細に飛び込む前に、非公式と正式な言語の例を見てみましょう。
非公式：物語の両側を見なければなりません
フォーマル：ストーリーの両側を見る必要があります。
これらの文の間にはいくつかの明らかな違いがあります。スラング（「ゴッタ」）の使用と、最初の文シグナル非公式の終わりに句読点の欠如。この種の文の時間と場所があります。たとえば、友人間のテキストメッセージ交換などです。
人間がよりフォーマルなスタイルで非公式の文章をどのように書き直したかを見たとき、彼らが行った最も頻繁な変化には、資本化、句読点、口語主義が含まれることがわかりました。また、人間は形式を改善するために文章をより劇的に書き直さなければならないことに気付きました。
非公式：会議に来るのはいつですか？
フォーマル：いつ会議に出席するか教えてください。
しかし、上記のような編集を作成するようにコンピューターにどのように教えますか？問題にアプローチする方法はいくつかあります。
私たちが使用するものは、文章の作成スタイルの間に翻訳するようにコンピューターに教えることは、言語を翻訳するように教えることに似ていることを認めています。このアプローチは機械翻訳と呼ばれ、コンピューターはある言語（フランス語など）から別の言語（ドイツ語）に自動的に変換されます。したがって、スタイル転送の問題に取り組むとき、翻訳モデル（またはこの場合、複数のモデル）から始めることは理にかなっています。
翻訳モデルとは何ですか？
AIにおける最近のブレークスルーの1つは、機械翻訳モデルを構築するための技術、またはニューラルネットワークの使用です。
ニューラルマシン翻訳（NMT）モデルは、文の根本的な意味の表現を学ぶことができます。これにより、モデルは複雑な文パターンを学習するのに役立ち、翻訳が流fluentであり、その意味が元の文に忠実になります。
ルールベースのモデルやフレーズベースのモデル（PBMT）などの機械翻訳への古いアプローチは、単語やフレーズなどの小さなユニットに文章を分割し、独立して翻訳します。これは、翻訳で文法エラーや無意味な結果につながる可能性があります。ただし、これらのモデルは微調整が容易であり、より保守的である傾向があります。これは利点になります。たとえば、スラングを標準的な単語に変更するルールを簡単に組み込むことができます。
マシンの翻訳に対するいくつかの異なるアプローチを見て、スタイル転送に最適なアプローチを確認しました。
モデルの構築
NMTとPBMTは課題に満ちていますが、少なくともモデルをトレーニングするための優れたデータセットを見つけています。この場合、数十万の非公式および正式な文のペアのデータセットが必要になると推定しました。理想的には、数百万の文のペアでモデルを訓練することになりますが、スタイルの転送は自然言語処理の分野ではかなり新しい領域であるため、実際に使用できる既存のデータセットはありませんでした。それで、私たちはそれを作成しました。
私たちは、非公式の文章を集めることから始めました。 Yahoo！に公開された質問や回答から文章を調達しました。回答。このセットから10万を超える非公式の文を自動的に選択し、チームにそれぞれを正式な言語で書き直し、再び定義された基準を使用しました。 （このプロセスの詳細については、私たちの論文をご覧ください。）
データセットを取得したら、モデルのトレーニングを開始できます。モデルのトレーニングとは、多くの「ソース」文（私たちのケースでは、多くの「ターゲット」文で多くの「ソース」文を与えることを意味します。私たちにとって、これらは正式な書き直しです。モデルのアルゴリズムは、ソースからターゲットに到達する方法を把握するためのパターンを探します。データが多いほど、学習が良くなります。
私たちの場合、モデルには10万人の非公式の情報源文とその正式な書き直しから学ぶことができます。また、NMTおよびPBMTモデルが適切に実行するためにより多くのデータが必要であるため、トレーニングデータセットのサイズを増やすために人工的な形式データを作成するさまざまな方法を実験しました。
ただし、モデルがタスクをどの程度適切に達成しているかを評価する方法も必要です。文の意味は変わりましたか？新しい文は文法的に正しいですか？それは実際にはよりフォーマルですか？そこには、トーンやライティングスタイルの文を自動的に評価できるプログラムがあり、学界で最も一般的に使用されているもののいくつかをテストしました。ただし、どれも非常に正確ではありません。そのため、テストしたさまざまなモデルの生産量を人間に比較して、形式、精度、流ency性によってランク付けしてもらいました。
チームに、元の非公式の文、いくつかの異なるモデルからの出力、および人間の書き直しを示しました。私たちは彼らに、各文を生成した人を伝えませんでした。その後、彼らは書き直しをランク付けし、ネクタイを許可しました。理想的には、最良のモデルは、人間の書き換えと結びついている、またはさらに良いものです。全体として、チームは500の非公式の文の書き直しを獲得しました。
私たちが見つけたもの
何十ものモデルをテストしましたが、ルールベース、フレーズベース（PBMT）、ニューラルネットワークベース（NMT）、およびさまざまなアプローチを組み合わせたカップルなど、上位のモデルに焦点を当てます。
人間の書き直しは全体的に最高の得点を記録しましたが、PBMTモデルとNMTモデルはそれほど遅れていませんでした。実際、人間がモデルの出力を人間の出力よりも好むいくつかのケースがありました。これらの2つのモデルはより広範な書き直しを行いましたが、元の文の意味を変える傾向がありました。
一方、ルールベースのモデルは、より小さな変更を加えました。これは、彼らが意味を維持するのが優れていたことを意味しましたが、彼らが生み出した文章はそれほど形式ではありませんでした。すべてのモデルは、長い文よりも短い文を処理するのが簡単な時間でした。
以下は、人間とモデルの書き直しを伴う非公式の文の例です。この特定のケースでは、形式、意味、自然な響きの言い回しの間の最高のバランスをとったのは、最後のモデル（PBMT翻訳を備えたNMT）でした。
オリジナルの非公式：私は学校で彼を見ることはほとんどありません。
人間の書き直し：私は彼が学校で彼を見ることはほとんどありません。私は通常、私の兄弟がバスケットボールをしている彼と彼を見ます。
ルールベースのモデル：私は学校で彼を見ることはほとんどありません。
PBMTモデル：私は彼も学校で会うことはほとんどありませんが、私の兄弟のバスケットボールゲーム。
NMTモデル：学校で彼を見ることはめったにありません。兄のバスケットボールの試合で彼を見ます。
NMT（追加のPBMTで生成されたデータで訓練されています）：私は学校で彼を見ることはほとんどありません。
スタイルの転送は、自然言語処理のエキサイティングな新しい分野であり、広範なアプリケーションの可能性があります。私が最初に仮説を立てたツール - あなたが言う必要があることを言う方法を理解するのに役立つツール？まだやるべきことはたくさんありますが、そのツールは可能であり、求職者、言語学習者、そして執筆を通して誰かに良い印象を与える必要がある人にとっては非常に貴重です。私たちのデータを公開することで、私たちと現場の他の人がお互いにベンチマークし、この研究の領域を前進させる方法があることを願っています。
Grammarlyに関しては、この作業は、意図したとおりにメッセージを理解するのに役立つ包括的なコミュニケーションアシスタントを作成するという私たちのビジョンに向けたもう1つのステップです。
Joel Tetreaultは、Grammarlyの研究ディレクターです。 Sudha Raoはメリーランド大学の博士課程の学生であり、Grammarlyの研究インターンでした。 JoelとSudhaは、2018年6月1〜6日、ニューオーリンズでのNew Orleans協会：Human Language Technologiesの北米第16回年次会議でこの研究を発表します。