Sous le capot à Grammarly: Transformer le style d'écriture avec l'IA

Lorsque vous devez faire une bonne impression sur quelqu'un à qui vous écrivez, ce que vous dites n'est pas la seule chose à laquelle vous devez penser. Comment vous dites que c'est souvent tout aussi important. Choisir le bon niveau de formalité peut être un défi particulier - il est très dépendant du contexte, et vous devez souvent faire des suppositions sur la façon dont votre destinataire interprétera votre ton.

Imaginez que vous écrivez une lettre de motivation. Combien de gardien de jeu serait-il si vous aviez un outil qui pourrait détecter lorsque votre écriture est trop décontractée (ou, parfois encore pire, trop formelle)? Soudain, vos décisions sur la façon de dire ce que vous essayez de dire deviennent beaucoup moins troubles. Vous ne comptez pas seulement sur des conjectures sur la façon dont votre destinataire percevra votre message - vous avez un algorithme qui tire sur de nombreuses données que vous n'avez pas personnellement. En allant un peu plus loin, que se passe-t-il si cet outil pouvait non seulement vous dire quand quelque chose est éteint, mais vous offrir en fait un phrasé alternatif que votre destinataire aimerait mieux?

Le processus de transformation d'un ordinateur à transformer automatiquement un écriture d'un style à un autre est appelé Style Transfer, et c'est le sujet d'un article à venir que j'ai écrit avec mon collègue Sudha Rao. C'est un domaine d'intérêt particulier pour nous ici à Grammarly parce que nous savons à quel point il est important de communiquer de la bonne façon.

Si vous vous êtes déjà demandé comment les ingénieurs de recherche de GRAMMARLAGNEMENT ont construit les systèmes qui vous fournissent des suggestions d'écriture, lisez la suite.

Un contexte informel sur la formalité

Avant de plonger dans les détails de nos algorithmes, jetons un coup d'œil à un exemple de langue informelle et formelle.

Informel: je dois voir les deux côtés de l'histoire

Formel: vous devez voir les deux côtés de l'histoire.

Il existe quelques différences évidentes entre ces phrases. L'utilisation de l'argot («gotta») et le manque de ponctuation à la fin de l'informalité du signal de la première phrase. Il y a un temps et une place pour ce type de phrase - un échange de SMS entre amis, par exemple.

Lorsque nous avons examiné comment les humains ont réécrit les phrases informelles dans un style plus formel, nous avons constaté que les changements les plus fréquents qu'ils ont apportés impliquaient la capitalisation, la ponctuation et les familles. Nous avons également remarqué que les humains doivent parfois faire des réécritures plus drastiques d'une phrase pour améliorer la formalité:

Informel: Quand arrivez-vous à la réunion?

Forgent: Veuillez me faire savoir quand vous assisterai à la réunion.

Mais comment enseigner aux ordinateurs à apporter des modifications comme celles ci-dessus? Il existe plusieurs façons d'aborder le problème.

Celui que nous utilisons reconnaît que l'enseignement d'un ordinateur à traduire entre les styles d'écriture est similaire à l'enseigner pour traduire les langues. Cette approche est appelée traduction automatique, où un ordinateur se traduit automatiquement d'une langue (comme le français) à un autre (allemand). Ainsi, lors de la résolution du problème du transfert de style, il est logique de commencer par un modèle de traduction - ou dans notre cas, plusieurs modèles.

Qu'est-ce qu'un modèle de traduction?

L'une des récentes percées dans l'IA est l'utilisation de techniques d'apprentissage en profondeur ou de réseau neuronal pour construire des modèles de traduction automatique.

Les modèles de traduction de machine neuronale (NMT) peuvent apprendre des représentations de la signification sous-jacente des phrases. Cela aide le modèle à apprendre des modèles de phrase complexes afin que la traduction soit couramment et que sa signification est fidèle à la phrase originale.

Les approches plus anciennes de la traduction automatique, telles que les modèles basés sur des règles ou basés sur des phrases (PBMT), divisent les phrases en unités plus petites, telles que des mots ou des phrases, et les traduisent indépendamment. Cela peut entraîner des erreurs grammaticales ou des résultats absurdes dans la traduction. Cependant, ces modèles sont plus faciles à modifier et ont tendance à être plus conservateurs, ce qui peut être un avantage. Par exemple, nous pouvons facilement incorporer des règles qui changent de l'argot en mots standard.

Nous avons examiné plusieurs approches différentes de la traduction machine pour voir ce qui est le meilleur dans le transfert de style.

Construire un modèle

NMT et PBMT sont pleins de défis, dont le moindre est de trouver un bon ensemble de données pour former vos modèles. Dans ce cas, nous avons estimé que nous aurions besoin d'un ensemble de données de centaines de milliers de paires de phrases informelles et formelles. Idéalement, vous entraînez votre modèle avec des millions de paires de phrases, mais comme le transfert de style est un domaine assez nouveau dans le domaine du traitement du langage naturel, il n'y avait vraiment pas un ensemble de données existant que nous pouvions utiliser. Nous en avons donc créé un.

Nous avons commencé par collecter des phrases informelles. Nous avons procédé à nos phrases de questions et de réponses publiées publiquement sur Yahoo! Réponses. Nous avons automatiquement sélectionné plus de cent mille phrases informelles de cet ensemble et avons fait réécrire une équipe avec un langage formel, en utilisant à nouveau des critères prédéfinis. (Consultez notre article pour plus de détails sur ce processus.)

Une fois que vous avez un ensemble de données, vous pouvez commencer à former votre modèle. La formation du modèle signifie lui donner beaucoup de phrases «source» - dans notre cas, des phrases informelles - ainsi que de nombreuses phrases «cibles» - pour nous, ce sont les réécritures officielles. L'algorithme du modèle recherche ensuite des modèles pour comprendre comment passer de la source à la cible. Plus il y a de données, mieux elle apprend.

Dans notre cas, le modèle a cent mille phrases de source informelle et leurs réécritures officielles à apprendre. Nous avons également expérimenté différentes façons de créer des données formelles artificielles pour augmenter la taille de notre ensemble de données d'entraînement, car les modèles NMT et PBMT nécessitent souvent beaucoup plus de données pour bien performer.

Mais vous avez également besoin d'un moyen d'évaluer dans quelle mesure votre modèle accomplit sa tâche. La signification de la phrase a-t-elle changé? La nouvelle phrase est-elle grammaticalement correcte? Est-ce vraiment plus formel? Il existe des classificateurs - des programmes qui peuvent évaluer automatiquement les phrases pour le ton et le style d'écriture - et nous avons testé certains de ceux les plus couramment utilisés dans le monde universitaire. Cependant, aucun d'entre eux n'est très précis. Ainsi, nous avons fini par faire comparer les sorties des différents modèles que nous avons testés et les classer par formalité, précision et maîtrise.

Nous avons montré à notre équipe la phrase informelle originale, les sorties de plusieurs modèles différents et la réécriture humaine. Nous ne leur avons pas dit qui ou quoi - a généré chaque phrase. Ensuite, ils ont classé les réécritures, permettant des liens. Idéalement, le meilleur modèle serait lié ou même mieux que les réécritures humaines. En tout, l'équipe a marqué les réécritures de 500 phrases informelles.

Ce que nous avons trouvé

Tout compte fait, nous avons testé des dizaines de modèles, mais nous nous concentrerons sur les premiers: basés sur des règles, basés sur des phrases (PBMT), basés sur le réseau neuronal (NMT) et un couple qui combinait diverses approches.

Les réécritures humaines ont marqué le plus haut dans l'ensemble, mais les modèles PBMT et NMT n'étaient pas si loin derrière. En fait, il y avait plusieurs cas où les humains ont préféré les sorties du modèle aux résultats humains. Ces deux modèles ont fait des réécritures plus étendues, mais elles avaient tendance à changer le sens de la phrase d'origine.

Les modèles basés sur des règles, en revanche, ont apporté des changements plus petits. Cela signifiait qu'ils étaient mieux pour préserver le sens, mais les phrases qu'ils produisaient étaient moins formelles. Tous les modèles avaient plus de facilité à gérer les phrases plus courtes que les phrases plus longues.

Ce qui suit est un exemple de phrase informelle avec ses réécritures humaines et de modèle. Dans ce cas particulier, c'est le dernier modèle (NMT avec traduction PBMT) qui a frappé le meilleur équilibre entre la formalité, le sens et le phrasé à consonance naturelle.

Original informel: je ne le vois pas à l'école à l'école non plus que je vois les matchs de basket-ball de mes frères.

Réécriture humaine: je ne le voyais presque jamais à l'école. Je le vois habituellement avec mes frères jouer au basket.

Modèle basé sur des règles: Je ne le vois pas à l'école à l'école non plus que je vois les matchs de basket-ball de mes frères.

Modèle PBMT: Je le vois à peine à l'école aussi, mais mes matchs de basket-ball.

Modèle NMT: Je le vois rarement à l'école, soit je le vois aux matchs de basket-ball de mon frère.

NMT (formé sur des données supplémentaires générées par le PBMT): Je le vois rarement à l'école non plus que je le vois lors des matchs de basket-ball de mes frères.

Le transfert de style est un nouveau domaine passionnant de traitement du langage naturel, avec un potentiel d'applications généralisées. Cet outil que j'ai émis au début - celui qui vous aide à comprendre comment dire ce que vous devez dire? Il y a encore beaucoup de travail à faire, mais cet outil est possible, et il sera inestimable pour les demandeurs d'emploi, les apprenants en langues et tous ceux qui ont besoin de faire bonne impression à quelqu'un grâce à leur écriture. Nous espérons qu'en rendant nos données publiques, nous et d'autres dans le domaine auront un moyen de comparer les uns les autres et de faire avancer ce domaine de recherche.

Quant à la grammaire, ce travail est encore une autre étape vers notre vision de créer un assistant de communication complet qui aide votre message à être compris tout comme prévu.

Joel Tetreault est directeur de la recherche chez Grammarly. Sudha Rao est doctorante à l'Université du Maryland et a été stagiaire de recherche chez Grammarly. Joel et Sudha présenteront cette recherche lors de la 16e conférence annuelle du chapitre nord-américain de l'Association for Computational Linguistics: Human En langage Technologies à la Nouvelle-Orléans, du 1er au 6 juin 2018. Le document de recherche d'accompagnement, intitulé «Cher Sir ou Madame, je présente le jeu de données GYAFC».