Sob o capô em Grammarly: transformando o estilo de escrita com ai

Quando você precisa causar uma boa impressão em alguém que está escrevendo, o que você diz não é a única coisa que você precisa pensar. Como você diz que geralmente é tão importante. Escolher o nível certo de formalidade pode ser um desafio específico-é altamente dependente do contexto, e você geralmente precisa adivinhar como seu destinatário interpretará seu tom.

Imagine que você está escrevendo uma carta de apresentação. Quanto seria um mudança de jogo se você tivesse uma ferramenta que pudesse detectar quando sua escrita é muito casual (ou, às vezes, ainda pior, formal demais)? De repente, suas decisões sobre como dizer o que você está tentando dizer se tornam muito menos obscuras. Você não está apenas confiando em como seu destinatário perceberá sua mensagem - você tem um algoritmo que se baseia em muitos dados que você não possui pessoalmente. Dando um passo adiante, e se essa ferramenta pudesse não apenas lhe dizer quando algo estiver desligado, mas realmente oferece a você frases alternativas que seu destinatário gostaria mais?

O processo de obter um computador para transformar automaticamente uma peça de escrita de um estilo para outro é chamado de transferência de estilo, e é o assunto de um próximo artigo que escrevi com meu colega Sudha Rao. É uma área de interesse particular para nós aqui na Grammarly, porque sabemos o quanto é importante comunicar da maneira certa.

Se você já se perguntou como os engenheiros de pesquisa da Grammarly constroem os sistemas que fornecem sugestões de escrita a você, continue lendo.

Um histórico informal sobre formalidade

Antes de mergulhar nos detalhes de nossos algoritmos, vamos dar uma olhada em um exemplo de linguagem informal e formal.

Informal: tenho que ver os dois lados da história

Formal: Você tem que ver os dois lados da história.

Existem algumas diferenças óbvias entre essas frases. O uso da gíria ("tem que a falta de pontuação no final da primeira informalidade do sinal de frase. Há um tempo e um lugar para esse tipo de frase - uma troca de mensagens de texto entre amigos, por exemplo.

Quando analisamos como os seres humanos reescreveram sentenças informais em um estilo mais formal, descobrimos que as mudanças mais frequentes que eles fizeram envolviam capitalização, pontuação e coloquialismos. Também percebemos que os humanos às vezes precisam fazer reescritas mais drásticas de uma frase para melhorar a formalidade:

Informal: Quando você está chegando à reunião?

Formal: Por favor, avise -me quando você estará participando da reunião.

Mas como ensinamos computadores a fazer edições como as acima? Existem várias maneiras de abordar o problema.

O que usamos reconhece que o ensino de um computador para traduzir entre os estilos de escrita é semelhante ao ensiná -lo a traduzir idiomas. Essa abordagem é chamada de tradução da máquina, onde um computador se traduz automaticamente de um idioma (como o francês) para outro (alemão). Portanto, ao enfrentar o problema da transferência de estilo, faz sentido começar com um modelo de tradução - ou no nosso caso, vários modelos.

O que é um modelo de tradução?

Uma das recentes avanços da IA ​​é o uso de técnicas de aprendizado profundo ou rede neural para construir modelos de tradução de máquinas.

Os modelos de tradução da máquina neural (NMT) podem aprender representações do significado subjacente das frases. Isso ajuda o modelo a aprender padrões complexos de frases para que a tradução seja fluente e seu significado seja fiel à frase original.

Abordagens mais antigas para a tradução da máquina, como modelos baseados em regras ou baseados em frases (PBMT), dividam frases em unidades menores, como palavras ou frases, e as traduzem de forma independente. Isso pode levar a erros gramaticais ou resultados sem sentido na tradução. No entanto, esses modelos são mais fáceis de ajustar e tendem a ser mais conservadores - o que pode ser uma vantagem. Por exemplo, podemos incorporar facilmente regras que alteram gírias em palavras padrão.

Examinamos várias abordagens diferentes para a tradução da máquina para ver qual é a melhor transferência de estilo.

Construindo um modelo

O NMT e o PBMT estão cheios de desafios, entre os quais o menos é encontrar um bom conjunto de dados para treinar seus modelos. Nesse caso, estimamos que precisaríamos de um conjunto de dados de centenas de milhares de pares de frases informais e formais. Idealmente, você treinaria seu modelo com milhões de pares de frases, mas como a transferência de estilo é uma área bastante nova no campo do processamento de linguagem natural, realmente não havia um conjunto de dados existente que pudéssemos usar. Então, criamos um.

Começamos coletando frases informais. Nós adquirimos nossas frases de perguntas e respostas publicadas publicamente no Yahoo! Respostas. Selecionamos automaticamente mais de cem mil frases informais deste conjunto e fizemos uma equipe reescrever cada uma com idioma formal, novamente usando critérios predefinidos. (Confira nosso artigo para obter detalhes sobre esse processo.)

Depois de ter um conjunto de dados, você pode começar a treinar seu modelo. Treinar o modelo significa dar muitas frases de "origem" - no nosso caso, sentenças informais - junto com muitas frases "alvo" - para nós, essas são as reescritas formais. O algoritmo do modelo procura padrões para descobrir como ir da fonte para o destino. Quanto mais dados ele tiver, melhor aprender.

No nosso caso, o modelo tem cem mil frases de origem informal e suas reescritas formais para aprender. Também experimentamos diferentes maneiras de criar dados formais artificiais para aumentar o tamanho do nosso conjunto de dados de treinamento, pois os modelos NMT e PBMT geralmente exigem muito mais dados para ter um bom desempenho.

Mas você também precisa de uma maneira de avaliar o quão bem seu modelo está realizando sua tarefa. O significado da frase mudou? A nova frase está gramaticalmente correta? É realmente mais formal? Existem classificadores por aí - programas que podem avaliar automaticamente frases quanto ao estilo de tom e escrita - e testamos alguns dos mais usados ​​na academia. No entanto, nenhum deles é muito preciso. Então, acabamos fazendo com que os humanos comparem as saídas dos vários modelos que testamos e classificamos -os por formalidade, precisão e fluência.

Mostramos à nossa equipe a frase informal original, os resultados de vários modelos diferentes e a reescrita humana. Não dissemos a eles quem - ou o que - gerou cada frase. Então, eles classificaram as reescritas, permitindo laços. Idealmente, o melhor modelo seria amarrado ou até melhor que as reescritas humanas. Ao todo, a equipe marcou as reescritas de 500 sentenças informais.

O que encontramos

No total, testamos dezenas de modelos, mas nos concentraremos nos principais: baseados em regras, baseados em frases (PBMT), baseada em rede neural (NMT) e um casal que combinou várias abordagens.

As reescritas humanas obtiveram a maior pontuação geral, mas os modelos PBMT e NMT não ficaram tão atrasados. De fato, houve vários casos em que os humanos preferiram que o modelo sai aos humanos. Esses dois modelos fizeram reescritas mais extensas, mas tendiam a mudar o significado da frase original.

Os modelos baseados em regras, por outro lado, fizeram alterações menores. Isso significava que eles eram melhores na preservação do significado, mas as sentenças que eles produziram eram menos formais. Todos os modelos tiveram mais facilidade em lidar com frases mais curtas do que as mais longas.

A seguir, é apresentado um exemplo de uma frase informal com suas reescritas humanas e de modelo. Nesse caso em particular, foi o último modelo (NMT com tradução PBMT) que atingiu o melhor equilíbrio entre formalidade, significado e fraseado que soa natural.

Informal original: Eu quase não o vejo na escola, normalmente vejo os jogos de basquete dos meus irmãos.

Reescrita humana: Eu quase nunca o vejo na escola. Eu geralmente o vejo com meus irmãos jogando basquete.

Modelo baseado em regras: eu quase não o vejo na escola, normalmente vejo os jogos de basquete dos meus irmãos.

Modelo PBMT: Eu dificilmente o vejo na escola também, mas meus irmãos Brothers Basketball Games.

Modelo NMT: Eu raramente o vejo na escola, ou eu o vejo nos jogos de basquete do meu irmão.

NMT (treinado em dados adicionais gerados por PBMT): raramente o vejo na escola, normalmente o vejo nos jogos de basquete dos meus irmãos.

A transferência de estilo é uma nova área emocionante de processamento de linguagem natural, com o potencial de aplicações generalizadas. Essa ferramenta que eu levantava no começo - a que ajuda você a descobrir como dizer o que você precisa dizer? Ainda há muito trabalho a ser feito, mas essa ferramenta é possível, e será inestimável para candidatos a emprego, alunos de idiomas e qualquer pessoa que precise causar uma boa impressão em alguém durante a escrita. Esperamos que, ao tornar nossos dados públicos, nós e outros no campo tenhamos uma maneira de comparar um ao outro e avançar essa área de pesquisa.

Quanto à gramática, este trabalho é mais um passo em direção à nossa visão de criar um assistente de comunicação abrangente que ajuda sua mensagem a ser entendida da mesma forma que.

Joel Tetrault é diretor de pesquisa da Grammarly. Sudha Rao é um estudante de doutorado na Universidade de Maryland e foi estagiário de pesquisa da Grammarly. Joel e Sudha apresentarão esta pesquisa na 16ª Conferência Anual do Capítulo Norte da América do Norte da Associação de Linguística Computacional: Tecnologias de Linguagem Humana em Nova Orleans, de 1 a 6 de junho de 2018. O artigo de pesquisa que o acompanha, com o valor de que o prós e o sir ou a senhora, posso apresentar o PUBLEATO: o Principal.