Sub capota de la Gramatic: Transformarea stilului de scriere cu AI

Când trebuie să faceți o impresie bună pe cineva pe care îl scrieți, ceea ce spuneți nu este singurul lucru la care trebuie să vă gândiți. Cum spui că este adesea la fel de important. Alegerea nivelului potrivit de formalitate poate fi o provocare particulară-este extrem de dependentă de context și de multe ori trebuie să faceți ghiciri despre modul în care destinatarul dvs. vă va interpreta tonul.

Imaginați -vă că scrieți o scrisoare de intenție. Cât de mult ar fi un schimbător de jocuri dacă ai avea un instrument care ar putea detecta atunci când scrierea ta este prea casual (sau, uneori și mai rău, prea formală)? Dintr -o dată, deciziile tale despre cum să spui ceea ce încerci să spui devin mult mai puțin întunecate. Nu vă bazați doar pe ghicitul despre modul în care destinatarul dvs. vă va percepe mesajul - aveți un algoritm care se bazează pe o mulțime de date pe care nu le aveți personal. Făcând un pas mai departe, ce se întâmplă dacă acest instrument nu ți -ar putea spune doar când este oprit, dar îți oferă de fapt o frază alternativă pe care destinatarul tău ar dori mai bine?

Procesul de a obține un computer pentru a transforma automat o piesă de scris de la un stil la altul se numește transfer de stil și este subiectul unei lucrări viitoare pe care am scris -o împreună cu colegul meu Sudha Rao. Este un domeniu de interes deosebit pentru noi aici, la gramatică, deoarece știm cât de important este să comunicăm calea corectă.

Dacă v -ați întrebat vreodată cum inginerii de cercetare de la gramatică construiesc sistemele care vă oferă sugestii de scriere, citiți mai departe.

Un fundal informal despre formalitate

Înainte de a ne scufunda în detaliile algoritmilor noștri, să aruncăm o privire la un exemplu de limbaj informal vs. formal.

Informal: trebuie să văd ambele părți ale poveștii

Formal: trebuie să vezi ambele părți ale poveștii.

Există câteva diferențe evidente între aceste propoziții. Utilizarea argoului („Gotta”) și lipsa punctuației la sfârșitul primei informații ale semnalului semnalului. Există un timp și un loc pentru acest tip de propoziție - un schimb de mesaje text între prieteni, de exemplu.

Când ne -am uitat la modul în care oamenii au rescris propoziții informale într -un stil mai formal, am constatat că cele mai frecvente schimbări au implicat capitalizarea, punctuația și colocialismele. Am observat, de asemenea, că oamenii trebuie uneori să facă rescrieri mai drastice ale unei propoziții pentru a îmbunătăți formalitatea:

Informal: Când sunteți la întâlnire?

Formal: Vă rog să -mi spuneți când veți participa la întâlnire.

Dar cum învățăm calculatoarele să facă modificări ca cele de mai sus? Există mai multe moduri de abordare a problemei.

Cel pe care îl folosim recunoaște că predarea unui computer pentru a se traduce între stilurile de scriere este similară cu predarea acestuia în traducerea limbilor. Această abordare se numește traducere automată, unde un computer se traduce automat de la o limbă (precum franceza) în alta (germană). Așadar, atunci când abordați problema transferului de stil, are sens să începeți cu un model de traducere - sau în cazul nostru, mai multe modele.

Ce este un model de traducere?

Una dintre descoperirile recente în AI este utilizarea învățării profunde sau a rețelei neuronale, tehnici pentru modele de traducere a mașinilor de construcție.

Modelele de traducere automată neurală (NMT) pot învăța reprezentări ale sensului de bază al propozițiilor. Acest lucru ajută modelul să învețe modele de propoziții complexe, astfel încât traducerea să fie fluentă, iar sensul său este fidel propoziției inițiale.

Abordări mai vechi ale traducerii automate, cum ar fi modelele bazate pe reguli sau bazate pe fraze (PBMT), sparg propoziții în unități mai mici, cum ar fi cuvinte sau fraze și le traduc în mod independent. Acest lucru poate duce la erori gramaticale sau rezultate nesensibile în traducere. Cu toate acestea, aceste modele sunt mai ușor de modificat și tind să fie mai conservatoare - ceea ce poate fi un avantaj. De exemplu, putem încorpora cu ușurință reguli care schimbă argoul în cuvinte standard.

Ne -am uitat la mai multe abordări diferite ale traducerii mașinilor pentru a vedea care este cel mai bine la transferul de stil.

Construirea unui model

NMT și PBMT sunt pline de provocări, nu cea mai mică dintre acestea este găsirea unui set de date bun cu care să vă antrenați modelele. În acest caz, am estimat că vom avea nevoie de un set de date de sute de mii de perechi de propoziții informale și formale. În mod ideal, v -ați antrena modelul cu milioane de perechi de propoziții, dar din moment ce transferul de stil este o zonă destul de nouă în domeniul procesării limbajului natural, nu a existat într -adevăr un set de date existent. Deci, am creat unul.

Am început prin colectarea unor propoziții informale. Ne -am provenit propozițiile din întrebări și răspunsuri postate public pe Yahoo! Răspunsuri. Am selectat automat peste o sută de mii de propoziții informale din acest set și am avut o echipă să rescrie fiecare cu un limbaj formal, din nou folosind criterii predefinite. (Consultați hârtia noastră pentru detalii despre acest proces.)

După ce aveți un set de date, puteți începe să vă antrenați modelul. Instruirea modelului înseamnă a -i oferi o mulțime de propoziții „sursă” - în cazul nostru, propoziții informale - împreună cu o mulțime de propoziții „țintă” - pentru noi, acestea sunt rescrierile formale. Algoritmul modelului caută apoi modele pentru a afla cum să obțineți de la sursă la țintă. Cu cât are mai multe date, cu atât învață mai bine.

În cazul nostru, modelul are o sută de mii de propoziții sursă informale și rescrierile lor formale din care să învețe. De asemenea, am experimentat diferite moduri de creare a datelor formale artificiale pentru a crește dimensiunea setului de date de instruire, deoarece modelele NMT și PBMT necesită adesea mult mai multe date pentru a funcționa bine.

Dar, de asemenea, aveți nevoie de o modalitate de a evalua cât de bine își îndeplinește modelul. S -a schimbat sensul propoziției? Noua propoziție este corectă din punct de vedere gramatical? Este de fapt mai formal? Există clasificatori acolo - programe care pot evalua automat propozițiile pentru ton și stil de scriere - și am testat unele dintre cele mai frecvent utilizate în mediul academic. Cu toate acestea, niciunul dintre ei nu este foarte precis. Așadar, am sfârșit prin faptul că oamenii compară rezultatele diferitelor modele pe care le -am testat și le -am clasat prin formalitate, precizie și fluență.

Am arătat echipei noastre propoziția informală inițială, rezultatele de la mai multe modele diferite și rescrierea umană. Nu le -am spus cine - sau ce - a generat fiecare propoziție. Apoi, au clasat rescrierile, permițând legături. În mod ideal, cel mai bun model ar fi legat cu sau chiar mai bun decât rescrierile umane. În total, echipa a marcat rescrierile a 500 de propoziții informale.

Ce am găsit

Cu toate acestea, am testat zeci de modele, dar ne vom concentra pe cele de top: bazate pe reguli, bazate pe fraze (PBMT), bazat pe rețea neuronală (NMT) și un cuplu care a combinat diverse abordări.

Rescrierile umane au marcat cel mai mare în general, dar modelele PBMT și NMT nu au fost atât de departe. De fapt, au existat mai multe cazuri în care oamenii au preferat rezultatele modelului celor umane. Aceste două modele au făcut rescrieri mai extinse, dar au avut tendința de a schimba sensul propoziției inițiale.

Modelele bazate pe reguli, pe de altă parte, au făcut modificări mai mici. Aceasta însemna că sunt mai buni la păstrarea sensului, dar propozițiile pe care le -au produs erau mai puțin formale. Toate modelele au avut o perioadă mai ușoară de a gestiona propoziții mai scurte decât cele mai lungi.

Următorul este un exemplu de propoziție informală cu rescrierile sale umane și de model. În acest caz particular, acesta a fost ultimul model (NMT cu traducere PBMT) care a atins cel mai bun echilibru între formalitate, sens și frazarea cu sunet natural.

Informal original: cu greu îl văd la școală, de obicei, îl văd pe jocurile de baschet a fraților mei.

Rescriere umană: Nu -l văd niciodată la școală. De obicei îl văd cu frații mei jucând baschet.

Model bazat pe reguli: cu greu îl văd la școală, de obicei, îl văd pe jocurile de baschet a fraților mei.

Model PBMT: Îl văd cu greu și la școală, dar jocurile de baschet ale fraților mei.

Model NMT: Rar îl văd la școală, fie îl văd la jocurile de baschet ale fratelui meu.

NMT (antrenat pe date suplimentare generate de PBMT): Rar îl văd la școală, de obicei, îl văd la jocurile de baschet fraților mei.

Transferul de stil este un nou domeniu interesant de procesare a limbajului natural, cu potențialul de aplicații răspândite. Acest instrument pe care l -am ipotezat la început - cel care te ajută să -ți dai seama cum să spui ce trebuie să spui? Mai sunt multe de lucru, dar acest instrument este posibil și va fi de neprețuit pentru solicitanții de locuri de muncă, studenții de limbă și oricine are nevoie să facă o impresie bună asupra cuiva prin scrisul lor. Sperăm că, făcând datele noastre publice, noi și ceilalți în domeniu vom avea o modalitate de a face referință reciproc și de a înainta acest domeniu de cercetare.

În ceea ce privește gramatical, această lucrare este încă un pas către viziunea noastră de a crea un asistent de comunicare cuprinzător care vă ajută să vă înțeleagă mesajul așa cum este intenționat.

Joel Tetrereault este director de cercetare la Gramaticly. Sudha Rao este doctorand la Universitatea din Maryland și a fost intern de cercetare la Grammarly. Joel și Sudha vor prezenta această cercetare la cea de-a 16-a conferință anuală a capitolului din America de Nord a Asociației pentru Lingvistica Calculațională: Tehnologii de Limba umană din New Orleans, 1-6 iunie 2018. Documentul de cercetare însoțitor, intitulat „Stimate domn sau doamnă, pot introduce setul de date Gyafc: Corpus, Benchmarks și Metrics pentru transfer de stil de formalitate”, va fi publicat în procesele de benchmarks și metrice.