Pod maską w Grammarly: transformacja stylu pisania za pomocą sztucznej inteligencji

Kiedy musisz zrobić dobre wrażenie na kogoś, do kogo piszesz, to, co mówisz, nie jest jedyną rzeczą, o której musisz pomyśleć. Jak mówisz, że często jest to równie ważne. Wybór odpowiedniego poziomu formalności może być szczególnym wyzwaniem-jest wysoce zależne od kontekstu i często musisz zgadywać, w jaki sposób odbiorca interpretuje twój ton.

Wyobraź sobie, że piszesz list motywacyjny. Ile byłoby zmieniającego grę, gdybyś miał narzędzie, które mogłoby wykryć, gdy twoje pisanie jest zbyt swobodne (a czasem nawet gorsze, zbyt formalne)? Nagle twoje decyzje dotyczące tego, jak powiedzieć, co próbujesz powiedzieć, stają się o wiele mniej mętne. Nie polegasz tylko na zgadywaniu, w jaki sposób odbiorca dostrzega twoją wiadomość - masz algorytm, który opiera się na wielu danych, których osobiście nie masz. Idąc dalej, co, jeśli to narzędzie nie tylko mogło powiedzieć, kiedy coś jest wyłączone, ale faktycznie zaoferuje ci alternatywne frazowanie, które twój odbiorca chciałby lepiej?

Proces pozyskiwania komputera do automatycznego przekształcenia pisma z jednego stylu na drugi nazywa się transferem stylu i jest to temat nadchodzącego artykułu, który napisałem z moją kolegą Sudha Rao. Jest to dla nas obszar szczególnie interesujący w Grammarly, ponieważ wiemy, jak ważne jest komunikowanie się we właściwy sposób.

Jeśli kiedykolwiek zastanawiałeś się, w jaki sposób inżynierowie badawcze z gramatyki budują systemy, które dostarczają ci sugestii pisania, czytaj dalej.

Nieformalne pochodzenie na temat formalności

Przed zanurzeniem się w szczegóły naszych algorytmów, spójrzmy na przykład języka nieformalnego i formalnego.

Nieformalny: muszę zobaczyć obie strony historii

Formalne: musisz zobaczyć obie strony historii.

Istnieje kilka oczywistych różnic między tymi zdaniami. Zastosowanie slangu („motta”) i brak interpunkcji pod koniec nieformalności sygnału pierwszego zdania. Jest czas i miejsce na tego rodzaju zdanie - na przykład wymiana wiadomości tekstowych między przyjaciółmi.

Kiedy spojrzeliśmy na to, jak ludzie przepisują nieformalne zdania w bardziej formalnym stylu, stwierdziliśmy, że najczęstsze zmiany, jakie wprowadziły kapitalizację, interpunkcję i kolokwialism. Zauważyliśmy również, że ludzie czasami muszą zrobić bardziej drastyczne przepisywanie zdania, aby poprawić formalność:

Nieformalny: kiedy jesteście na spotkaniu?

Formalne: Daj mi znać, kiedy będziesz uczestniczyć w spotkaniu.

Ale jak uczyć komputerów, aby edycji takie jak te powyżej? Istnieje kilka sposobów podejścia do problemu.

Ten, którego używamy, potwierdza, że ​​nauczanie komputera do tłumaczenia między stylami pisania jest podobne do nauczania go w celu tłumaczenia języków. Podejście to nazywa się tłumaczenie maszynowe, w którym komputer automatycznie tłumaczy się z jednego języka (takiego jak francuski) na inny (niemiecki). Więc podczas rozwiązania problemu transferu stylu warto zacząć od modelu tłumaczenia - lub w naszym przypadku wielu modeli.

Co to jest model tłumaczenia?

Jednym z ostatnich przełomów w sztucznej inteligencji jest zastosowanie głębokiego uczenia się lub sieci neuronowej, technik budowania modeli tłumaczenia maszynowego.

Modele tłumaczenia maszynowego neuronowego (NMT) mogą nauczyć się reprezentacji podstawowego znaczenia zdań. Pomaga to modelowi nauczyć się złożonych wzorców zdań, aby tłumaczenie było płynne, a jego znaczenie jest wierne oryginalne zdanie.

Starsze podejścia do tłumaczenia maszynowego, takie jak modele oparte na regułach lub frazach (PBMT), rozbijają zdania na mniejsze jednostki, takie jak słowa lub frazy i tłumaczą je niezależnie. Może to prowadzić do błędów gramatycznych lub nonsensownych wyników w tłumaczeniu. Jednak modele te są łatwiejsze do poprawienia i są bardziej konserwatywne - co może być zaletą. Na przykład możemy łatwo uwzględnić reguły, które zmieniają slang na standardowe słowa.

Przyjrzeliśmy się kilku różnych podejść do tłumaczenia maszynowego, aby zobaczyć, który jest najlepszy w przesyłaniu stylu.

Budowanie modelu

NMT i PBMT są pełne wyzwań, z których nie najmniej jest znalezienie dobrego zestawu danych do szkolenia twoich modeli. W tym przypadku oszacowaliśmy, że potrzebujemy zestawu danych setek tysięcy nieformalnych i formalnych par zdań. Idealnie, szkolisz swój model z milionami par zdań, ale ponieważ transfer stylu jest dość nowym obszarem w dziedzinie przetwarzania języka naturalnego, tak naprawdę nie było istninego zestawu danych, którego moglibyśmy użyć. Więc stworzyliśmy jeden.

Zaczęliśmy od zebrania nieformalnych zdań. Uzyskaliśmy nasze zdania z pytań i odpowiedzi publicznie opublikowanych na Yahoo! Odpowiedzi. Automatycznie wybraliśmy ponad sto tysięcy nieformalnych zdań z tego zestawu i przeprowadziliśmy zespół przepisał każdy z formalnym językiem, ponownie wykorzystując predefiniowane kryteria. (Sprawdź nasz artykuł, aby uzyskać szczegółowe informacje na temat tego procesu.)

Po uzyskaniu zestawu danych możesz rozpocząć szkolenie swojego modelu. Szkolenie Model oznacza nadanie mu wielu zdań „źródłowych” - w naszym przypadku nieformalne zdania - z wieloma „docelowymi” zdaniami - dla nas są to formalne przepisania. Algorytm modelu szuka następnie wzorów, aby dowiedzieć się, jak uzyskać źródło do celu. Im więcej danych ma, tym lepiej się uczy.

W naszym przypadku model ma sto tysięcy nieformalnych zdań źródłowych i ich formalne przepisywanie, z których można się uczyć. Eksperymentowaliśmy również z różnymi sposobami tworzenia sztucznych danych formalnych w celu zwiększenia wielkości naszego zestawu danych szkoleniowych, ponieważ modele NMT i PBMT często wymagają znacznie więcej danych do dobrego osiągnięcia.

Ale potrzebujesz także sposobu, aby ocenić, jak dobrze model wykonuje swoje zadanie. Czy znaczenie zdania zmieniło się? Czy nowe zdanie jest gramatycznie poprawne? Czy to właściwie bardziej formalne? Istnieją klasyfikatory - programy, które mogą automatycznie oceniać zdania pod kątem stylu tonu i pisania - i przetestowaliśmy niektóre z najczęściej używanych w środowisku akademickim. Jednak żaden z nich nie jest bardzo dokładny. Tak więc ostatecznie ludzie porównują wyniki różnych modeli, które testowaliśmy i uszeregowią według formalności, dokładności i płynności.

Pokazaliśmy naszemu zespołowi oryginalne nieformalne zdanie, wyniki z kilku różnych modeli i przepisanie człowieka. Nie powiedzieliśmy im, kto - lub co - generowało każde zdanie. Następnie uszeregowali przepisania, dopuszczając więzi. Idealnie, najlepszy model byłby związany lub nawet lepszy niż ludzkie przepisywanie. W sumie zespół ocenił przepisania 500 nieformalnych zdań.

Co znaleźliśmy

Podsumowując, przetestowaliśmy dziesiątki modeli, ale skupimy się na najlepszych: opartych na regułach, opartych na frazach (PBMT), sieci neuronowej (NMT) i kilku, które połączyły różne podejścia.

Ludzkie przepisywania uzyskały najwyższe ogólnie, ale modele PBMT i NMT nie były tak daleko w tyle. W rzeczywistości istniało kilka przypadków, w których ludzie woleli modelowe wyniki od ludzkich. Te dwa modele wykonały bardziej obszerne przepisywanie, ale zwykle zmieniają znaczenie pierwotnego zdania.

Z drugiej strony modele oparte na regułach wprowadziły mniejsze zmiany. Oznaczało to, że byli lepsi w zachowaniu znaczenia, ale zdania, które wyprodukowali, były mniej formalne. Wszystkie modele miały łatwiejszy czas obsługi krótszych zdań niż dłuższe.

Poniżej znajduje się przykład nieformalnego zdania z jego ludzkimi i modelowymi przepisami. W tym konkretnym przypadku był to ostatni model (NMT z tłumaczeniem PBMT), które uderzyły w najlepszą równowagę między formalnością, znaczeniem i frazowaniem naturalnie brzmiącym.

Oryginalny nieformalny: prawie nie widzę go w szkole, albo zwykle widzę mecze koszykówki moich braci.

PRAWIDŁOWE: prawie nigdy nie widzę go w szkole. Zwykle widzę go z braćmi grającymi w koszykówkę.

Model oparty na zasadach: prawie nie widzę go w szkole, albo zwykle widzę mecze koszykówki moich braci.

Model PBMT: Nie widzę go również w szkole, ale mecze koszykówki moich braci.

Model NMT: Rzadko widzę go w szkole, albo widzę go na meczach koszykówki mojego brata.

NMT (wyszkolony na dodatkowych danych generowanych przez PBMT): Rzadko widzę go w szkole albo zwykle widzę go na meczach koszykówki moich braci.

Transfer stylów to ekscytujący nowy obszar przetwarzania języka naturalnego, z możliwością powszechnych zastosowań. To narzędzie, które wysuwałem na początku - ten, który pomaga ci wymyślić, jak powiedzieć, co musisz powiedzieć? Wciąż jest wiele do zrobienia, ale to narzędzie jest możliwe i będzie nieocenione dla osób poszukujących pracy, uczących się języka i każdego, kto musi zrobić dla kogoś dobre wrażenie. Mamy nadzieję, że poprzez upublicznienie naszych danych, my i inni w terenie będziemy mieli sposób na porównywanie się i posunięcie tego obszaru badań.

Jeśli chodzi o gramatykę, praca ta jest kolejnym krokiem w kierunku naszej wizji stworzenia kompleksowego asystenta komunikacji, który pomaga w rozumieniu twojego przesłania tak, jak przeznaczono.

Joel Tetreault jest dyrektorem badań w Grammarly. Sudha Rao jest doktorantem na University of Maryland i był stażystą badawczą w Grammarly. Joel i Sudha przedstawią te badania na 16. dorocznej konferencji North American Chapter of the Association for Computational Lingwistics: Human Language Technologies in New Orleans, 1-6 czerwca 2018 r. Towarzysząca dokument badawczy, zatytułowany „Drogi panie lub pani, może wprowadzić GYAFC DataSet: