Dilbilgisinde Kaput Altında: Yazı Stilini AI ile Dönüştürmek

Yazdığınız biri üzerinde iyi bir izlenim bırakmanız gerektiğinde, düşünmeniz gereken tek şey söylediğiniz şey değil. Nasıl söylediğiniz, genellikle aynı derecede önemlidir. Doğru formalite seviyesini seçmek özel bir zorluk olabilir-son derece bağlama bağımlıdır ve genellikle alıcınızın tonunuzu nasıl yorumlayacağına dair tahminler yapmanız gerekir.

Bir kapak mektubu yazdığınızı hayal edin. Yazılarınızın çok rahat (veya bazen daha da kötüsü, çok resmi) olduğunu tespit edebilecek bir aracınız olsaydı ne kadar oyun değiştirici olurdu? Aniden ne söylemeye çalıştığınıza dair kararlarınız çok daha az karanlık olur. Sadece alıcınızın mesajınızı nasıl algılayacağına dair tahminlere güvenmiyorsunuz, aynı zamanda kişisel olarak sahip olmadığınız birçok veriye dayanan bir algoritma var. Bir adım daha ileri götürürse, bu araç size sadece bir şey kapalı olduğunda değil, aynı zamanda size alıcınızın daha iyi isteyeceği alternatif ifadeler sunarsa?

Bir bilgisayarın bir yazıyı otomatik olarak bir tarzdan diğerine dönüştürmesi için sürecine stil transferi denir ve meslektaşım Sudha Rao ile yazdığım bir makalenin konusudur. Bu bizim için Grammarly'de özellikle ilgi çekici bir alan çünkü doğru yolu iletmenin ne kadar önemli olduğunu biliyoruz.

Dilbilgisinde araştırma mühendislerinin size yazma önerileri sağlayan sistemleri nasıl oluşturduğunu merak ettiyseniz, okumaya devam edin.

Formalite hakkında gayri resmi bir arka plan

Algoritmalarımızın ayrıntılarına dalmadan önce, gayri resmi ve resmi dil örneğine bir göz atalım.

Gayri resmi: Hikayenin her iki tarafını da görmeliyim

Resmi: Hikayenin her iki tarafını da görmelisiniz.

Bu cümleler arasında birkaç bariz fark vardır. İlk cümle sinyali kayıt dışılığının sonunda argo (“gerekir”) ve noktalama işaretlerinin kullanımı. Bu tür bir cümle için bir zaman ve bir yer var - örneğin arkadaşlar arasında bir kısa mesaj değişimi.

İnsanların gayri resmi cümleleri daha resmi bir tarzda nasıl yeniden yazdıklarına baktığımızda, yaptıkları en sık değişikliklerin büyük harf kullanımı, noktalama işaretleri ve konuşma dilleri içerdiğini bulduk. Ayrıca, insanların bazen formaliteyi iyileştirmek için bir cümlenin daha sert yeniden yazılmaları gerektiğini fark ettik:

Gayri resmi: Toplantıya ne zaman geliyorsunuz?

Resmi: Lütfen toplantıya ne zaman katılacağınızı bana bildirin.

Ancak bilgisayarlara yukarıdaki gibi düzenlemeler yapmayı nasıl öğretiriz? Soruna yaklaşmanın birkaç yolu var.

Kullandığımız, bir bilgisayarı yazma stilleri arasında tercüme etmeyi öğretmenin, dilleri tercüme etmeyi öğretmeye benzer olduğunu kabul eder. Bu yaklaşıma, bir bilgisayarın otomatik olarak bir dilden (Fransızca gibi) diğerine (Almanca) tercüme ettiği makine çevirisi denir. Dolayısıyla, stil transferi sorunuyla mücadele ederken, bir çeviri modeliyle veya bizim durumumuzda birden fazla modelle başlamak mantıklıdır.

Çeviri modeli nedir?

Yapay zekanın son atılımlarından biri, bina makinesi çeviri modelleri için derin öğrenme veya sinir ağı, teknikler kullanımıdır.

Nöral Makine Çeviri (NMT) modelleri, cümlelerin altında yatan anlamın temsillerini öğrenebilir. Bu, modelin karmaşık cümle kalıplarını öğrenmesine yardımcı olur, böylece çevirinin akıcı olması ve anlamı orijinal cümleye sadık kalır.

Kural tabanlı veya ifadeye dayalı modeller (PBMT) gibi makine çevirisine eski yaklaşımlar, cümleleri kelimeler veya ifadeler gibi daha küçük birimlere ayırın ve bunları bağımsız olarak tercüme edin. Bu, çeviride dilbilgisi hatalarına veya saçma sonuçlara yol açabilir. Bununla birlikte, bu modellerin ayarlanması daha kolaydır ve daha muhafazakar olma eğilimindedir - bu bir avantaj olabilir. Örneğin, argo değiştiren kuralları standart kelimeler olarak kolayca dahil edebiliriz.

Stil transferinin en iyi olduğunu görmek için makine çevirisine birkaç farklı yaklaşımla baktık.

Bir Model Oluşturma

NMT ve PBMT zorluklarla doludur, en azından modellerinizi eğitmek için iyi bir veri kümesi bulamaz. Bu durumda, yüz binlerce gayri resmi ve resmi cümle çiftinden oluşan bir veri kümesine ihtiyacımız olacağını tahmin ettik. İdeal olarak, modelinizi milyonlarca cümle çiftiyle eğitirsiniz, ancak stil transferi doğal dil işleme alanında oldukça yeni bir alan olduğundan, gerçekten kullanabileceğimiz mevcut bir veri kümesi yoktu. Yani bir tane yarattık.

Gayri resmi cümleler toplayarak başladık. Cümlelerimizi Yahoo! Cevaplar. Bu setten otomatik olarak yüz binden fazla gayri resmi cümle seçtik ve her birini önceden tanımlanmış kriterleri kullanarak resmi bir dille yeniden yazdık. (Bu süreçle ilgili ayrıntılar için makalemize göz atın.)

Bir veri kümeniz olduğunda, modelinizi eğitmeye başlayabilirsiniz. Modeli eğitmek, çok sayıda “hedef” cümle ile birlikte, çok sayıda “kaynak” cümle - gayri resmi cümleler - vermek anlamına gelir. Modelin algoritması daha sonra kaynaktan hedefe nasıl ulaşılacağını bulmak için kalıplar arar. Ne kadar çok veriye sahipse o kadar iyi öğrenir.

Bizim durumumuzda, modelin yüz bin gayri resmi kaynak cümlesi ve bunların resmi yeniden yazımları vardır. NMT ve PBMT modelleri genellikle iyi performans göstermesi için çok daha fazla veri gerektirdiğinden, eğitim veri kümemizin boyutunu artırmak için yapay resmi veriler oluşturmanın farklı yollarını da denedik.

Ancak, modelinizin görevini ne kadar iyi gerçekleştirdiğini değerlendirmek için bir yola ihtiyacınız var. Cümlenin anlamı değişti mi? Yeni cümle dilbilgisel olarak doğru mu? Aslında daha resmi mi? Dışarıda sınıflandırıcılar var - ton ve yazma tarzı için cümleleri otomatik olarak değerlendirebilen programlar - ve akademisinde en yaygın olarak kullanılanları test ettik. Ancak, hiçbiri çok doğru değildir. Bu nedenle, insanların test ettiğimiz çeşitli modellerin çıktılarını karşılaştırdıktan ve bunları formalite, doğruluk ve akıcılıkla sıraladık.

Ekibimize orijinal gayri resmi cümleyi, birkaç farklı modelden çıktıları ve insan yeniden yazmasını gösterdik. Onlara her cümleyi kimin - ya da ne - oluşturduğunu söylemedik. Ardından, yeniden yazmayı sıraladılar, bağlara izin verdiler. İdeal olarak, en iyi model insan yeniden yazımlarından bağlanır veya daha iyi olur. Toplamda, ekip 500 gayri resmi cümlenin yeniden yazılmasını yaptı.

Ne bulduk

Hepsi, düzinelerce modeli test ettik, ancak en iyi modellere odaklanacağız: kural tabanlı, cümle tabanlı (PBMT), sinir ağı tabanlı (NMT) ve çeşitli yaklaşımları birleştiren bir çift.

İnsan yeniden yazımları en yüksek golü attı, ancak PBMT ve NMT modelleri o kadar da geride değildi. Aslında, insanların model çıktılarını insanlara tercih ettikleri birkaç durum vardı. Bu iki model daha kapsamlı yeniden yazma yaptı, ancak orijinal cümlenin anlamını değiştirme eğilimindeydiler.

Kural tabanlı modeller ise daha küçük değişiklikler yaptı. Bu, anlamı korumakta daha iyi oldukları anlamına geliyordu, ancak ürettikleri cümleler daha az resmidi. Tüm modellerin daha uzun cümlelerle daha uzun cümlelerle daha kolay bir zaman vardı.

Aşağıda, insan ve model yeniden yazımları ile gayri resmi bir cümle örneğidir. Bu özel durumda, formalite, anlam ve doğal ses ifadesi arasında en iyi dengeyi vuran son model (PBMT çevirisi olan NMT) idi.

Orijinal gayri resmi: Onu okulda görmüyorum ya genellikle kardeşlerimin basketbol oyunlarını görüyorum.

İnsan yeniden yazma: Onu okulda pek görmüyorum. Genellikle onu basketbol oynayan kardeşlerimle görüyorum.

Kural Tabanlı Model: Onu okulda görmüyorum ya genellikle kardeşlerimin basketbol oyunlarını görüyorum.

PBMT Modeli: Onu okulda da görmüyorum, ama kardeşlerimin basketbol oyunları.

NMT Modeli: Onu nadiren okulda görüyorum, ya onu kardeşimin basketbol oyunlarında görüyorum.

NMT (PBMT tarafından oluşturulan ek veriler konusunda eğitildi): Onu nadiren okulda görüyorum ya genellikle onu kardeşlerimde basketbol oyunlarında görüyorum.

Stil transferi, yaygın uygulamalar potansiyeli ile heyecan verici yeni bir doğal dil işleme alanıdır. Başlangıçta varsaydığım araç - ne söylemeniz gerektiğini nasıl söyleyeceğinizi anlamanıza yardımcı olan araç? Yapılması gereken çok fazla iş var, ancak bu araç mümkün ve iş arayanlar, dil öğrencileri ve yazılarıyla birisi üzerinde iyi bir izlenim bırakması gereken herkes için paha biçilmez olacak. Verilerimizi halka açık hale getirerek, biz ve alandaki diğerlerinin birbirimizi kıyaslamak ve bu araştırma alanını ileriye taşımak için bir yol olacak umuyoruz.

Dilbilgisine gelince, bu çalışma, mesajınızın amaçlandığı gibi anlaşılmasına yardımcı olan kapsamlı bir iletişim asistanı oluşturma vizyonumuza doğru başka bir adımdır.

Joel Tetreault, Grammarly Araştırma Direktörüdür. Sudha Rao, Maryland Üniversitesi'nde doktora öğrencisidir ve Grammarly'de bir araştırma stajyeridir. Joel ve Sudha, bu araştırmayı Hesaplamalı Dilbilim Derneği'nin 16. Yıllık Konferansı'nda sunacaklar: 1-6 Haziran 2018'de insan dili teknolojileri.