تحت الغطاء في القواعد النحوية: اكتشاف الكتابة غير المنظمة مع الذكاء الاصطناعي

كلما كتبت شيئًا أطول من الجملة ، تحتاج إلى اتخاذ قرارات حول كيفية تنظيم أفكارك وتقديمها. من السهل فهم الكتابة الجيدة لأن كل جملة تعتمد على تلك التي جاءت قبلها. عندما يتغير الموضوع ، يستخدم الكتاب الأقوياء جمل انتقالية وراحة الفقرة كعلامات لإخبار القراء بما يمكن توقعه بعد ذلك.

يطلق اللغويون على هذا الجانب من كتابة الخطاب ، وهو موضوع بعض الأبحاث الجديدة الرائعة من فريق الأبحاث القواعد التي ستظهر في مؤتمر سيغديال في ملبورن ، أستراليا ، هذا الأسبوع.

ما هو تماسك الخطاب ، ولماذا يهتم به؟

عندما نقول أن النص له مستوى عال من تماسك الخطاب ، فإننا نعني أن جميع الجمل مرتبطة معًا منطقياً. الكاتب لا ينحرف عن الموضوع. يتم توصيل نقاط مختلفة عن طريق التحولات. النص سهل المتابعة من البداية إلى النهاية.

هذا النوع من المنظمات لا يأتي دائمًا بشكل طبيعي. قليلون منا يفكرون في التقدم الخطي تمامًا للأفكار. إن النظام الذي يمكن أن يخبرك تلقائيًا عندما تكون قد كتبت شيئًا ما سيكافح أشخاص آخرون من أجل متابعة - وفي النهاية ، يقترح كيفية إصلاح هذا - سيكون مفيدًا للغاية في توصيل ما تعنيه.

ما تم القيام به

تعليم الكمبيوتر للحكم بدقة على مستوى تماسك النص هو تحدي. حتى الآن ، الطريقة الأكثر شيوعًا لتقييم مدى جودة تماسك خطاب معدلات الكمبيوتر على مهمة طلب الجملة. مع هذه الطريقة ، يأخذ الباحثون نصًا موجودًا جيدًا من النص ، مثل مقال إخباري ، وإعادة ترتيب جميع الجمل بشكل عشوائي. الافتراض هو أنه يمكن النظر إلى التقليب العشوائي على أنه غير متماسك ويمكن اعتبار الطلب الأصلي متماسكًا. تتمثل المهمة في إنشاء خوارزمية كمبيوتر يمكنها التمييز بين الإصدار غير المتماسك والأصل. في ظل هذه الظروف ، بلغت بعض الأنظمة دقة تصل إلى 90 في المائة. مثير للإعجاب جدا.

ولكن هناك عيب محتمل كبير مع هذه الطريقة. ربما رصدتها بالفعل. قد تنتج جمل إعادة ترتيب العشوائية نصًا منخفضًا ، ولكنها لا تنتج نصًا يبدو أنه أي شيء يكتبه الإنسان بشكل طبيعي.

في القواعد النحوية ، نركز على حل المشكلات في العالم الحقيقي ، لذلك عرفنا أن أي عمل قمنا به في هذا المجال سيحتاج إلى أن يكون مقياسًا ضد الكتابة الحقيقية ، وليس السيناريوهات الاصطناعية. من المثير للدهشة أن هناك القليل من العمل الذي يختبر أساليب تقييم الخطاب على نص حقيقي كتبه الأشخاص في ظل ظروف عادية. حان الوقت لتغيير ذلك.

أبحاث العالم الحقيقي ، كتاب في العالم الحقيقي

كانت المشكلة الأولى التي كان علينا حلها هي نفس المشكلة التي واجهها كل باحث آخر يعمل على تماسك الخطاب: عدم وجود بيانات في العالم الحقيقي. لم يكن هناك مجموعة موجودة من النص العادي المكتوب بشكل طبيعي يمكننا اختبار خوارزمياتنا.

لقد أنشأنا مجموعة من خلال جمع النص من عدة مصادر عامة: إجابات Yahoo ، ومراجعات Yelp ، ورسائل البريد الإلكتروني الحكومية والشركات المتاحة للجمهور. لقد اخترنا هذه المصادر المحددة لأنها تمثل أنواع الأشياء التي يكتبها الناس في يوم نموذجي - منشورات ومراجعات ورسائل البريد الإلكتروني.

لتحويل كل هذا النص إلى مجموعة يمكن أن تتعلمها خوارزميات الكمبيوتر ، نحتاج أيضًا إلى تقييم مستويات التماسك لكل نص. وتسمى هذه العملية التعليق التوضيحي. بغض النظر عن مدى جودة الخوارزمية الخاصة بك ، فإن التعليقات التوضيحية القذرة ستشوه نتائجك بشكل كبير. في ورقتنا ، نقدم تفاصيل حول العديد من أساليب التعليقات التوضيحية التي اختبرناها ، بما في ذلك بعضها تضمن التعهيد الجماعي. لقد قررنا في النهاية أن يكون لدينا مخصصات خبراء تقييم مستوى التماسك لكل قطعة من النص على مقياس من ثلاث نقاط (تماسك منخفض أو متوسط ​​أو مرتفع). تم الحكم على كل قطعة من النص من قبل ثلاثة مراجعات.

وضع الخوارزميات على الاختبار

بمجرد أن يكون لدينا المجموعة ، فقد حان الوقت لاختبار كيف يمكن لوجود العديد من أنظمة الكمبيوتر المختلفة تحديد مستوى التماسك لنص معين. اختبرنا ثلاثة أنواع من الأنظمة:

في الفئة الأولى هي النماذج القائمة على الكيانات. تتبع هذه الأنظمة أين وكم مرة يتم ذكر نفس الكيانات في النص. على سبيل المثال ، إذا وجد النظام كلمة "النقل" في عدة جمل ، فإنها تأخذ كعلامة على أن هذه الجمل مرتبطة منطقيا ببعضها البعض.

في الفئة الثانية ، اختبرنا نموذجًا يعتمد على رسم بياني تماسك معجمي. هذه طريقة لتمثيل الجمل كعقد في رسم بياني وربط الجمل التي تحتوي على أزواج من الكلمات المماثلة. على سبيل المثال ، سيقوم هذا النوع من النماذج بتوصيل جملة تحتوي على "سيارة" وجملة تحتوي على "شاحنة" لأن كلتا الجملتين ربما تتعلقان بالمركبات أو النقل.

في الفئة الثالثة توجد الشبكة العصبية ، أو التعلم العميق ، نماذج. لقد اختبرنا العديد من هؤلاء ، بما في ذلك طرازان جديدان تم بناؤه من قبل الفريق القواعد. هذه هي أنظمة قائمة على الذكاء الاصطناعي والتي تتعلم تمثيلًا لكل جملة تجسد معناها ، ويمكنهم تعلم المعنى العام لمستند من خلال الجمع بين تمثيلات الجملة هذه. يمكنهم البحث عن أنماط غير مقصورة على حوادث الكيانات أو أزواج الكلمات المماثلة.

مهمة طلب الجملة

استخدمنا نصوص التثبيت العالي من مجموعةنا الجديدة لإنشاء مهمة طلب الجملة لجميع أنواع النماذج الثلاثة. لقد وجدنا أن النماذج التي كانت أداءً جيدًا على مجموعات بيانات ترتيب الجملة الأخرى كانت تعمل بشكل جيد على مجموعة البيانات الخاصة بنا ، مع دقة تصل إلى 89 في المائة. أظهرت النماذج القائمة على الكيان والرسوم البيانية للتماسك المعجمية دقة لائقة (عمومًا من 60 إلى 70 في المائة من الدقة) ، لكن النماذج العصبية هي التي تفوقت على النماذج الأخرى بنسبة 10 نقاط مئوية على الأقل على ثلاث من بين المجالات الأربعة.

اختبار الكتابة الحقيقي

ما أردنا أن نعرفه حقًا هو ما إذا كان يمكن لأي من هذه النماذج أداء على نفس المستوى من الدقة على النص الحقيقي المكتوب بشكل طبيعي. قمنا بتحويل ملصقات الملحقات إلى قيم عددية (منخفضة = 1 ، متوسطة = 2 ، عالية = 3) وبلغ متوسط ​​الأرقام معًا للحصول على درجة تماسك لكل نص.

في كل مجال ، تفوقت واحدة على الأقل من الأنظمة القائمة على الشبكة العصبية جميعها. في الواقع ، كان أحد طرازات القواعد التي تأخذ فترات ربح الفقرة في الاعتبار أفضل أداء على النص من إجابات Yahoo ، كما هو موضح في الجدول أدناه. كان نموذج الزمرة العصبية ، الذي طوره باحثون في ستانفورد ، مؤدًا قويًا.

لكن فرضيتنا الأصلية كانت صحيحة: جميع النماذج التي كانت أسوأ في مهمة العالم الحقيقي مما كانت عليه في مهمة أمر الجملة-كانت بعضها أسوأ بكثير. على سبيل المثال ، كانت طريقة الرسم البياني المعجمي دقيقة بنسبة 78 في المائة لرسائل البريد الإلكتروني للشركات في سيناريو إعادة ترتيب الجملة الاصطناعية ، لكنها تمكنت فقط من تحقيق 45 في المائة في هذا التقييم الأكثر واقعية.

ما وجدناه

اتضح أن العمل السابق على تماسك الخطاب كان يختبر الشيء الخطأ. مهمة أمر الجملة ليست بالتأكيد وكيلًا جيدًا لقياس تماسك الخطاب. نتائجنا واضحة: الأنظمة التي تؤدي بشكل جيد في السيناريو الاصطناعي تعمل أسوأ بكثير على النص الحقيقي.

من المهم أن نلاحظ أن هذا الاكتشاف ليس نكسة. بعيدا عن ذلك ، في الواقع. جزء من زراعة أي مجال هو تقييم كيفية تقييمك - توقف كل مرة من حين إلى آخر لإلقاء نظرة على ما كنت تقيسه بالفعل. بسبب هذا العمل ، فإن الباحثين الذين يعملون على تماسك الخطاب لديهم الآن مقطعتان مهمتان من المعلومات. أحدهما هو البصيرة التي لا ينبغي أن تكون مهمة طلب الجملة هي الطريقة التي نقيس بها الدقة. والثاني هو مجموعة متاحة للجمهور ومشرح للنص في العالم الحقيقي والمعايير الجديدة (نماذجنا العصبية) لاستخدامها في الأبحاث المستقبلية.

نتطلع

هناك المزيد من العمل الذي يتعين القيام به والكثير من التطبيقات المثيرة لنظام يمكنه الحكم بشكل موثوق على تماسك الخطاب في نص. في يوم من الأيام ، لم يتمكن نظام مثل هذا من إخبارك فقط بمدى تماسك رسالتك الإجمالية ، ولكن أيضًا أشير إلى الممرات المحددة التي قد يكون من الصعب متابعتها. في يوم من الأيام ، نأمل أن نساعدك في جعل هذه المقاطع أسهل في الفهم ، بحيث أن ما تحاول قوله واضحًا لمستلمك.

بعد كل شيء ، فإن طريق Grammarly إلى أن يصبح مساعد اتصال شامل ليس فقط عن التأكد من أن كتاباتك دقيقة ومروعة من الناحية الأسلوبية - إنه يضمن فهمك على النحو المقصود.

---

جويل تيراولت هو مدير الأبحاث في القواعد النحوية. أليس لاي طالبة دكتوراه في جامعة إلينوي في أوربانا شامبين وكانت متدربة في قواعد اللغة. سيتم تقديم هذا البحث في المؤتمر السنوي Sigdial 2018 في ملبورن ، أستراليا ، من 12 إلى 14 يوليو ، 2018. سيتم نشر ورقة البحث المصاحبة ، بعنوان "تماسك الخطاب في Wild: مجموعة بيانات وتقييم وأساليب" في وقائع الاجتماع السنوي التاسع عشر لمجموعة المصالح الخاصة حول الخطابات والحوار. تسمى مجموعة البيانات الموصوفة في منشور المدونة هذا المجموعة النحوية لتماسك الخطاب وهي مجانية للتنزيل لأغراض البحث هنا.