شات جي بي تي ليس جاهزًا بعد؟ دراسة علمية تكشف ثغرات في تلخيص الأبحاث
أجرت الجمعية الأمريكية لتقدم العلوم دراسة غير رسمية، استمرت عامًا كاملاً لتقييم قدرة شات جي بي تي على تلخيص الأبحاث العلمية المعقدة، وفقًا للمعايير التحريرية التي يعتمدها فريق "SciPak" التابع لمجلة Science.
وهدفت الدراسة إلى معرفة مدى قدرة النموذج اللغوي على إنتاج ملخصات صحفية مبسطة، تنقل الفرضيات والمنهجيات والسياق العلمي بدقة.
أخطاء شات جي بي تي في تلخيص الأبحاث العلمية
وأظهرت النتائج أن شات جي بي تي قادر على محاكاة بنية الملخصات العلمية بشكل مقبول، لكنه غالبًا ما يضحي بالدقة لصالح البساطة، ويحتاج إلى تدقيق بشري شامل.
اقرأ أيضًا: تحديثات جديدة في شات جي بي تي 5 لتحسين تجربة المستخدم
وأشارت الكاتبة أبيغيل آيزنشتات إلى أن هذه التقنيات قد تكون أدوات مساعدة للكتّاب العلميين، لكنها ليست جاهزة للاستخدام الأساسي في الوقت الحالي.
ومن ديسمبر 2023 إلى ديسمبر 2024، اختار الباحثون ورقتين بحثيتين أسبوعيًا لتلخيصهما باستخدام شات جي بي تي، عبر ثلاثة محاور بحثية مختلفة.
وتم التركيز على أوراق تحتوي على مصطلحات تقنية، واكتشافات مثيرة للجدل، وصيغ غير تقليدية، واستخدمت الدراسة النسخة "Plus" من نموذج GPT المتاحة للعامة خلال تلك الفترة، فيما تم تلخيص 64 ورقة بحثية، وخضعت الملخصات لتقييم من كتّاب SciPak أنفسهم.
اقرأ أيضًا: بعد موجة انتقادات.. OpenAI تحذف ميزة "اكتشاف المحادثات" من شات جي بي تي
وأظهرت النتائج أن متوسط تقييم الملخصات من حيث إمكانية دمجها مع المحتوى الصحفي بلغ 2.26 من 5، بينما حصلت على 2.14 من حيث الجاذبية، ولم يحصل سوى ملخص واحد على تقييم "5"، مقابل 30 تقييمًا بدرجة "1".
أخطاء مفاهيمية ومبالغة لغوية في شات جي بي تي
اشتكى المقيمون من أن شات جي بي تي يخلط بين الارتباط والسببية، ويفشل في تقديم السياق العلمي، ويبالغ في وصف النتائج باستخدام كلمات مثل "مبتكر" و"جديد".
كما أظهرت الدراسة أن النموذج جيد في نسخ المعلومات من الورقة الأصلية، لكنه ضعيف في ترجمتها إلى محتوى صحفي مبسط يراعي المنهجيات والدلالات العلمية.
اقرأ أيضًا: 2.5 مليار طلب يوميًا.. هل أصبح "شات جي بي تي" حاجة يومية؟
وخلص الباحثون إلى أن شات جي بي تي لا يزال بحاجة إلى تطوير كبير ليصبح أداة موثوقة في الصحافة العلمية، خاصة عند التعامل مع أبحاث متعددة النتائج أو عند تلخيص أكثر من ورقة في محتوى واحد، ويظل التدقيق البشري عنصرًا أساسيًا لضمان دقة المعلومات وسلامة السياق العلمي.
