دراسة: أنظمة الذكاء الاصطناعي لا تستطيع الإجابة بدقة على التساؤلات المالية

أظهرت دراسة جديدة أجرتها شركة "باترونوس Patronus AI" أن نماذج الذكاء الاصطناعي لا تستطيع الإجابة بدقة حول الأسئلة المستمدة من تقارير هيئة الأوراق المالية والبورصات، وعلى الرغم من تطور هذه النماذج إلا أن أفضل أداء لها بلغت نسبة دقته 79% فقط، ما يسلط الضوء على التحديات الكبيرة التي تواجهها هذه النماذج.

وفحصت الدراسة مختلف النماذج اللغوية، ولكنها ركزت على "GPT-4 Turbo" من شركة "Open AI" الذي عندما مُنح تقريرًا كاملًا ثم سؤاله عن التقرير، لم يُجب بشكل صحيح إلا في 79% من الأسئلة، وأعرب مؤسس شركة "أناند كانابان" عن عدم رضاه، وأشار إلى أن هذه النسبة مرفوضة تمامًا، ويجب أن تكون أعلى بكثير من هذا.

وتمتد آثار الدراسة لما وراء تطبيق الذكاء الاصطناعي في الأمور المالية، إذ يُدمج الذكاء الاصطناعي في مختلف الصناعات، وتسلط الدراسة الضوء على التحديات التي تواجهها الشركات في ضمان دقة وموثوقية العمليات التي يؤديها الذكاء الاصطناعي، وتشير الدراسة إلى ضرورة إجراء اختبارات دقيقة لضمان عمل النموذج بدقة، وتهدف شركة "Patronus AI" إلى معالجة هذا القلق من خلال أتمتة اختبار نماذج اللغة الكبيرة من خلال البرمجيات، حتى تتمكن الشركات من التأكد من أن آلية الذكاء الاصطناعي الخاصة بها دقيقة.

تفاصيل الدراسة

وطورت الشركة "FinanceBench" وهي مجموعة بيانات تحتوي على أكثر من 10 آلاف سؤال وجواب مستمدة من تقارير هيئة الأوراق المالية والبورصات، وتتضمن المجموعة الإجابات الصحيحة، ولكن لا يمكن سحب جميع الإجابات من النص مباشرة، إذ تحتاج بعض الأسئلة إلى قليل من التفكير، وفحصت الشركة أربعة نماذج لغوية، باستخدام مجموعة فرعية من 150 سؤالاً أعدتها الشركة.

اقرأ أيضًا: الذكاء الاصطناعي يقتحم عالم الأحلام.. ما القصة؟

وفشل "GPT-4 Turbo" في الإجابة على 88% من الأسئلة التي طُرحت عليه، وقدم إجابة صحيحة في 14 مرة فقط، وعندما استطاع الوصول إلى التقارير الرئيسة تحسنت إجاباته، فاستطاع الإجابة على 85% من الأسئلة، أما "LIama2" من شركة "ميتا" فأجاب على 70% من الأسئلة بطريقة خاطئة حتى عندما كان لديه وصول إلى التقارير الأساسية، و"Claude 2" من شركة "أنثروبيك" فاستطاع الإجابة بطريقة صحيحة على نسبة 75% من الأسئلة.

والمثير للدهشة أن النماذج رفضت الإجابة عن العديد من الأسئلة، ويعتقد مؤسسو "Patronus AI" أن نماذج "GPT" تمتلك إمكانيات هائلة لمساعدة الأشخاص في القطاع المالي، ولكن بشرط استمرار التكنولوجيا في التحسن.

وتطرح دراسة شركة "Patronus AI" الأسئلة حول قيود النماذج الحالية، ويؤكد الخبراء على ضرورة تحسين هذه النماذج، مع ضرورة استمرار المراقبة البشرية خاصةً في القطاعات المنظمة، ومع تطور التكنولوجيا سوف تواجه الشركات تحديات لضمان الدقة في العمليات الآلية.