دراسة: الذكاء الاصطناعي يمنح الطلاب درجات أعلى من البشر
كشفت دراسة جديدة أن أدوات الذكاء الاصطناعي التوليدي تميل إلى منح درجات أعلى لمقالات الطلاب مقارنة بالمصححين البشر، ما يثير تساؤلات حول دقتها في تقييم الأداء الأكاديمي.
تفاصيل الخبر
أظهرت دراسة نُشرت في مجلة Assessment & Evaluation in Higher Education أن نماذج الذكاء الصناعي التوليدي، مثل ChatGPT، لا تستطيع حاليًا محاكاة أحكام المصححين البشر بشكل موثوق عند تقييم الأعمال الكتابية المطولة.
واعتمد الباحثون على تجربة شملت 50 مقالًا لطلاب جامعيين في مجال العلوم الحيوية، حيث استخدموا نسختين من ChatGPT لتقييم المقالات وفق سبعة معايير، مع تطبيق أربع طرق مختلفة لصياغة التعليمات.
وأظهرت النتائج عددًا من الاختلافات المهمة:
- منحت نماذج الذكاء الاصطناعي درجات أعلى من البشر في معظم حالات الاختبار.
- وصل الفرق بين تقييم الذكاء الاصطناعي وتقييم المصحح البشري في إحدى الحالات إلى 40 نقطة من أصل 100.
- حصلت المقالات ذات الدرجات المنخفضة غالبًا على درجات أعلى من المتوقع عند تقييمها بواسطة الذكاء الاصطناعي.
- في المقابل، حصلت المقالات ذات الدرجات المرتفعة على درجات أقل مقارنة بتقييم البشر.
- كان الذكاء الاصطناعي أكثر توافقًا مع المصححين البشر عند تقييم المقالات ذات الدرجات المتوسطة.
- اختلفت النماذج اللغوية بصورة ملحوظة في الدرجات التي منحتها للمقالات.
- رغم أن متوسط الدرجات الإجمالي كان متقاربًا نسبيًا مع تقييم البشر، فإن الاختلافات في المعايير الفردية كانت كبيرة.
وأشار الباحثون إلى أن الدراسة لم تهدف أساسًا إلى معرفة ما إذا كان الذكاء الاصطناعي قادرًا على استبدال المصححين البشر، بل إلى اختبار إمكانية استخدامه كأداة للمقارنة والتقييم التكويني ومساعدة الطلاب إلى جانب ملاحظات الأكاديميين.
وأكد الباحث William Kay، المحاضر الأول في الإحصاء بجامعة Cardiff، أن النتائج تشير إلى أن الذكاء الاصطناعي لا يستطيع في الوقت الحالي منح درجات موثوقة للأعمال الكتابية التي تتطلب حكمًا بشريًا، حتى عند تدريبه بصورة موسعة.
الأهداف المستقبلية
لا يعني ذلك أن الذكاء الاصطناعي لن يكون له دور في تقييم الطلاب مستقبلًا، إذ يرى الباحثون أن تطور النماذج اللغوية قد يحسن قدرتها على محاكاة الأحكام البشرية. لكن الوصول إلى مستوى موثوق من التوافق قد يظل تحديًا بسبب اختلاف المصححين البشر أنفسهم في تقييم الأعمال.
ومن الاتجاهات المستقبلية المحتملة:
- تطوير معايير تقييم أكثر تفصيلًا ووضوحًا للذكاء الاصطناعي.
- استخدام أوصاف موضوعية لكل مستوى من مستويات الدرجات بدلًا من كلمات عامة مثل «جيد» و«ممتاز».
- الاستفادة من الذكاء الاصطناعي في تقديم ملاحظات تعليمية بدل الاعتماد عليه وحده لمنح الدرجات النهائية.
- إجراء المزيد من الدراسات على تخصصات وأنواع مختلفة من الأعمال الأكاديمية.
- إبقاء القرار النهائي بشأن تقييم الأعمال الكتابية الحساسة بيد المصححين البشر.
وتشير الدراسة إلى أن تحسين دقة الذكاء الاصطناعي في التصحيح قد يتطلب ليس فقط نماذج أكثر تطورًا، بل أيضًا معايير تقييم أكثر تحديدًا يمكن للنماذج تفسيرها بصورة متسقة.
تكشف الدراسة عن حدود مهمة لاستخدام الذكاء الاصطناعي في تصحيح المقالات الجامعية، خصوصًا عندما يتطلب التقييم حكمًا شخصيًا وتحليلًا دقيقًا. ورغم إمكانية تطور هذه الأدوات مستقبلًا، فإن الاعتماد عليها وحدها لمنح الدرجات لا يبدو مناسبًا في الوقت الحالي.
