مسابقة بين مساعدي الذكاء الاصطناعي «ChatGPT» و «Claude» و «Copilot» و «Meta AI» و «Gemini» في دقة المعلومات في «التاريخ» و «القانون» و «السياسة» و «العلوم الصحية»

تتنافس روبوتات الدردشة المعتمدة على الذكاء الاصطناعي في قدرتها على تحليل وتلخيص المستندات والنصوص المختلفة، من العقود القانونية المعقدة إلى الروايات الكاملة، لكن السؤال الأهم يظل: هل تفهم هذه الروبوتات ما تقرأه حقًا؟

للإجابة على هذا التساؤل الجوهري، نُظمت مسابقة فريدة من نوعها لتقييم خمسة من أبرز مساعدي الذكاء الاصطناعي: ChatGPT، Claude، Copilot، Meta AI، وGemini، تم اختبار هذه الروبوتات في قدرتها على فهم أربعة أنواع مختلفة من النصوص: الأدب (رواية “عشيقة ابن آوى”)، العلوم الصحية (ورقتان بحثيتان)، القانون (عقدان قانونيان)، والسياسة (خطابان لدونالد ترامب) وفق صحيفة “واشنطن بوست”.

لضمان الدقة والموضوعية، تم جمع مجموعة من الخبراء في كل مجال، بما في ذلك المؤلفون الأصليون للنصوص والقضاة المتخصصون، للحكم على إجابات الذكاء الاصطناعي حيث تم طرح إجمالي 115 سؤالاً تفصيلياً، وكشفت النتائج عن تباين كبير، فبعض الإجابات كانت “رائعة بشكل مذهل” بينما كان بعضها الآخر “غبيًا تمامًا”. الملاحظة الأكثر إثارة للقلق هي أن جميع الروبوتات، باستثناء واحد، اختلقت معلومات، وهي مشكلة مستمرة تواجه أنظمة الذكاء الاصطناعي.

كان الأدب هو المجال الأصعب على الروبوتات، ورغم أن ChatGPT، جاء في الصدارة، لكنه لم يقدم ملخصاً مُرضياً تماماً لرواية “عشيقة ابن آوى”، حيث أغفل شخصيتين رئيسيتين ولم يتناول جوانب هامة مثل العبودية والحرب الأهلية. وكان الأسوأ هو Gemini ، حيث قدم ملخصات “غير دقيقة ومضللة”. ومع ذلك، أذهلت جودة إجابات ChatGPT وClaude على الأسئلة التحليلية الخبير كريس بوهجاليان، مؤكداً أنهما عبرا عن “كل المشاعر” التي كان يحاول الكاتب نقلها.

في تقييم فهم عقدين قانونيين شائعين، وجد المحامي ستيرلينغ ميلر “تناقضًا” في أداء الروبوتات، حاولت Meta AI وChatGPT اختصار الأجزاء المعقدة بشكل غير مفيد، وتجاهلتا فروقاً دقيقة مهمة. ChatGPT مثلاً نسي بنداً رئيسياً حول ملكية الاختراعات، تفوق Claude بشكل عام، وقدم أفضل الإجابات وأكثرها شمولاً، خاصةً في اقتراح تعديلات على اتفاقية الإيجار.

أظهرت جميع أدوات الذكاء الاصطناعي أداءً أفضل في تحليل الأبحاث العلمية، وكان Claude هو الأبرز، حيث حصل على درجة 10 من 10 في ملخصه لإحدى الدراسات حول كوفيد الطويل، مقدماً تحليلاً مفيداً ويسلط الضوء على النقاط الهامة للأطباء، يشير الخبراء إلى أن الذكاء الاصطناعي قد يكون لديه وصول واسع للعديد من الأوراق العلمية في بيانات تدريبه، كما أن هذه الأوراق تتبع هيكلاً متوقعًا، مما يسهل معالجتها.

تم تقييم قدرة الذكاء الاصطناعي على فهم وتحليل خطابات الرئيس دونالد ترامب حيث تميز ChatGPT بإجاباته الرائعة، فمثلاً، على النقيض، واجهت روبوتات أخرى مثل Copilot صعوبة في نقل نبرة ترامب، مما أثر على دقة الملخصات.

تفوق Claude ليصبح الفائز الشامل في المسابقة، وكان الوحيد الذي لم يعاني من الهلوسة والتي يقصد بها (اختلاق المعلومات).

على الرغم من أن Claude وChatGPT قدما تحليلات “مذهلة” في بعض الأحيان لدرجة أدهشت الخبراء، إلا أنه يجب التأكيد على نقطة هامة وهي أنه لم يسجل أي من الروبوتات نسبة أعلى من 70% بشكل عام، وهو ما يشير إلى أن التقنية لا تزال بعيدة عن الكمال.

ويؤكد الخبراء أن الذكاء الاصطناعي ليس بديلاً عن الخبير البشري (مثل المحامي أو الطبيب)، خاصة في الأمور الهامة. ومع ذلك، يمكن أن يكون أداة قيمة للمساعدة في فهم موضوع جديد أو فك رموز المصطلحات.