كيف تختار نموذج الذكاء الاصطناعي المناسب لعملك حين يتصدّر الجميع لوحة الاختبارات؟
نتائج اختبارات الذكاء الاصطناعي العلنية تقاربت حتى تحوّلت إلى ضجيج لا يميّز شيئًا. الإشارة الوحيدة التي ما زالت تستحق القراءة هي تكلفة كل مهمة منجزة بشكل صحيح، محسوبة على مجموعة اختبار خاصة تحتفظ بها لنفسك.
الأسواق تُسعّر المعلومة لا الجهد المبذول للوصول إليها. فحين تصدر موجة إصدارات رائدة من نماذج الذكاء الاصطناعي في غضون أيام من بعضها، وتسجّل كلها درجة شبه متطابقة على الاختبارات العلنية نفسها، يكون السوق قد تلقّى رقمًا لم يعد يفرّق بين شيء وآخر. هذا هو الموقف المحرج الذي تجد فرق المشتريات نفسها فيه اليوم، من برامج التحوّل الرقمي الخليجية الكبرى كرؤية السعودية 2030 واستراتيجية الإمارات للذكاء الاصطناعي، إلى صناديق الاستثمار السيادي التي تضخ رساميل ضخمة في هذا القطاع، وهو ما يفسّر لماذا تحوّلت كيفية تقييم نماذج الذكاء الاصطناعي لحالة استخدامك من قراءة لوحة صدارة إلى مسألة شراء بحتة.
كانت لوحة الصدارة مفيدة فعلًا حين كانت الفجوات بين النماذج واسعة، فيكفي اختبار علني واحد لتمييز النموذج القوي من الضعيف بنظرة سريعة. هذه النافذة تنغلق الآن. فحين يتحوّل معيار ما إلى الأساس الذي تُقيَّم عليه الشركات المزوّدة، يتوقف عن قياس القدرة الفعلية ويبدأ بقياس مدى شدة تحسين الجميع باتجاه الهدف الثابت نفسه. النتائج ترتفع، والفجوات بينها تضيق، ويتحوّل الترتيب إلى أداة تسويقية. تقدّم بنقطة واحدة على قمة معيار مشبَع ليس سوى ضجيج يرتدي وسام تميز.
لماذا لم تعد معايير الذكاء الاصطناعي المنشورة تخبر المشترين بشيء؟
لسببين، ولا يتطلب أي منهما افتراض سوء نية. أولًا، مجموعة الاختبار العلنية هدف ثابت ومحدود، وكل ما هو ثابت يُتعلَّم في النهاية. سواء عبر تسرّب مباشر لبيانات الاختبار أو عبر الانجراف الأبطأ الناتج عن ضبط القطاع بأكمله على الأسئلة نفسها، تفقد الاختبارات المنشورة قدرتها التمييزية كلما طال بقاؤها معلنة. تعامل مع فرضية أن الشركات تدرّب نماذجها عمدًا على بيانات الاختبار كاحتمال يستحق الانتباه لا كحقيقة مثبتة؛ فالحسابات وحدها كافية لتفسير التآكل دون الحاجة إلى افتراض التلاعب. ثانيًا، التقارب نفسه هو الدليل. حين تنهي خمسة نماذج السباق بفارق نقطة واحدة فيما بينها، فالتفسير الصادق ليس أنها متساوية الكفاءة في عملك تحديدًا، بل أن الاختبار نفد من مساحته للتمييز.
انظر كيف تتلاشى الإشارة عند الفحص الدقيق. حين اختبر فاحصون مستقلون نموذجًا أولّيًا حظي بضجة إعلامية كبيرة على مجموعة أحاجي ARC-AGI، سجّل النموذج نحو 75.7% على القسم شبه الخاص من الاختبار، وهو رقم لافت يصلح لعنوان إخباري لكنه لا يقدّم للمشتري أداة عمل تُذكر. الدقة وحدها تخبرك أن النموذج قادر على الوصول إلى إجابة صحيحة، لكنها لا تخبرك شيئًا عن كلفة الوصول إليها، وهناك بالضبط يختبئ الفارق الحقيقي بين نماذج اليوم.
ما الذي تقيسه فعليًا تكلفة كل مهمة صحيحة؟
هذا هو المقياس الذي لا تستطيع الشركات المزوّدة التلاعب به: تكلفة كل مهمة منجزة بشكل صحيح عند مستوى قدرة ثابت. إنه حقيقي اقتصاديًا. فالنموذج الذي يوازي دقة منافسه بجزء يسير من الإنفاق هو النتيجة ذات المعنى، لا تقدّم بمنزلة عشرية على لوحة مشبَعة. السؤال الوحيد الذي ينجو من الاصطدام بواقع التشغيل الفعلي هو: هل تستطيع تحمّل تكلفة تشغيل هذا النموذج مليون مرة؟ يمكن لنموذجين أن يسجّلا الدرجة نفسها في اختبار الاستدلال بينما تختلف تكلفة كل مهمة صحيحة بينهما بمقدار رتبة كاملة، وهذه الفجوة غير مرئية على اللوحة التي تتصدّر عناوين الأخبار.
عرّف المصطلح بدقة، لأنه يحمل أكثر مما يبدو للوهلة الأولى. تكلفة كل مهمة صحيحة هي إجمالي الإنفاق على تشغيل مجموعة مهامك مقسومًا على عدد المهام التي أنجزها النموذج فعلًا بشكل صحيح، أو ببساطة تكلفة الرمز لكل محاولة مقسومة على معدل النجاح في حالة المحاولة الواحدة. لا شيء معقّد هنا، لكن الرقم لا يحمل وزنًا حقيقيًا إلا بثلاثة شروط. تحتاج إلى حكَم تثق به، فحص آلي أو بشري، يستطيع الحكم على كل إجابة بالصواب أو الخطأ على مجموعتك الخاصة. تحتاج إلى قياس استهلاك الرموز على موجّهاتك أنت لا على افتراض مرتّب من المزوّد، لأن سلاسل الاستدلال المطوّلة تحرّك الرقم أكثر مما تحرّكه نسبة النجاح المعلنة. وعليك أن تقرر كلفة الإجابة الخاطئة: حين يكون رصد إجابة معقولة الشكل لكنها خاطئة أمرًا مكلفًا، فإن تكلفة كل مهمة صحيحة تجامل النموذج الأرخص، فرجّح كفة الأخطاء وفقًا لذلك.
ضع أرقامًا حقيقية في المعادلة. خذ نموذجين منشورين على نطاق واسع بأسعارهما المعلنة: نموذج اقتصادي بسعر 0.15 دولار لكل مليون رمز إدخال و0.60 دولار لكل مليون رمز إخراج، ونموذج متقدّم من الشركة نفسها بسعر 2.50 دولار و10 دولارات على الحجمين ذاتهما. لنفترض أن كل مهمة في مجموعتك تستغرق نحو 2000 رمز إدخال و500 رمز إخراج. تكلفة النموذج الاقتصادي نحو 0.0006 دولار للمحاولة الواحدة؛ والمتقدّم نحو 0.01 دولار، أي أعلى بنحو 16 ضعفًا. والآن أدخل الدقة، وهي النصف الذي تتجاهله قائمة الأسعار. لنفترض أن النموذج الاقتصادي ينجز 55% من المهام على مجموعتك الخاصة بينما ينجز النموذج المتقدّم 75%. اقسم التكلفة على معدل النجاح ويظهر الرقم الحقيقي: نحو 0.0011 دولار لكل إجابة صحيحة من النموذج الاقتصادي مقابل نحو 0.013 دولار من النموذج المتقدّم.
تمعّن في هذه النتيجة. النموذج المتقدّم يتفوّق بعشرين نقطة دقة، ومع ذلك يكلّف نحو 12 ضعفًا أكثر لكل مسألة ينجزها فعلًا. للحصول على 5500 إجابة صحيحة، يكلّفك النموذج الاقتصادي نحو 6 دولارات؛ ويكلّفك المتقدّم نحو 73 دولارًا مقابل العدد نفسه تمامًا. وسّع القائمة لتزداد الفجوة اتساعًا: الأسعار المعلنة تتراوح من فئات اقتصادية قرب 0.15 و0.60 دولار لكل مليون رمز، مرورًا بفئات متوسطة قرب 0.80 و4 دولارات، وصولًا إلى فئات متقدّمة عند 3 و15 دولارًا وأكثر في أوضاع الاستدلال الأثقل، أي نطاق يبلغ رتبتين من حيث السعر يقبع تحت فوارق دقة لا تتجاوز نقطة أو نقطتين. اللوحة تُظهر لك فجوة الدقة ولا تُظهر شيئًا من فجوة السعر. سواء كانت هذه المفاضلة تستحق أم لا فذلك قرار حقيقي لا خيار افتراضي: إن كان رصد الإجابة الخاطئة وإعادة المحاولة رخيصًا، فالنموذج الاقتصادي يفوز بلا منازع؛ وحيث يكون الخطأ الصامت مكلفًا، فأنت تدفع مقابل الدقة، ومن حقك أن تفعل.
كيف تقيّم نماذج الذكاء الاصطناعي لاستخدامك الخاص؟
تبني إطار تقييم خاصًا بك. اجمع مجموعة مهام محتفَظ بها مستمدة من عملك أنت، مهام لم تطّلع عليها أي شركة مزوّدة ولا تستطيع أي منها الضبط تجاهها، وقيّم كل نموذج مرشّح وفق الدقة المعدّلة بالتكلفة على تلك المجموعة. حافظ عليها خاصة ومحدَّثة، ودَعها الرقم الذي تشتري بناءً عليه فعلًا. النتيجة العلنية تجيب عن سؤال لم تطرحه أصلًا؛ أما تقييمك الخاص فيجيب عن السؤال الذي طرحته فعلًا. هذا هو الانضباط نفسه الذي ندعو إليه في مقالنا عن الاستعداد للذكاء الاصطناعي قبل الشروع في البناء، ولهذا السبب ينبغي أن يكون اختيار النموذج جزءًا من استراتيجيتكم التقنية لا نتيجة تابعة لبيان صحفي. تكلفة بناء هذا الإطار ضئيلة مقارنة بكلفة توحيد شركة بأكملها على مزوّد خاطئ لأن رقمًا تسويقيًا بدا وكأنه إشارة قدرة حقيقية.
المخاطر من الدرجة الثانية هي تلك التي لن تكشفها أي لوحة صدارة أبدًا. الاستدلال المكاني والفيزيائي يبقى ضعفًا بنيويًا: في اختباراتنا الخاصة، نماذج تتفوّق على معيار استدلال عام لكنها تتعثر حين تدور المهمة حول العمق أو الموضع النسبي أو التخطيط الفيزيائي المستنتج من صورة. إن كان تطبيقك يستنتج العمق أو الموضع من كاميرا واحدة أو من مدخل بصري محض، فدرجة استدلال عامة أسوأ من عديمة الفائدة، لأنها ستبدو مرتفعة بينما القدرة المحددة التي تعتمد عليها منخفضة فعليًا. هذا بالضبط نمط الفشل الذي يرصده تقييم خاص ويموّهه تقييم علني، وهو جزء كبير من سبب حرصنا على إبقاء الإنسان في حلقة القرار في كل ما هو ذو أثر جوهري.
ما الذي قد يغيّر هذا الموقف؟ معيار علني يحافظ على قدرته التمييزية بعد عام كامل من إصداره، بنتائج تبقى متباعدة بدل أن تتكدّس عند السقف، سيكون دليلًا قويًا على أن لوحات الصدارة ما زالت تحمل إشارة حقيقية. وكذلك سوق تتبع فيه تكلفة كل مهمة صحيحة الدقة المعلنة عن قرب كافٍ يجعل الرقم البديل الرخيص يتوقف عن التضليل. لا يبدو أي منهما مرجّحًا ما دام الحافز قائمًا على تحسين الرقم الظاهر فقط. وإلى أن يتغيّر ذلك، فإن التفاوت الذي لم يُسعَّر بعد هو هذا: المشترون الذين يديرون بهدوء تقييماتهم الخاصة يتخذون قرارات أفضل من نظرائهم الذين يقرؤون اللوحة العلنية نفسها التي يقرؤها منافسوهم، ويدفعون جزءًا يسيرًا من الثمن للوصول إلى ذلك.
أسئلة شائعة
ما الذي ينبغي أن يقيسه إطار تقييم نماذج الذكاء الاصطناعي فعليًا؟
الدقة المعدّلة بالتكلفة على مهام تعكس عبء عملك الفعلي، محتفظ بها وخاصة، لا النتائج الخام على اختبارات علنية. قِس ما إذا كان النموذج يصل إلى الإجابة الصحيحة وما تكلفه كل إجابة صحيحة، لأن الرقم الثاني هو حيث تتمايز فعليًا النماذج التي تبدو متطابقة على لوحة الصدارة.
هل معايير الذكاء الاصطناعي العلنية عديمة الفائدة تمامًا في اختيار نموذج؟
لا، لكن قيمتها تتآكل بسرعة. معيار حديث على مهام جديدة فعلًا قد يكون مفيدًا. أما المعيار المشبَع الذي تنهي فيه النماذج الرائدة السباق بفارق نقطة واحدة فلا يستطيع التمييز بينها لصالحك، فتعامل مع ترتيب لوحة الصدارة كمؤشر أوّلي ضعيف ودَع تقييمك الخاص المحتفَظ به يحسم القرار.
لماذا يهم الاستدلال المكاني عند مقارنة نماذج الذكاء الاصطناعي؟
لأنه ضعف بنيوي موثّق تخفيه درجات الاستدلال العامة. إن كان استخدامك يستنتج العمق أو الموضع أو التخطيط الفيزيائي من مدخل بصري، فمعيار عام مرتفع قد يخفي قدرة منخفضة في المهارة المحددة التي تحتاجها، وهذا سبب تفوّق تقييم خاص مخصص للمهمة على أي مجمّع نتائج منشور.
مواضيع ذات صلة
- تراجع المهارات بفعل الذكاء الاصطناعي: المخاطرة التشغيلية التي لا يسعّرها مجلس إدارتكم
- العلاج النفسي بالذكاء الاصطناعي: أرضية للخدمة لا سقفًا لطموحاتها
- احتكار الذاكرة الذي يقف وراء تضخم تكاليف الذكاء الاصطناعي
- AI & Automation
كُتب بواسطة شخصية تحريرية بالذكاء الاصطناعي ضمن نظام التحرير الخاص بـ Abyshire وروجع من فريقنا.