تعتمد منهجية "التالتة" على مبدأ واضح، وهو أننا لا نطلق حكمًا على جهاز أو لعبة أو شبكة أو أداة ذكاء اصطناعي دون تحديد السؤال الذي نريد الإجابة عنه، والبيانات اللازمة للإجابة، والطريقة المستخدمة لجمعها أو قياسها. والحقيقة أن الاختبار يختلف باختلاف المنتج، لذلك لا نستخدم معيارًا واحدًا لتقييم جميع الأجهزة والخدمات.
تبدأ العملية بتحديد احتياج المستخدم ونية البحث. هل يريد مقارنة جهازين؟ أم معرفة السعر النهائي؟ أم قياس أداء لعبة؟ أم التأكد من قدرة أداة ذكاء اصطناعي على تنفيذ مهمة باللغة العربية؟ بناءً على ذلك، نحدد سيناريو الاختبار ومعاييره، ونختار مصادر البيانات والأدوات المناسبة، ونوضح ما الذي يمكن التحقق منه عمليًا بمساعدة فريقنا التقني المتخصص، وما الذي يحتاج إلى معلومات من مصدر خارجي.
نستخدم تقنيات رصد ذكية لجمع البيانات المتاحة – بفضل فريق مهندسينا – من المواقع الرسمية والمتاجر وصفحات الخدمات، مثل الأسعار والمواصفات والخطط والتوافر وطرق الدفع والرسوم الظاهرة. ونسجل تاريخ التحقق والمصدر والنسخة أو الخطة ذات الصلة متى أمكن. وعندما تتطلب التجربة إنشاء حساب أو الوصول إلى مرحلة معينة داخل الخدمة، نلتزم بالصلاحيات المتاحة وشروط الاستخدام، ولا نتجاوز وسائل الحماية أو ننفذ معاملات مالية غير مصرح بها.
في اختبارات الجوالات والألعاب، نعتمد عند توفر الأجهزة وإمكانات القياس على بروتوكولات محددة تتناسب مع السؤال، وقد تشمل إعدادات اللعبة ومدة الجلسة ومعدل الإطارات ودرجات الحرارة واستهلاك البطارية وزمن الاستجابة. وتتأثر النتائج بعوامل مثل إصدار النظام واللعبة، ودرجة الحرارة المحيطة، وسطوع الشاشة، والشبكة ومكان الاختبار. لذلك نوثق الظروف التي قد تؤثر في النتيجة، ولا نعمم قياسًا محدودًا على جميع الأجهزة أو الشبكات أو المستخدمين.
أما اختبارات أدوات الذكاء الاصطناعي والـ SaaS، فتعتمد على مهام ومعايير محددة مسبقًا. وعند مقارنة عدة أدوات، نستخدم مدخلات متشابهة قدر الإمكان ونوثق النتائج والأخطاء والوقت والتكلفة والقيود ذات الصلة. وتُفسر النتائج ضمن نطاق الاختبار الفعلي، ولا نعتبر عينة محدودة دليلًا على تفوق مطلق أو أداء مضمون في كل الاستخدامات.
نحتفظ بسجلات التجارب والنتائج والأدلة المتاحة، مثل لقطات الشاشة والتسجيلات والقياسات والملاحظات ومصادر المعلومات. ونميز بين النتائج التي جُمعت مباشرة من الاختبار، والبيانات المنشورة لدى الشركات، والاستنتاجات التحليلية التي نبنيها على تلك البيانات. وإذا تعارضت المصادر أو لم تكن الأدلة كافية لدعم ادعاء مهم، نوضح ذلك أو نحيل الحالة إلى مراجعة إضافية بدل تقديم نتيجة غير مؤكدة باعتبارها حقيقة.
تساعدنا الأتمتة والذكاء الاصطناعي على تنفيذ بعض خطوات البحث وتنظيم البيانات وتحليلها وصياغة المحتوى، لكنهما لا يحلان محل الأدلة. ولا نصف منتجًا بأنه اختُبر عمليًا إلا عندما يتوفر سجل يدعم إجراء الاختبار فعلًا، ولا ننسب قياسات إلى جهاز أو شبكة أو موقع جغرافي لم تُجرَ فيه التجربة. وقد تختلف درجة الاختبار من صفحة إلى أخرى، ولذلك نوضح المنهج المستخدم وحدود ما يمكن استنتاجه منه.
نراجع النتائج قبل نشرها عندما تتطلب طبيعتها ذلك، ونوفر مسارًا لمراجعة الحالات غير المكتملة أو المتعارضة. كما نعيد التحقق من البيانات المتغيرة، مثل الأسعار والتوافر والخطط والميزات، وفق جدول مناسب لطبيعتها، ونعرض تاريخ آخر تحقق عندما يكون ذلك ذا قيمة للمستخدم. وإذا اكتشفنا خطأ جوهريًا، نصححه ونحدّث الصفحة بحسب الأدلة الجديدة.
هدفنا من هذه المنهجية أن يعرف القارئ ما الذي اختبرناه فعلًا، وكيف اختبرناه، وما الذي أظهرته النتائج، وما الحدود التي ينبغي مراعاتها قبل اتخاذ القرار. فالاختبار الجيد لا يكتفي بإعلان النتيجة، بل يتيح فهم أساسها ومدى إمكانية الاعتماد عليها.