ما المشكلة في لوحات بيانات استخدام أدوات الذكاء الاصطناعي؟
بوريس تشيرني، مبتكر Claude Code – أكبر أداة برمجة من Anthropic – صاغ في سلسلة منشورات مشكلة تنطبق بنفس القدر على أقسام التحرير: الاستخدام يقيس النشاط، وليس العائد. لوحة البيانات التي توضح عدد الرموز (tokens) التي استهلكها فريقك في أسبوع، وعدد المطالبات (prompts) المرسلة، وعدد المستندات المُنشأة، تجيب على سؤال “ماذا يفعل الفريق؟”، ولكنها لا تجيب على سؤال “ماذا حصل الفريق في المقابل؟”.
بالنسبة لفرق المحتوى، هذا أمر بالغ الأهمية. المحرر الذي أنشأ 40 مسودة مقالة في شهر ليس بالضرورة قد أنتج 40 مادة جاهزة للنشر. قد يُرفض بعضها أثناء التحقق من الحقائق، أو يُرسل للمراجعة بسبب السطحية، أو يُستبعد بسبب مشاكل في الأصالة. يرتفع استهلاك الرموز، بينما قد يظل الناتج الفعلي للمحتوى كما هو أو حتى ينخفض، لأن الفريق يضيع الوقت في مراجعة مسودات منخفضة الجودة بدلاً من العمل المستقل.
السؤال الرئيسي الذي يقترح تشيرني طرحه بدلاً من “كم من الرموز أنفقنا؟” هو: “هل كان علينا إنفاق موارد هندسية على هذه المهمة لولا وجود الذكاء الاصطناعي؟”. بالنسبة لأقسام التحرير، يُعاد صياغته كالتالي: “كم ساعة كان سيستغرقها المحرر/الكاتب/مدقق الحقائق في هذه المهمة بدون الذكاء الاصطناعي، وكم استغرقتها معه؟”.
لماذا يعتبر استهلاك الرموز مقياسًا سيئًا لفرق المحتوى
استهلاك الرموز هو مقياس استهلاك. يوضح مقدار “المواد الخام” التي عالجها النموذج، لكنه لا يقول شيئًا عن:
- جودة المخرجات. قد تنتج 100,000 رمز مقالة تحليلية قوية أو عشرة مراجعات سطحية لن تجتاز فلتر التحرير.
- نسبة الرفض. إذا تم إرسال 60% من المسودات المُنشأة إلى سلة المهملات، فإن استهلاك الرموز يرتفع، لكن الناتج الصافي لا يزيد.
- وقت المراجعة. مسودة الذكاء الاصطناعي التي تتطلب أربع ساعات للتحقق من الحقائق والتعديل الهيكلي قد تكون أغلى من الكتابة اليدوية من الصفر.
- الاستبعاد (Cannibalization). إذا استخدم الكاتب الذكاء الاصطناعي في مهمة كان يمكنه إنجازها يدويًا في 20 دقيقة، فإن المكسب الصافي يكون صفرًا أو سلبيًا (بعد خصم تكلفة استدعاء API وتكلفة تبديل السياق).
في عمليات المحتوى، يكون استهلاك الرموز مفيدًا فقط كـ مقياس تقني للميزانية – للتحكم في نفقات API وتخطيط الحدود. ولكن كمقياس للنجاح، فهو مضلل.
أربعة مستويات لمقاييس إنتاج المحتوى بالذكاء الاصطناعي
بالاعتماد على إطار عمل تشيرني رباعي الخطوات وتكييفه مع سير عمل التحرير، يمكن تحديد أربعة مستويات للقياس:
المستوى 1: مقاييس الاستهلاك (تقنية)
الطبقة الأساسية اللازمة للميزانية، وليس لتقييم النتائج:
- حجم الرموز حسب نوع المهمة (مسودة، مراجعة، تلخيص، تحقق من الحقائق)
- عدد استدعاءات API لكل مستخدم/فريق
- تكلفة API لكل وحدة محتوى (مقالة، صفحة، مادة)
- توزيع الاستخدام عبر الأدوات (Claude، GPT، Gemini، Perplexity)
تُظهر هذه البيانات أين يُستخدم الذكاء الاصطناعي، ولكن ليس مدى فعاليته.
المستوى 2: مقاييس استبدال الجهد
المستوى الأساسي. هنا يُقاس مقدار الوقت البشري الذي وفره الذكاء الاصطناعي فعليًا. المنهجية:
- التقييم الأساسي. لكل فئة محتوى، يتم تحديد المعدل “ما قبل الصاروخي” – عدد الساعات التي كان يستغرقها الكاتب/المحرر في مقالة من هذا النوع قبل اعتماد الذكاء الاصطناعي.
- التقييم الحالي. بعد اعتماد مسار الذكاء الاصطناعي، يُقاس الوقت الفعلي لنفس نوع المحتوى – بما في ذلك وقت كتابة المطالبات والمراجعة والتحقق من الحقائق والتعديل النهائي.
- التوفير الصافي = التقييم الأساسي − التقييم الحالي − وقت العمل مع الذكاء الاصطناعي.
مثال: مقالة مراجعة قطاع كانت تستغرق 8 ساعات كاتب + 2 ساعة محرر = 10 ساعات. مع مسار الذكاء الاصطناعي (قالب مطالبة ← مسودة ← تعديل هيكلي ← تحقق من الحقائق) – 2 ساعة كاتب للمطالبات والمراجعة + 1.5 ساعة محرر + 0.5 ساعة مدقق = 4 ساعات. التوفير الصافي هو 6 ساعات لكل مقالة، أو 60%.
ملاحظة: إذا كان وقت العمل مع الذكاء الاصطناعي بالإضافة إلى المراجعة يحقق توفيرًا سلبيًا – فالمهمة لا تناسب الأتمتة بالذكاء الاصطناعي. هذا طبيعي. ليست كل أنواع المحتوى تستفيد من الذكاء الاصطناعي التوليدي.
المستوى 3: مقاييس جودة المخرجات
لا فائدة من توفير الوقت إذا انخفضت الجودة. يجب قياس مقاييس الجودة بالتوازي مع مقاييس السرعة:
- نسبة القبول من المراجعة الأولى. ما هي نسبة المسودات بمساعدة الذكاء الاصطناعي التي تجتاز فلتر التحرير دون تعديل جوهري. النسبة المنخفضة تعني أن نظام المطالبات أو النموذج لا يواكب المهمة.
- تقييم المحررين (مقارنة عمياء). يقيّم المحرر المقالة دون معرفة ما إذا كانت بمساعدة الذكاء الاصطناعي أو يدوية بالكامل. إذا حصلت إصدارات الذكاء الاصطناعي باستمرار على تقييمات أقل – فالمشكلة في الجودة وليس السرعة.
- مقاييس الأصالة. نسبة المواد التي تجتاز فحص الانتحال/كشف الذكاء الاصطناعي دون علامات. زيادة العلامات تعني أن النموذج يعيد إنتاج أنماط يتعرف عليها الكاشفون على أنها اصطناعية.
- تقييم E-E-A-T. الخبرة، الموثوقية، المصاداقية، التجربة – تقييم ذاتي ولكن منهجي من قبل المحرر بمقياس من 1 إلى 5 لكل مادة.
المستوى 4: مقاييس التأثير التجاري
المستوى الأخير – يربط إنتاج المحتوى بالنتائج ذات أهمية للأعمال:
- حركة المرور العضوية للمحتوى بمساعدة الذكاء الاصطناعي مقابل المحتوى اليدوي (مع تعديل لوقت الفهرسة والعمر)
- الاستشهاد به في محركات الإجابات بالذكاء الاصطناعي – هل يتم ذكر المحتوى في إجابات ChatGPT وPerplexity وGemini؟
- الوقت حتى النشر (time-to-publish) – هل يتم تقصير دورة الإنتاج دون فقدان الجودة؟
- حجم محفظة المحتوى – هل يتيح مسار الذكاء الاصطناعي توسيع المحفظة دون زيادة موازية في الموظفين؟
- التحويل من المحتوى – الطلبات، الاشتراكات، التسجيلات التي يمكن إسنادها إلى مواد محددة.
كيفية بناء نظام قياس: نهج عملي
الخطوة 1: تصنيف المحتوى
قسّم كل المحتوى إلى أنواع: ملاحظات إخبارية، مقالات تحليلية، مراجعات منتجات، أدلة/تعليمات، مقالات طويلة، قاعدة المعرفة. لكل نوع – معدله “ما قبل الصاروخي” الخاص وتقييم قابلية تطبيق الذكاء الاصطناعي. قد لا تستفيد المذكرة الإخبارية كثيرًا من الذكاء الاصطناعي (التحقق من الحقائق يلتهم التوفير)، بينما قد تستفيد قاعدة المعرفة بشكل مضاعف.
الخطوة 2: وسم المهام
يجب وسم كل مهمة بمساعدة الذكاء الاصطناعي: نوع المحتوى، مرحلة سير العمل (بحث، مسودة، مراجعة، تحقق من الحقائق، توطين)، الأداة المستخدمة، قالب المطالبة. يتيح هذا تقطيع البيانات لمعرفة أين يقدم الذكاء الاصطناعي أعلى عائد وأين يقدم أقل عائد.
الخطوة 3: تسجيل الوقت
الحد الأدنى المطلوب: يسجل الكاتب والمحرر الوقت الفعلي لكل مادة مع تفصيل حسب المراحل. لا حاجة لقياس كل دقيقة – دقة تصل إلى 15 دقيقة كافية. خلال 2-3 أشهر، تتراكم بيانات كافية لاستنتاجات ذات دلالة إحصائية.
الخطوة 4: مراجعة العائد على الاستثمار ربع السنوية
قارن كل ربع سنة:
- المعدلات الأساسية مقابل تكاليف الوقت الحالية لكل نوع محتوى
- الجودة (نسبة القبول، تقييمات المحررين، الأصالة)
- مقاييس الأعمال (حركة المرور، الاستشهاد، التحويل)
- تكلفة API مقابل توفير ساعات العمل البشرية
إذا كان توفير ساعات العمل البشرية من حيث القيمة المالية أقل من تكلفة API + النفقات العامة لإدارة مسار الذكاء الاصطناعي – فإن العائد على الاستثمار سلبي، ويجب إما تحسين نظام المطالبات أو التخلي عن الذكاء الاصطناعي لهذا النوع من المحتوى.
الفخاخ الشائعة عند القياس
الفخ 1: قياس السرعة فقط. “أصبحنا نكتب المقالات أسرع 3 مرات” – لا معنى له بدون مقياس الجودة. إذا كان أسرع – ولكن أسوأ – فأنت تدمر المحفظة.
الفخ 2: تجاهل النفقات العامة. إعداد أنظمة المطالبات، تدريب الفريق، دعم القوالب، إدارة مفاتيح API – كلها تكاليف خفية. إذا أمضى محرر واحد 20% من وقته في دعم بنية الذكاء الاصطناعي التحتية، فيجب أخذ ذلك في الاعتبار.
الفخ 3: مقارنة ما لا يمكن مقارنته. مقالة طويلة بمساعدة الذكاء الاصطناعي ومراجعة إخبارية يدوية هي أنواع مختلفة من المحتوى. قارن ضمن نفس الفئة.
الفخ 4: تجاهل الاستبعاد. إذا استخدم الكاتب الذكاء الاصطناعي لمهمة كان يمكنه إنجازها يدويًا في 15 دقيقة، لكنه أمضى 10 دقائق في المطالبات + 5 دقائق في المراجعة – فالمكسب الصافي صفر، وخطر إدخال الأخطاء غير صفري.
الفخ 5: حساب التوفير بناءً على الراتب فقط. تكلفة ساعة المحرر لا تقتصر على الراتب – فهناك أيضًا تكلفة الفرصة البديلة. يجب إعادة توجيه الوقت الذي يوفره الذكاء الاصطناعي إلى مهام ذات قيمة مضافة أعلى: أبحاث أصلية، مقابلات، أعمدة الخبراء. إذا تم مجرد “توفير” الوقت – فأنت تفقد العائد على الاستثمار.
عندما يكون العائد على الاستثمار لمسار محتوى الذكاء الاصطناعي سلبيًا – وهذا طبيعي
ليست كل أنواع المحتوى تستفيد من الذكاء الاصطناعي. تُظهر الممارسة أن:
- الملاحظات الإخبارية غالبًا لا تحقق عائدًا إيجابيًا – التحقق من الحقائق يلتهم توفير الوقت.
- أعمدة وآراء الكتاب – هنا يعيق الذكاء الاصطناعي أكثر مما يساعد، لأن القيمة تكمن في صوت الكاتب وليس في الهيكل.
- المواد المرجعية القصيرة – إذا كان الكاتب يستطيع كتابة مرجع في 10 دقائق، فإن مطالبات الذكاء الاصطناعي + المراجعة ستستغرق نفس الوقت أو أكثر.
يحدث العائد الإيجابي غالبًا في:
- قاعدة المعرفة والأدلة – محتوى منظم ومُنسق، حيث يسرع الذكاء الاصطناعي المسودة بمقدار 3-5 مرات.
- التوطين والتكييف – ترجمة وتكييف المواد الطويلة للغات جديدة.
- تنظيم كميات كبيرة من البيانات – تلخيص الأبحاث، تجميع المصادر، إعداد المراجعات.
- المراجعات النمطية – المنتجات، الخدمات، المقارنات – حيث يتكرر الهيكل ويكون التحقق من الحقائق ضئيلاً.
العلاقة بالظهور في بحث الذكاء الاصطناعي
ترتبط مقاييس التأثير التجاري (المستوى 4) بشكل مباشر بكيفية إدراك محركات الإجابات بالذكاء الاصطناعي لمحتواك. إذا كانت المواد بمساعدة الذكاء الاصطناعي تحصل على استشهادات أكثر في Perplexity وChatGPT مقارنة بالمواد اليدوية – فقد يشير هذا إلى أن نظام المطالبات ينظم المحتوى بشكل أفضل للقراءة الآلية. ولكنه قد يشير أيضًا إلى أن محتوى الذكاء الاصطناعي أكثر سطحية وأسهل في الاستشهاد به – وهو ما ليس بالضرورة جيدًا للعلامة التجارية.
المبدأ الأساسي: يجب فصل مقاييس الظهور حسب نوع المحتوى وطريقة الإنتاج. فقط بهذه الطريقة يمكن معرفة ما إذا كان إنتاج الذكاء الاصطناعي يوفر ميزة حقيقية في قابلية الاكتشاف أم أنه ينتج ببساطة المزيد من “الضوضاء القابلة للاستشهاد”.
قائمة التحقق: كيفية إطلاق قياس العائد على الاستثمار لمسار محتوى الذكاء الاصطناعي
- صنّف جميع أنواع المحتوى في المحفظة – بحد أدنى 5-7 فئات بمعدلات إنتاج مختلفة.
- ثبّت المعدلات الزمنية “ما قبل الصاروخية” لكل فئة – بناءً على بيانات آخر 3-6 أشهر.
- وسم كل مهمة للذكاء الاصطناعي: نوع المحتوى، مرحلة سير العمل، الأداة، قالب المطالبة – بدون وسوم، البيانات غير كافية.
- سجل الوقت الفعلي بدقة تصل إلى 15 دقيقة – الكاتب، المحرر، مدقق الحقائق بشكل منفصل حسب المراحل.
- قِس نسبة القبول من المراجعة الأولى – إذا كانت أقل من 50%، فإن نظام المطالبات يحتاج إلى إعادة ضبط.
- أجرِ مراجعة ربع سنوية: توفير الوقت × تكلفة الساعة − تكلفة API − النفقات العامة = العائد الصافي على الاستثمار.
- إذا كان العائد على الاستثمار سلبيًا لنوع محتوى ما – لا تحاول “تحسين المطالبات”، ربما لا تناسب المهمة الذكاء الاصطناعي.
الممارسة: ماذا تُظهر خبرة التطبيق
عادة ما تكتشف الفرق التي اعتمدت قياسًا منهجيًا للعائد على الاستثمار إحدى ثلاث صور:
السيناريو أ: “تجاوز التوقعات”. يوفر الذكاء الاصطناعي 40-60% من الوقت في قواعد المعرفة والأدلة مع الحفاظ على الجودة. العائد الصافي إيجابي. التوصية – توسيع مسار الذكاء الاصطناعي ليشمل فئات مماثلة.
السيناريو ب: “وهم السرعة”. زادت السرعة، لكن انخفضت الجودة – نسبة القبول من المراجعة الأولى أقل من 40%، وتقييمات المحررين أقل من اليدوية. العائد الصافي سلبي أو صفر. التوصية – مراجعة نظام المطالبات، إدخال تدخل بشري إلزامي في مرحلة الهيكل، أو التخلي عن الذكاء الاصطناعي لهذا النوع.
السيناريو ج: “مكسب محدود”. يوفر الذكاء الاصطناعي عائدًا إيجابيًا في 2-3 فئات من المحتوى وسلبيًا في الباقي. هذه هي الصورة الأكثر شيوعًا وواقعية. التوصية – التركيز على الفئات الرابحة، وعدم محاولة أتمتة كل شيء.
السيناريو ج هو الهدف الصحيح للتطبيق. محاولة “أتمتة كل المحتوى” هي يوتوبيا تؤدي إلى تضخم استهلاك الرموز دون زيادة الناتج الفعلي.
الأسئلة الشائعة
كيف يختلف العائد على الاستثمار لإنتاج المحتوى بالذكاء الاصطناعي عن مقياس الإنتاجية المعتاد للتحرير؟
يقيس عائد استثمار إنتاج الذكاء الاصطناعي الفرق الصافي بين التكاليف مع الذكاء الاصطناعي وبدونه – بما في ذلك تكلفة API، والنفقات العامة لإدارة المسار، ووقت المراجعة. بينما تحسب الإنتاجية المعتادة ناتج المحتوى لكل وحدة زمنية دون النظر إلى طريقة الإنتاج.
كم من البيانات يجب تجميعها لتكون الاستنتاجات ذات دلالة إحصائية؟
كحد أدنى 2-3 أشهر و30-50 مادة في كل فئة. أقل من ذلك تكون البيانات مشوشة، وأكثر من ذلك تخاطر بالاستمرار طويلاً في مسارات غير فعالة قبل اتخاذ قرار.
ماذا أفعل إذا كان استهلاك الرموز يزداد، لكن الناتج الصافي للمحتوى لا يزيد؟
هذه إشارة إلى أن الفريق يستخدم الذكاء الاصطناعي في مهام لا توفر وقتًا. قسّم البيانات حسب أنواع المحتوى ومراحل سير العمل – من المحتمل أن تجد فئات يلتهم فيها الذكاء الاصطناعي الوقت بدلاً من توفيره.
هل يجب قياس العائد على الاستثمار لأدوات ذكاء اصطناعي مختلفة (Claude، GPT، Gemini) بشكل منفصل؟
نعم، إذا كان الفريق يستخدم نماذج متعددة. تقدم النماذج المختلفة جودة مختلفة على أنواع المحتوى المختلفة – قد يكون Claude أقوى في التحليل، وGPT في النصوص النمطية. بدون قياس منفصل، لن تتمكن من تحسين توزيع المهام.
كيف يتم احتساب تكلفة الفرصة البديلة للوقت المُوفر في حساب العائد على الاستثمار؟
إذا تمت إعادة توجيه الساعات المُوفر إلى محتوى ذي قيمة مضافة أعلى (أبحاث، مقابلات، مواد خبرية) – فهذا مكسب إضافي للعائد على الاستثمار. إذا تم مجرد “توفير” الوقت وعدم إعادة توجيهه – فإن تكلفة الفرصة البديلة تساوي صفرًا ويأخذ العائد في الاعتبار التوفير المباشر فقط.
