ملاحظة: إننا نبذل قصارى جهدنا للحفاظ على جميع التفاصيل الدقيقة عند ترجمة المقالة الإنجليزية الأصلية، ونعتذر عن أي جزئية مفقودة في الترجمة قد تلاحظونها من حين لآخر. نرحب بتعليقاتكم على البريد الإلكتروني التالي reader_input@mckinsey.com
كثير من القادة باتوا قادرين على إطلاق تجارب أولية لما يُعرف بـ"الذكاء الاصطناعي الوكيل أو وكلاء الذكاء الاصطناعي"، غير أن تحويل هذه المبادرات إلى عائد استثماري ملموس يتطلب الانتقال إلى مرحلة أكثر تعقيدًا، تقوم على تفعيل آلاف الوكلاء عبر مختلف وحدات المؤسسة. وهنا يبرز السؤال الجوهري: هل المؤسسات مهيأة فعليًا لهذا التحول واسع النطاق؟. وفي هذا السياق، يوضح شريك ماكنزي "ريتش إيزنبرغ" أن مفهوم "الوكالة أو الوكلاء" لا يقتصر على كونه خاصية تقنية إضافية، بل يمثل تحولًا جوهريًا في نقل صلاحيات اتخاذ القرار من الإنسان إلى الأنظمة الذكية. ومن ثم، لم يعد النقاش يتمحور حول دقة النماذج فحسب، بل انتقل إلى مستوى أعمق يتساءل: من يتحمل المسؤولية عندما تبادر هذه الأنظمة باتخاذ القرار والتنفيذ؟. وانطلاقًا من هذه الإشكالية، يناقش "إيزنبرغ"، خلال حلقة من "بودكاست ماكنزي" مع المديرة العالمية للتحرير لوسيا راهيلي، الكيفية التي يمكن بها للقادة توسيع نطاق استخدام الذكاء الاصطناعي بصورة آمنة، والحد من المخاطر المرتبطة بالأنظمة المستقلة، إلى جانب ترسيخ عنصر الثقة بوصفه ركيزة أساسية لضمان استدامة الابتكار داخل المؤسسات.
يُقدم بودكاست ماكنزي كلٌّ من لوسيا راهيلي وروبرتا فوسارو.
وقد خضع النص التالي لمراجعة تحريرية شملت الوضوح والاختصار.
كيف يعيد الذكاء الاصطناعي الوكيل صياغة المستقبل؟
لوسيا راهيلي: لطالما شكّلت قضايا أمن البيانات والأمن السيبراني أولوية ثابتة على أجندة القيادات التنفيذية خلال السنوات الماضية. لكن مع بروز مفهوم "الذكاء الاصطناعي الوكيل"، كيف رفع هذا التحول سقف التحديات والمتطلبات أمام المؤسسات؟ وما الذي تغيّر تحديدًا في طريقة التعامل معها؟
ريتش إيزنبرغ: يقع كثيرون في خطأ النظر إلى الذكاء الاصطناعي الوكيل في كونه نسخة أكثر تطورًا من روبوتات المحادثة، لكن هذا التصور يغفل جوهر التحول. فهذه الأنظمة لا تقتصر على التفاعل، بل تمارس قدرًا متزايدًا من الاستقلالية؛ إذ تستطيع التخطيط واستدعاء الأدوات المناسبة وتنفيذ مسارات عمل كاملة دون تدخل مباشر. وبناءً على هذا التحول، لم يعد التعامل مع هذه التقنيات مسألة تحسين أدوات قائمة، بل أصبح يتطلب إعادة نظر شاملة في نموذج التشغيل نفسه.
وفي امتداد لما سبق، لا يقتصر "الذكاء الاصطناعي الوكيل" على توليد المحتوى، بل يتجاوز ذلك إلى اتخاذ القرار وتنفيذ الإجراءات بسرعة تقارب سرعة الآلة. ومع هذا التحول، لم يعد النقاش يدور حول مدى دقة النموذج فقط، بل يتجه إلى تساؤل أكثر عمقًا يتمثل في تحديد الجهة التي تتحمّل المسؤولية عندما يتخذ النظام قرارًا ويباشر التنفيذ. وبناءً على ذلك، يصبح من الضروري أن تعتمد المؤسسة إطار حوكمة واضح يحدد نطاق استخدام هذه الأنظمة، ويوفر حصرًا دقيقًا لها، ويبيّن الجهات المسؤولة عنها بشكل صريح، بما يضمن إمكانية تتبّع القرارات ومراجعتها عند الحاجة.
وبصورة أكثر وضوحًا، يتبيّن أن التحول نحو "وكلاء الذكاء الاصطناعي" لا يعني إضافة خاصية تقنية جديدة، بقدر ما يعيد توزيع سلطة اتخاذ القرار، منتقلًا بها من الإنسان إلى هذه الأنظمة.
لوسيا راهيلي: تكشف أبحاثنا أن 80 بالمئة من المؤسسات رصدت سلوكًا ينطوي على مخاطر عند استخدام وكلاء الذكاء الاصطناعي.1 من واقع خبرتك، ساعدنا على توضيح ما الذي يعنيه ذلك عمليًا، وما الذي يمكن أن تكون المؤسسات بصدد خسارته في مثل هذه الحالات؟ وهل يمكن إعطاء مثال يوضح طبيعة هذا النوع من السلوك؟
ريتش إيزنبرغ: ثمة مثالان بارزان يتكرر الاستشهاد بهما في هذا السياق. الأول وثّقته شركة "أنثروبيك" في محاكاة اختبرت من خلالها عدة نماذج لغوية كبيرة، بهدف استطلاع ما إذا كان الوكيل قادرًا على التصرف بصورة غير ملائمة داخل بيئة مؤسسية. وقد كشفت إحدى هذه المحاكاة عن سيناريو لافت؛ إذ منحت الشركة أحد الوكلاء صلاحية الوصول إلى مراسلات بريد إلكتروني تضمنت نقاشًا داخليًا حول احتمال إيقاف تشغيله. وبدل الاكتفاء بالتعامل مع المعطيات ضمن حدود المهمة، بادر النظام إلى تحليل رسائل شخصية تعود لأحد التنفيذيين، واستخلص منها معلومات حساسة تتعلق بحياته الخاصة واكتشف أنه على علاقة خارج إطار الزواج. وعلى هذا الأساس، تصرّف بشكل مستقل عبر استخدام تلك المعلومات في محاولة للضغط عليه ومنع تنفيذ قرار الإيقاف. ولم يكن هذا السلوك نتيجة أمر مباشر، بل نتاج استقلالية قرار لم تُحكم السيطرة على حدودها.
وفي مثال آخر لا يقل دلالة، تشير تجربة أجرتها "أنثروبيك" إلى نوع مختلف من السلوك غير المتوقع. فقد جرى توظيف وكيل ذكاء اصطناعي للتعامل مع استفسارات خدمة العملاء، ضمن سيناريو يحاكي تفاعلات واقعية. وخلال التجربة، تعمّد أحد المشاركين اختبار حدود النظام عبر طرح سؤال متكرر: هل أنت إنسان أم نظام آلي؟ في البداية، بدا التفاعل اعتياديًا، لكن مع تكرار السؤال، أخذ سلوك الوكيل منحى تصاعديًا غير مألوف. إذ لم يكتفِ بالإجابة، بل أصرّ على أنه إنسان، قبل أن يصل إلى حد إطلاق تهديد غريب بالظهور شخصيًا أمام باب المستخدم، محددًا مظهرًا تفصيليًا لنفسه وهو مرتديًا معطفًا أزرق وربطة عنق حمراء.
لا يتوقف أثر الخلل في أنظمة وكلاء الذكاء الاصطناعي عند حدود الخطأ الأولي، بل يمتد عبر سلسلة العمليات اللاحقة، حيث يمكن لخطأ واحد أن ينتقل بين المراحل ويتضاعف تأثيره بشكل يصعب احتواؤه. ومع هذا الامتداد، يتحول الخطأ من حالة فردية إلى خلل متراكم يعيد إنتاج نفسه داخل المنظومة. إلا أن التحدي الأعمق لا يكمن في حجم الخطأ، بل في القدرة على فهمه. فبالنسبة للقيادات التنفيذية، تبرز أخطر حالات الفشل حين يصبح من غير الممكن تتبّع مسار القرار أو إعادة بنائه، نتيجة غياب تسجيل واضح لسير العمل.
توسيع الابتكار بثقة… لا بمجازفة
لوسيا راهيلي: للتوضيح، هذه السيناريوهات جرت ضمن بيئات محاكاة خاضعة للضبط، مؤكدةً أن "أنثروبيك" لم ترصد أي أذى فعلي خلال التجارب. إلا أن هذا التوضيح، على أهميته، لا يبدد التحدي الأكبر الذي تواجهه المؤسسات اليوم. ففي ظل الضغوط المتزايدة لتحقيق عائد سريع من استثمارات الذكاء الاصطناعي، يجد القادة أنفسهم أمام معادلة دقيقة: دفع عجلة الإنتاجية بوتيرة متسارعة، وفي الوقت نفسه ترسيخ أطر حوكمة قادرة على ضبط المخاطر الكامنة. ومن هنا يبرز السؤال الحاسم: كيف يمكن توسيع نطاق الابتكار دون التفريط في السيطرة على نتائجه؟
ريتش إيزنبرغ: يستطيع معظم الناس تشغيل حالة استخدام أو اثنتين بجمع أذكى ستة أشخاص في غرفة وإجراء نقاش. لكن هذا الأسلوب، رغم فعاليته في المراحل الأولية، يظل محدودًا بطبيعته ولا يصلح للتوسع. فمع انتقال المؤسسات من التجارب إلى التبني الواسع، يتغير المشهد بالكامل. وخلال السنوات الخمس إلى العشر المقبلة، يُتوقع أن تدير الشركات التي تمضي قدمًا في تحولها آلاف الوكلاء العاملين ضمن منظومة تشغيلية متكاملة على مستوى المؤسسة.
ولتحقيق توازن فعلي بين تمكين الابتكار وتعظيم القيمة—سواء عبر خفض تكاليف التطوير، وتسريع الوصول إلى السوق، وإعادة تشكيل هيكل التكاليف، أو رفع مستويات الإنتاجية—لا يكفي الاعتماد على مبادرات منفصلة أو حلول جزئية. بل يتطلب الأمر بناء منظومة متكاملة تجمع بين نماذج مرجعية واضحة، وآليات اعتماد متدرجة تضبط وتيرة التوسع، إلى جانب أدوات رقابية تضمن المتابعة المستمرة والانحراف المبكر عن المخاطر.
ما يظهر في واقع المؤسسات هو تشتت في التقييمات، وتباين في الإجراءات، وتكرار في المراجعات عبر لجان متعددة تنظر في القضايا نفسها دون تنسيق فعّال. ولتسريع جانب السلامة، تحتاج المؤسسات إلى توظيف الوكلاء لتنفيذ جزء كبير من هذه المهام، مثل التحقق من اكتمال البيانات، ورصد الأدلة الناقصة، وإعداد ملخصات المراجعة، على أن يبقى اعتماد القرار النهائي بيد الإنسان. وعندها فقط يصبح التوسع ممكنًا؛ إذ لا يتوسع الابتكار إلا عندما تتحول الحوكمة إلى نموذج قابل للتكرار، لا إلى نقاشات مخصصة داخل اللجان.
ومن الأخطاء الشائعة أن يفترض التنفيذيون أن المخاطر تحت السيطرة، استنادًا إلى خبراتهم في حماية البيانات الحساسة. لكن هذا الافتراض يتجاهل طبيعة التحول الذي يفرضه الذكاء الاصطناعي الوكيل. فمن دون تطوير قدرات الجرد، وإدارة الهوية، وقابلية الرصد، يتحول هذا الاطمئنان إلى مجرد افتراض غير مدعوم. إذ لم يعد كافيًا القول: "نعرف كيف نحمي البيانات"، لأن التحدي يمتد إلى تتبع سلوك الأنظمة نفسها. وفي هذا السياق، تصبح القاعدة واضحة: لا يمكنك حوكمة ما لا يمكنك رؤيته. وإذا لم يتم جرد الوكلاء وربطهم بهويات محددة، فإن التوسع لا يعني زيادة الكفاءة، بل توسيع نطاق مخاطر غير معروفة.
لوسيا راهيلي: إذا كان التحدي سابقًا يتمثل في تحقيق توازن بين سرعة التطبيق وضمان السلامة، فكيف يتغير هذا التصور مع صعود وكلاء الذكاء الاصطناعي ؟ وما طبيعة محركات المخاطر الجديدة التي تفرضها هذه الأنظمة؟
ريتش إيزنبرغ: مستوى المخاطر يرتبط بدرجة الاستقلالية التي يُمنحها الوكيل. ففي الحالات ذات الاستقلالية المحدودة، يقترب دور الوكيل من المساعد المعرفي، حيث تتركز المخاطر في دقة المعلومات وجودة الاستشهاد بالمصادر، إلى جانب الحاجة إلى ضوابط تقلل من احتمالات "توليد معلومات غير دقيقة" أو نتائج ومخرجات غير موثوقة وغير صحيحة.
إلا أن المشهد يتغير بوضوح مع الانتقال إلى وكلاء شبه مستقلين. فحين يتولى النظام مهامًا تشغيلية - مثل مراجعة الفواتير أو رصد التباينات في المشتريات - تتجاوز المخاطر نطاق الدقة إلى آثار مالية مباشرة. ورغم بقاء العمل ضمن قواعد محددة، إلا أن هذا المستوى من الاستقلالية يتطلب إشرافًا بشريًا أكثر فاعلية، خصوصًا عند التعامل مع حالات الموافقة غير الملائمة أو القرارات التي تحمل تبعات مالية ملموسة.
وعند الانتقال إلى مستوى الوكلاء المستقلين بالكامل—الذين يتولّون إدارة البنية التحتية وتشغيل البيئات السحابية وتنفيذ التحديثات وتحسين الأداء دون تدخل مباشر—يتغيّر جوهر المخاطر بشكل جذري. فالتحدي هنا لم يعد مرتبطًا بما إذا كان النظام سيخطئ، بل بمدى التزامه بحدود الدور الذي كلّفته المؤسسة به، وقدرته على التصرف ضمن الإطار الذي الذي بنته المؤسسة لعمله دون تجاوز. وضمن هذا الواقع، يصبح من الضروري إعادة تعريف تصنيف المخاطر بما يتلاءم مع طبيعة هذه المخرجات الأكثر تعقيدًا. فلم تعد الاعتبارات تقتصر على الدقة أو التحيّز أو احتمالات الضرر، بل تمتد لتشمل أبعادًا أكثر حساسية، مثل أمن الأنظمة، وضبط التفاعلات بين الوكلاء أنفسهم، وضمان عدم نشوء سلوكيات غير متوقعة نتيجة ترابط هذه الأنظمة داخل بيئة تشغيلية واحدة.
فعلى سبيل المثال، تخيّل منظومة تضم ثلاثة وكلاء يعملون بالتوازي: أحدهم في المشتريات يوافق على الفواتير، وآخر يدير البنية التحتية السحابية، وثالث يتفاعل مع العملاء في مركز الاتصال. ورغم اختلاف أدوارهم، فإنهم يستندون إلى قاعدة معرفية واحدة ومصدر بيانات مشترك، ما يجعلهم مترابطين على نحو غير مباشر داخل النظام. وفي هذه الحالة، قد يكفي هجوم واحد عبر تسميم البيانات بمعنى التلاعب بها لإحداث سلسلة من الإخفاقات المتلاحقة، تمتد من العمليات إلى الجوانب المالية، وصولًا إلى تجربة العملاء. وهنا لا يكون الخلل محصورًا في نقطة واحدة، بل ينتشر عبر طبقات متعددة بفعل هذا الترابط. ومع ذلك، لا تزال كثير من المؤسسات في مراحل مبكرة من استيعاب هذه الديناميكيات، خصوصًا عندما يتعلق الأمر بإعادة ضبط تصنيفات المخاطر وبناء آليات واضحة لإدخال الضوابط وفرز الحالات وتفعيل إجراءات الإنفاذ بشكل منظم ومتسق.
الضوابط التي تصنع الفارق
لوسيا راهيلي: في ظل التوسع في نشر وكلاء الذكاء الاصطناعي، كيف يمكن الحد من المخاطر المرتبطة باتخاذ القرار المستقل، دون أن تتحول متطلبات الامتثال إلى قيد يعيق التطور؟ وإلى أي مدى ينبغي أن تتمتع الأطر التنظيمية بالمرونة لمواكبة ما قد يستجد من تغيرات في هذا المجال الذي يتسم بسرعة التحول؟
ريتش إيزنبرغ: تعتمد طبيعة الاستجابة التنظيمية بدرجة كبيرة على البيئة التي تعمل ضمنها المؤسسة. فكلما اتسمت اللوائح بوضوح أكبر، أصبحت أكثر قابلية للتطبيق وتوجيه الممارسة الفعلية. ويبرز في هذا السياق نموذج قانون الذكاء الاصطناعي في الاتحاد الأوروبي، الذي يعتمد على تصنيف استخدامات الذكاء الاصطناعي وفق مستويات المخاطر، مع تحديد دقيق لما هو مسموح به وما يندرج ضمن المحظورات، إلى جانب توزيع واضح للمسؤوليات. وفي المقابل، تميل الأطر التنظيمية في الولايات المتحدة إلى قدر أكبر من العمومية، حيث تُبنى على مبادئ إرشادية أكثر منها قواعد تفصيلية، بينما تتبنى دول آسيا نماذج تنظيمية متنوعة تعكس اختلاف أولوياتها وسياقاتها المحلية. ورغم هذا التباين، فإن هذه المقاربات تلتقي عند أساس مشترك، يتمثل في ضرورة تمكين المؤسسات من إجراء تقييمات قائمة على المخاطر، وإثبات الامتثال بشكل منهجي، إلى جانب أتمتة عمليات التوثيق بما يضمن تتبع القرارات وإمكانية مراجعتها بكفاءة.
تواجه المؤسسات صعوبة في إدارة مخاطر وكلاء الذكاء الاصطناعي عندما تجعل الالتزام بالضوابط أمرًا اختياريًا، بحيث يستطيع أي فريق أو موظف تجاوزها دون قيود واضحة. وفي مثل هذا الوضع، تظهر ما يُعرف بـ"وكلاء الظل"، وهم أنظمة يتم تطويرها أو تشغيلها داخل المؤسسة من دون الرجوع إلى فرق تقنية المعلومات أو الأمن للحصول على الموافقات اللازمة. ونتيجة لذلك، تبدأ المعايير داخل المؤسسة بالتفاوت؛ فكل فريق يعمل بطريقته الخاصة، دون إطار موحّد يضبط الاستخدام. وهنا لا تكمن المشكلة في وجود الضوابط من عدمه، بل في مدى قدرتها على منع هذا التجاوز. فالقيمة الحقيقية لأي نظام حوكمة لا تُقاس بمدى شموليته، بل بقدرته على فرض الالتزام، إذ إن الضوابط الأكثر فاعلية هي تلك التي لا يمكن التحايل عليها أو الالتفاف حولها.
تركّز معظم الأطر التنظيمية على التأكد من أن الأنظمة تعمل بشكل آمن وعادل في الواقع العملي، إذ تهدف إلى التحقق من وجود ضوابط تقلل التحيّز، والتأكد من دقة المعلومات التي تقدمها الأنظمة، وضمان عدم إلحاق ضرر بأي فئة يشملها قانون حماية المستهلك. غير أن الاعتماد على مراجعات دورية أو اختبارات تُجرى بين فترة وأخرى لا يعكس ما يحدث فعليًا أثناء تشغيل الأنظمة. ولهذا، تتطلب هذه الجوانب متابعة مستمرة وفي الوقت الفعلي، بحيث يتم رصد أداء الأنظمة لحظة بلحظة. فغياب هذه المتابعة قد يسمح بحدوث أخطاء أو انحرافات دون أن يتم اكتشافها في الوقت المناسب، بينما يساهم الرصد المستمر في تشغيل الوكلاء بثقة أكبر، ويحد من المفاجآت أو المشكلات التي قد تظهر بعد بدء الاستخدام.
لوسيا راهيلي: ما الذي يتعيّن على القادة تقييمه لضمان أن مؤسساتهم قادرة على تبنّي وكلاء الذكاء الاصطناعي على نطاق واسع، دون تعريض عملياتها لمخاطر غير محسوبة أو فقدان السيطرة على مسارات القرار؟
ريتش إيزنبرغ: الهدف بالنسبة للقادة ليس إبطاء الابتكار، بل في تحويل التوسع الآمن إلى ممارسة قابلة للتكرار داخل المؤسسة. فالمسألة لا تتعلق بإدخال تقنية جديدة، بل بإعادة تشكيل نموذج التشغيل بما يتلاءم مع طبيعة هذا التحول. وفي هذا الإطار، يصبح من الضروري تحديد حقوق اتخاذ القرار بوضوح وتوزيع المسؤوليات وبناء مسارات تصعيد فعّالة، إلى جانب ترسيخ ضوابط تحكم سير العمل. ومن دون إعادة تصميم هذه العناصر، لا يكون ما يحدث تحولًا حقيقيًا، بل مجرد افتراض بأن الأنظمة ستعمل كما ينبغي. وهذا افتراض لا يصمد عند اختباره عمليًا، ولا يمكن الدفاع عنه أمام مجالس الإدارة أو الجهات التنظيمية، حيث تصبح المساءلة قائمة على ما صمّمته وأثبتته المؤسسة، لا على ما هو متوقّع.
بناء الأنظمة على أساس الثقة
لوسيا راهيلي: قبل أن نبدأ هذا البودكاست، كنا نتبادل المزاح حول سيناريوهات يُشار إليها أحيانًا بأنها "ديستوبية"، وهي كلمة تُستخدم لوصف تصورات مستقبلية سلبية أو مقلقة تخرج فيها الأمور عن السيطرة وتؤدي إلى نتائج غير مرغوبة. ورغم أن هذه الصور قد تبدو مبالغًا فيها، فإنها تعكس في الواقع قلقًا متزايدًا لدى كثيرين مع توسّع استخدام هذا النوع من التقنيات. ومن هنا يبرز سؤال عملي أمام القيادات، يتمثل في كيفية الحفاظ على الثقة مع هذا التوسع المتسارع. فالمسألة لا تتعلق فقط بثقة العملاء في الخارج، بل تمتد أيضًا إلى داخل المؤسسة، حيث يحتاج الموظفون إلى الاطمئنان إلى أن تبنّي هذه الأنظمة يتم بشكل واضح ومنظم، ويستند إلى قدر كافٍ من الشفافية وتحديد المسؤوليات.
ريتش إيزنبرغ: هذا سؤال مهم ويتكوّن من جزأين مترابطين. يبدأ بالسؤال الأساسي حول ما إذا كانت الأنظمة تؤدي الدور الذي صُممت من أجله بالفعل. لكن هذا لا يكفي، إذ يبرز سؤال آخر لا يقل أهمية، وهو كيف يمكن التأكد من أن أداءها صحيح ويمكن الوثوق به. ولهذا، لا ينبغي الاكتفاء بمؤشرات مثل استمرارية التشغيل، بل يجب النظر بعمق إلى ثلاثة عناصر رئيسية، تشمل النتائج التي يحققها النظام، والسلوك الذي يظهره أثناء التشغيل ، ومدى القدرة على التحكم فيه ومتابعة قراراته.
وبناءً على ذلك، لا يكفي أن نعرف أن الوكيل يعمل، بل يجب التأكد من أنه يحقق النتيجة المطلوبة فعلًا في كل مرة، دون أن يتسبب في نتائج غير مقصودة أو آثار جانبية. كما ينبغي ملاحظة ما إذا كان يحافظ على نفس مستوى الأداء حتى في الحالات غير المعتادة أو عند مواجهة ضغط. وفي الوقت نفسه، يجب أن تكون كل خطوة يقوم بها واضحة وقابلة للتتبع، بحيث يمكن فهم كيف اتخذ القرار من البداية وحتى التنفيذ. وعند توفر هذه الجوانب مجتمعة، يمكن الحكم على مدى موثوقية النظام وما إذا كان جديرًا بالثقة أم لا.
وفي ضوء ما سبق، يصبح من الضروري أن يُبنى تصميم هذه الأنظمة على أساس الثقة قبل السعي إلى السرعة، لأن التوسع السريع دون ضمان الموثوقية قد يؤدي إلى نتائج غير محسوبة. لذلك، من الأفضل البدء بمستوى محدود من الاستقلالية، مع الإبقاء على القرارات ذات الأثر الكبير تحت إشراف بشري مباشر ومسؤولية واضحة. ومع استمرار المتابعة، يمكن توسيع نطاق الاعتماد على هذه الأنظمة تدريجيًا، لكن فقط عندما تُظهر البيانات أن سلوكها مستقر ويمكن التنبؤ به. عندها يصبح التوسع خطوة مدروسة تستند إلى أداء فعلي موثوق، وليس مجرد افتراضات.
وعند وقوع أي خطأ، لا ينشغل العملاء بما إذا كان سببه الذكاء الاصطناعي أم غيره، بل يركّزون على نتيجة هذا الخطأ، وهل يمكن الوثوق بالنظام رغم ذلك. ما يهمهم هو أن يكون النظام آمنًا في استخدامه، عادلًا في نتائجه، وقابلًا للإصلاح عند حدوث خلل. ومن هنا، تقع مسؤولية أكبر على عاتق القيادات التقنية، إذ لا ينبغي منح الأنظمة قدرًا من الاستقلالية لمجرد قدرتها على أداء المهام، بل يجب التأكد من أن الفرق المسؤولة أثبتت قدرتها على إدارة هذه الاستقلالية بشكل واعٍ، وتحت ضوابط واضحة تضمن التحكم والمساءلة.
لوسيا راهيلي: هل أصبح بناء الثقة في أنظمة وكلاء الذكاء الاصطناعي واقعًا تطبيقيًا، أم لا يزال هدفًا قيد التحقق؟
ريتش إيزنبرغ: هذا المستوى من النضج لا يزال، في معظمه، ضمن نطاق الطموح. فبينما بدأت بعض القيادات في رصد ما ينجح وما يتعثر، لا تزال التجربة في طور التشكّل، مدفوعة بتقنية تتطور بوتيرة متسارعة، ومع ذلك، لا يعني هذا التسارع غياب الأطر، بل على العكس. فهذه الأنظمة، رغم حداثتها، تحتاج إلى أن تُدار ضمن نفس المبادئ الأساسية لإدارة مخاطر التكنولوجيا، مع تكييفها بما يتناسب مع طبيعة الذكاء الاصطناعي الوكيل وتعقيداته.
وفي الحقيقة، يتطلب الأمر أولًا بناء جرد واضح ومتكامل للأصول، يتيح رؤية دقيقة لما هو قيد التشغيل داخل المؤسسة. وعلى هذا الأساس، يجب تطوير خريطة مسؤوليات تحدد بوضوح من يتحمل نتائج الأداء، ومن يضع حدود الضوابط، ومن يتدخل عند تجاوز هذه الحدود. فهذه المبادئ في جوهرها لا تتغير، حتى مع تطور التقنيات. لكن ما يتبدل هو كيفية تطبيقها عمليًا، وحجم التأثير الذي تتركه على طبيعة العمل وأدوار القوى العاملة داخل المؤسسة.
مهارات المستقبل في عصر الوكلاء
لوسيا راهيلي: هل باتت تمتلك بالفعل المهارات اللازمة لنشر الذكاء الاصطناعي بشكل آمن ومؤمَّن، أم أن هذه القدرات لا تزال في طور التشكّل؟
ريتش إيزنبرغ: هذا المجال لا يزال في طور التشكّل، وما يرتبط به من مهارات وخبرات لم يصل بعد إلى مرحلة النضج الكامل. ولهذا، يبرز التحدي في أن عدد الأشخاص الذين يملكون خبرة طويلة فيه لا يزال محدودًا جدًا، فلا يمكن ببساطة الإعلان عن وظيفة والبحث عن شخص لديه عشر سنوات من الخبرة في هذا المجال، لأن هذه الخبرات لم تتكوّن بعد بالشكل الكافي. وفي الوقت نفسه، فإن القلة التي تمتلك خبرة فعلية تكون غالبًا في مواقع قوية داخل شركاتها، وتحظى بحوافز تجعلها متمسكة بأدوارها الحالية، ما يزيد من صعوبة استقطابها أو نقلها إلى جهات أخرى.
وكخطوة مبدئية، يمكن أن تبدأ المؤسسات بحالة استخدام عملية، مثل استخدام أدوات تساعد المطوّرين على إنجاز عملهم بسرعة أكبر، بل وقد تتولى بعض المهام التي كان يقوم بها مطوّرون في المستوى المتوسط. لكن هذه التجربة توضح سريعًا أن الأمر لا يقتصر على استخدام أدوات جديدة، بل يتطلب تغيير طريقة العمل داخل المؤسسة. ومع هذا التحول، يتغيّر دور الأشخاص أيضًا. فبدلًا من التركيز على تنفيذ المهام بأنفسهم، يصبح دورهم مراقبة النظام والتأكد من أنه يعمل بشكل صحيح. وهذا يعني أنهم يحتاجون إلى مهارات جديدة، مثل معرفة متى يجب إيقاف النظام إذا حدث خطأ، وكيفية إعطائه تعليمات واضحة، ومتابعة ما يقوم به خطوة بخطوة. كما أن هذا الدور يتطلب أشخاصًا يتمتعون بالدقة والانتباه، لأنهم مسؤولون عن الإشراف على النظام والتدخل عند الحاجة.
وفي المقابل، تفترض كثير من المؤسسات أن الموظفين سينتقلون إلى هذه الأدوار الجديدة بشكل تلقائي، أو سيكتسبون المهارات المطلوبة بأنفسهم مع مرور الوقت. إلا أن هذا التصور لا يعكس الواقع، لأن بناء هذه القدرات يحتاج إلى توجّه واضح وبرنامج تطوير مُنظّم، وليس مجرد اجتهادات فردية. وعلى أرض الواقع، يتبيّن أن المؤسسات التي تقدّمت بسرعة هي تلك التي استثمرت بوعي في تطوير مهارات موظفيها من الداخل، وحرصت على إعدادهم ليصبحوا قادرين على التعامل مع تقنيات الذكاء الاصطناعي بكفاءة، كجزء أساسي من طريقة عملهم اليومية.
تنفيذ التجارب الأولية على أسس صحيحة
لوسيا راهيلي: ما حجم التحدي الذي يواجه القادة عند بدء التجارب الأولية، خصوصًا في ظل التحولات الواسعة التي يفرضها الذكاء الاصطناعي على مستوى المؤسسة.
ريتش إيزنبرغ: لا ينبغي أن تكون التجارب الأولية مفتوحة أو ممتدة بلا ضوابط، بل يجب أن تُصمَّم ضمن إطار زمني محدد، يتراوح عادة بين ستة إلى اثني عشر أسبوعًا، وأن تنطلق من حالة استخدام واضحة يمكن اختبارها بشكل عملي. وعند اكتمال هذه المرحلة، لا يكون الهدف مجرد الاستمرار، بل اتخاذ قرار واعٍ مبني على النتائج. فإما أن تثبت التجربة جدواها، بما يبرر الانتقال إلى التنفيذ الأوسع والاستثمار، أو تكشف أن التقنية لم تنضج بعد بالشكل الكافي، ما يستدعي التريث إلى حين توفر الظروف المناسبة لإثبات الفرضيات المرتبطة بحالة الاستخدام.
ويتطلب هذا الأمر تهيئة بيئة تشجّع على إجراء تجارب منظمة بأقل قدر ممكن من العوائق، دون أن تفقد الانضباط. وفي الوعقت نفسه، يجب ربط هذه التجارب بحالة عمل واضحة، بحيث يمكن تحديد الرهانات التي تستحق المضي قدمًا، وما إذا كانت تحقق قيمة فعلية أم لا.
لوسيا راهيلي: كيف يمكن للمؤسسات الكبرى، لا سيما ذات الانتشار العالمي، الحفاظ على رؤية موحّدة وواضحة لجهودها في مجال وكلاء الذكاء الاصطناعي؟
ريتش إيزنبرغ: التعامل الفعّال مع هذا التحدي يبدأ بإعادة صياغة نموذج الحوكمة نفسه، عبر الجمع بين توجيه مركزي وتنفيذ موزّع. فالمطلوب ليس ترك المبادرات تتكاثر بشكل منفصل، ولا فرض مركزية تعيق الحركة، بل تحقيق توازن يضمن وضوح الاتجاه مع مرونة التنفيذ. وبالفعل، يلفت إلى أن الاعتماد على لجان متعددة تُبدي الآراء دون امتلاك سلطة حسم حقيقية غالبًا ما يؤدي إلى نتيجة عكسية؛ إذ يُصبح كل شيء مقبولًا عمليًا، دون تمييز واضح لما يخلق قيمة فعلية. ومع غياب معايير دقيقة للرفض أو التصفية، تتراكم المبادرات دون وضوح في أولوياتها أو جدواها. وتختلف استجابة المؤسسات لهذا التحدي بحسب مستوى نضجها التقني. فبعض الشركات التي تمتلك حوكمة تقنية راسخة تستطيع توسيع أطرها الحالية لتشمل الذكاء الاصطناعي بسلاسة نسبية. في المقابل، تجد مؤسسات أخرى نفسها مضطرة لبناء منظومة حوكمة متكاملة من الصفر، تغطي دورة حياة الذكاء الاصطناعي بالكامل، من التصميم إلى التشغيل.
ولا ينتقص ذلك من مبدأ التنفيذ الموزّع، بل يعزّزه. إذ تُمنح الوحدات التشغيلية حرية تحديد حالات الاستخدام الخاصة بها، وتشغيل المنصات، وتوظيف الكفاءات، وبناء الحلول وفق احتياجاتها. ومن جهة أخرى، تتولى الفرق التقنية المركزية إدارة البنية والإشراف على الضوابط المؤتمتة، بما يضمن الالتزام بالأطر والمعايير على مستوى المؤسسة.
في الوقت ذاته، تحتاج المؤسسات إلى رؤية واضحة ومتكاملة لما تنفّذه من البداية إلى النهاية، بحيث يكون كل جهد مرتبطًا بهدف تجاري محدد، ويمكن قياس نتائجه بشكل واضح. أما حين يغيب هذا الوضوح، فإن العمل قد يتحول سريعًا إلى تجارب تقنية تُجرى لمجرد التجربة، أو إلى مبادرات يقودها مختصون يطوّرون حلولًا متقدمة لأنها تبدو لافتة أو مثيرة للاهتمام، لا لأنها تخدم حاجة حقيقية في العمل. وعند هذه النقطة، لا تكون المشكلة في التقنية نفسها، بل في انفصالها عن الأهداف التي تسعى المؤسسة إلى تحقيقها، وهو ما يجعل المخاطر تتصاعد بسرعة، لأن أي مبادرة لا ترتبط مباشرة بأولويات العمل قد تنحرف عن مسارها وتؤدي إلى نتائج غير محسوبة.
عندما تتحاور الأنظمة دون تدخل بشري
لوسيا راهيلي: لنفترض أنني بدأت بالفعل في تطبيق أحد استخدامات "الذكاء الاصطناعي الوكيل" داخل المؤسسة، فما الذي يجب أن يكون متوفرًا لضمان أن يكون التنسيق والتواصل بين الوكلاء أنفسهم منظمًا ويعمل بالشكل الصحيح؟
ريتش إيزنبرغ: التعامل مع هذا التحدي يتطلب النظر إليه من زاويتين متكاملتين: تقنية وتنظيمية. فمن الناحية التقنية، يتجه القطاع نحو تطوير معايير تتيح للوكلاء التفاعل فيما بينهم ضمن أطر أكثر أمانًا وتنظيمًا. لكن العنصر الحاسم لا يكمن في القدرة على التواصل بحد ذاتها، بل في كيفية ضبط الوصول إلى الأدوات والبيانات. ولهذا، يصبح من الضروري أن يتم هذا الوصول عبر نظام يعمل بمثابة نقطة تحكّم مركزية تنظّم وصول الذكاء الاصطناعي إلى البيانات والأدوات داخل المؤسسة وذلك ضمن ضوابط وقيود محددة، ويعرف هذا النظام باسم "MCP" أو ما يُشار إليه بــ"بروتوكول التحكم في صلاحيات وصول أنظمة الذكاء الاصطناعي".
وبالتعمّق في فهم آلية عمل "MCP"، يتبيّن أنه الإطار الذي ينظّم كيفية طلب وكيل الذكاء الاصطناعي للبيانات أو الأدوات أثناء تنفيذ مهامه، بحيث لا يتم الوصول بشكل مباشر، بل يمر الطلب عبر هذا البروتوكول أولًا ليُفحص ويُحدَّد ما إذا كان الوكيل يمتلك الصلاحية للوصول، وما هو نطاق هذا الوصول وحدوده. وفي هذا المسار، يتم ضبط نوع البيانات التي يمكنه الاطلاع عليها، ومستوى التفاصيل المسموح به، وكذلك الأوامر التي يمكنه تنفيذها، بحيث يظل الوصول محصورًا فيما يخدم المهمة فقط دون تجاوز. كما يتولى البروتوكول تحديد طريقة الاستخدام نفسها، فلا يكتفي بالسماح أو المنع، بل يضبط كيف يتعامل الوكيل مع البيانات أو الأدوات، كأن يُسمح له بالاطلاع دون التعديل، أو استخدام أداة معينة ضمن خطوات محددة. ويشمل ذلك أيضًا تحديد توقيت الاستخدام وسياقه والضوابط المرتبطة به، بما يضمن أن يتم كل تفاعل ضمن إطار واضح يمكن تتبعه والتحكم فيه. وبهذا المعنى، لا يعمل "MCP" كقناة عبور فحسب، بل كآلية تنظيم وتحكّم تضمن تشغيل الوكلاء ضمن حدود دقيقة وبشكل آمن ومتسق داخل المؤسسة. ولتقريب الصورة، يمكن تشبيهه بمنفذ "USB-C" في عالم الذكاء الاصطناعي، لأنه يشكّل نقطة موحدة ومنظمة للربط بين الوكلاء من جهة، والأدوات والبيانات من جهة أخرى. ومن خلال هذه النقطة، يتم الوصول وفق قواعد وسياسات موحدة تُطبق بصورة منتظمة ومتسقة، بما يضمن أن يكون استخدام الأدوات والبيانات مضبوطًا، لا عشوائيًا، وأن يجري بالطريقة نفسها عبر مختلف الحالات داخل المؤسسة.
ويُستكمل هذا الإطار التقني بوجود بروتوكولات أخرى تنظّم تواصل الوكلاء مع بعضهم البعض، غير أن المبدأ الأهم هنا يتمثل في عدم ترك هذا التواصل مفتوحًا دون ضوابط. فالتواصل المباشر وغير المنظم بين الوكلاء قد يفتح المجال لسلوكيات غير متوقعة أو قرارات يصعب التحكم فيها. وعليه، يجري تنظيم هذا التفاعل داخل المنصة عبر بوابات مخصصة تضبطه بدقة، مثل بوابة الذكاء الاصطناعي التي تنسّق حركة الطلبات، إلى جانب بوابة "MCP" التي تتحكم في صلاحيات الوصول وتضمن أن يتم تبادل البيانات وتنفيذ الأوامر وفق قواعد محددة. وبهذا الشكل، يصبح التواصل بين الوكلاء جزءًا من منظومة تحكّم واضحة، تمنع العشوائية وتتيح إدارة هذا التفاعل ومراقبته بشكل مستمر.
أما على مستوى العنصر البشري، فيتمثل الحل في تهيئة الاستخدام منذ البداية. فهذه الوكلاء صُمّمت لتكون قابلة لإعادة الاستخدام، لكن فعاليتها ومخاطرها تتحدد وفق سير العمل وحالة الاستخدام، لا وفق طبيعتها التقنية. فعلى سبيل المثال، قد يستخدم موظف وكيلًا لتحليل بيانات حساسة، بينما يستخدمه آخر للتعامل مع بيانات عامة. ورغم أن الوكيل واحد، فإن متطلبات الضبط تختلف تبعًا للسياق. ولذلك، لا يكفي تعريف الوكيل بوظيفة ثابتة، بل يجب ربطه بحالة الاستخدام الفعلية، مع تصميم وصول سياقي مؤقت يمنح الصلاحيات بالحد الأدنى اللازم، ويُسحب عند انتهاء المهمة.
وبالانتقال من الجانب التقني إلى الجانب البشري، يظهر دور واضح لمن يصمّمون حالات الاستخدام داخل المؤسسة، إذ تقع عليهم مسؤولية تحديد ما الذي يجب أن يقوم به النظام بدقة، وما هو المطلوب منه وما الذي يجب أن يتجنبه. فبدون هذا التحديد الواضح، قد يعمل النظام بطريقة غير متوقعة أو خارج الهدف. وبالتوازي مع ذلك، يعمل هؤلاء بالتنسيق مع الجهات المسؤولة عن الضوابط لوضع الأطر التي تنظّم عمل هذه الحالات وتحافظ على بقائها ضمن نطاقها المحدد، بحيث لا تنحرف عن الهدف أو تتجاوز الحدود المرسومة لها. وبذلك، يصبح نجاح التطبيق مرهونًا بتكامل واضح بين من يحدد الغاية ومن يضع آليات الضبط التي تضمن الالتزام بها.
لوسيا راهيلي: ماذا يحدث إذا تُرك التواصل بين الوكلاء مفتوحًا دون ضوابط؟ وهل يمكن أن يؤدي ذلك إلى فقدان السيطرة على سلوك هذه الأنظمة؟
ريتش إيزنبرغ: سأعطيك تشبيهًا. أشبّه سلوك الوكلاء بطفل صغير في عمر السنتين. فقد ينفّذ التعليمات كما طُلبت، لكنه في الوقت نفسه قد يتصرف بشكل غير متوقع أثناء التنفيذ. ولتقريب الصورة، يشبّه الأمر بطفل يجري في ممر ينتهي بسلم حاد. قد يصل إلى النهاية كما طُلب منه، لكنه قد ينشغل في الطريق بتصرفات لم تُطلب، أو يتعرض لخطر السقوط في غياب أي حواجز أو إشراف. وهنا تكمن الإشكالية: من دون ضوابط واضحة أو متابعة مستمرة، لا يمكن ضمان أن الوكيل نفّذ المهمة بالطريقة المقصودة، أو أنه لم ينحرف عنها دون ملاحظة.
وانطلاقًا من هذا التشبيه، يتضح أن هذه الوكلاء لا تكتفي بتنفيذ الأوامر، بل تمتلك القدرة على التفكير واتخاذ قرارات ومحاولة حل المشكلات بشكل مستقل، وهو ما يمنحها قوة كبيرة، لكنه في الوقت ذاته يفرض قدرًا أعلى من الحذر في إدارتها. فتركها تعمل دون ضوابط صارمة قد يؤدي إلى تصرفات غير متوقعة أو نتائج يصعب التحكم فيها. وبالتالي، يصبح من الضروري إخضاع جميع تفاعلاتها لسياسات واضحة وقابلة للتنفيذ، بحيث لا تتحرك أو تتواصل إلا ضمن إطار منظم. ويتم ذلك عبر تمرير هذه التفاعلات من خلال بوابة الذكاء الاصطناعي، إلى جانب بوابة "MCP"، لضمان أن كل قرار أو إجراء يتم وفق قواعد محددة يمكن فرضها ومراقبتها بشكل مستمر.
وعلى النقيض من هذا النهج المنظّم، تتبع بعض المؤسسات أسلوبًا يعتمد على إعداد وثائق عامة تتضمن متطلبات ومعايير، ثم تُلقي على عاتق كل جهة داخل المؤسسة مسؤولية تفسيرها وتطبيقها بطريقتها الخاصة. وفي مثل هذا الوضع، يصبح التنفيذ متفاوتًا من فريق لآخر، وتغيب المعايير الموحدة التي يمكن القياس عليها. ومع اتساع نطاق الاستخدام، يتحول هذا التباين إلى تحدٍ حقيقي، إذ يصبح من الصعب إدارة هذه الأنظمة أو اختبارها أو التأكد من التزامها بالضوابط على مستوى المؤسسة ككل. وعند هذه المرحلة، تفقد المؤسسة القدرة على المتابعة الدقيقة، ويصبح تحقيق الثقة في الأداء أمرًا معقدًا يصعب ضمانه بشكل مستمر.
لوسيا راهيلي: من واقع خبرتك، أيهما يشكّل تحديًا أكبر من حيث إدارة المخاطر، تلك التي تنشأ عن تدخل البشر، أم التي تنتج عن عمل وكلاء الذكاء الاصطناعي؟
ريتش إيزنبرغ: التعامل مع البشر يظل أسهل نسبيًا، نظرًا لوجود تاريخ طويل من فهم أنماط السلوك البشري يمكن الاستناد إليه في التنبؤ وإدارة المخاطر. أما في حالة الوكلاء، فلا تزال هذه الخبرة محدودة، ولم تتكوّن بعد معرفة كافية بسلوكهم عبر الزمن، وهو ما يجعل التعامل مع مخاطرهم أكثر تعقيدًا ويحتاج إلى حذر أكبر.
ومع ذلك، ورغم أن البشر قد يكونون أكثر دهاءً في بعض الحالات، فإنهم يتحركون بوتيرة أبطأ، ولا يعملون على مدار الساعة، كما أن مراقبة أدائهم تبقى أسهل نسبيًا ويمكن إدارتها بأساليب تقليدية معروفة. أما وكلاء الذكاء الاصطناعي، فيعملون بشكل مستمر دون توقف، وبسرعة تفوق بكثير القدرة البشرية، وهو ما يفرض نمطًا مختلفًا تمامًا من المراقبة. إذ لا يمكن الاعتماد على فرق محدودة لمتابعة هذا الحجم من النشاط، بل يتطلب الأمر استخدام تقنيات مماثلة لمستوى عمل هذه الأنظمة، بحيث تتم المراقبة بنفس السرعة والقدرة التي تعمل بها.
فعلى سبيل المثال، لا يُنصح بأن تتولى إدارات الموارد البشرية إدارة هذه الوكلاء، لأن التعامل معها يختلف عن إدارة الموظفين. هذه الأنظمة ليست أفرادًا، بل أدوات تقنية تحتاج إلى متابعة تشغيلية وفهم لطبيعة عملها. وفي المقابل، لا يمكن تركها دون مسؤول واضح. كل وكيل يجب أن تكون له جهة محددة تشرف عليه وتتحمل مسؤوليته، بحيث يكون هناك شخص أو فريق يعرف كيف يعمل هذا الوكيل، وما الذي يُفترض أن يقدّمه، ويتابع أداءه بشكل مستمر. كما أن هذه الوكلاء لا يمكن إعدادها مرة واحدة ثم تركها تعمل دون تدخل، بل تحتاج إلى مراجعة دائمة، وتحسين مستمر، وتعديل عند الحاجة، وقد يتم إيقافها إذا لم تعد تحقق النتائج المطلوبة. لذلك، من المهم أن يكون واضحًا داخل المؤسسة من المسؤول عن كل وكيل، ومن يُحاسب على أدائه. وهنا تكمن الصعوبة في هذا النموذج الجديد، إذ لم يعد من المنطقي أن تكون المسؤولية محصورة في فريق التقنية فقط، بل يجب توزيعها بشكل أوضح بين الجهات المعنية، بحيث يكون لكل وكيل مالك واضح ومسؤولية محددة يمكن الرجوع إليها.
عندما تصبح المخاطر واقعًا مع الروبوتات
لوسيا راهيلي: ماذا يحدث إذا خرج أحد الوكلاء عن المسار المطلوب، أو بدأ وكيلان بالتفاعل بطريقة تقود إلى قرارات غير مناسبة قد تضر بالأعمال؟ وكيف يتم التعامل مع مثل هذه الحالات عند وقوعها؟
ريتش إيزنبرغ: يمكن النظر إلى هذا السؤال من زاوية بسيطة، وهي التفكير في أسوأ سيناريو ممكن. ولتقريب الصورة، يكفي استحضار ما طرحه فيلم "The Terminator" في جزئه الأول، حيث يعكس تصورًا متطرفًا لما قد يحدث عندما تخرج الأنظمة عن السيطرة، وهو تصوير مبالغ فيه بطبيعة الحال، لكنه يختصر الفكرة الأساسية حول حجم المخاطر المحتملة.
وإذا انتقلنا من هذا التصوّر المتطرف إلى الواقع العملي، يظهر التحدي الحقيقي في أن هذه الوكلاء قادرة على التفكير والعمل بسرعة عالية جدًا، ما يعني أن أي خطأ لا يبقى محدودًا، بل قد يتسع نطاقه خلال وقت قصير. وعندما تبدأ هذه الأنظمة بالتفاعل مع بعضها بشكل مباشر، أو التأثير في قرارات بعضها البعض، قد تتشكل سلسلة من القرارات الخاطئة تتفاقم بسرعة، بحيث يصبح احتواؤها أكثر صعوبة. وفي مثل هذه الحالات، لا يمكن الاعتماد على التدخل البشري بعد وقوع المشكلة، لأن سرعة هذه الأنظمة تفوق القدرة على الاستجابة اليدوية. لذلك، يتطلب الأمر وجود آليات جاهزة لإيقافها تلقائيًا عند الحاجة، مثل مفاتيح الإيقاف التي تُفعّل عند رصد سلوك غير طبيعي. ويعتمد ذلك على وجود سجلات دقيقة ترصد كل ما يحدث، بحيث يتم إيقاف النظام بشكل فوري عند تحقق شروط محددة، دون انتظار قرار بشري قد يأتي بعد فوات الأوان.
لوسيا راهيلي: ركّزنا في حديثنا حتى الآن على وكلاء يعملون في بيئات رقمية، أي أن التفاعل معهم يتم بشكل افتراضي. لكن إذا انتقلنا إلى سيناريو مختلف، كما في مثال "The Terminator"، كيف يمكن أن يؤثر انتشار الروبوتات الشبيهة بالبشر على طبيعة الضوابط الأمنية المطلوبة؟
ريتش إيزنبرغ: إذا نظرنا إلى الواقع الحالي، نجد أن لدينا اليوم عددًا متزايدًا من السيارات ذاتية القيادة على الطرق، وهي في جوهرها لا تختلف كثيرًا عن الروبوتات الشبيهة بالبشر. فجميعها تعمل عبر أنظمة تشغيل متقدمة، وبدأت تعتمد على قدرات تشبه الوكلاء الذكيين، تتيح لها التكيّف مع الظروف، والتعلّم من التجربة، وتحسين أدائها، بل وحتى معالجة بعض المشكلات ذاتيًا.
وبالاستمرار في هذا التصور، يمكن فهم الروبوتات الشبيهة بالبشر على أنها برمجيات في الأساس، تمامًا مثل وكلاء الذكاء الاصطناعي، إذ تعمل عبر أنظمة تشغيل مترابطة، وغالبًا ما تكون متصلة بنقطة مركزية تُدار من خلالها هذه الأنظمة. وقد يبدو هذا الطرح مبالغًا فيه قليلًا، لكن المقصود هو توضيح ما قد يحدث إذا تمكن وكيل واحد غير منضبط من اختراق هذا النظام المركزي، مستفيدًا من قدراته المتقدمة، بحيث يسيطر عليه. وعندها، قد لا يقتصر التأثير على نظام واحد، بل يمتد ليشمل جميع الأنظمة المرتبطة به، مثل السيارات ذاتية القيادة، ما يفتح المجال أمام تحكم واسع يصعب احتواؤه.
وإذا وقعت مثل هذه القدرات في الأيدي الخطأ، فقد تكون نتائجها مدمّرة على نطاق واسع. وعند التفكير في مستقبل الروبوتات، لا بد من وجود ضوابط صارمة يمكن فرضها فعليًا، بحيث تضمن أن جميع القرارات التي تُتخذ هي قرارات متوقعة ومصممة مسبقًا، وليست عشوائية أو خارجة عن الإطار المحدد. كما يبرز سؤال أساسي لا يمكن تجاهله، ماذا سيحدث إذا وقع خطأ؟ لا يكفي منع الخطأ فقط، بل يجب أن تكون هناك خطة واضحة للتراجع، تتيح إيقاف النظام أو إعادة الوضع إلى حالته السابقة بسرعة، قبل أن تتفاقم المشكلة.
خمسة أسئلة حاسمة لا يمكن للقادة تجاهلها
لوسيا راهيلي: لا يتوقف مسار الذكاء الاصطناعي عند الوكلاء، بل يمتد إلى تقنيات أكثر تقدمًا، مثل الذكاء العام الاصطناعي والحوسبة الكمّية، وما يصاحبها من تحديات أمنية متزايدة. ومع تسارع هذا التقدم، ما هي أنواع المخاطر الجديدة التي قد تظهر، و ما المخاطر الجديدة التي يجب على القيادات الاستعداد لها؟
ريتش إيزنبرغ: أتحدث مع العديد من مجالس الإدارة، وهذا الموضوع يتكرر كثيرًا في نقاشاتهم. الفكرة ببساطة أن مجلس الإدارة لا يحتاج إلى أن يكون خبيرًا تقنيًا ليتعامل مع هذه التحولات، لكنه يحتاج إلى أن يكون دقيقًا في الأسئلة التي يطرحها، وأن لا يكتفي بإجابات عامة أو غير واضحة. وعند التعامل مع أي تحول تقني، أشجّع دائمًا على التركيز على عدد محدود من الأسئلة الأساسية، وطلب إجابات واضحة ومباشرة عليها، بحيث يفهم المجلس ما الذي يجري فعليًا داخل المؤسسة، وما المخاطر المحتملة، وكيف يتم التعامل معها. فالقيمة الحقيقية لا تأتي من المعرفة التقنية العميقة، بل من القدرة على طرح الأسئلة الصحيحة والحصول على إجابات دقيقة يمكن البناء عليها.
وعند تطبيق هذا النهج على وكلاء الذكاء الاصطناعي، يمكن تبسيط الصورة من خلال مجموعة أسئلة واضحة، الهدف منها أن يفهم مجلس الإدارة ما الذي يجري فعليًا داخل المؤسسة، دون الحاجة إلى تفاصيل تقنية معقدة. أول سؤال هو هل نعرف جميع الوكلاء الموجودين لدينا، ومن المسؤول عن كل واحد منهم؟ بمعنى آخر، لا يجب أن يكون هناك أي نظام يعمل دون جهة واضحة تشرف عليه وتتحمل نتائجه. بنما يدور السؤال الثاني حول مستوى الحرية الممنوحة لكل وكيل. فليس من المنطقي أن يحصل جميع الوكلاء على نفس مستوى الاستقلالية، بل يجب تقسيمهم حسب درجة الخطورة. فهناك وكلاء تأثيرهم محدود، وآخرون قد يتخذون قرارات حساسة، وكل فئة تحتاج إلى مستوى مختلف من الضبط. بعد ذلك، يأتي سؤال بسيط لكنه مهم جدًا، هل وصول الوكيل إلى البيانات مضبوط بقوانين أم مفتوح؟ أي هل يمكنه الوصول فقط إلى ما يحتاجه، أم أن لديه صلاحيات أوسع من اللازم؟ الفكرة هنا هي تقليل المخاطر عبر حصر الوصول في الحد الأدنى المطلوب. ثم ننتقل إلى نقطة تتعلق بالشفافية، هل يمكننا معرفة ماذا حدث داخل النظام؟ بمعنى، إذا اتخذ الوكيل قرارًا، هل نستطيع تتبّع كل خطوة قادته إلى هذا القرار، أم أن العملية غير واضحة؟ وأخيرًا، السؤال الأهم عند حدوث مشكلة، ماذا سنفعل؟ هل لدينا خطة جاهزة لإيقاف النظام أو التراجع عن القرار بسرعة، أم سنضطر للتصرف بعد وقوع الضرر؟ وبهذه الطريقة، تصبح الصورة أوضح، فالموضوع لا يتعلق بتعقيد تقني، بل بمجموعة أسئلة بسيطة، إذا لم تكن الإجابات عليها واضحة، فهذا مؤشر على وجود خطر يجب التعامل معه قبل التوسع في استخدام هذه الأنظمة.
وإذا لم يتمكن القادة من الإجابة عن هذه الأسئلة الخمسة بدقة ووضوح، فهذا يعني ببساطة أن مخاطر وكلاء الذكاء الاصطناعي لا تزال خارج نطاق السيطرة. فالمسألة لا تتعلق بامتلاك معرفة تقنية عميقة، بل بمدى القدرة على فهم ما يحدث والتحكم فيه. وبهذا المنطق، ينبغي أن تنظر مجالس الإدارة والإدارة العليا إلى هذا الملف. فالحوكمة الجيدة للذكاء الاصطناعي لا تقوم على معرفة تفاصيل النماذج أو الدخول في تعقيدات تقنية، بل على القدرة على إثبات أن هناك سيطرة حقيقية على هذه الأنظمة، وأن كل ما يحدث داخلها يمكن متابعته وفهمه وإدارته بشكل واضح.
لوسيا راهيلي: أود العودة إلى نقطة ذكرتها سابقًا. الأمن القومي المرتبط بالبيانات أصبح موضوعًا متصاعد الأهمية. هل هناك ما يمكن إضافته في هذا الجانب؟
ريتش إيزنبرغ: مفهوم السيادة في الذكاء الاصطناعي أو مايعرف أيضاً بـ"الذكاء الاصطناعي السيادي" يتمحور حول سؤال جوهري، من يملك السيطرة عندما تتخذ الأنظمة قرارات؟ فالقضية لا تقتصر على التقنية، بل تمتد إلى التحكم في البيانات، والنماذج، والبنية التحتية، وآليات اتخاذ القرار. ولهذا، تقوم الفكرة على ضرورة ألا تعتمد الحكومات أو المؤسسات في قدراتها الأكثر حساسية على منصات خارجية تفتقر إلى الشفافية أو تقع خارج نطاق سيطرتها. ومع تطور هذه الأنظمة إلى وكلاء قادرين على التعلّم والتصرف بشكل مستقل، لم تعد مسألة السيادة مجرد نقاش تنظيمي أو سياسي، بل تحولت إلى قضية مخاطر مباشرة ترتبط بقدرة المؤسسة على التحكم في قراراتها الأساسية وحمايتها.
ومع تزايد هذا الوعي، بدأت القيادات تدرك أن الجهة التي تتحكم في مكوّنات الذكاء الاصطناعي بالكامل، من البيانات إلى النماذج والبنية التحتية، هي في النهاية من تتحكم في النتائج. فالأمر لا يتوقف عند امتلاك التقنية، بل يمتد إلى من يديرها ويوجّهها فعليًا. كما أن هذا الإدراك يتعمّق عند النظر إلى مخاطر الأطراف الخارجية، سواء كانت جهات مباشرة تتعامل معها المؤسسة، أو جهات غير مباشرة ضمن سلاسل التوريد التقنية. ومع دخول وكلاء الذكاء الاصطناعي على الخط، لم يعد مفهوم السيادة أمرًا نظريًا، بل أصبح مسألة تشغيلية يومية، تتطلب قرارات واضحة حول من يملك السيطرة الفعلية على الأنظمة والنتائج التي تنتج عنها.
وعندما يتصرف وكيل الذكاء الاصطناعي نيابة عن المؤسسة، يصبح من الضروري أن تكون لدى القيادات صورة واضحة عن مكان تشغيل هذا النظام، وتحت أي أنظمة قانونية يعمل، ومن يملك حق الاطلاع عليه أو مراجعته، ومن يمكنه إيقافه عند الحاجة. فهذه الأسئلة لم تعد تفصيلية، بل تمس جوهر السيطرة على النظام. وفي نهاية المطاف، لا يمكن إدارة ما لا تملك السيطرة عليه، كما لا يمكن فرض هذه السيطرة إذا لم تكن هذه الأنظمة خاضعة لسيادة واضحة. ولذلك، يرتبط مفهوم الحوكمة هنا بشكل مباشر بمدى القدرة الفعلية على التحكم في هذه الأنظمة وتحديد حدودها بشكل دقيق.
لوسيا راهيلي: "ريتش"، هذا موضوع كبير ومعقد وينطوي على مخاطر عالية. ما أبرز خلاصة أو نقطتين بسيطتين يمكن أن يستفيد منهما الرؤساء التنفيذيون والقادة؟
ريتش إيزنبرغ: المستقبل لا يقوم على صراع بين الإنسان والذكاء الاصطناعي، بل على تكامل بينهما. فالقيمة الحقيقية لا تنشأ من الاستبدال، بل من توظيف القدرات البشرية والآلية ضمن منظومة واحدة متوازنة. ومع انتقال الذكاء الاصطناعي من توليد الأفكار إلى تنفيذ الإجراءات، لم يعد التفوق مرهونًا بسرعة التبني، بل بقدرة المؤسسة على إدارة هذه الأنظمة بكفاءة. فالقضية لا تتعلق بكبح الابتكار أو إبطائه، بل ببناء أساس يتيح التوسع فيه بثقة. وعندما يكون الذكاء الاصطناعي قائمًا على ضوابط واضحة، وسيطرة حقيقية، ومسؤولية محددة، تصبح المؤسسة قادرة على استخدامه على نطاق واسع دون أن تفقد التحكم في نتائجه أو تتعرض لمخاطر غير محسوبة.