How Netflix Evaluates AI When There's No Right Answer - Cameron Wolfe, Netflix

حسنًا، مرحبًا بالجميع. أنا كاميرون وولف ، باحث علمي في نتفليكس، وأكتب أيضًا النشرة الإخبارية المتخصصة في التعلم العميق. أتمنى أن تكونوا قد قرأتموها. سأتحدث اليوم عن التقييمات، وتحديدًا عن تقييم المهام شديدة الذاتية. سنستعرض الكثير من المعلومات، وهي بمثابة نظرة عامة. إذا رغبتم في التعمق في أي موضوع، يمكنكم مسح رمز الاستجابة السريعة (QR code) للانتقال إلى الشرائح. لقد كتبت أيضًا العديد من المقالات التي تشرح هذه المفاهيم المختلفة بالتفصيل، مما يتيح لكم فرصة كبيرة للمزيد من القراءة إذا كان لديكم أي استفسار خلال المحاضرة. نعلم جميعًا أن التقييمات صعبة، وقد شاهدنا العديد من العروض التقديمية حول هذا الموضوع خلال مؤتمر AIEE. وإذا فكرنا في سبب ذلك، سنجد أدلة كثيرة على ذلك في أوساط مجتمع أبحاث الذكاء الاصطناعي، حيث يتحدث الناس باستمرار عن المقارنة المعيارية. تُصدر تقييمات جديدة بشكل شبه يومي بإصدارات مختلفة. لذا، نعلم جميعًا أن التقييمات صعبة. ولكن إذا تأملنا في أسباب ذلك، فسنجد عدة أسباب. أحد أهم هذه الأسباب، والذي سنركز عليه اليوم، هو التشويش. فنحن نتعامل مع عدة مكونات غير حتمية عند محاولة تقييم النماذج. هذا يُحدث تقلبات كبيرة في السلوك، مما يجعل من الصعب استخلاص استنتاجات موثوقة من نتائج التقييم.

لفهم سبب ذلك، يمكننا ببساطة النظر إلى بنية تجربة التقييم. لدينا هنا مجموعة التقييم الخاصة بنا، وهي تتكون من مجموعة من المهام المختلفة التي نريد محاولة حلها . نُمرر هذه المهام إلى وكيل غير حتمي يُعطينا سلسلة من العمليات، وفي النهاية حلاً. ثم نأخذ هذا الحل ونمرره إلى مُصحِّح يُعطينا نتيجة نجاح أو رسوب. في نهاية المطاف، نسعى فقط إلى جعل وكلائنا يحلون هذه المهام ونرى إن كانوا يجتازونها بنجاح أم لا. ونظرًا لتكلفة التقييم، كما تعلمون، فإن بعض المعايير الحديثة تكلف ما بين 50 و 100 ألف دولار لتشغيلها. لا يمكننا تقييم هذا العدد الكبير من المهام . لذا، فإن مجموعة المهام ضمن معيار التقييم لدينا عادةً ما تكون صغيرة نسبيًا . وهذا، بالإضافة إلى حقيقة أننا نعمل بالفعل مع وكيل غير حتمي، يجعل من الصعب الاعتماد على نتيجة التقييم. علاوة على ذلك، إذا نظرنا إلى معظم ما يعمل عليه الناس فيما يتعلق بالتقييمات، فإننا نركز بشكل أساسي على المهام القابلة للتحقق. لذا، فإن أداة التقييم التي نراها أسفل الشاشة هنا، مُنفذة كنوع من الفحص الحتمي ، سواء كان ذلك مطابقة السلاسل النصية، أو التحقق الرمزي، أو حالات الاختبار، وما إلى ذلك. حسنًا، نحن نركز بشكل أساسي على المهام القابلة للتحقق، حيث يمكننا تقييم النجاح أو الرسوب باستخدام دالة. ولكن إذا نظرنا إلى مختلف المهام التي يحاول النظام القيام بها في العالم الحقيقي، فسنجد أنها تقع على طيف من إمكانية التحقق. ليست كل المهام قابلة للتحقق. فعلى سبيل المثال، لدينا مسائل رياضية يمكننا التحقق من حلولها بشكل حتمي باستخدام تقنيات مثل

مطابقة السلاسل النصية أو التحقق الرمزي. أما على الطرف الآخر، فلدينا مهام ذاتية للغاية مثل الكتابة الإبداعية. وهنا، يكون تعريف النجاح أو الرسوب ذاتيًا للغاية ومفتوحًا، ويصعب حتى على البشر تقييمه بشكل موثوق. لذلك، عادةً ما نضطر إلى الاستعانة بنوع من معايير التقييم أو قواعد التقييم اللغوية لمساعدتنا في ذلك. والنتيجة هي أننا نستبدل عنصرًا كان حتميًا سابقًا، وهو أداة التقييم هذه، بعنصر آخر غير حتمي قائم على نموذج لغوي. لذا، ينتهي بنا المطاف بكمية كبيرة من التشويش والذاتية في عملية تقييم كانت صعبة أصلاً. بمعنى آخر، النتيجة هي أننا غارقون في هذا التشويش، ولا ندري إن كان أداء نظامنا جيدًا أم لا. لذا، هدف حديثنا اليوم هو محاولة تجنب الوقوع في هذا الفخ . سنقدم إطار عمل ثلاثي الأجزاء قابل للتكرار لتقييم المهام شديدة الذاتية، ويتضمن التقييم غير المتصل بالإنترنت، والتقييم البشري، ومراقبة الإنتاج. ثم سنحدد أفضل الممارسات لكل مكون من هذه المكونات، والتي تنطبق على المهام الذاتية وعلى التقييم بشكل عام. وسنتناول أيضًا مجموعة من الحيل المختلفة التي يمكننا استخدامها لتقليل التشويش، وزيادة الثقة الإحصائية في نتائج التقييم، واستخلاص أكثر الاستنتاجات موثوقية من نتائجنا.

فلنبدأ. لذا، عندما نعمل على مهمة ذاتية أو مفتوحة النهاية، فإن الخطوة الأولى هي وضع آلية تقييم بشري. ستكون هذه الآلية بمثابة بوصلة لتحديد جودة مهمتنا وقياسها وتحسينها بمرور الوقت. ولكن، لوضع آلية التقييم البشري، نحتاج أولاً إلى تعريف واضح لمعنى الجودة. وعادةً ما يتم ذلك بالتعاون مع عدد محدود من الخبراء المتخصصين لوضع مبادئ توجيهية للجودة. وضمن هذه المبادئ التوجيهية، نحدد مجموعة صغيرة من المعايير التي تهمنا فيما يتعلق بما يجب أن يتضمنه الحل النهائي. نحدد كيفية تقييم هذه المعايير، عادةً باستخدام مقياس ثنائي أو مقياس ليكرت. ثم نقدم تفاصيل وافية تحدد كل معيار من هذه المعايير، مع أمثلة محددة لكيفية تقييمه، وما إلى ذلك. نريد تزويد البشر بأكبر قدر ممكن من المعلومات لتقليل ذاتية عملية التقييم البشري. ولكن، حتى لو وضعنا أفضل مبادئ توجيهية ممكنة للتقييم البشري، لا يمكننا افتراض أن عملية التقييم البشري ستكون موثوقة. لذا، نحتاج إلى معايرتها بدقة. وهذا يعني عمليًا أننا نأخذ عينات تقييم بشرية متعددة لنفس البيانات، وننظر في مدى توافقها، ثم نُحدّث إرشاداتنا بناءً على مصادر الاختلاف التي نلاحظها.

إنها عملية تكرارية، حيث نتحدث مع أشخاص ونحاول معرفة ما إذا كانت هناك مشكلة في إرشاداتنا تجعل تقييمها غير واضح. ومع مرور الوقت، نسعى لجعل إرشادات الجودة لدينا واضحة قدر الإمكان لنحصل على توافق عالٍ بين جميع هؤلاء الأشخاص. إذا نفذنا ذلك بشكل صحيح، فسنحصل على عملية تقييم بشرية مُعايرة وإرشادات جودة واضحة جدًا. ويمكننا استخدام هذه الإرشادات لبدء إجراء التقييمات. ولكن، إذا أردنا استخلاص استنتاجات موثوقة من هذه التقييمات البشرية، فنحن بحاجة أيضًا إلى التفكير في كيفية أخذ عينات البيانات . لذا، علينا التفكير في أمور مثل كمية البيانات التي سنُدخلها في عملية التقييم ، ونوع البيانات التي سنُقيّمها، وما إلى ذلك. أما بالنسبة لكمية البيانات، فيمكننا الاستعانة بمفهوم إحصائي يُسمى تحليل القدرة الإحصائية، والذي يساعدنا على فهم كمية البيانات اللازمة لعملية التقييم. تُعدّ القدرة الإحصائية مجالًا شيقًا في الإحصاء، ولكن لأغراض هذا العرض، تتمثل الفكرة الأساسية في أن تحليل القدرة الإحصائية يسمح لنا بتقدير حجم البيانات اللازمة لعملية التقييم للوصول إلى استنتاج ذي دلالة حول الفرق في الأداء بين نموذجين مختلفين. ونُجري هذا التقدير من خلال النظر في عوامل مثل حجم التأثير الذي نرغب في رصده، ومستوى التشويش الذي نلاحظه في نتائج التقييم. ويمكن تقدير ذلك من خلال إعادة أخذ عينات من نماذج الإكمال، وما إلى ذلك. بالإضافة إلى مستوى الدلالة المطلوب، أي مدى ثقتنا في أن الفرق في أداء النموذجين حقيقي وليس ناتجًا عن التشويش. لذا، يمكننا استخدام تحليل القدرة الإحصائية مع هذه العوامل لتقدير

حجم التقييم اللازم للوصول إلى استنتاج موثوق. أما فيما يتعلق بنوع البيانات التي نرغب في أخذ عينات منها، فهناك العديد من العوامل المختلفة، ولكن بشكل عام، إذا اطلعت على العديد من تقارير المقارنة المعيارية ورأيت ما يفعله الآخرون، فستجد أنهم يركزون على التنوع وواقعية التقييم. لذا، نريد أن تعكس جميع البيانات التي نقيّمها بدقة أنواع المهام التي يحلها النظام في بيئة الإنتاج. نريدها أن تكون صعبة وتمييزية، أي أن تميز بين قدرات النماذج المختلفة. عادةً ما يتم تقييم ذلك من خلال نوع من أنواع التوصيف، أي أخذ عينات من عمليات الإطلاق ومعرفة أنواع المشكلات التي يمكن للنموذج حلها فعليًا وتلك التي لا يمكنه حلها. ثم نريد أن تكون البيانات دقيقة قدر الإمكان، وهو ما يتحقق عادةً من خلال مزيج من التصفية القائمة على النموذج والتصفية البشرية بمرور الوقت . وهذه المفاهيم الخاصة بأخذ عينات البيانات بشكل صحيح لا تقتصر على التقييم البشري فقط، بل يمكن استخدامها في أي مكان . لذلك، سنرى في المستقبل، عندما نتحدث عن التقييمات غير المتصلة بالإنترنت، أننا سنستخدم على الأرجح تقنيات مماثلة لأخذ عينات البيانات. إذن، لدينا الآن عملية تقييم بشري موثوقة، لكن المشكلة تكمن في أنه إذا أردنا تقييم كل وكيل أو نموذج جديد ندرسه يدويًا، فسيصبح ذلك عائقًا كبيرًا، ولن نتمكن من التكرار بالسرعة الكافية. لذلك، نحتاج إلى الاستثمار في إنشاء تقييمات آلية أو غير متصلة بالإنترنت. والفكرة الأساسية هنا هي أنه بدلًا من التحقق من جودة الحل يدويًا، نحتاج إلى إيجاد بديل آلي، والذي عادةً ما يكون مُقيِّمًا أو معيارًا لنمذجة اللغة.

لن نتطرق بالتفصيل إلى الفروقات بين مُقيِّمي نمذجة اللغة والمعايير في هذه المحاضرة، ولكن بشكل عام، يُزوَّد مُقيِّمو نمذجة اللغة بمبادئ توجيهية عامة للجودة، وهي تشبه إلى حد كبير كيفية تقييم البشر للمهام. نُزوِّدهم بمبادئنا التوجيهية للجودة، وهم يُقيِّمون ما إذا كان الحل يلتزم بها. وهي نفس مجموعة مبادئ الجودة التي نعتمدها في جميع المهام المختلفة التي نحاول تقييمها. أما المعايير، فهي أكثر تحديدًا. لذا، يقومون بتحديد قائمة مرجعية خاصة بكل مهمة، تتضمن عناصر فردية يتم التحقق من كل منها على حدة بواسطة مُقيِّم نموذج اللغة. على سبيل المثال، في ورقة الدكتور تولو المذكورة أعلاه، يعجبني هذا المثال لأنه شخصي للغاية، ويتناول أيضًا محاولة تكييف كتاب ثقافيًا ليصبح فيلمًا جديدًا على نتفليكس . ولكن إذا نظرنا إلى جميع معايير التقييم التي يعتمدها النموذج هنا، فإننا لا ننظر إلى دليل عام للجودة، بل نحدد قائمة مرجعية بأمور محددة يحتاج مُقيِّم نموذج اللغة إلى التحقق منها ضمن الحل الذي يدرسه. لذا، فهي خاصة بكل مهمة، ونحن ننظر ونتحقق من كل منها بشكل مستقل لجعل التقييم أكثر موضوعية. والنتيجة هي مقاييس آلية يمكننا استخدامها للتحقق من جودة الحل بطريقة مشابهة لتقييم الإنسان له.

لكن المشكلة تكمن في أن هذه كلها مقاييس آلية، فهي مجرد مؤشر، وبالتالي ستكون غير كاملة. لذا، لحل هذه المشكلة، نحتاج إلى إجراء نوع من التقييم الشامل لضمان دقة مُقيّمنا. وهذا يعني أننا سنستعين ببيانات من عملية التقييم البشري، وهي بيانات مرجعية. ستكون هذه البيانات عبارة عن أمثلة تقييم من أشخاص نثق بجودتها، ونعلم أنها أمثلة تقييم جيدة. ثم نريد قياس مدى توافق ما يُشير إليه مُقيّمنا أو معاييرنا مع هذه البيانات المرجعية. باختصار، نريد النظر إلى أمور أساسية مثل مقاييس الارتباط، ودقة التصنيف الثنائي، وما إلى ذلك. لكن التقييم الشامل مجال واسع جدًا، وهناك طرق عديدة للتعامل معه. أحد الأمثلة التي أُفضّل الاستشهاد بها من نتفليكس، وهو مشروع عملت عليه، حيث استخدمنا مُقيّمًا من نوع LLM وأظهرنا أن مخرجات هذا المُقيّم مرتبطة ارتباطًا سببيًا بمقاييس البث الرئيسية مثل التخلي عن المشاهدة. لذا، إذا أخبرك مُقيّم LLM أن شيئًا ما سيئ، فمن المُرجّح أن يتخلى شخص ما عن مشاهدة المسلسل بعد محاولة مشاهدته . إذن، هناك العديد من الاحتمالات المختلفة لتقييم القضاة، وأشجعكم على الاطلاع على هذه المدونة إذا كنتم مهتمين بها.

وأخيرًا، قبل الانتقال من التقييم الشامل ، يبرز سؤال شائع: كيف نحدد مستوى الاتفاق الأمثل؟ يعتمد هذا بشكل كبير على المهمة. ففي المهام الأكثر ذاتية، يكون مستوى الاتفاق الذي يمكن تحقيقه أقل بكثير. لكن ما يمكننا فعله هو استخدام التقييم البشري كمعيار أساسي. يمكننا النظر إلى مقدار الاتفاق بين مختلف الأشخاص الذين يحاولون تقييم هذه المهمة، ونسعى إلى تحقيق مستوى اتفاق مماثل بين مُقيّمنا والبشر. أي مستويات اتفاق متقاربة بين القضاة والبشر ، وكذلك بين البشر أنفسهم. ومن ثم، لدينا أدوات التحقق الآلية التي نعرف أنها فعّالة. لذا، يمكننا البدء في إنشاء معايير مرجعية حول جميع هذه الأدوات. ويشبه هذا إلى حد كبير عملية التقييم البشري. نقوم ببساطة بأخذ عينات البيانات بشكل صحيح باستخدام نفس التقنيات التي ناقشناها للتو، ثم نستخدم محكمي أو معايير تقييم نماذج التعلم الخطي للتحقق من هذه النتائج، ونسعى باستمرار إلى مراجعة البيانات التي نقيّمها وتحسينها بمرور الوقت. النقطة الوحيدة التي لا تزال بحاجة إلى مناقشتها هي أننا نتعامل الآن مع مكونات متعددة غير حتمية. في التقييمات البشرية، كان لدينا نموذج تعلم خطي غير حتمي فقط. أما الآن، فلدينا نموذج غير حتمي ومُقيِّم غير حتمي. لذا، لدينا الكثير من التشويش الذي نحتاج إلى إيجاد طريقة للتعامل معه. وللقيام بذلك، يمكننا تطبيق مجموعة متنوعة من الأساليب الإحصائية لمحاولة تحديد فترات الثقة لكل هذا. على غرار التقييم البشري، يمكننا استخدام تحليل القدرة الإحصائية لتحديد حجم المعيار الذي يجب أن نعتمد عليه.

يمكننا الإبلاغ عن هوامش الخطأ مع جميع نتائج التقييم، ثم استخدام تقنيات مثل إعادة التجميع، والتي تعني ببساطة أخذ عينات متعددة من نموذج التعلم الآلي أو من المحكمين لتقليل التباين. والنتيجة هي أننا لا نكتفي بالإبلاغ عن نتائج التقييم فقط، بل نبلغ عنها مع مؤشرات ثقة واضحة، ثم نتخذ إجراءات لجعل جميع مؤشرات الثقة هذه دقيقة قدر الإمكان. وإذا أبلغنا عنها معًا، يمكننا رصد تحسينات القدرات في نموذجنا بشكل أكثر دقة. فنحن نعلم أنه إذا كانت إحدى الدرجات في التقييم أفضل، فذلك لأن النموذج قد تحسن بالفعل، وليس بسبب التشويش أو ما شابه. وهكذا، أصبح لدينا الآن عملية تقييم بشري معايرة. لقد أنشأنا تقييمات غير متصلة بالإنترنت ومحكمين معايرين يمكننا استخدامهم لتشغيل هذه العملية تلقائيًا. لذا يمكننا تشغيلها عدة مرات واختبار العديد من الأفكار المختلفة لتوسيع نطاق عملية التجريب. ومن ثم، يمكننا أخذ ما يعمل بشكل جيد وإعادته إلى التقييم البشري ليقوم البشر بتقييم ما إذا كان يسير على ما يرام بالفعل. في هذه المرحلة، قد نتساءل عما إذا كنا مستعدين لتطبيق هذا النموذج أم لا. قد تكون الإجابة نعم، ولكن إذا وافقنا الآن، فإننا نتجاهل جزءًا بالغ الأهمية من عملية التقييم، ألا وهو مراقبة الأداء في بيئة الإنتاج. الفكرة هنا هي تحديد وتتبع مؤشرات الأداء الخاصة بوكيلنا. فنحن نستخدم كيفية استخدام الوكيل في بيئة الإنتاج كآلية إضافية لتقييم أدائه.

وللقيام بذلك، يمكننا الاطلاع على مجموعة متنوعة من المؤشرات. بعضها صريح، مثل التقييمات الإيجابية والسلبية، وتفضيلات المستخدمين، وما إلى ذلك. نرى هذا شائعًا في برامج الدردشة الآلية. ولكن قد تكون هناك مؤشرات ضمنية، مثل مدة الجلسة، ومعدل التخلي عن الجلسات، وما شابه. لذا، يمكننا تحديد هذه المؤشرات المختلفة المرتبطة بشكل أو بآخر بأداء الوكيل. وهي في الأساس إشارات جودة من بيئة الإنتاج، يمكننا استخدامها لمعرفة مدى جودة أداء وكيلنا. يمكننا قياس مؤشرات الأداء هذه في بيئة الإنتاج من خلال اختبار A/B لنحصل على فكرة نسبية عن أداء نظامنا. لنقارن أداء النظام الحالي بالنظام الحالي، ونتساءل: هل أداء النظام الحالي أفضل؟ ويمكننا استخدام العديد من الأساليب الإحصائية لتحديد المدة اللازمة لإجراء اختبار A/B، وما إلى ذلك. يرتبط هذا بتحليل القدرة الإحصائية الذي تحدثنا عنه سابقًا. ومن مزايا اختبار A/B أنه يتيح لنا التعامل معه كعملية نشر تجريبية للنموذج. فبدلاً من نشر النموذج للجميع، يمكننا التحقق من جودته في بيئة الإنتاج من خلال اختبار A/ B والتأكد من سلامة كل شيء قبل إطلاقه بالكامل. وحتى بعد إطلاق النموذج، تتوفر فرص عديدة للمراقبة المستمرة في بيئة الإنتاج. يمكننا البحث عن أي اتجاهات مقلقة في الأداء، أو حتى اكتشاف حالات فشل النظام، أو حالات استخدام جديدة، وما إلى ذلك، واستخدام بيئة الإنتاج لربط خطوات التقييم الأخرى بالواقع. لذا، تُعدّ مراقبة الإنتاج مفيدة للغاية لتوسيع نطاق التقييمات، واكتشاف حالات فشل جديدة، وغير ذلك. نسعى لاكتشاف جميع هذه الحالات ثم

إعادتها إلى الأجزاء الأخرى من عملية التقييم. وبهذه الطريقة، علينا العمل باستمرار على تحسين جميع مكونات التقييم بمرور الوقت. لقد استعرضنا جميع المكونات المختلفة التي سنتناولها في هذه المحاضرة ، ولكن يمكننا دائمًا تحسينها جميعًا. على سبيل المثال، يمكننا تحديد معايير جودة جديدة أو أفضل، أو تحسين معايرة المُقيّمين، أو فحص الإنتاج لاكتشاف أمثلة جديدة للأخطاء التي يمكننا دمجها في التقييمات غير المتصلة بالإنترنت، وما إلى ذلك. أو يمكننا ببساطة تطبيق هذه العملية برمتها وتكرارها في مجال جديد تمامًا، أي بناء نظام تقييم مختلف كليًا. باختصار، التقييم صعب، ولكنه أصعب في المهام الذاتية نظرًا لكثرة مصادر التشويش . لقد اطلعنا على خارطة طريق تتضمن جميع المكونات والأساليب المختلفة التي يمكننا استخدامها لتقليل التشويش قدر الإمكان، وبالتالي التوصل إلى استنتاجات أكثر دقة. في هذه الخارطة، يُعد التقييم البشري بمثابة بوصلة الجودة، إذ يوفر تعريفًا واضحًا للجودة يتفق عليه البشر. ومن ثم، يمكننا استخدام هذا التعريف لمعايرة معايير التقييم أو قواعد التقييم الخاصة ببرنامج ماجستير إدارة الأعمال، كبديل للتقييم البشري، مما يسمح لنا بتوسيع نطاق عملية التجربة. بعد ذلك، يمكننا إخضاع أي منتج ناجح للتقييم البشري، ثم نشره. وعند النشر، يمكننا استخدام اختبار A/B، كما تُعد مراقبة الإنتاج آلية تقييم أخرى للتأكد من سير الأمور على ما يرام في الواقع. وهذا يعني أساسًا أننا نواجه التشويش في كل خطوة. ولأننا نتعامل مع تقييمات ذاتية، نعلم أنها ستكون غير دقيقة

. لذا، علينا أن نكون متشككين للغاية في نتائج التقييم، وأن نحاول استخدام الإحصاءات للحصول على أفضل صورة ممكنة عن أداء محركنا. لذا، يمكننا استخدام تقنيات مثل تحليل القدرة الإحصائية، وفترات الثقة ، وإعادة التوزيع، وغيرها لتقليل تباين عملية التقييم قدر الإمكان، وتوفير مؤشرات ثقة أوضح. وبجمع كل هذا، نحصل في النهاية على عملية تقييم متعددة الخطوات. نجري العديد من التقييمات غير المتصلة بالإنترنت لنكوّن فكرة عما سينجح. ثم نحيل أفضلها إلى التقييم البشري لنحصل على رؤية أكثر دقة لأداء النظام. بعد ذلك، نجري اختبار A/B لاختبار مدى نجاحه في بيئة الإنتاج، ثم نقوم بنشره. وبمجرد النشر، نواصل مراقبة حالات الفشل، ونعمل على دمجها في جميع خطوات العملية الأخرى. حسنًا. أعلم أن هذه معلومات كثيرة، ولكن لأي نقاط غير واضحة أو ترغبون في التعمق فيها، أنشأت هذا الفهرس. ستجدون فيه روابط لمزيد من القراءة حول كل ما تحدثنا عنه، سواء مني أو من غيري. لذا أنصحك بالاطلاع على كل هذه التفاصيل إذا كانت تثير اهتمامك. شكرًا جزيلًا، وآمل أن يكون ذلك مفيدًا.