تطبيق النماذج اللغوية الكبيرة على بيانات الأعمال صفًا بصف، بمخرجات منظمة يمكن توقعها
خطوة في خط معالجة البيانات تشغّل نموذجًا لغويًا مختارًا على كل صف من صفوف الجدول، وتعيد حقولًا محددة النوع تطابق مخططًا يحدده المستخدم.
- الشريك
- شركة خدمات مهنية دولية
- المدة
- من أكتوبر 2024 إلى يناير 2026
- مزوّدو النماذج
- 5
- OpenAI وAnthropic وGoogle وGroq وxAI
- حقول المخرجات
- محددة النوع
- يجري التحقق منها وفق مخطط يحدده المستخدم
- إعادة المحاولة
- لكل صف
- معالجة حالات الإخفاق دون خسارة الدفعة
التحدي
أرادت الفرق تصنيف المعلومات واستخراجها وتلخيصها عبر آلاف السجلات. ولم يكن ممكنًا إدخال الإجابات النصية الحرة التي تعيدها النماذج بصورة موثوقة في التقارير أو قواعد البيانات أو الأنظمة الأخرى.
ما بنيناه
خطوة تحليل ترسل كل صف إلى نموذج مختار مع موجّه مبني على قالب، وتشترط إجابة منظمة. تُعالَج الصفوف في دفعات تخضع لحدود معدل الطلبات، وتُعاد محاولة كل صف فاشل على حدة، وتُضاف الحقول المولّدة إلى البيانات الأصلية أعمدةً محددة النوع.
ما تم تسليمه
- مخرجات منظمة يحددها المستخدم ويجري التحقق منها قبل بدء التشغيل
- تقسيم الطلبات إلى دفعات وضبط معدلها من خلال إعداد واحد لحجم الدفعة
- الاختيار بين إيقاف التشغيل عند الإخفاق أو متابعته بقيم افتراضية
نبذة عن الشريك
شريكنا شركة خدمات مهنية دولية تتعامل فرقها مع كميات كبيرة من المستندات وجداول البيانات وقواعد البيانات والبريد الإلكتروني. وأراد الشريك منصة داخلية واحدة تبني فيها هذه الفرق خطوط معالجة البيانات والوكلاء الأذكياء بنفسها، بدلًا من التعاقد على تطبيق جديد لكل حاجة. وكان على المنصة أن تعمل داخل بيئة Microsoft 365 وAzure لدى الشريك، وأن تفصل عمل كل فريق عن غيره، وأن تنقل العمل من مرحلة التجربة إلى بيئة الإنتاج عبر بيئات خاضعة للرقابة.
التحدي
النص الحر لا يناسب الجداول
تختلف استجابات النماذج في شكلها وصياغتها. ومن دون بنية ثابتة، تحتاج النتائج إلى تنظيف يدوي قبل أن يتمكن أحد من فرزها أو تصفيتها أو تحميلها.
الحجم يصطدم بحدود معدل الطلبات
تشغيل نموذج على جدول كبير يعني استدعاءات كثيرة في وقت قصير. ويفرض المزوّدون حدودًا لمعدل الطلبات، وتفشل بعض الاستدعاءات لأسباب عابرة.
الأخطاء تظهر متأخرة
الموجّه الذي يشير إلى حقل غير موجود، أو حقول المخرجات التي تتعارض مع أعمدة قائمة، كانت ستُفشل التشغيل في منتصف عملية طويلة ومكلفة لو لم تُكتشف مسبقًا.
الأهداف
- إعادة نتائج النماذج حقولًا محددة النوع يمكن للخطوات اللاحقة الاعتماد عليها
- معالجة الجداول الكبيرة ضمن حدود معدل الطلبات لدى المزوّدين
- حصر حالات الإخفاق في الصفوف التي تقع فيها
- اكتشاف أخطاء الإعداد قبل إجراء أي استدعاء للنموذج
- إتاحة اختيار النموذج والمزوّد لكل خطوة
دورنا
تولّت كارسنترك القيادة التقنية والبنية المعمارية ضمن فريق هندسي متعدد التخصصات، وشاركت مباشرة في التنفيذ. بُنيت المنصة على مدى 16 شهرًا، من أكتوبر 2024 إلى يناير 2026، بنظام خلفي يعتمد على Python وFastAPI ويعمل على Azure.
النطاق والجدول الزمني
طُوّرت خطوة التحليل بين نوفمبر 2024 وأكتوبر 2025 ضمن مكتبة خطوات خطوط المعالجة في المنصة، إلى جانب نموذج إعداداتها والتحقق من الموجّهات وتسجيل السجلات.
المنهجية
المخطط أولًا
يحدد المستخدم المخرجات على هيئة JSON Schema. وتحوّله الخطوة إلى نموذج بيانات محدد النوع، وتطلب من مزوّد النموذج مخرجات منظمة، فتكون كل إجابة إما مطابقة للمخطط وإما معدودة إخفاقًا.
التحقق قبل الإنفاق
قبل أول استدعاء، تتحقق الخطوة من وجود متغيرات الموجّه في البيانات، ومن صحة القوالب، ومن أن أسماء الحقول المولّدة لا تتعارض مع أعمدة المصدر.
إعداد واحد للوتيرة
يتحكم حجم الدفعة في التزامن ومعدل الطلبات معًا من خلال محدِّد للمعدل يعمل بآلية دلو الرموز (token bucket). فتضبط الفرق رقمًا واحدًا بدلًا من عدة إعدادات يؤثر بعضها في بعض.
التنفيذ
قوالب الموجّهات
تجمع الموجّهات بين قيم ثابتة وحقول من كل صف، بما فيها الحقول المتداخلة. ويُطبَّق القالب نفسه على الجدول كله، مما يُبقي النتائج قابلة للمقارنة.
المعالجة على دفعات
تُعالَج الصفوف في دفعات غير متزامنة مع فاصل زمني بين كل دفعة وأخرى. وتُعاد محاولة كل صف عددًا من المرات يمكن ضبطه، وتُسجَّل كل محاولة.
سياسة الإخفاق
عند تفعيل خيار تحمّل الإخفاق، يتلقى الصف الذي يستمر إخفاقه قيمًا افتراضية ويتواصل التشغيل، مع تسجيل عدد الصفوف التي أخفقت. وعند إيقاف هذا الخيار، يتوقف التشغيل برسالة خطأ واضحة.
المخرجات
تُدمج الحقول المولّدة مع الصف الأصلي في جدول جديد محدد النوع، يمكن لخطوات الكتابة والربط وغيرها استخدامه مباشرة.
الأدوات والتقنيات
| الأداة | الغرض |
|---|---|
| LangChain | تهيئة النماذج والمخرجات المنظمة |
| Pydantic | نماذج بيانات محددة النوع مولّدة من JSON Schema |
| OpenAI وAnthropic وGoogle وGroq وxAI | مزوّدو نماذج يمكن الاختيار بينهم |
| asyncio | معالجة الدفعات بالتوازي |
ما تم تسليمه
- مزوّدين
- 5
- عقد المخرجات
- JSON Schema
- التحقق
- قبل التشغيل
- إعادة المحاولة والقيم البديلة
- لكل صف
- خطوة تحليل قابلة لإعادة الاستخدام ومتاحة لكل خطوط المعالجة في المنصة
- مخرجات محددة النوع يجري التحقق منها وفق المخطط بدلًا من النص الحر
- تنفيذ على دفعات ضمن حدود معدل الطلبات، مع إعادة المحاولة لكل صف
- اكتشاف أخطاء الإعداد قبل تكبّد أي كلفة لاستدعاء النماذج
لماذا يهم ذلك
تصبح النماذج اللغوية مفيدة في العمليات حين يستطيع النظام التالي في السلسلة الوثوق بمخرجاتها. ومعاملة البنية والوتيرة والإخفاق على أنها قرارات تصميمية تحوّل استدعاء النموذج إلى خطوة بيانات يُعتمد عليها.
إذا كانت مؤسستكم تخطط لمنصة من هذا النوع، أو تحتاج إلى تصميم جزء محدد منها وتسليمه، يسعدنا أن نناقش ذلك معكم.