هل تحتاج الهندسة العكسية إلى نموذج أكبر؟

ما الذي غيّرته النماذج الأقوى؟

منذ أغسطس 2026، كنت أستكشف مقدار الهندسة العكسية التي يمكن للوكيل تنفيذها من خلال الوصول إلى البرنامج وطريقة التحقق من عمله. معظم خبرتي تأتي من إعادة بناء الألعاب، وخاصة Touhou. وبما أنني قمت بتغيير النماذج، فقد احتفظت المستودعات بسجل لما تمكنت كل جلسة من استعادته.

يهدف كثير من هذا العمل إلى إعادة بناء دقيقة: نترجم الشيفرة المصدرية التي نحتفظ بها باستخدام أدوات من تلك الحقبة بإصدارات ثابتة، ثم نتحقق من أنها تعيد إنتاج الدالة المستهدفة. عندما يحل نموذج أحدث مشكلة تعثر عندها العمل السابق، تكشف تغييرات الشيفرة ما الذي أتاح هذا التقدم.

تحتاج المتغيرات المؤقتة إلى عمر متداخل

تمت إعادة بناء الكثير من منطق دالة الهجوم TH09 بالفعل، لكن المترجم ما زال يخزن النتائج المؤقتة بشكل مختلف عن الأصل. وكانت المشكلة المتبقية هي المدة التي تحتاجها تلك النتائج للبقاء على قيد الحياة، ومتى يمكن إعادة استخدام مخزونها.

أبلغ GPT-6-Sol سجل الجلسة عن عدم التطابق هذا بعد اختبار العديد من ترتيبات كود المصدر العادية. عندما فحص GPT-6.1-Sol المشكلة مرة أخرى، اقترح فرضية مفيدة حول عمر هذه المتغيرات المؤقتة.

أنتجت الوظيفة نتائج مؤقتة ونسختها في مواضع الرسوم المتحركة. في لغة C++، تظل النتيجة المؤقتة حية حتى انتهاء التعبير الذي يستخدمها. يؤدي تجميع العمليات الحقيقية في تعبير واحد إلى إبقاء هذه النتائج حية معًا، لذلك لم يعد بإمكان المترجم إعادة استخدام نفس وحدة التخزين لجميعها.

لا تزال إحدى النتائج مشتركة في مساحة التخزين مع القيمة المستخدمة لاحقًا للتحقق من التضارب. إن إعطاء هذه القيمة مدى الحياة الخاص بها أدى إلى حل التداخل المتبقي. وبعد عدة تجارب مستهدفة، أكدت إعادة الترجمة النظيفة من المصدر أن الوظيفة الكاملة مطابقة.

أنا مهتم بكيفية دعم الاكتشاف والاختبارات لبعضهما البعض. أعطت الفرضية المتعلقة بعمر الكائنات المؤقتة لعامل الذكاء الاصطناعي اتجاهًا جديدًا. ساعدت تعليقات المترجم في تحسين هذه الفرضية إلى ترتيب كود المصدر المطابق.

رسم بياني مختلف للتحكم في التدفق

توضح وظيفة TH09 الثانية سبب أهمية هذا الاتجاه الجديد. وهنا، كانت العقبة هي كيفية مشاركة العديد من الفروع لعملها النهائي. يحتوي العمل السابق لـ GPT-6.1-Sol على أجزاء من الدالة متطابقة، ولكن لا تزال الفروع متصلة بشكل مختلف عن الأصل.

غيّر GPT-6-Astra الرسم البياني المحيط لتدفق التحكم. أصبحت المسارات الرئيسية تؤدي إلى تحديث أخير وعودة مشتركين. بهذه البنية، دمج المترجم البرمجي الفروع كما في الأصل. تطابقت الدالة كاملة، وأكد ذلك فحص مستقل لإعادة البناء.

أدى تغيير التمثيل إلى فتح مساحة بحث أكثر إنتاجية. تمنحني كلتا الحالتين سببًا لأخذ إمكانات النموذج العامة على محمل الجد: يمكن للوكيل الاستمرار في تجربة الاختلافات المحلية لفترة طويلة قبل العثور على طريقة أفضل للتعبير عن العمل المحيط.

في الوقت نفسه، بدأت الجلسات اللاحقة بمصادر سابقة وإخفاقات مسجلة. وكان هذا العمل المتراكم جزءًا من مصلحتهم. يتيح لنا التاريخ فحص الاكتشافات وفحصها؛ ومن شأن المقارنة الخاضعة للرقابة أن تساعد في فصل تأثير النموذج عن الخبرة التي ورثها.

وهذا ما يجعل السؤال مثيرًا للاهتمام بالنسبة لي. جاء بعض التقدم من إيجاد تمثيل جديد. تضمن الكثير من العمل المتبقي اختبار ترتيبات مختلفة لشفرة المصدر مقابل مترجم مألوف. كم من هذا يتطلب قدرة تفكير واسعة النطاق؟ ما مقدار ما يمكن أن يتعلمه النموذج من خلال العمل المتكرر مع هذا المترجم والكود؟

لماذا قد يكون نموذج الذكاء الاصطناعي المتخصص ناجحًا؟

Touhou يعطينا سببًا ملموسًا لتوقع أن تساعدنا هذه التجربة. الكثير من رموز اللعبة تأتي من نفس المؤلف، ZUN، لذا فإن العادات المتكررة هي افتراض بداية معقول. تدعم المستودعات ذلك بأمثلة مفيدة: الحلقات ذات الصلة والترتيبات المساعدة قدمت فرضيات عبر الألعاب.

تصبح أنماط المصدر هذه أكثر تحديدًا عندما نقوم بتضمين المترجم. ضمن إصدار معين ومجموعة من الخيارات، يمكن أن تؤدي التغييرات الصغيرة في المصدر إلى اختلافات متكررة في كود الجهاز. بعض هذه الاختلافات غامضة بشكل مدهش.

في TH095، على سبيل المثال، حتى اسم المتغير المحلي يمكن أن يؤثر على مكان تخزينه VC7.1. لم يؤدي نقل إعلانه إلى حل تخطيط التخزين. ومع ذلك، كشفت وظيفة خلفية سابقة عن نمط تسمية أثر على اختيار المترجم. وقد اقترح ذلك فرضية واعدة أكثر بشأن إعادة بناء Supervisor::LoadDat.

أدت إعادة استخدام هذا النمط لمتغير حجم الملف إلى إنتاج التخطيط المطلوب دون إضافة مساحة تخزين. ثم تمت مطابقة الوظيفة الكاملة.

هذه تفاصيل محددة جدًا قد لا يعرفها نموذج الذكاء الاصطناعي للأغراض العامة عندما يواجه المشكلة لأول مرة. يمكن للنموذج المتخصص لهذا المترجم أن يرى العديد من هذه الحالات ويتعرف على اختلافات التعليمات البرمجية المصدر التي تستحق الاختبار أولاً.

تكون الفرصة واضحة بشكل خاص في مشاكل المطابقة النهائية حيث نفهم السلوك بالفعل. ثم نسأل عن ترتيب التعليمات البرمجية المصدر العادي الذي يحوله هذا المترجم إلى التعليمات المرصودة. يمكن أن يساعد التخصص النموذج على اقتراح تلك الأشكال بشكل أكثر كفاءة، في حين أن الهدف لا يزال يحدد الفرضيات التي ستبقى.

يجب أن تحتفظ الأنماط بسياقها. يستخدم TH08 إصدارًا من Visual C++ أقدم مما يستخدمه TH095 وTH09. أما TH04 فيستخدم مُترجمًا برمجيًا آخر من حقبة DOS، وقد احتاجت إعادة بناء شيفرة اللاعب إلى فرضيات مختلفة عن أنماط الشيفرة وكيفية ربطها في ملف تنفيذي. وحدة المؤلف تعطينا توقعًا أوليًا، لكن كل هدف يبين إن كان ينطبق. وعلى النموذج المتخصص تعلم هذه الفروق.

أين ينبغي تخزين هذه التجربة؟

قبل أن أقرر تعليم هذه الأنماط للنموذج، سأراجع المعرفة التي نحفظها بالفعل في المستودع. في المقال السابق كتبت عن المستودع وهو يصبح الذاكرة العاملة للمشروع. تتضمن هذه الذاكرة ما تعلمناه عن سلوك المترجم البرمجي، مع الشيفرة والتجارب الفاشلة التي جعلت تلك المعرفة مفيدة.

من خلال استرداد هذا السجل، يمكن للوكيل البدء بنتيجة معروفة وفحص كيفية وصولنا إليها. ويمكنه أيضًا تجنب البدائل التي فشلت بالفعل في نفس السياق. تتحسن نقطة البداية دون تغيير معلمات النموذج المدربة.

أثناء إعادة بناء وظيفة TH09 لإنشاء الأعداء، أخذت جلسة GPT-6-Luna-max فرضية من كود مصدر TH08 ذي الصلة. اقترح هذا الكود السابق كيفية تنظيم الحلقة والتعامل مع حالات الفشل بداخلها. قدمت أدلة TH09 الخاصة التفاصيل الخاصة باللعبة. أكدت عمليات إعادة البناء من المصدر أن الوظيفة الكاملة متطابقة.

"النموذج لم يكن يعرف هذه الخاصية المحددة للمترجم البرمجي" و"النموذج لم يستطع استخدامها" مشكلتان مختلفتان. قد يحل استرجاع المعرفة المشكلة الأولى، لكن تحويلها إلى شيفرة مرشحة مفيدة يحتاج إلى عمل. وإذا فشلت الشيفرة المرشحة، فعلى النموذج أن يقرر ما تعنيه النتيجة لمحاولته التالية. معرفة النمط المناسب هي بداية العملية فقط.

لهذا السبب، سأقوم بتضمين نموذج ذكاء اصطناعي أصغر حجمًا للأغراض العامة مع استرجاع جيد في أي مقارنة. إن منحها نفس مكتبة الخبرة من شأنه أن يساعدنا في تحديد ما يضيفه التدريب: جيل أفضل للمرشحين، أو قرارات أفضل بعد التعليقات، أو كليهما.

تعلم التجربة المفيدة التالية

تلك القرارات بعد ردود الفعل هي أكثر ما أرغب في دراسته. في إعادة البناء الوكيل، يقترح النموذج تفسيرًا ويختبره مقابل البرنامج. وحتى عندما يفشل الكود المصدري المرشح، فإن النتيجة يمكن أن تضيق الاحتمالات المتبقية وتقترح تجربة تالية أكثر فائدة.

خذ بعين الاعتبار مثال النتائج المؤقتة مرة أخرى. يُظهر مصدره النهائي الترتيب الذي نجح، لكن المسار إلى هذا المصدر يحتوي على مزيد من المعلومات. ساعدت كل تجربة من التجارب التالية في تحديد ما لا يزال بحاجة إلى التغيير.

تجارب مختارة من إعادة بناء وظيفة الهجوم أعلاه، مجمعة حسب ما علمتنا إياه.

يمكن لسجل التدريب الذي يحتفظ بهذا التسلسل أن يعلم أكثر من المصدر النهائي وحده. فهو يربط كل تغيير مقترح بالنتيجة الملحوظة والقرار التالي. إن الاحتفاظ بالتغيرات غير الفعالة أمر مهم أيضًا: فهي تخبر وكيلًا لاحقًا بالفرضيات التي تم اختبارها بالفعل في هذا السياق.

أريد أن يتعلم النموذج كيفية استخدام التعليقات. النتيجة المحايدة هي سبب لإعادة النظر في الشكل؛ قد يشير عدم التطابق المتغير إلى سبب آخر. عندما تتوقف التعديلات المحلية عن تقديم المعلومات، يجب أن يكون الوكيل قادرًا على إعادة النظر في تمثيل المصدر أو فحص الأدلة مرة أخرى.

تعلم هذه الاختيارات يتطلب الاستقلالية. أحيانًا تكون الخطوة الأنسب فحص دالة أخرى تستدعي هذه الدالة بدل ترجمة تعديل جديد. فرض سلسلة جامدة من إعادة الكتابة يلغي هذا الاختيار ومعه جزءًا من السلوك الذي نريد أن يتعلمه النموذج.

لماذا تعتبر الهندسة العكسية مثيرة للاهتمام للتعلم المعزز

توفر إعادة البناء ذات النطاق المحدد بيئة عملية لدراسة هذه القرارات. بعد تثبيت إصدارات الهدف والمترجم البرمجي، تعطي تجارب كثيرة على الشيفرة ملاحظات سريعة وقابلة للتكرار. يستطيع الوكيل ترجمة شيفرة مرشحة وفحص الفروق ثم اختيار الخطوة التالية.

يمكن للتعلم المعزز تدريب عملية صنع القرار من خلال ردود الفعل التي تتلقاها. يمنحنا المرشح الذي يتم قبوله عن طريق فحص محدد نتيجة ملموسة، في حين يتيح لنا تسلسل المحاولات ملاحظة مقدار العمل الذي استغرقه الوصول إلى هذه النتيجة.

هناك أبحاث تدعم هذا الاتجاه بالفعل. يدرس LLM4Decompile نماذج متخصصة في استعادة الشيفرة المصدرية من البرامج المترجمة. ويستخدم AutoDecompiler نتائج الترجمة والتنفيذ لتدريب التحسين عبر جولات متعددة. تركز هذه الدراسات على استعادة سلوك البرنامج. سأستخدمها نقطة بداية لمهمة قريبة: إيجاد شيفرة تنتج مخرجات مطابقة لمترجم برمجي تاريخي.

للوصول إلى مثل هذه المهمة المحددة جيدًا، قد نحتاج أولاً إلى تحديد الموارد التي تمتلكها الوظيفة أو ابتكار طريقة جديدة لملاحظة سلوك البرنامج أثناء تشغيله. في TH08، على سبيل المثال، أدى اختلاف التصادم إلى كيفية تعامل البرنامج الأصلي مع حسابات الفاصلة العائمة. قبل أن يتمكن الوكيل من اختبار تصحيح مفيد، كان عليه أن يحدد ما يجب قياسه.

ويشير هذا إلى دور آخر لنموذج قادر على نطاق واسع: المساعدة في جعل المشكلة قابلة للتحقق في المقام الأول. بمجرد وجود هذا الفحص، يمكننا التحقيق في المدى الذي يمكن أن تصل إليه سياسة البحث المستفادة.

عندما يكون أداة التحقق خاطئًا

عندما نستخدم فحصًا في التدريب، يصبح نطاقه جزءًا من بيئة التعلم. أسمي هذا المرجع أو أداة التحقق oracle. حتى الإجابة القابلة للتكرار يجب فهمها في حدود ما تتحقق منه فعلًا.

أظهر TH08 مقدار ما يمكن إخفاءه خارج تلك التغطية. اجتازت بعض الوظائف المعاد بناؤها مقارناتها الدقيقة مع ثوابت عائمة خاطئة. قامت أداة المقارنة بتعديل العناوين المنقولة قبل التحقق من التعليمات، ولكنها لم تتحقق من القيم الموجودة خلف تلك العناوين إلا عندما تم تسجيلها بشكل صريح للتحقق منها. يمكن أن تمر المراجع الحرفية الأخرى دون فحص قيمها.

لسد هذه الفجوة، كشف تدقيق أوسع ثوابت خاطئة في دوال كانت قد اجتازت التحقق. في إحدى العمليات الحسابية، أضافت الشيفرة المعاد بناؤها 1.0f، بينما أضاف الأصل 32.0f.

يمكن للنموذج الذي تمت مكافأته بفحص التحقق القديم أن يتعلم إنتاج إعادة بناء غير صحيحة. لم نقوم بتدريب نموذج RL باستخدام هذا المدقق. الفشل الذي لاحظناه كان في الفحص نفسه. ولكن إذا استخدمناها كمكافأة، فإن نفس النقطة العمياء ستصبح جزءًا من بيئة التعلم.

يمكن أن يحتوي الاختبار الوظيفي على نقطة عمياء مماثلة. وجدت الأبحاث التي تستخدم التشويش التفاضلي في برامج فك التشفير LLM وجود اختلافات سلوكية خارج الاختبارات المتوفرة. لذلك نحن بحاجة إلى فهم اختبار النجاح من حيث الحالات التي يمارسها. وبالمثل، يجب فهم مطابقة التعليمات من حيث البايتات والبيانات التي تتحقق منها.

قبل استخدام أي نوع من اختبارات التحقق كمكافأة، سأختبره بنتائج غير صحيحة عمدًا. أود أيضًا أن أبقي القبول النهائي منفصلاً عن كود المصدر الذي يمكن لعامل الذكاء الاصطناعي تحريره. يجب أن يجتاز النموذج التحقق من خلال إعادة بناء البرنامج بشكل صحيح. وبخلاف ذلك، فإن مجرد نسخ مصفوفة بايت من الهدف يمكن أن يخدع نظام تسجيل ساذج دون استعادة كود المصدر المفيد.

إن تحسين المتعلم وتحسين أداة التحقق من الصحة ينتميان إلى نفس مشكلة البحث. ومع تحسن المتعلم في تحسين التعليقات التي نقدمها له، يصبح فهم هذه التعليقات أكثر أهمية أيضًا.

مقارنة تستحق التشغيل

مع إجراء عمليات التحقق هذه، سأبدأ المقارنة على مجموعة مهام VC7.1 ثابتة. أولاً، أود أن أضع خطوط أساس لنموذج قوي للذكاء الاصطناعي للأغراض العامة ونموذج أصغر. إن إضافة معرفة المستودع إلى النموذج الأصغر سيُظهر تغييرات الاسترجاع. ومن هنا، فإن التخصص الخاضع للإشراف والنسخة المدربة RL ستسمح لنا بفحص ما يضيفه التدريب.

ولجعل هذه المقارنات مفيدة، سيحصل كل نموذج على نفس الأدلة والأدوات المستهدفة. بالنسبة للمقارنات الخاصة بالتدريب، سأبقي النموذج الأساسي والمعرفة المتاحة ثابتة أيضًا. من شأن التجارب المتكررة أن تساعد في التمييز بين استراتيجية البحث الموثوقة والحل المرشح الذي ينجح بالصدفة.

سأفصل بعد ذلك شرطين للبدء: إعادة بناء دالة من تعليماتها، وإغلاق الاختلافات القليلة الأخيرة في المصدر المحفوظ. قد يكون نموذج الذكاء الاصطناعي المتخصص ممتازًا في المهمة الثانية، بينما يقوم نموذج الذكاء الاصطناعي للأغراض العامة بالكثير من العمل اللازم للوصول إليه. وقياسها بشكل منفصل من شأنه أن يكشف عن تقسيم العمل هذا.

تحتاج كلتا المهمتين إلى أمثلة اختبارية مستثناة من التدريب والاسترجاع. ألعاب Touhou ذات الصلة تشترك في رمز المحرك. قد يؤدي استبعاد لعبة واحدة من التدريب إلى ترك وظائف متطابقة تقريبًا في مجموعة التدريب. بدلاً من ذلك، سأستبعد مجموعات كاملة من أكواد المصدر ذات الصلة وأحتفظ بإجاباتها التي تم التحقق منها خارج كل من بيانات التدريب ومكتبة الاسترجاع.

بالنسبة لهذه الأمثلة، ستكون النتيجة تطابقات كاملة تم التحقق منها بشكل مستقل. من شأن الميزانيات المتساوية لمقترحات المرشحين أو محاولات التجميع أن تساعد في مقارنة جودة البحث. إن قياس إجمالي الوقت والتكلفة، بما في ذلك التجميع، سيُظهر ما إذا كانت هذه الجودة تنتج سير عمل فعالاً. وينبغي قياس تكاليف التدريب بشكل منفصل.

كلا القياسين مهمان. يمكن أن يؤدي الاقتراح الرخيص إلى سير عمل مكلف إذا تسبب في المزيد من التجميعات التي لا تقدم معلومات مفيدة. وعلى العكس من ذلك، قد يكون النموذج الأبطأ أكثر اقتصادا إذا وجد تجربة مفيدة في وقت أقرب. وينبغي أن تشمل المقارنة هذه التكاليف.

كما أن حساب النتائج المقبولة يحافظ على التقدم المتوسط في المنظور الصحيح. بدا أحد مرشحات TH09 replay-save واعدًا لأن الدالة المترجمة لها الحجم المتوقع، ولكن المقارنة الكاملة لا تزال تجد اختلافات جوهرية. إن التغييرات في كيفية قيام المترجم بترتيب التعليمات يمكن أن تجعل المرشح يبدو أقرب دون حل المشكلة الأساسية. يمكن لمثل هذه التشخيصات أن توجه التجربة التالية، لكنني سأؤكد صحة أي مكافأة مقابل "الاقتراب" مقابل فحص القبول الكامل.

سأكون مهتمًا بالنمط عبر هذه النتائج. إذا كان نموذج الذكاء الاصطناعي المتخصص يعمل بشكل جيد ضمن عائلة المترجمات المألوفة، فهل ستصمد هذه الميزة بعد تغيير سلسلة الأدوات؟ وبمجرد أن يتمتع كلا نموذجي الذكاء الاصطناعي بقدرة جيدة على الاسترجاع، ما مقدار التدريب الذي سيضيفه؟ ستساعدنا الإجابات في تحديد المكان الذي يكون فيه كل نوع من النماذج أكثر فائدة.

ما هو نوع وكيل الذكاء الاصطناعي الذي يشير إليه هذا؟

إذا تبين أن النماذج تساعد في مراحل مختلفة، فقد يكون الترتيب المفيد هو وكيل واسع النطاق لديه إمكانية الوصول إلى نموذج متخصص للذكاء الاصطناعي. بمجرد أن تصبح المهمة عبارة عن بحث مألوف للمترجم، يمكن أن تطلب نموذج الذكاء الاصطناعي المتخصص للمرشحين. إذا لم تعد النتائج منطقية، فيمكن للعامل الأوسع العودة إلى الدليل المستهدف أو التحقيق في القياس نفسه.

وفي هذا الترتيب، يصبح التخصص أداة يمكن للعميل اختيارها مع تطور التحقيق. يحتفظ الوكيل بحرية تغيير الاتجاه الذي جعل الاختراقات السابقة ممكنة.

ويأتي هذا بشكل طبيعي من التحول الصناعي الذي وصفته في المقالة السابقة. إن القدرة على إجراء المزيد من التجارب تغير الطريقة التي ننظم بها العمل. كما أنه يمنحنا سببًا للتساؤل عن القرارات التي تحتاج إلى حكم واسع النطاق وتلك التي تتحسن من خلال الخبرة المتكررة في حرفة معينة.

حتى الآن، استحق أقوى نموذج عام مكانه في سير عملي لأنه حل مشكلات كنت قد تركتها دون حل. وهذه النجاحات تدفعني إلى دراسة العملية: كم منها اعتمد على اتساع قدراته، وكم يمكن أن يتولاه نموذج مدرب على هذا النوع من إعادة البناء؟

توفر لنا المستودعات طريقة لاختبار السؤال. أود استخدام هذا السجل لإجراء المقارنة ومعرفة ما نتعلمه.