Tersine mühendisliğin daha büyük bir modele ihtiyacı var mı?

Daha güçlü modeller neyi değiştirdi?

Ağustos 2026'dan bu yana, bir aracının bir programa erişim ve onun çalışmasını kontrol etmenin bir yolu ile ne kadar tersine mühendislik gerçekleştirebileceğini araştırıyorum. Deneyimlerimin çoğu, özellikle Touhou olmak üzere oyunların yeniden yapılandırılmasından geliyor. Modelleri değiştirdiğimde, depolar her oturumda kurtarılanların kaydını tuttu.

Bu çalışmanın büyük bir kısmı tam olarak yeniden yapılanmayı amaçlamaktadır: Bakımı yapılan kaynağı, sabit versiyonlara sahip tarihsel bir araç zinciri altında derliyoruz ve hedef işlevi yeniden üretip üretmediğini kontrol ediyoruz. Önceki çalışmaların durduğu yerde daha sonraki bir model başarılı olduğunda, kaynak değişiklikleri bu ilerlemeyi neyin mümkün kıldığını gösterir.

Geçici değişkenler örtüşen yaşam sürelerine ihtiyaç duyuyordu

TH09 saldırı fonksiyonunun mantığının büyük bir kısmı zaten yeniden oluşturulmuştu, ancak derleyici hala geçici sonuçları orijinalinden farklı şekilde saklıyordu. Geriye kalan sorun, bu sonuçların ne kadar süreyle canlı kalması gerektiği ve depolarının ne zaman yeniden kullanılabileceğiydi.

Bir GPT-6-Sol oturum kaydı, birkaç sıradan kaynak kodu düzenlemesini test ettikten sonra bu uyumsuzluğu bildirdi. GPT-6.1-Sol sorunu tekrar incelediğinde, bu geçici değişkenlerin yaşam süreleri hakkında yararlı bir hipotez öne sürdü.

İşlev geçici sonuçlar üretti ve bunları animasyon konumlarına kopyaladı. C++'da geçici bir sonuç, onu kullanan ifade bitene kadar canlı kalır. Gerçek işlemleri tek bir ifadede gruplandırmak bu sonuçları bir arada canlı tuttu, böylece derleyici artık aynı depolamayı hepsi için yeniden kullanamıyordu.

Sonuçlardan biri, daha sonra çarpışma kontrolleri için kullanılan bir değerle depolamayı hâlâ paylaşıyordu. Bu değere kendi ömrünü vermek, kalan örtüşmeyi çözdü. Birkaç hedefli denemeden sonra, kaynaktan yapılan temiz bir yeniden derleme, tam işlevin eşleştiğini doğruladı.

Keşif ve testlerin birbirini nasıl desteklediğiyle ilgileniyorum. Geçici nesne yaşam süreleri hakkındaki hipotez, yapay zeka ajanına yeni bir yön verdi. Derleyici geri bildirimi, bu hipotezi eşleşen bir kaynak kodu düzenlemesine dönüştürmeye yardımcı oldu.

Farklı bir kontrol akışı grafiği

İkinci bir TH09 işlevi, bu yeni yönün neden önemli olabileceğini gösterir. Buradaki engel, birden fazla şubenin nihai çalışmalarını paylaşmasıydı. GPT-6.1-Sol'nin önceki çalışması işlevin bazı kısımlarını eşleştirdi ancak dallar yine de orijinalinden farklı bir şekilde birleşti.

GPT-6-Astra çevredeki kontrol akışı grafiğini değiştirdi. Ana yollar artık paylaşılan bir son güncellemeye ve geri dönüşe yol açıyordu. Bu kaynak yapısında derleyici, dalları orijinaldekiyle aynı şekilde birleştirdi. İşlevin tamamı eşleşti ve ayrı bir yeniden oluşturma kontrolü bunu doğruladı.

Temsili değiştirmek daha verimli bir arama alanı açtı. Her iki durum da bana genel model yeteneğini ciddiye almam için bir neden veriyor: Bir temsilci, çevredeki işi ifade etmenin daha iyi bir yolunu bulmadan önce yerel varyasyonları uzun süre denemeye devam edebilir.

Sonraki oturumlar önceki kaynak kodu ve kaydedilmiş başarısız denemeleri de devraldı. Bu birikim avantajlarının bir parçasıydı. Geçmiş, keşifleri ve doğrulamalarını incelememizi sağlar; kontrollü bir karşılaştırma ise modelin etkisini devraldığı deneyimin etkisinden ayırmaya yardımcı olur.

Soruyu benim için ilginç kılan da bu. Yeni bir temsil bulma konusunda bir miktar ilerleme sağlandı. Geriye kalan çalışmaların çoğu, farklı kaynak kodu düzenlemelerinin tanıdık bir derleyiciye karşı test edilmesini içeriyordu. Bunun ne kadarı geniş muhakeme yeteneği gerektiriyor? Bir model, o derleyici ve kodla tekrar tekrar çalışarak ne kadar öğrenebilir?

Özel bir yapay zeka modeli neden başarılı olabilir?

Touhou bize bu deneyimin yardımcı olmasını beklememiz için somut bir neden veriyor. Oyun kodunun büyük bir kısmı aynı yazardan (ZUN) geliyor, dolayısıyla yinelenen alışkanlıklar makul bir başlangıç ​​varsayımıdır. Depolar bunu yararlı örneklerle desteklemektedir: İlgili döngüler ve yardımcı düzenlemeler, oyunlar arasında hipotezler sağlamıştır.

Derleyiciyi dahil ettiğimizde bu kaynak kalıpları daha spesifik hale gelir. Belirli bir sürüm ve seçenekler kümesi altında, kaynaktaki küçük değişiklikler makine kodunda tekrarlanabilir farklılıklara neden olabilir. Bu farklılıkların bazıları şaşırtıcı derecede belirsizdir.

Örneğin TH095'de, yerel bir değişkenin adı bile VC7.1'nin onu nerede sakladığını etkileyebilir. Bildiriminin taşınması depolama düzenini çözmedi. Ancak daha önceki bir arka plan işlevi, derleyicinin seçimini etkileyen bir adlandırma modelini ortaya çıkarmıştı. Bu, yeniden inşa etmekSupervisor::LoadDat için daha umut verici bir hipotez önerdi.

Dosya boyutu değişkeni için bu kalıbın yeniden kullanılması, depolama alanı eklemeden gerekli düzeni oluşturdu. Daha sonra tam işlev eşleşti.

Bu, genel amaçlı bir yapay zeka modelinin sorunla ilk karşılaştığında bilemeyeceği çok özel bir ayrıntıdır. Bu derleyici için uzmanlaşmış bir model, bu tür birçok durumu görebilir ve hangi kaynak kodu varyasyonlarının ilk önce test edilmeye değer olduğunu öğrenebilir.

Davranışı zaten anladığımız son eşleştirme problemlerinde bu fırsat özellikle açıktır. Daha sonra bu derleyicinin hangi sıradan kaynak kodu düzenlemesini gözlemlenen talimatlara dönüştürdüğünü soruyoruz. Uzmanlaşma, modelin bu formları daha verimli bir şekilde önermesine yardımcı olurken, hedef hâlâ hangi hipotezlerin hayatta kalacağını belirliyor.

Yararlı kalıplar bağlamlarını korumalıdır. TH08, TH095 ve TH09’dan daha eski bir Visual C++ sürümü kullanır. TH04 ise DOS dönemine ait başka bir derleyici kullanır. Oyuncu kodunun yeniden yapılandırılması, kaynak kalıpları ve kodun çalıştırılabilir dosyaya nasıl bağlandığı hakkında farklı hipotezler gerektirdi. Aynı yazar bize bir başlangıç varsayımı verir; bunun geçerli olup olmadığını her hedefte kontrol ederiz. Uzman model bu bağlamları ayırt etmeyi öğrenmelidir.

Bu deneyim nerede saklanmalı?

Bu kalıpları model eğitimi yoluyla öğretmeye karar vermeden önce, halihazırda depoda tuttuğumuz bilgilere bakardım. Önceki makalemde bunun projenin çalışma belleği haline geldiğini yazmıştım. Bu hafıza, derleyici derslerini, kaynağı ve onları faydalı kılan başarısız deneyleri içerir.

Bir aracı, bu kaydı alarak bilinen bir sonuçla başlayabilir ve bu sonuca nasıl ulaştığımızı inceleyebilir. Aynı bağlamda halihazırda başarısız olan alternatiflerden de kaçınılabilir. Başlangıç ​​noktası, modelin eğitilmiş parametrelerini değiştirmeden iyileşir.

TH09'nin düşman yaratma işlevi yeniden yapılandırılırken, bir GPT-6-Luna-max oturumu ilgili TH08 kaynak kodundan bir hipotez aldı. Önceki kod, döngünün nasıl organize edileceğini ve içindeki arızaların nasıl ele alınacağını öneriyordu. TH09'in kendi kanıtları oyuna özgü ayrıntıları sağladı. Kaynaktan yapılan yeniden derlemeler, işlevin tamamının eşleştiğini doğruladı.

"Model, derleyici tuhaflığını bilmiyordu" ve "model bunu kullanamadı" farklı sorunlardır. Geri getirme ilk sorunu çözebilir, ancak bu gerçeği yararlı bir adaya dönüştürmek yine de çalışma gerektirir. Aday kaynak kodu başarısız olursa modelin bir sonraki denemesinde sonucun ne anlama geldiğine karar vermesi gerekir. İlgili modeli bilmek bu sürecin yalnızca başlangıcıdır.

Bu nedenle, herhangi bir karşılaştırmaya, iyi geri çağırma özelliğine sahip, daha küçük, genel amaçlı bir yapay zeka modelini dahil ederim. Aynı deneyim kitaplığını ona vermek, eğitimin ne gibi katkılar sağladığını belirlememize yardımcı olacaktır: daha iyi aday oluşturma, geri bildirim sonrasında daha iyi kararlar veya her ikisi.

Bir sonraki faydalı deneyi öğrenmek

Geri bildirim sonrasında verilen kararlar, üzerinde çalışmayı en çok istediğim şeylerdir. Failsel yeniden yapılanmada model bir açıklama önerir ve bunu programa karşı test eder. Aday kaynak kodu başarısız olsa bile sonuç, kalan olasılıkları daraltabilir ve bir sonraki deneyin daha yararlı olmasını önerebilir.

Geçici sonuçlar örneğini tekrar düşünün. Son kaynağı işe yarayan düzenlemeyi gösteriyor ancak bu kaynağa giden yol daha fazla bilgi içeriyor. Aşağıdaki deneylerin her biri, hala neyin değişmesi gerektiğinin belirlenmesine yardımcı oldu.

Yukarıdaki saldırı fonksiyonunun yeniden yapılandırılmasından bize öğrettiklerine göre gruplandırılmış seçilmiş deneyler.

Bu sırayı tutan bir eğitim kaydı, tek başına nihai kaynaktan daha fazlasını öğretebilir. Önerilen her değişikliği gözlemlenen bir sonuca ve bir sonraki karara bağlar. Etkisiz varyasyonları korumak da önemlidir: Daha sonraki bir temsilciye, o bağlamda hangi hipotezlerin zaten test edildiğini söylerler.

Modelin geri bildirimi nasıl kullanacağını öğrenmesini isterim. Nötr bir sonuç, varyasyonun yeniden değerlendirilmesi için bir nedendir; değişen bir uyumsuzluk başka bir nedene işaret edebilir. Yerel düzenlemeler bilgilendirici olmayı bıraktığında, aracının kaynak temsilini yeniden gözden geçirebilmesi veya kanıtları yeniden inceleyebilmesi gerekir.

Bu seçimleri yapmayı öğrenmek özerklik gerektirir. Bazen bir sonraki yararlı adım, başka bir düzenleme derlemek yerine başka bir arayanı incelemektir. Gerekli yeniden yazma işlemlerinin katı bir dizisi, modelin öğrenmesini istediğimiz davranışın bir kısmıyla birlikte bu seçimi de ortadan kaldıracaktır.

Takviyeli öğrenme için tersine mühendislik neden ilgi çekicidir?

Sınırlı yeniden yapılandırma bize bu seçimleri incelemek için pratik bir ortam sağlar. Hedef ve derleyici sürümleri sabitlendikten sonra birçok kaynak denemesi hızlı, tekrarlanabilir geri bildirim üretir. Temsilci bir adayı derleyebilir, uyumsuzluğu inceleyebilir ve bu gözlemi bir sonraki adımını seçmek için kullanabilir.

Takviyeli öğrenme, aldığı geri bildirim yoluyla karar verme sürecini eğitebilir. Belirli bir kontrolle kabul edilen bir aday bize somut bir sonuç verirken, denemelerin sırası bu sonuca ulaşmak için ne kadar çaba harcandığını gözlemlememize olanak tanır.

Bu yönü destekleyen araştırmalar zaten var. LLM4Decompile kaynak koda dönüştürme için uzmanlaşmış modelleri inceliyor. AutoDecompiler, derleyici ve yürütme geri bildirimini kullanarak çok turlu iyileştirmeyi eğitir. Çalışmaları fonksiyonel iyileşmeye odaklanıyor. Bu çalışma için bunları, tarihsel bir derleyicinin çıktısıyla eşleşen kaynağı bulma görevi için bir başlangıç ​​noktası olarak kullanacağım.

Böylesine iyi tanımlanmış bir göreve ulaşmak için öncelikle bir fonksiyonun hangi kaynaklara sahip olduğunu belirlememiz veya programın çalışırkenki davranışını gözlemlemek için yeni bir yöntem tasarlamamız gerekebilir. Örneğin TH08'de, bir çarpışma farkı, orijinal programın kayan nokta hesaplamalarını nasıl işlediğini ortaya çıkardı. Aracının yararlı bir düzeltmeyi test edebilmesi için önce neyi ölçeceğini bulması gerekiyordu.

Bu, geniş kapsamlı bir model için başka bir rol öneriyor: ilk etapta sorunun kontrol edilebilir olmasına yardımcı olmak. Bu kontrol bir kez mevcut olduğunda, öğrenilmiş bir arama politikasının bununla ne kadar ileri gidebileceğini araştırabiliriz.

Doğrulama denetleyicisi yanlış olduğunda

Bir kontrolü eğitimde kullandığımızda, kapsamı da öğrenme ortamının bir parçası olur. Böyle bir referansa veya doğrulayıcıya oracle diyorum. Tekrarlanabilir bir yanıt bile gerçekte neyi doğruladığına göre anlaşılmalıdır.

TH08 bu kapsamın dışında ne kadar şeyin saklanabileceğini gösterdi. Yeniden oluşturulan bazı işlevler, tam karşılaştırmalarını yanlış kayan sabitlerle geçti. Karşılaştırıcı, talimatları kontrol etmeden önce yeniden konumlandırılan adresleri ayarladı, ancak bu adreslerin arkasındaki değerleri yalnızca doğrulama için açıkça kaydedildiklerinde kontrol etti. Diğer gerçek referanslar, değerleri incelenmeden geçebilir.

Bu boşluğu gidermek için, daha geniş bir denetim, doğrulamayı zaten geçmiş işlevlerde hatalı sabitler buldu. Bir hesaplamada, yeniden oluşturulan kaynak kodu 1.0f'yi eklerken, orijinali 32.0f'ü ekledi.

Eski doğrulama denetimiyle ödüllendirilen bir model, hatalı bir yeniden yapılandırma üretmeyi öğrenebilir. Bu denetleyiciyi kullanarak bir RL modelini eğitmedik. Gözlemlediğimiz başarısızlık kontrolün kendisindeydi. Ancak bunu bir ödül olarak kullanırsak aynı kör nokta öğrenme ortamının bir parçası haline gelecektir.

Fonksiyonel bir testin de benzer bir kör noktası olabilir. LLM kod çözücüler üzerinde diferansiyel bulanıklaştırmayı kullanan araştırma, sağlanan testlerin dışında davranışsal farklılıklar buldu. Bu nedenle geçme testini, uyguladığı durumlar açısından anlamamız gerekir. Benzer şekilde, bir talimat eşleşmesinin, doğruladığı baytlar ve veriler açısından anlaşılması gerekir.

Her iki doğrulama kontrolünü de ödül olarak kullanmadan önce, bunu kasıtlı olarak yanlış sonuçlarla test ederim. Ayrıca nihai kabulü, yapay zeka aracısının düzenleyebileceği kaynak kodundan ayrı tutacağım. Model, programı doğru bir şekilde yeniden oluşturarak doğrulamayı geçmelidir. Aksi takdirde, hedeften bir bayt dizisinin basitçe kopyalanması, yararlı kaynak kodunu kurtarmadan saf bir puanlama sistemini kandırabilir.

Öğreneni geliştirmek ve doğrulama denetleyicisini geliştirmek aynı araştırma probleminin bir parçasıdır. Öğrenci, ona verdiğimiz geri bildirimi optimize etme konusunda daha iyi hale geldikçe, geri bildirimin anlaşılması da daha önemli hale gelir.

Çalıştırılmaya değer bir karşılaştırma

Bu kontroller uygulandığında, karşılaştırmaya sabit bir VC7.1 görev ailesi üzerinde başlayacağım. İlk olarak, güçlü bir genel amaçlı yapay zeka modeli ve daha küçük bir model için temeller oluşturacaktım. Daha küçük modele depo bilgisinin eklenmesi, geri almanın ne gibi değişikliklere yol açtığını gösterecektir. Buradan itibaren, denetimli uzmanlık ve RL ile eğitilmiş bir sürüm, eğitimin neleri eklediğini incelememize olanak tanır.

Bu karşılaştırmaları bilgilendirici kılmak için her model aynı hedef kanıtları ve araçları alacaktır. Eğitime özel karşılaştırmalar için temel modeli ve mevcut bilgiyi de sabit tutardım. Tekrarlanan denemeler, güvenilir bir arama stratejisini şans eseri başarılı olan aday bir çözümden ayırmaya yardımcı olacaktır.

Daha sonra iki başlangıç koşulunu ayıracağım: bir fonksiyonu talimatlarından yeniden oluşturmak ve korunan kaynaktaki son birkaç farklılığı kapatmak. Özel bir yapay zeka modeli ikinci görevde mükemmel olabilirken, genel amaçlı bir yapay zeka modeli, ona ulaşmak için gereken işin çoğunu yapar. Bunları ayrı ayrı ölçmek o iş bölümünü ortaya çıkaracaktır.

Her iki görevin de eğitim ve erişim dışında bırakılan test örneklerine ihtiyacı vardır. İlgili Touhou oyunları motor kodunu paylaşır. Bir oyunu eğitimden hariç tutmak, eğitim setinde neredeyse aynı işlevlerin kalmasına neden olabilir. Bunun yerine, ilgili kaynak kodu gruplarının tamamını hariç tutar ve doğrulanmış yanıtlarını hem eğitim verilerinin hem de erişim kütüphanesinin dışında tutardım.

Bu örnekler için sonuç, eksiksiz, bağımsız olarak doğrulanmış eşleşmeler olacaktır. Aday teklifleri veya derleme girişimleri için eşit bütçeler, arama kalitesinin karşılaştırılmasına yardımcı olacaktır. Derleme de dahil olmak üzere toplam süre ve maliyetin ölçülmesi, bu kalitenin verimli bir iş akışı üretip üretmediğini gösterecektir. Eğitim maliyetleri ayrı olarak ölçülmelidir.

Her iki ölçüm de önemlidir. Ucuz bir teklif, hiçbir yararlı bilgi sağlamayan daha fazla derlemeye neden olursa pahalı bir iş akışına yol açabilir. Tersine, daha yavaş bir model, yararlı bir deneyi daha erken bulursa daha ekonomik olabilir. Karşılaştırma bu maliyetleri içermelidir.

Kabul edilen sonuçların sayılması aynı zamanda ara ilerlemeyi de perspektif içinde tutar. Bir TH09 tekrar oynatma-kaydetme adayı, derlenmiş işlevin beklenen boyuta sahip olması nedeniyle umut verici görünüyordu, ancak tam bir karşılaştırma yine de önemli farklılıklar buldu. Derleyicinin talimatları düzenleme biçimindeki değişiklikler, altta yatan sorunu çözmeden adayın daha yakından bakmasını da sağlayabilir. Bu tür teşhisler bir sonraki deneye rehberlik edebilir, ancak "yaklaşmanın" herhangi bir ödülünü tam kabul kontrolüne göre doğrularım.

Bu sonuçlardaki model ilgimi çeker. Özel bir yapay zeka modeli tanıdık bir derleyici ailesinde başarılı olursa, bu avantaj bir takım zinciri değişikliğinden sonra da ayakta kalabilir mi? Her iki yapay zeka modeli de iyi bir erişime sahip olduğunda, eğitimin hâlâ ne kadar katkısı olur? Cevaplar, her model türünün en yararlı olduğu yerin neresi olduğuna karar vermemize yardımcı olacaktır.

Bu ne tür bir yapay zeka ajanını akla getiriyor?

Modellerin farklı aşamalarda yardımcı olduğu ortaya çıkarsa, özel bir yapay zeka modeline erişimi olan geniş bir temsilci yararlı bir düzenleme olabilir. Bir görev tanıdık bir derleyici araması haline geldiğinde, adaylar için özel yapay zeka modelini isteyebilir. Sonuçların artık bir anlamı kalmazsa, daha geniş kapsamlı temsilci hedef kanıtlara geri dönebilir veya ölçümün kendisini araştırabilir.

Bu düzenlemede uzmanlaşma, soruşturma geliştikçe temsilcinin seçebileceği bir araç haline gelir. Temsilci, daha önceki atılımları mümkün kılan yön değiştirme özgürlüğünü elinde tutar.

Bu, doğal olarak önceki makalede anlattığım endüstriyel değişimin sonucudur. Daha fazla deney yürütebilmek, işi organize etme şeklimizi değiştirir. Aynı zamanda bize, hangi kararların geniş muhakeme gerektirdiğini ve hangilerinin belirli bir zanaatta tekrarlanan deneyimlerle geliştirildiğini sormamız için bir neden de verir.

Şimdilik en güçlü genel model, daha önce çözemediğim sorunları çözerek iş akışımda yerini kazandı. Bu başarılar süreci daha yakından incelemek istememe yol açıyor: Ne kadarı modelin geniş yeteneklerine bağlıydı? Ne kadarı bu yeniden yapılandırma türüne özel olarak eğitilmiş bir model tarafından yapılabilirdi?

Depolar bize soruyu test etmemiz için bir yol sağlıyor. Bu kaydı karşılaştırmayı oluşturmak ve ne öğrendiğimizi görmek için kullanmak istiyorum.