Sorular nasıl hazırlandı

Yusuf Irmalı projelerinde kodu yapay zekâ agent'larına yazdırıyor; ayrı bir test agent'ı (QA) teslim edilen kodu bağımsız olarak deniyor. Bu aşamada yakalanan hatalar, “Gerçek proje (anonim)” etiketli soruların kaynağı.

Bu sorularda kod gerçek projeden kopyalanmaz. Aynı hata kalıbı küçük bir örnekle sıfırdan yazılır; proje ve müşteri adı geçmez. Hatanın hangi bulgudan geldiği yalnız yayına girmeyen bir iç kayıtta tutulur. Hata Yusuf'un kendi ürünlerinden birinden geldiyse ürünün adı yazılabilir.

“Kurgu” etiketli sorular bu site için yazıldı; gerçek bir vakaya dayanmaz. Onlarda da kod bir yapay zekâ modelinin çıktısıdır.

Her hatanın bir kanıt testi var. Bu test orijinal kodda başarısız olur, düzeltilmiş kodda geçer. Böylece hatanın gerçekten var olduğu ve düzeltmenin onu giderdiği gösterilir.

Sorudaki test seçeneklerinden yalnız biri hatayı yakalar; diğerleri orijinal kodda da geçer. Bu da testle denetlenir.

Kanıt testlerinin hepsi kod deposunda tek bir komutla çalıştırılabilir.

Her soru, cevap anahtarını görmeden çözen ayrı bir incelemeden geçer. Amaç, tanımlı hataların dışında gerçek bir hata kalmadığını görmek. İnceleme başka bir hata bulursa soru düzeltilir.

Bu incelemeyi soruları yazan agent'lardan ayrı olan test agent'ı (QA) yapar; bütün sorular ayrıca bir kez farklı bir yapay zekâ modeline çözdürülür. Her kör çözümün tarihli kaydı tutulur.

Her hatanın tanımlı bir satır aralığı var. Bu aralıkta en az bir işaretin varsa hata “bulundu” sayılır. Hiçbir hatanın aralığına düşmeyen işaret “yanlış alarm” olur. Aynı işaretler her zaman aynı sonucu verir.

Gerekçeni yapay zekâ ya da başka bir sistem puanlamaz; onu örnek mülakat cevabı ve kontrol listesiyle kendin karşılaştırırsın.

Hesap yok. İlerlemen, işaretlerin, gerekçelerin ve kontrol listesi işaretlerin yalnız bu tarayıcıda tutulur; İlerleme sayfasından silebilirsin.

Bir cevap gönderdiğinde sayaca yalnız şu bilgiler gider: hangi soru, arayüz dili, kaç hata bulunduğu ve soruda kaç hata olduğu, kaç yanlış alarm verildiği, gerekçe yazılıp yazılmadığı (metni değil) ve test seçiminin doğru olup olmadığı. Sayaç kimlik, çerez ya da IP adresi kaydetmez; gerekçe metni cihazından çıkmaz.

Ayrıntılar Veriler sayfasında

Sitenin kodu ve soruların hepsi MIT lisansıyla açık. Kaynak kodu, kanıt testleri ve soru dosyaları kod deposunda.

Yeni bir soru eklemek için uygulama koduna dokunman gerekmez: soru dosyasının biçimi README'de bir örnekle anlatılıyor. Eklenen sorular da aynı iki denetimden geçmeden yayına girmez.

Yanlış ya da tartışmalı bulduğun bir soruyu her sonuç ekranındaki “Sorun bildir” bağlantısıyla bildirebilirsin.

Her kodda en az bir hata var; hatasız kod sorusu yok. Kodlar TypeScript, JavaScript ve Python'da. Süre sınırı, sıralama ya da rozet yok.