İki bayrak, tek yanlış seçim

Yapay zekâ üzerine kamusal tartışma sürekli iki konuma sıkışıyor.

Hiçbiri asıl mühendislik sorusuyla ilgilenmiyor: bir sistem kod çalıştırabildiği, araç çağırabildiği ve bellek kalıcılaştırabildiği an, onun agency'si (eyleyicilik) vardır. Kısıtlama, bu agency'nin çoktan burada olduğunu reddeder. Komuta, bir insan sözde ipi elinde tuttuğu sürece agency'nin otomatik olarak güvenli olduğunu varsayar. Bizce üçüncü bir yol var — iki bayrak arasında bir uzlaşma değil, tamamen farklı bir soru: bir ajan hareket edebiliyorsa, onun hareketlerinden hangisini güvenilir kılan nedir?

Hareket edebilme, hareket etme hakkı değildir

Bir yapay zekâ hareket edebilir. Dosya yazabilir, API çağırabilir, bütçe harcayabilir, mesaj gönderebilir. Hiçbiri, hareketin kabul edildiği anlamına gelmez — kararı verecek konumdaki birinin ya da bir şeyin, hesap verebileceği bir kapsam altında evet dediği anlamına gelmez. Bizim sistemimizde her hareket, kendisinin seçemeyeceği bir execution class altında kabul edilir ve bir sınıf, görevin yapısal olarak gerektirdiğinden daha ucuz ya da daha az denetlenen bir şeye asla sessizce düşürülemez. Agency motordur. Authority direksiyondur. Direksiyonsuz bir motor özerklik değildir — sadece harekettir.

Çalışmış olmak, doğru olduğunun kanıtı değildir

Tamamlanmış ve "bitti" dönmüş bir görev size tek bir şey söylemiştir: çalışmayı durdurdu. Doğru olduğunu söylememiştir. Çoğu sistem tamamlanmayı başarı sayar. Biz tamamlanmayı bir iddia sayarız — doğru sayılmasına izin verilmeden önce ayrı bir doğrulayıcının gerçekten kontrol ettiği kanıtla desteklenmesi gereken bir iddia. Geçen bir test makbuzu bir iddiayı doğrulanmışa yaklaştırır. Kendi kendine rapor etmek yaklaştırmaz. Bu, görevleri bitiren bir sistemle, "bitirdim" iddiasına güvenilebilecek bir sistem arasındaki farktır.

Önce kanıt, sonra proof, sonra doğrulama

Güven bir başlangıç koşulu değildir; bir hattın çıktısıdır. Her run, çalışırken kanıt biriktirir. O kanıt bir proof bundle'a derlenir. Proof bundle — bütünlük, çelişki ve iddia ettiği şeyi gerçekten destekleyip desteklemediği açısından — bir run'ın doğrulanmış sayılmasına izin verilmeden önce kontrol edilir. Kanıtı olmayan, zayıf ya da çelişen kanıtı olan bir run, kendi başarısını ne kadar güvenle rapor ederse etsin doğrulanmamış kalır. Güven kanıt değildir. Hiçbir zaman olmadı.

Bir modelin söylediği, bir sistemin hatırladığı değildir

Bir model, doğru olsun olmasın, hemen hemen her şeyi aynı akıcı güvenle söyleyebilir. O çıktı doğrudan uzun-vadeli belleğe girebiliyorsa, sistemin belleği tam olarak en özgüvenli halüsinasyonu kadar güvenilir olur. Biz memory terfisini üretimin bir yan etkisi değil, yönetişimli bir eylem olarak ele alırız: bir iddia, ancak tam doğrulanmış bir proof'la desteklendiğinde ve memory kaydına digest-digest'e bağlandığında canonical memory olur. Proof'uyla artık eşleşmeyen bellek eski, çelişkili ya da geri alınmıştır — silmek elverişsiz olduğu için sessizce tutulmaz.

Bir kesinti bir sorudur, bir yeniden-dene düğmesi değil

Sistemler bozulur. Süreçler yeniden başlar. Ağlar isteğin ortasında düşer. Tehlikeli olan başarısızlık kipi çökme değildir — sonra ne olduğudur. Zaten olmuş olabilecek bir yan-etki (yazılmış bir dosya, gönderilmiş bir mesaj, yapılmış bir ödeme), "yeniden dene her zaman güvenlidir" varsayımıyla asla körü körüne tekrarlanmamalıdır. Belirsiz bir yan-etki gerçek bir karar için yükseltilir. Gözlenen bir yan-etkisi olmayan temiz bir kesinti gerçek bir retry adayıdır. Bu iki durum arasındaki fark kozmetik değildir — onu birleştirmek, sistemlerin çift-ücretlendirdiği, çift-gönderdiği ve çift-hareket ettiği yerdir. Biz uzlaştırırız (reconcile). Körü körüne tekrarlamayız.