Modeller ve görevler arasında protein temsillerindeki belirsizliğin nicelendirilmesi

Protein yapay zekâsında güvenilirlik neden önemli

Yapay zekâ, proteinlerin görünmez dünyası için güçlü bir mikroskop haline geldi. Modern "protein dil modelleri" yalnızca dizilimlerinden hareketle bir proteinin 3B’de nasıl görünebileceğini ve nasıl davranabileceğini tahmin edebiliyor. Bu modeller yeni ilaç tasarımında ve hastalık mutasyonlarının anlaşılmasında zaten yardımcı oluyor. Ancak gizli bir sorun var: oluşturdukları iç temsillere ne kadar güvenmemiz gerektiğini nadiren söylüyorlar. Bu makale, büyük sonuçları olan basit bir soruyu sorarak bu boşluğu ele alıyor: bir model bir proteini bir sayı bulutuna dönüştürdüğünde, bu bulutun gerçekten biyolojiyi yansıtıp yansıtmadığını mı yoksa sadece gürültü mü olduğunu nasıl anlayabiliriz?

Cümlelerden proteinlere

Dil modelleri önce insan metinlerini işlemek için geliştirildi; kelimelerin birbirleriyle nasıl ilişkili olduğunu öğrenip bir cümlede sırada ne olacağını tahmin ettiler. Aynı fikirler şimdi protein ve DNA dizilerini uzun kelimeler gibi okuyan modelleri destekliyor. Her protein için model, o protein hakkında bildiklerini özetlemeyi amaçlayan yüksek boyutlu bir uzaydaki bir "gömü" (embedding) üretiyor. Bu gömüler yapı, işlev ve mutasyonların etkisinin tahmini gibi birçok sonraki göreve besleniyor. Yine de, tanıdık tahmin skorları veya güven ölçümlerinin aksine, gömüler genellikle olduğu gibi kabul ediliyor: model bir vektör çıkardığında kullanıcılar ona güvenme eğiliminde oluyor, modelin eğitim sırasında neredeyse hiç görmediği protein bölgelerinde bile.

Modelin tahmin ettiği durumları tespit etmek

Yazarlar, temel modeli değiştirmeden bir gömünün ne kadar güvenilir olduğunu tahmin etmek için pratik bir yol öneriyor. Ana fikirleri, modele aynı temel bileşimi koruyan ama tüm anlamlı biyolojik desenleri kaybeden kasten karıştırılmış protein dizileri seti vermek. Bu sentetik diziler bir "hurda yığını" gibi davranıyor—modelin gerçek bir sinyal olmadığında ne ürettiğine dair bir referans. Her gerçek protein için yöntem, modelin iç uzayında en yakın komşularından kaç tanesinin bu hurda yığından olduğunu kontrol ediyor. Eğer yakın noktalardan manyesi karıştırılmış dizilerden geliyorsa, proteinin temsili muhtemelen yeterince öğrenilmemiş veya belirsizdir. Yazarlar bu hurda komşuların oranına Rastgele Komşu Skoru (Random Neighbor Score, RNS) adını veriyorlar.

Belirsizliği gerçek dünya performansına bağlamak

RNS’nin gerçekten biyolojik olarak önemli bir şeyi yansıtıp yansıtmadığını görmek için ekip, ESM-2 ve ProtT5 dahil birkaç çağdaş modeli kullanarak büyük protein yapı ve dizi koleksiyonlarını analiz etti. Yapıları doğru tahmin edilen proteinlerin genellikle düşük RNS’ye sahip olduğu—yani gömülerinin hurda yığınından uzak olduğu—gözlendi. Buna karşılık, kötü yapısal tahminlere sahip proteinler, gerçek ve karıştırılmış dizilerin örtüştüğü bölgelerde yaşıyordu. Bu desen farklı modeller ve görevler arasında da geçerliydi. Amino asit artıklarının 3B’de birbirleriyle temas edip etmediğini veya ikincil yapıyı atamayı tahmin etme gibi daha uygulamalı problemlere baktıklarında, RNS arttıkça doğrulukta belirgin bir düşüş gözlemlediler. Başka bir deyişle, gömü ne kadar belirsizse (RNS yüksekse), sonraki tahmin o kadar güvenilmez oluyordu.

Protein uzayındaki kör noktalar

RNS ayrıca modellerin protein evreninin farklı bölümlerini nasıl temsil ettiğine dair sistematik kör noktaları ortaya çıkardı. Doğası gereği düzensiz bölgeler—kararlı bir yapısı olmayan esnek diziler—iyi yapılandırılmış domainlere göre tutarlı şekilde daha yüksek RNS gösterdi; bu, modellerin bu kaygan dizilerle daha çok zorlandığını gösteriyor. İyi çalışılmış insan proteomu içinde bile, proteinlerin önemli bir kısmı sıfır olmayan RNS’ye sahipti; bu da popüler modeller tarafından iyi yakalanmadıklarını işaret ediyor. Şaşırtıcı olarak, daha büyük modeller her zaman daha iyi değildi: büyük, yapıya odaklı bir model birçok insan proteini hakkında daha belirsiz olabilirken daha küçük, daha genel bir model daha güvenli olabiliyordu. Yeni keşfedilen metagenomik proteinler ve gerçeğe benzer görünmeleri için bilgisayar tarafından tasarlanmış "halüsinasyon" proteinleri için düşük RNS, modellerin desenler tutarlı olduğunda eğitim verilerinin ötesine güvenle genelleme yapabildiğini düşündürdü.

Daha iyi biyolojik içgörü için daha iyi filtreler

Yazarlar ardından RNS tabanlı taramanın klinik açıdan ilgili bir görevi nasıl etkilediğini test ettiler: tek harfli bir değişikliğin bir insan proteininin işlevini bozma veya hastalığa neden olma olasılığını tahmin etmek. Analizi RNS’nin düşük olduğu proteinlerle sınırladıklarında—gömülerin güvenilir göründüğü durumlarda—model performansı belirgin şekilde iyileşti ve genellikle zararlı ile nötr varyantlar arasında güçlü ayırt edicilik sağladı. Yüksek RNS’ye sahip proteinler için tahminler para atma seviyelerine doğru düştü. Bu, güvenilmez gömülerin, ne kadar sofistike eğitim hileleri uygulanırsa uygulansın, onların üzerine kurulan herhangi bir sonraki aracın ulaşabileceği en iyi doğruluğu sessizce sınırladığı görüşünü destekliyor.

Bu, biyolojide yapay zekâ kullanımı için ne anlama geliyor

Uzman olmayanlar için çıkarım şu: yapay zekâ kaynaklı tüm protein temsilleri aynı derecede güvenilir değil ve bu güvenilirlik artık nicelenebiliyor. Rastgele Komşu Skoru, gömüler için basit, modelden bağımsız bir sağlık kontrolü görevi görüyor: düşük skorlar bir proteinin diğer biyolojik açıdan anlamlı diziler arasında yer aldığını; yüksek skorlar ise onun rastgele benzerlerden oluşan bir hurda yığınına doğru sürüklendiğini gösteriyor. Yapısal tahminler yapmadan, işlev anotasyonu yapmadan veya hastalık varyantlarını önceliklendirirken proteinleri RNS’ye göre filtreleyerek veya ağırlıklandırarak, araştırmacılar modelin gerçekten veriyi "anladığı" bölgelere odaklanabilir. Hiçbir bilim insanı bulanık bir mikroskobu fark etmeden kullanmazdı; bu çalışma her protein dil modelinin biyolojiye ilişkin iç görüşünün keskinliğini ölçen yerleşik bir mekanizmayla gelmesi gerektiğini savunuyor.

Atıf: Prabakaran, R., Bromberg, Y. Quantifying uncertainty in protein representations across models and tasks. Nat Methods 23, 796–804 (2026). https://doi.org/10.1038/s41592-026-03028-7

Anahtar kelimeler: protein dil modelleri, gömük güvenilirliği, temsil belirsizliği, varyant etkisi tahmini, doğası gereği düzensiz proteinler