Yapay zekâ asistanı kurarken yapılan beş hata

Yapay zekâ projelerinin çoğu teknik olarak çalışıyor ama üretime geçmiyor. Aşağıdaki beş sebep, bunun neden olduğunu büyük ölçüde açıklıyor.

Ortak nokta şu: hataların hiçbiri model seçimiyle ilgili değil. Hepsi, işin nasıl tanımlandığıyla ilgili.

1. Başarının ölçüsü baştan yazılmadı

"Daha iyi cevap versin" bir hedef değil. Ölçülebilir bir eşik olmadan sistemin yeterince iyi olup olmadığına kimse karar veremiyor ve proje sonsuza kadar "biraz daha iyileştirilir" durumunda kalıyor.

Önlemi: Projeye başlamadan tek bir sayı belirleyin. "Gelen taleplerin yüzde 85'i doğru birime yönlendirilsin" gibi. Bu sayı hem bitiş çizgisi hem de vazgeçme kriteri oluyor.

Eşiği belirlerken bugünkü insan performansını da ölçün. Elle yapılan sınıflandırma yüzde 90 doğruysa, yüzde 85 hedefi işi geriye götürür. Bu karşılaştırma yapılmadan konulan hedefler genellikle ya çok düşük ya ulaşılamayacak kadar yüksek oluyor.

2. Test verisi gerçek değil

Elle yazılmış temiz örneklerle çalışan sistem, gerçek verinin dağınıklığıyla karşılaşınca dağılıyor. Gerçek e-postalar yazım hatası içeriyor, konu dışı cümle barındırıyor ve bazen tamamen boş oluyor.

Önlemi: İlk günden gerçek veriyle çalışın. Elli gerçek örnek, beş yüz uydurma örnekten daha çok şey öğretiyor.

Örnekleri seçerken kolay olanları ayıklamayın. Asıl öğretici olan uç durumlardır: iki konuyu birden içeren mesaj, yanlış birime gelmiş talep, ekindeki dosyada asıl bilgiyi taşıyan e-posta. Sistem bunlarda ne yaptığını göstermezse üretimde ne olacağı bilinmiyor.

3. Emin olmama durumu tasarlanmadı

Model her soruya cevap veriyor, bilmediklerine bile. Emin olmadığı durumu bildirmesi için tasarlanmadıysa yanlış cevabı da aynı özgüvenle veriyor.

Önlemi: Modelin "bilmiyorum" diyebileceği bir yol bırakın ve o durumda işi insana devredin. Bir asistanın yanlış cevap vermesi, cevap vermemesinden çok daha pahalıdır.

Devir yolunun da tasarlanması gerekiyor. İş insana düştüğünde kime düşecek, nasıl haber verilecek ve o kişi bağlamı nereden görecek? Bu üç soru cevaplanmadan bırakılan sistemlerde emin olunmayan talepler sessizce kayboluyor.

4. Cevabın kaynağı gösterilmiyor

Kullanıcı, cevabın nereden geldiğini göremiyorsa doğrulayamıyor. Doğrulayamadığı bir sistemi de bir süre sonra kullanmayı bırakıyor.

Önlemi: Her cevabın yanında kaynağını gösterin: hangi dokümanın hangi bölümünden geldiğini yazın. Güveni en çok artıran değişiklik budur.

Kaynak göstermenin ikinci bir faydası var: yanlış cevabın sebebi hemen görülüyor. Model uydurmuş mu, yoksa dokümanın kendisi mi eski? Bu ayrım olmadan iyileştirme körlemesine yapılıyor.

5. Maliyet üretimde ölçülüyor

Deneme aşamasında birkaç yüz istek yapılıyor ve maliyet önemsiz görünüyor. Üretimde günde binlerce istek gelince fatura sürprize dönüşüyor.

Önlemi: İstek başına maliyeti baştan hesaplayın, tahmini günlük hacimle çarpın ve aylık bir tavan koyun. Model seçimi de bu hesabın parçasıdır: her iş en güçlü modeli gerektirmiyor.

Hesabın nasıl yapıldığını ChatGPT API maliyeti nasıl hesaplanır yazısında adım adım anlattık.

Bonus: en büyük hata

En pahalı hata bu beşinin hiçbiri değil: yapay zekânın gerekmediği bir işi yapay zekâyla çözmeye çalışmak.

Sabit kurallarla çözülebilecek bir sınıflandırma, dil modeliyle yapıldığında hem daha pahalı hem daha az öngörülebilir oluyor. Önce basit çözümün neden yetmediğini yazın. Yazamıyorsanız muhtemelen yetiyor.

Pratik bir ayrım şu: girdi yapılıysa ve kurallar sayılabiliyorsa kod yazın. Girdi serbest metinse, kurallar sayılamıyorsa ve istisnalar sürekli değişiyorsa dil modeli mantıklı hâle geliyor.

Üretime geçmeden önce kontrol listesi

1. Başarı eşiği yazılı ve bugünkü performansla karşılaştırılmış.
2. En az elli gerçek örnekle ölçüm yapılmış, uç durumlar dâhil.
3. Modelin emin olmadığı durumda devredeceği kişi ve kanal belli.
4. Her cevap kaynağını gösteriyor.
5. Aylık maliyet tavanı konmuş ve uyarı kurulmuş.
6. Hangi verinin dışarı çıktığı yazılı olarak tanımlanmış.

Son madde çoğu projede atlanıyor. Kurumsal API'lerde veri model eğitimine gitmiyor ama bu ayarın açıkça yapılandırılması gerekiyor. Hassas veri hiç dışarı çıkmayacaksa o kısım kendi sunucunuzda çalışacak şekilde kurgulanabiliyor.

---

Elinizde belirli bir iş varsa uygun olup olmadığını birlikte değerlendirebiliriz. Yapay zekâ entegrasyonları sayfasında nasıl çalıştığımızı anlattık.