Süni intellekt sistemləri sualara cavab vermə ilə məşğul olursa da, faktlar dəyişdikdə öz fikirlərini yeniləməkdə çox vaxt uğursuz olurlar. Məsələn, səyahət botu uçuşu, oteli və taksi rezerv edib, sonra uçuş ləğv olunur — amma bot oteli ləğv etmiş olmur. Bu problem tədqiq edilməsi zəruri idi.
Tədqiqatçı RevisionTrace yaradıb — köhnə məlumatların yeniləmə prosesini test etmək üçün Python mühənnəsi. Mühənnis iki yol sınadı: birincisi bütün son məlumatları bir ədəm işə salıb hesablama aparırdı, ikincisi isə bazal vəziyyətdən başlayaraq canlı yeniləmələr tətbiq edirdi. Hər iki yol eyni qaydalar və həqiqət ilə işləyirdi.
Sınav Nəticələri: Böyük Performans Fərqi
Altı strategi 300 hal üzrə sınandı. Nəticələr kəskin oldu:
- Sıfırdan hesablama zamanı: bütün metodlar 100% dəqiqliyə çatdı
- Köhnə vəziyyəti yeniləmə zamanı: dəqiqlik 0,7%-dən 59%-ə qədər düşdü
- Səhvlər gizli qalmır: bəzi metodlar son cavabı düzəltə bilərkən daxili vəziyyət yanlış qalırdı
- Sabit ancaq yanlış: bir strategi bütün yeniləmələrdə eyni cavab verirdi, amma bu yalnız 75% hallarda doğru idi
Hatalar: Zərf-ətalətlilik və Hər-tərəfli Zərər
Tədqiqat iki əsas xətanı müəyyən etdi. Birincisi, sistemlər köhnə fikirlərini dəyişmirdi (zərf-ətalətlilik). İkincisi, yeniliklər etməli olmayan məlumatı pozurdu (hər-tərəfli zərər). Üç metod dəyişdirilməsi lazım olan faktların 65%-ini yeniləmədi, digər bir metod olduğu kimi qalması lazım olan faktların 58%-ini pozdu.
Əvvəlki Tədqiqatlar
Belief-R (2024) 30 modeli sınadı və modellərin inandıqlarını revize etməkdə çətinlik çəkdiyini göstərdi. Knowledge editing ilə bağlı tədqiqatlar (MQuAKE, RippleEdits) isbat etdi ki, bir faktı dəyişsəniz, ondan asılı olan digər fikirlər avtomatik yenilənmir. AGM-Bench isə 2400 ssenari üzrə iki əsas problemi tapıb: köhnə faktları tutma (belief inertia) və qeyri-bağlı məlumatı poza bilmə (collateral damage).
Həll: Asılılıq Izləmə
Yəhudi həll açıq-aydın. Asılılıqları izləmə yoluyla, dəyişən dəyişənlər zəncirdən aşağıya doğru irəli gətirilir. Bu metod 100% dəqiqlik əldə etdi və tam yenidən qurmayla müqayisədə 75% az iş gördü. Həll klassik kompüter elmindən — 1979-cu ildən Truth Maintenance sistemlərindən — gəlir.
Praktik Əhəmiyyət
Məsələn, F6, F7 və F8 faktları TRUE olur. C14 bütün üçünün TRUE olmasını tələb edir. Sonra F6 FALSE olur. Düzgün sistem C14-ü FALSE etməli, sonra asılı olan C17-ni də FALSE etməli. Sündi zəkaya tətbiq olunduqda bu proses çox vaxt yarımçıq qalır — nəticələr köhnə qalır.
RevisionTrace belə problemləri fərqləndirmək üçün real LLM-lərdə deyil, modelsə dizayn logic üzərində işləyir. Kod GitHub-da açıqdır.
Mənbə: Towards Data Science