Modelin kvantilaşdırılması prosesində fərdi istifadəçilər üçün və müəssisələr üçün standart qəbul qaydaları var: int8 dəqiqliyinin FP32 dəqiqliyindən 1% çox azalmaması, top-1 və top-5 metrikalarında göstəricilərin saxlanması. Ancaq bu qaydaların hamısında bir kritik məqsəd ötürülüb — qərarı verən eşik (threshold) parametrinin kvantilaşdırmadan sonra yenidən hesablanması.
Problemin Mahiyyəti
Kvantilaşdırmada skalar dəyərlər dəyişir. Məsələn, üz doğrulama (face verification) sistemində kosinüs oxşarlığı 0-1 aralığında dəyişsə də, ədədlərin daxili paylanması fərqli olur. Qəbul/rədd qapısı int8 modeli fp32-də ölçülmüş sabit eşik dəyərləri ilə işlətir. Bu, xətaların artmasına gətirib çıxarır. Yazarın ölçüdüyü halda, ötürülən (false accept) xətalar 30-dan 104-ə qalxıb — 3,5 dəfə artım.
Niyə Mövcud Testlər Bunu Tutmayır?
Standart dəqiqlik metrikası (accuracy, top-1, top-5) sıralama sırası ilə işləyir: "hansı rəsm birinci yerə çıxdı?". Bu metrikalar eşik-asılı deyil. Yəni, əgər 10000 şəkildən 9999-u doğru sırasında qalsa da, əgər bir-iki rəsm sıralarını dəyişdisə, dəqiqlik göstəricisi bu dəyişikliyi göstərməz. Ancaq qəbul/rədd qapılarında bu dəyişikliklər fərqli nəticə vər — hansı yüzün qəbul edilib-edilməməsi, hansı cütün oxşar qəbul olunub-olunmaması dəyişir.
Praktiki Ölçüm Nəticələri
Tədqiqatda 31 fərdi üzün 10000 cütü test olunub. Eşiqi (τ = 0.2592) fp32-də ölçülüb, int8-ə köçürülüb:
- Yanlış qəbul xətası (FAR): 0.003 → 0.0104 (3,5× artım)
- Yanlış rədd xətası (FRR): 0.0582 → 0.0745 (artım)
Maraqlıdır ki, hər iki xəta eyni vaxtda artır — bu bir əyri deyil, iki fərqli əyrinin işarəsidir.
Çözüm: Dörd Sətirlik Qapı
Yazarın təklif etdiyi həll asan və praktikdir:
- 1-ci addım: Məqsəd eşik seç (məsələn, FAR ≤ 10⁻³)
- 2-ci addım: Köhnə τ-da FAR/FRR oxu (diaqnostika, maneə yoxdur)
- 3-ci addım: Kvantilaşdırılmış modeldə yeni τ eşik hesabla
- 4-ci addım: Yeni τ-da FAR/FRR-ə baxaraq qəbul et/rədd et (bu addım maneə edir)
Digər Sahələrdə Tətbiqi
Bu problem yalnız üz doğrulaması ilə məhdud deyil. Avtomobil qalereyası eşlətməsi, qapalı sinifləndirmə (confidence cutoff ilə), deteksiya (box-score eşiyi ilə) — hamısında oxşar riskli məqam yaranır. Saf retrieval sistemində (eşiksiz cəmiyyət axtarışı) bu problem yoxdur.
Nəticə
Kvantilaşdırma haqqında hər 10 sənəddən 9-da eşik-asılı xətalar ölçülmür. Həll mahiyyətcə asan — iki rəqəm (FAR, FRR), bir-iki saat ölçmə — amma standart prosedurlara daxil deyil. Biometrik sertifikasiya altında olan şirkətlər bunu edirlər; digərlərində bu qaydası yoxdur. Yazarın tələbi sadədir: qəbul qapısına bu iki sətri əlavə et.
Mənbə: Towards Data Science