Prioritetləşdirmə və eksperiment dövrü
İdeya siyahın hazırdır. İndi iki sual qalır: hansını birinci sınamalı və nəticəni necə oxumalı.
Birinci sual üçün ən çox istifadə olunan sadə çərçivə ICE-dir. Hər ideyaya üç bal verirsən (məsələn 1-10):
- Impact (təsir) — işləsə, nəticə nə qədər böyük olacaq?
- Confidence (əminlik) — işləyəcəyinə nə qədər əminsən? Bu balı məlumat qaldırır, ilham yox
- Ease (asanlıq) — nə qədər tez və ucuz sınanır?
Bal = üç rəqəmin ortası. Ən yüksək baldan başlayırsan.
ICE-in dəyəri dəqiqliyində deyil — üç rəqəm də təxmindir. Dəyəri ondadır ki, o, səni hər ideyanı üç fərqli bucaqdan qiymətləndirməyə məcbur edir. "Bu ideya xoşuma gəlir" hissi Impact ilə Ease-i qarışdırır; ayırdıqda çox vaxt görürsən ki, sevimli ideyan bir aylıq işdir və heç bir dəlilə söykənmir.
Eksperiment dövrəsi. Hər eksperiment eyni beş addımdan keçir:
1. Hipotez — "Əgər [X] etsək, [Y metrikası] [Z qədər] dəyişəcək, çünki [səbəb]" 2. Ölçü — hansı bir rəqəmə baxacağını əvvəlcədən yaz 3. Müddət — nə qədər gözləyəcəyini əvvəlcədən yaz 4. İcra — yalnız bir dəyişən dəyiş 5. Qərar — tətbiq et / atma / təkrar sına
Hər addım əhəmiyyətlidir, amma 2 və 3-cü addımların əvvəlcədən yazılması ən çox atlanılandır. Nəticəyə baxandan sonra hansı metrikaya baxacağına qərar versən, həmişə "yaxşı görünən" bir rəqəm tapacaqsan — bu, öyrənmək deyil, özünü inandırmaqdır.
Kiçik app-də statistikanın həqiqəti. Sənin app-in gündə 30 install alırsa, iki variant arasındakı 5%-lik fərqi etibarlı şəkildə ölçə bilməzsən — bu fərq təsadüf ola bilər. Praktik nəticə: kiçik trafikdə kiçik dəyişiklikləri test etmə. Cəsarətli, böyük dəyişikliklər sına — onların təsiri səs-küydən yuxarı çıxır.
| Nəticə | Nə deməkdir | Növbəti addım |
|---|---|---|
| Böyük müsbət dəyişiklik | Hipotez təsdiqləndi | Tətbiq et, sonra eyni istiqamətdə daha bir addım at |
| Böyük mənfi dəyişiklik | Hipotez səhv idi — bu da dəyərli məlumatdır | Tətbiq etmə; niyə səhv olduğunu yaz |
| Fərq çox kiçik | Ya təsir yoxdur, ya trafik ölçməyə çatmır | Daha cəsarətli dəyişiklik sına |
| Rəqəmlər dalğalanır | Müddət qısadır və ya mövsümi təsir var | Müddəti uzat; həftə içi/həftə sonu tam dövr olsun |
Uğursuz eksperiment itki deyil. Bir ideyanı kəsmək də nəticədir: o istiqamətə daha vaxt sərf etməyəcəksən. Problem yalnız o zaman yaranır ki, eksperiment heç nə öyrətmir — çünki ölçü təyin edilməyib, ya da eyni anda beş şey dəyişdirilib.
Praktika. Əvvəlki mövzuda yazdığın 10 ideyanı ICE ilə qiymətləndir. Ən yüksək bal alan ideya üçün tam eksperiment kartı doldur: hipotez, ölçü, müddət, qərar qaydası. Hazırdır sayılır: kartda ölçü və müddət eksperimentə başlamazdan əvvəl yazılıb.
📚 Mənbələr və sənədlər
- Product Page Optimizationrəsmideveloper.apple.com
Apple-ın öz nümunələri: hipotez, müddət, variant sayı və real nəticələr.
- Store listing A/B testlərirəsmisupport.google.com
Play-in eksperiment aləti və effektiv test üçün tövsiyələri.
- App Store Connect Analyticsrəsmideveloper.apple.com
Eksperimentin ölçüsünü buradan oxuyursan.