Najczęściej zadawane pytania dotyczące testów A/B
Na jak długo odwiedzający stronę przypisany jest do konkretnego wariantu?
Odwiedzający stronę jest losowany do danego wariantu dopóki nie wyczyści danych prywatnych przeglądarki, lub do czasu ukończenia testu.
Czy drugi sklep może działać niezależnie podczas przeprowadzania testu?
Drugi sklep może prowadzić niezależną sprzedaż w trakcie przeprowadzania testu A/B, nie będzie to miało wpływu na wyniki testów.
Czy w przypadku gdy klient zostanie wylosowany do wariantu B, jego odwiedziny będą wliczone do statystyk drugiego sklepu?
Statystyki takie jak Google Analytics będą zliczane zawsze dla sklepu, który przeprowadza test, bez względu na wylosowany wariant. Jedynie wejście na adres www sklepu drugiego spowoduje zliczenie statystyk dla tego sklepu.
Jaka jest różnica pomiędzy przejściem na wariant B, a wejściem bezpośrednio na sklep, który stanowi ten wariant?
Podczas testu A/B użytkownik wchodzący na wariant B widzi maskę sklepu, który został wybrany jako wariant B. Zależnie od ustawień dziedziczenia może też zobaczyć inne elementy drugiego sklepu. Wizualnie więc wariant B może prezentować się tak samo jak drugi sklep
Nie przestaje jednak być sklepem pierwszym - to oznacza, że takie elementy jak np. ceny, statystyki Google Analaytics, raporty systemowe, czy konfiguracja e-maili jest dla tego sklepu stała i nie zmienia się w zależności od wariantu.
Co w takim razie można poddawać testom A/B?
Testy A/B idealnie nadają się do sprawdzania skuteczności następujących elementów panelu:
- Szablon sklepu (w tym możliwość testowania innego procesem zakupowego - wybrane elementy - branym z innego szablonu)
- Bannery, buttony i reklamy
- Dodatki HTML i JavaScript
- Toplayery
- Widgety
W dziale ADMINISTRACJA \ Instalacja, dezinstalacja i konfiguracja sklepów można zarządzać które z tych elementów mają być takie same w obu wariantach, a które z nich mają być ustawiane indywidualnie. Należy wykorzystać do tego możliwość konfiguracji współdzielenia ustawień
Indeksowane sklepów przy testach A/B
Po wyłączeniu testów A/B drugi sklep zostanie zindeksowany przez crawler aby tego uniknąć należy w /robots.txt dodać disallow dla drugiego sklepu. Nie jest to robione automatycznie ponieważ sklep z którego pobieramy konfigurację może być autonomicznym sklepem a nie jedynie przechowalnią konfiguracji.
Zamówienia zarejestrowane vs zamówienia zakończone porażką
Zamówienia zarejestrowane to zamówienia wykonane + utracone + jeszcze niewykonane (w trakcie realizacji).
Zamówienia zakończone porażką to takie, które są stracone (status stracone), klient anulował, są fałszywe, połączone lub reklamowane.
Czy jeśli wprowadzę zmiany w masce, to będą mieć one wpływ na trwające testy A/B?
Nie. Jeśli wprowadzisz zmiany w masce podczas włączonych testów A/B, w których wykorzystywany jest ta maska, to zmiany te nie będą uwzględnione do czasu zakończenia / wyłączenia testów A/B. Jest to celowe działanie, gdyż wprowadzenie zmian w masce wykorzystywanym podczas testów A/B mogłoby wypaczyć wyniki tych testów.