Jak mierzymy widoczność firmy w odpowiedziach AI

Sprawdzamy, jak często nazwa firmy pojawia się w odpowiedziach na uzgodniony zestaw pytań. Wynik opisuje serię testów w określonym czasie, a nie wszystkie rozmowy klientów.

ok. 720

odpowiedzi w Audycie

4

asystentów AI w wyniku głównym

95%

przedział Wilsona przy każdym wyniku

100%

odpowiedzi zachowanych jako dowód

1. Uzgadniamy pytania i zakres

   Pytania dotyczą usług i sytuacji ważnych dla klienta. Grupujemy je w tematy, przygotowujemy różne brzmienia i zapisujemy jako wersjonowaną serię. Przy kolejnym pomiarze zachowujemy tę serię. Nowe tematy oznaczamy osobno.

2. Powtarzamy zapytania

   Odpowiedzi asystenta mogą się zmieniać. Dlatego nie opieramy wyniku na jednej rozmowie. Raport podaje liczbę pytań, powtórzeń i udanych odpowiedzi dla każdego kanału. Nieudane wywołanie nie jest odpowiedzią bez wzmianki.

3. Rozdzielamy kanały

   ChatGPT, Gemini, Perplexity i Claude mogą wymieniać inne firmy i cytować inne źródła. Pokazujemy każdy kanał osobno. Wyszukiwarki z AI (Google AI Overviews, AI Mode i Copilot) oraz Mapy Google mają własne wyniki i nie wchodzą do wyniku głównego czterech asystentów. W AI Overviews sprawdzamy najpierw, czy przegląd w ogóle się pojawił, a dopiero potem, czy zacytował badaną domenę.

   Gdy dochodzi nowy kanał albo zmienia się wersja modelu, zaznaczamy to w raporcie. Wyników z różnych konfiguracji nie przedstawiamy jako wprost porównywalnych.

4. Definiujemy, co liczymy

   Wzmianka oznacza wystąpienie nazwy firmy lub jej jednoznacznego wariantu w treści odpowiedzi. Maksymalnie jedno trafienie firmy na odpowiedź. Wzmianka nie musi być poleceniem; kontekst można sprawdzić w zapisie.

   Link do strony, nazwa firmy i nazwisko specjalisty są odrębnymi informacjami. Fragmentu, który pasuje do kilku firm, nie przypisujemy nikomu. Jeśli nazwy firmy nie da się rozpoznać, nie pokazujemy 0%, tylko piszemy, że pomiar jest niemożliwy.

5. Pokazujemy wynik z kontekstem

   Przy częstości podajemy licznik i mianownik, np. 12 z 100 odpowiedzi. Pokazujemy wyniki konkurentów z tej samej próby oraz przybliżone przedziały Wilsona 95%. Nie są one gwarancją dokładności: podobne pytania i powtórzenia mogą być zależne.

   Wynik zbiorczy jest opisem zestawu testów, nie udziałem w rynku. Przy różnej liczbie powtórzeń kanały mają różny udział w tym zestawie. Najwięcej mówi wynik dla każdego asystenta i tematu osobno.

6. Zachowujemy dowody

   Raport wiąże wyniki z zapisanymi pytaniami, odpowiedziami i dostępnymi źródłami. Dokumentujemy zakres i datę pomiaru. Jeżeli historyczny materiał nie zawiera pełnych metadanych wersji modelu, zaznaczamy ten brak, zamiast go uzupełniać domysłem.

7. Oddzielamy ustalenia od hipotez

   Brak informacji na stronie można zaobserwować. To, czy spowodował brak wzmianek, wymaga osobnego sprawdzenia. Zalecenia opisują problem, proponowaną zmianę i kryterium wykonania. Nie gwarantujemy wzrostu ruchu, przychodów ani liczby poleceń.

8. Znamy ograniczenia

   Pytamy ChatGPT, Gemini, Perplexity i Claude automatycznie (przez API), bez konta i historii rozmów. W aplikacji u konkretnej osoby odpowiedź może być trochę inna. Pomiar nie odwzorowuje personalizacji ani historii rozmów klientów. Zmiana wyniku po wdrożeniu prac nie dowodzi sama w sobie ich wpływu, bo zmieniają się również modele i źródła.