W pierwszej części zaproponowałam cztery pytania, które pomagają zrozumieć, czy agencja rzeczywiście wie, co zamierza robić i dlaczego.
Jeśli nie czytałeś jeszcze części 1:
W części 2 idziemy o krok dalej.
Dobre wyjaśnienie sposobu pracy nie jest jeszcze dowodem na wynik.
Dziś nie wystarczy zapytać:
„Czy mają Państwo case studies i liczby?”
Liczby ma już wiele firm.
Znacznie bardziej użyteczne jest inne pytanie:
„Czy mogę zrozumieć, jak dokładnie ten wynik został policzony — i czy można go uczciwie porównać z punktem wyjścia?”
Sprawdziłabym cztery rzeczy:
- jak dokładnie mierzono wynik;
- co naprawdę pokazuje case study;
- ile zaangażowania będzie potrzebne ze strony właściciela firmy;
- co agencja rzeczywiście może zagwarantować.
Liczba ma sens tylko razem z metodą jej obliczenia
Załóżmy, że agencja pokazuje case study:
„Po trzech miesiącach AI visibility klienta wzrosło do 80%”.
Brzmi przekonująco.
Dziś od razu zapytałabym jednak:
- jakie pytania zostały użyte;
- ile ich było;
- które systemy AI sprawdzano;
- na jakim rynku i w jakim języku;
- w jakim okresie;
- czy pomiary były powtarzane;
- czy „przed” i „po” porównuje się według porównywalnej metodologii.
Bo sama liczba 80% nie wyjaśnia jeszcze, co właściwie zostało zmierzone.
Jeśli wynik początkowy policzono na jednym zestawie pytań, a wynik późniejszy na innym, atrakcyjne „przed i po” trudno już interpretować jako zmianę widoczności firmy.
Dlatego moje podstawowe pytanie brzmi:
„Proszę pokazać, jak dokładnie został policzony ten wskaźnik”.
W KAN pomiar początkowy i późniejsze pomiary są prowadzone według porównywalnej metodologii. W przeciwnym razie różnicy między „przed” i „po” nie można uczciwie interpretować jako zmiany widoczności.
To ważne również dlatego, że odpowiedzi AI same w sobie nie są całkowicie stabilne.
W badaniu z 2026 roku autorzy porównali Google Search, AI Overviews i Gemini na benchmarku obejmującym 11 500 zapytań użytkowników. Jednym z wniosków było to, że AI Overviews okazywały się mniej stabilne przy ponownym uruchomieniu tego samego zapytania i były wrażliwe nawet na niewielkie zmiany jego sformułowania.
Dlatego jedna korzystna odpowiedź AI to zbyt mało, aby wyciągać wnioski o widoczności firmy.
Jeden atrakcyjny wynik w ChatGPT nie jest jeszcze case study
Jeśli widzę zrzut ekranu:
„ChatGPT rekomenduje naszego klienta na pierwszym miejscu”,
jest to dla mnie interesujący fakt.
Ale nie jest jeszcze dowodem trwałego wyniku.
Chcę wiedzieć:
- jakie dokładnie pytanie zadano;
- dlaczego wybrano właśnie je;
- jakie inne pytania również sprawdzano;
- w jakim okresie;
- co było przed rozpoczęciem współpracy;
- co działo się w innych systemach AI.
Jeden zrzut ekranu dowodzi tylko jednego:
w tej konkretnej sytuacji AI wskazało firmę.
Dobre case study wygląda dla mnie inaczej:
punkt wyjścia → okres pracy → porównywalny ponowny pomiar → wynik.
Warto też widzieć wyniki poszczególnych systemów AI oddzielnie.
Zaobserwowaliśmy to już we własnym początkowym pomiarze KAN na rynku polskim: w tej samej niszy komercyjnej najbardziej widoczne firmy różniły się pomiędzy ChatGPT, Perplexity, Gemini i Google AI.
Dlatego zamiast pytać:
„Czy mają Państwo udane case studies?”
zapytałabym:
„Czy mogę zobaczyć wynik początkowy i wynik późniejszy policzone według tej samej metodologii?”
To znacznie lepiej pokazuje, co naprawdę stoi za atrakcyjną liczbą.
Właściciel firmy powinien wcześniej wiedzieć, ile czasu będzie musiał poświęcić
Trzecie pytanie:
„Ile mojego czasu będzie wymagała współpraca i do czego dokładnie będą Państwo potrzebować mojej wiedzy?”
Obietnica:
„Od Państwa niczego nie potrzebujemy, wszystko zrobimy sami”
nie wydaje mi się zaletą.
Prace techniczne rzeczywiście można delegować.
Ale wykonawca nie może sam wiedzieć:
- jakie sytuacje regularnie pojawiają się u klientów;
- jak podejmowane są decyzje eksperckie;
- jakie pytania klienci zadają najczęściej;
- które realne przypadki pokazują wyjątkowe doświadczenie firmy;
- jakie liczby rzeczywiście pojawiają się wewnątrz biznesu;
- gdzie znajdują się ważne niuanse zawodowe.
Bez tego łatwo stworzyć poprawne, ale wymienne treści.
W metodologii, na której opieramy pracę KAN, granica jest prosta:
technikę można delegować, ale sensy i wiedzę o biznesie musi przekazać sam właściciel albo realny ekspert.
Dlatego jeszcze przed podpisaniem umowy chcę wiedzieć dwie rzeczy:
po co agencja będzie potrzebować mojego udziału i ile czasu rzeczywiście będzie on wymagał.
Dobry wykonawca nie powinien ani obiecywać pełnej eksperckiej pracy całkowicie „bez klienta”, ani przerzucać na klienta wykonania całej usługi.
Dla mnie właściwy model wygląda tak:
agencja organizuje i realizuje proces, a właściciel przekazuje wiedzę, której nie da się wiarygodnie wymyślić w jego imieniu.
Gwarancja pierwszego miejsca w ChatGPT to czerwony sygnał
Ostatnie pytanie:
„Co dokładnie mogą Państwo zagwarantować?”
Agencja może oczywiście gwarantować to, co pozostaje pod jej kontrolą:
- zakres prac;
- terminy;
- przygotowanie uzgodnionych materiałów;
- regularność pomiarów;
- format raportowania;
- realizację uzgodnionego planu.
Jeśli jednak słyszę:
„Za trzy miesiące ChatGPT będzie rekomendował Państwa firmę na pierwszym miejscu”
albo
„Gwarantujemy wprowadzenie marki do pamięci ChatGPT”,
jest to dla mnie czerwony sygnał.
Powód jest prosty:
wykonawca nie kontroluje finalnej odpowiedzi AI.
OpenAI w oficjalnej dokumentacji wyjaśnia warunki, które pomagają treściom być dostępnymi dla ChatGPT Search, ale sama dostępność treści nie staje się gwarancją pojawienia się strony w konkretnej odpowiedzi.
Tym bardziej nie można zagwarantować ręcznego „dodania” firmy do pamięci modelu.
Znacznie większe zaufanie budzi we mnie komunikat:
„Pracujemy nad zwiększeniem prawdopodobieństwa, że AI będzie mogło znaleźć, prawidłowo zrozumieć i częściej rekomendować Państwa firmę, a zmiany będziemy mierzyć”.
Niż:
„Zapewnimy Państwu pierwsze miejsce w ChatGPT”.
Same liczby nie oznaczają jeszcze, że wynik został udowodniony
Po analizie rynku nie pytałabym już po prostu:
„Czy mają Państwo case studies?”
Znacznie ciekawsze jest inne pytanie:
czy można zrozumieć, jak pokazany wynik został uzyskany.
Jakie były pytania?
Które systemy AI?
Jaki rynek i język?
Jaki punkt wyjścia?
Jaki okres?
Czy pomiary „przed” i „po” są porównywalne?
To właśnie te szczegóły zmieniają:
„u klienta wynik wzrósł do 80%”
z atrakcyjnej liczby w rezultat, który można realnie ocenić.
Kiedy te pytania nie wystarczą
Te kryteria są przydatne wtedy, gdy wykonawca sprzedaje pracę nad widocznością i rekomendacjami firmy w AI.
Jeśli potrzebujesz wyłącznie SEO, budowy strony, reklamy albo standardowego content marketingu, kryteria wyboru będą inne.
Nie oczekuję też, że agencja przed podpisaniem umowy ujawni całą swoją wewnętrzną technologię, listę platform czy proces produkcyjny.
Potrzebuję innego poziomu przejrzystości:
chcę rozumieć, co kupuję, jak będzie oceniany rezultat i gdzie kończy się obszar kontroli agencji.
Dwie części — dwa poziomy weryfikacji
W pierwszej części główne pytanie brzmiało:
„Czy agencja rozumie, co zamierza robić i dlaczego?”
W drugiej:
„Czy potrafi pokazać wynik tak, żebym rozumiała, jak został policzony?”
Dla mnie właśnie połączenie tych dwóch rzeczy odróżnia atrakcyjną prezentację od zrozumiałego systemu pracy.
Wróć do części 1:
Źródła
- Grossman R. et al. — How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews
- OpenAI — Publishers and Developers FAQ
Nie wiesz, jak dziś wygląda widoczność Twojej firmy w AI?
W KAN zaczynamy od pomiaru początkowego. Sprawdzamy, czy firma pojawia się w odpowiedziach ChatGPT, Gemini, Perplexity i Google AI, jakie firmy są rekomendowane zamiast niej oraz gdzie znajduje się największa luka.
Dopiero wtedy decydujemy, co warto zmieniać.
UMÓW ROZMOWĘ