10 warunków dobrego badania Radia metodą pasywną

Pasywne, elektroniczne, jednoźródłowe pomiary konsumpcji mediów stały się w ostatnim czasie przedmiotem szczególnego zainteresowania i rozbudzonych oczekiwań. W powszechnej świadomości rozumiane są jako oczywista oczywistość – „zmierzy się i po prostu będzie”, „zbada się i dowiemy się samej prawdy”… – a tymczasem badanie pasywne jest polem minowym, niekończącym się pasmem pułapek i trudności, wielokrotnie bardziej skomplikowanym niż dobrze rozpoznane i w setkach tysięcy badań przetestowane metody tradycyjne.

Wyobraźmy sobie zdjęcie o wysokiej rozdzielczości, w kolorze, robione co jakiś czas i film słaby jakościowo, czarno-biały, gubiący klatki, ale pokazujący fabułę w sposób ciągły. W pierwszym przypadku mamy punktowy, ale bardzo precyzyjny pomiar, jak w badaniu Radio Track, a w drugim – badanie pasywne, w którym nie dopracowano szczegółów. Praca nad badaniem pasywnym powinna doprowadzić do tego, że film stanie się kolorowy, będzie miał wszystkie klatki i wyraźny obraz.

Nadawcy radiowi działający w ramach Komitetu Badań Radiowych od dawna zgłaszają konieczność podjęcia konkretnych wyzwań i realizację prac koniecznych do przygotowania takiego modelu badania jednoźródłowego, który będzie we właściwy sposób mierzyć słuchalność Radia jako medium o specyfice odrębnej od internetu i telewizji.

Postęp technologiczny i rozwój technik pasywnych z jednej strony otwiera nowe możliwości badawcze, z drugiej jest źródłem nowych problemów i wyzwań, które wymagają wnikliwego zbadania i oceny ich wpływu na rzetelność planowanych pomiarów. Dla Radia szczególnie istotne są błędy, które w sposób nieuprawniony prowadzą do systemowego zaniżania danych o konsumpcji tego medium. Aby ich uniknąć, należy dokładnie przeanalizować konkretne obszary planowanego badania.

10 warunków dobrego badania pasywnego

Odpowiednia wielkość panelu i jego rozproszenie oraz zakres badanych stacji
Ciągła rekrutacja do panelu i zarządzanie panelem z wykorzystaniem najnowocześniejszych narzędzi
Zgodne z procedurami badania zachowanie panelistów
Kontrolowanie właściwego sposobu noszenia mierników
Uwzględnienie na etapie tworzenia badania różnic w konsumpcji mediów i wynikających z tego różnych warunków ich pomiaru
Zneutralizowanie różnic pomiarowych między miernikami stacjonarnymi i przenośnymi
Umożliwienie pomiaru słuchania przez słuchawki
Stworzenie nowoczesnego centrum referencyjnego sygnału, umożliwiającego prawidłową identyfikację stacji
Zastosowanie odpowiednich procedur przeliczających i zapewnienie ich jawności
Takie zdefiniowanie wskaźników dla poszczególnych mediów, by mogły współistnieć i być porównywalne w ramach jednego badania

Przyjrzyjmy się im po kolei.

1. Wielkość panelu i jego rozproszenie oraz zakres badanych stacji

Specyfika rynku radiowego w Polsce wymaga, aby panel badania pasywnego był odpowiednio duży, by móc dostarczać wiarygodnych wyników na temat stacji ogólnopolskich, ponadregionalnych i lokalnych. Dla stacji ogólnopolskich wystarczy panel rzędu 4 tys. panelistów, dla stacji ponadregionalnych i sieciowych – 20 tys., dla lokalnych – 80 tys. Obecnie działające lub planowane panele składają się z 2 lub 4 tys. osób. Mogą one zbadać zaledwie ogólnopolskie stacje i wybrane sieci radiowe. Nie są w stanie dostarczyć wiarygodnych wyników dla lokalnych stacji radiowych i mniejszych sieci. Oznacza to poważne ograniczenie liczby podmiotów korzystających w pełni z badania i mających wiarygodne wyniki. Będzie to jedynie kilka stacji radiowych. Więcej na ten temat: https://www.wirtualnemedia.pl/artykul/gdzie-stacje-lokalne-znajda-swoje-wyniki

2. Ciągła rekrutacja do panelu i zarządzanie panelem z wykorzystaniem najnowocześniejszych narzędzi

Rekrutacja respondentów do panelu pasywnego jest niezwykle trudna, ponieważ badanie jest inwazyjne i istotnie wkracza w prywatne życie panelistów. Uczestnictwo w badaniu wymaga od panelisty długofalowej deklaracji zaangażowania w projekt, nieustannej dyscypliny oraz akceptacji faktu, iż miernik „podsłuchuje” jego codzienne życie. Zgodnie z wynikami eksperymentów prowadzonych przez Telemetria Polska najskuteczniejszą metodą wynagradzania uczestnika panelu jest telefon. Jednakże telefon najczęściej jest bardzo „osobistym” urządzeniem, którego wybór (wybór modelu) stanowi kolejną barierę w chęci uczestniczenia w badaniu, a także używania telefonu jako podstawowego (najlepiej jedynego) aparatu respondenta.

Reasumując, decydując się na kilkudziesięciotysięczny panel, firma badawcza musi dysponować ogromnym budżetem na utrzymanie panelu, chociażby z uwagi na kosztu zakupu i kalibracji urządzeń mierzących a następnie na ich utrzymanie, serwisowanie i wymianę na nowe, a także utrzymywanie liczebności z powodu naturalnej rotacji osób w panelu.

3. Zachowanie panelistów zgodne z procedurami badania

Wyzwaniem dla panelisty jest zarówno noszenie miernika cały czas przy sobie, jak i dbanie o odpowiedni poziom naładowania baterii, zapobiegający jego wyłączeniu. Jak pokazują badania prezentowane przez KRRiT na konferencji w Krynicy w 2019 roku, ponad 25 proc. respondentów często lub bardzo często zostawia telefon w kieszeni kurtki, torbie, torebce lub plecaku po przyjściu do domu. Noszenie smartfona przy sobie rzadko, bardzo rzadko lub nigdy deklarowało blisko 40 proc. respondentów.

Zarówno wyłączenie, jak i nienoszenie miernika ze sobą skutkuje ubytkami pomiaru. Konieczne jest więc skatalogowanie takich sytuacji, stworzenie procedur, szkolenia respondentów i ich monitorowanie, a nawet podjęcie działania, gdy wymaga tego sytuacja.

4. Kontrolowanie właściwego sposobu noszenia mierników w domu i poza nim

Miernik, aby prawidłowo zbierał dźwięk z otoczenia, musi być prawidłowo używany. Przede wszystkim: używany jako osobisty, czyli noszony przy sobie, najlepiej cały czas, przez osobę objętą badaniem, a nie innego domownika. Wymaga to zarówno czynnej, jak i biernej (automatycznej) kontroli przez firmę badawczą.
Testy laboratoryjne wskazują jednoznacznie, że miejsce i sposób noszenia mierników oraz rodzaj zakłóceń wpływają na jakość i trafność pomiaru oraz na możliwość właściwej identyfikacji odbieranych treści audio. Mniejsze znaczenie ma głośność sygnału. Natomiast rodzaj zakłóceń jest kluczowy. Jako przykład może posłużyć samochód, przy którym niektóre mierniki wyłapują i poprawnie identyfikują ponad 79 proc., inne 50 proc., a jeszcze inne poniżej 20 proc. sygnału[1]. Słabo identyfikowany jest też sygnał miernika schowanego do torebki lub plecaka. Instytut Łączności realizował niedawno kolejne testy (zaangażowani byli też nadawcy Komitetu Badań Radiowych). Czekamy na publikację raportu z nich.

5. Uwzględnienie na etapie tworzenia badania różnic w konsumpcji mediów i wynikających z tego różnych warunków pomiaru

Radio jest medium towarzyszącym słuchaczom w trakcie różnych aktywności, zarówno w domu, jak i poza nim, podczas gdy telewizja oglądana jest nadal głównie w domu, w jednym ustalonym miejscu. Poza domem radia słucha świadomie 70 proc. słuchaczy, a generuje to 60 proc. czasu słuchania. Stwarza to zupełnie inne wymagania dotyczące sposobu korzystania z mierników pasywnych. Na skuteczność działania mierników istotny wpływ mają towarzyszące zakłócenia dźwiękowe oraz hałasy. Treści odbierane w miejscach z dużą ilością dźwięków tła (np. ulica, samochód, praca) są rozpoznawane zdecydowanie gorzej niż treści odbierane w otoczeniu pozbawionym takich zakłóceń, np. w domu. Do tego mierniki często noszone są w kieszeni, torebce, plecaku czy też pod zimową kurtką. Z uwagi na specyfikę konsumpcji radia – np. podczas jazdy samochodem, podczas pracy, podczas przygotowywania posiłków w kuchni, etc. – programy radiowe mogą być słabo rozpoznawane przez mierniki.
Dla firmy badawczej oznacza to zadbanie o wszelkie najwyższe standardy przygotowania badania: wybór urządzeń, poprawność sygnałów, testy rozpoznawalności sygnałów, kontrolę traconej słuchalności, ewentualnie wypracowanie metod jej uzupełniania.

6. Zneutralizowanie różnic pomiarowych między miernikami stacjonarnymi i przenośnymi

Mierniki stacjonarne często ulokowane są w pobliżu urządzenia nadającego badany sygnał lub wręcz bezpośrednio z nim połączone. Mierzą aktywność odbiornika, bez względu na to, czy respondent znajduje się w jego pobliżu, czy nie. Miernik noszony przez respondenta przy sobie, pokazuje jego aktywność i wychwytuje momenty, gdy do respondenta dobiega dźwięk.

W przypadku, gdy do badania wykorzystywane są smartfony, należy uwzględnić fakt, iż niektóre aplikacje wyłączają mikrofon, co uniemożliwia monitoring otoczenia. Stacjonarne mierniki nie mają takich ograniczeń. Przykładowo, telefon podczas rozmowy telefonicznej, czy też korzystania z komunikatora, nie prowadzi pomiaru, natomiast miernik stacjonarny – tak. To znaczna różnica w samym podejściu do „badanego zjawiska”, wymagająca opracowania sposobów neutralizacji wpływu techniki na uzyskany poziom wyników.

7. Umożliwienie pomiaru słuchania przez słuchawki

Pewna część odbiorców mediów korzysta ze słuchawek – dotyczy to przede wszystkim słuchania radia przez młodszą część populacji. Według badań przeprowadzonych przez KBR, słuchanie przez słuchawki w przypadku niektórych stacji sięga 25 proc. Mierniki pasywne nie radzą sobie w ogóle lub radzą bardzo słabo z identyfikacją treści odbieranych przez słuchawki. To oznacza, że wyniki słuchalności niektórych stacji będą znacznie zaniżone.

8. Stworzenie nowoczesnego centrum referencyjnego

Centrum referencyjne jest bardzo ważnym elementem projektu badawczego, gdyż wymaga odpowiedniej infrastruktury, backupów, zarządzania i obsługi. Liczy się jakość sygnału referencyjnego, jego przesunięcie względem sygnału z urządzenia pomiarowego. Niezwykle istotna jest wysoka jakość algorytmu, dopasowującego sygnał referencyjny do sygnałów z mierników, potwierdzona testami laboratoryjnymi (przy ciszy i udziale szumów). Konieczna jest także nieustanna kalibracja mierników, aby mieć pewność, że algorytm dopasowania równie dobrze działał na wszystkich miernikach użytych w badaniu.

Ewentualne wykorzystanie alternatywnej technologii opartej na implementacji niesłyszalnego sygnału „watermarku” nie powinno dawać możliwości sterowania jego poziomem. Niezależne firmy opracowały urządzenia umożliwiające wzmacnianie tego sygnału (kosztem jakości dźwięku), co wg nich skutkuje kilkunastoprocentowym wzrostem rozpoznawania. Dla firmy badawczej oznacza to konieczność zabezpieczenia badania przed taką sytuacją.

9. Zastosowanie odpowiednich procedur przeliczających i zapewnienie ich jawności

Trzeba pamiętać, że zebrane próbki sygnałów podlegają następnie obróbce: technicznej, statystycznej. Zebrany materiał będzie zawierał wszystkie dźwięki… i wszystkie problemy: stany wyładowania telefonu, przerwy w jego noszeniu, niejednoznaczne sygnały lub dopasowania, nieregularne używanie urządzenia pomiarowego, niestandardowe zachowania… Firma badawcza stanie przez żmudnym zadaniem opracowania algorytmów postępowania z danymi w takiej sytuacji. Warunkiem, by badanie na tym etapie było wiarygodne, musi być jawność i transparentność stosowanych procedur – zarówno jako opis metodologii, jak i wgląd w praktyczną jej realizację. Bez spełnienia tego warunku badanie stałoby się „czarną skrzynką”, a odbiorcy danych byliby bezradni przy próbach weryfikacji danych.

10. Zdefiniowanie wskaźników

Media badane jednoźródłowo powinny posiadać ujednolicone lub chociaż zbliżone wskaźniki, by móc je porównywać w sposób obiektywny i wiarygodny. Czym jest zasięg medium w danym okresie, kiedy kontakt z medium buduje zasięg, a kiedy nie? Jak zdefiniować kontakt, ile czasu musi trwać? To pierwsze nasuwające się pytania związane z badanie pasywnym wielomediowym, które powinny być przedyskutowane, a wskaźniki uzgodnione.

Wymienione wyżej zagadnienia są kluczowe dla badania mediów. Część z nich wpływa w różnym stopniu na pomiar konsumpcji poszczególnych mediów, w różnym stopniu je zniekształcając. Niewiele jest na świecie rynków, na których podjęto wspólne badania radia, telewizji i internetu.

Badania jednoźródłowe pasywne z udziałem Radia na świecie

W Wielkiej Brytanii BBC realizuje jednoźródłowy pomiar konsumpcji telewizji, radia i internetu. Projekt ten służy jednak wyłącznie do celów wewnętrznych nadawcy i nie stanowi waluty rynkowej. Z kolei komercyjna część rynku rozwija w ramach Project Origin jednoźródłowy pomiar, który obejmuje jednak tylko telewizję i internet.

W USA ComScore na zlecenie Coallition For Innovative Media Measurement pracuje nad modelem badania crossmediowego obejmującym telewizję i internet, ale nie obejmującym radia. Proponowane rozwiązanie opiera się przede wszystkim na integracji danych RPD (informacja zwrotna z dekoderów) dla telewizji i danych site-centric dla internetu, a pomiar panelowy pełni jedynie rolę pomocniczą i wykorzystywany ma być do kalibracji danych.

We Francji w marcu 2020 roku instytut Mediametrie uruchomił pomiar oglądalności telewizji poza domem. Badanie uzupełnia klasyczny panel telemetryczny mierzący oglądalność w domach i wykorzystuje indywidualne mierniki pasywne, w które wyposażono panelistów. W założeniu badanie miało obejmować także pomiar słuchalności stacji radiowych, jednak do dziś nie wprowadzono tego założenia w życie.

Podsumowując, zanim nowe metody pomiarowe będą gotowe do odpowiedzialnego wdrożenia konieczne będzie przeanalizowanie ich ograniczeń i wyeliminowanie przynajmmniej części z nich, jak również wyeliminowanie systematycznych skrzywień. Wszystkie problemy można rozwiązać. Należy je jednak zbadać, przeanalizować, wyciągnąć wnioski i przystąpić do prac nad ich rozwiązaniem. Nie można zgodzić się na czarno-biały film słabej rozdzielczości, z brakującymi klatkami. Ten film należy nagrywać w kolorze, w dobrej rozdzielności i ze wszystkimi klatkami. Badanie trzeba realizować uwzględniając specyfikę poszczególnych mediów i przestrzegając 10 warunków dobrego badania pasywnego. Bez tego wyniki badania pasywnego nie będą wiarygodne i nie będą mogły stać się walutą używaną z zaufaniem przez cały rynek.

[1] Telemetria Polska „Jednoźródłowy pomiar mediów elektronicznych” 2019 rok