Konsekwencje błędnej skali ocen

Obecnie z każdej strony Sprzedawcy i Usługodawcy proszą nas o wyrażanie opinii, sugestie usprawnień i ocenę doświadczeń. Bez względu na to czy kupiliśmy najwyższej klasy telewizor, zamówiliśmy w aptece kilka suplementów, odwiedziliśmy pobliską restaurację czy dokonaliśmy rezerwacji pokoju w jednym z serwisów. W tym tekście będzie właśnie o tym ostatnim.

Zarezerwowaliśmy tak zwany apartament (zwykłe dwupokojowe mieszkanie na 5 piętrze wieżowca w bardzo dobrej lokalizacji w Gdańsku). W czasie pobytu zostaliśmy poproszeni o wyrażenie swojej opinii w serwisie przez który dokonaliśmy rezerwacji. Mieliśmy ocenić następujące aspekty: Czystość, Komfort, Udogodnienia, Personel, Stosunek jakości do ceny, Lokalizacja.

Zaskoczeniem okazała się być skala ocen: Źle, Obojętnie, Dobrze, Bardzo dobrze.

Lokalizację oceniliśmy bardzo dobrze, czystość źle (pozostawiała naprawdę wiele do życzenia), a pozostałe aspekty po prostu dobrze. Po powrocie do domu skontaktował się z nami właściciel lokalu zaskoczony „tak złymi ocenami”. Nie bardzo wiedzieliśmy o co chodzi, przecież poza czystością wszystko oceniliśmy jako dobre! Zwykła, normalna, uśmiechnięta buźka!

Oczywiście problemem jest tutaj zastosowana skala. Wszystkie wymienione aspekty ocenia się w czterostopniowej skali, w której brak neutralnego „środka”. Zazwyczaj stosuje się tradycyjną, nieparzystą, zwykle 5-stopniową skalę, która daje najlepsze możliwości wyboru oceny danego aspektu, a przede wszystkim jest najbardziej zrozumiała dla odbiorcy. W tym przypadku została zastosowana skala niezbalansowana, gdzie liczba ocen negatywnych i liczba ocen pozytywnych nie jest równa w stosunku do siebie. Konsekwencją takiej skali jest zachęcanie użytkownika do przyznawania ocen pozytywnych. Błędem jest więc ułożenie środka ciężkości między oceną obojętną, a dobrą, co w dalszym rozumowaniu oznacza zaburzenie średniej oceny.

Etap projektowania badań jest kluczowy. Od tego jak zadamy pytanie i jaką jego formę odpowiedzi wybierzemy zależy wiarygodność danych. Stosowanie rozwiązań niezgodnych z potwierdzonymi standardami to zresztą nie wszystko – wpływ na wyniki może mieć również wygląd ankiety. Przykładowo, jeśli w pytaniu na skali -2 do 2 zastosujemy znaki graficzne dzielące suwak na 8 równych części (co 0.5 wartości), to dystrybucja ocen będzie zupełnie inna niż gdybyśmy pozostawili jedynie podział na oceny dodatnie i ujemne.

Tworzenie ankiet to sztuka wymagająca wyczucia, podstawowej wiedzy oraz dbałości o szczegóły. Wnioski wyciągane na bazie zaburzonych danych nie mają żadnego przełożenia na rzeczywistość!

O zadawaniu dobrych pytań przeczytasz również tutaj.

Tekst: Urszula Wojnarowicz