Krok 1: Zrozumienie kategoryzacji automatycznej

Automatyczna kategoryzacja wypowiedzi z badań to proces, w którym system komputerowy analizuje dane tekstowe i przypisuje je do odpowiednich kategorii bez potrzeby ręcznego czytania oraz analizy. Dzięki wykorzystaniu zaawansowanych algorytmów uczenia maszynowego i sztucznej inteligencji, automatyczna kategoryzacja pozwala na efektywne zarządzanie dużymi ilościami informacji, co jest szczególnie przydatne w badaniach rynkowych, ankietach czy analizach opinii.

Dlaczego jest to ważne? Przede wszystkim, automatyczna kategoryzacja oszczędza czas. Ręczne przyporządkowywanie odpowiedzi jest czasochłonne i podatne na błędy, a automatyzacja tego procesu pozwala na szybkie i precyzyjne przypisywanie danych. Zwiększa także efektywność operacyjną, umożliwiając firmom szybsze podejmowanie decyzji i lepsze zarządzanie zasobami. Wreszcie, poprawia dokładność analizy danych, minimalizując ryzyko błędów ludzkich i prowadząc do bardziej precyzyjnych raportów.

Główne przykłady zastosowań

• Analiza opinii konsumentów: Firmy mogą automatycznie kategoryzować otwarte odpowiedzi w ankietach, aby zrozumieć, co klienci myślą o produktach i usługach.
• Analiza feedbacku: Kategoryzowanie opinii i sugestii klientów pomaga w identyfikacji obszarów wymagających poprawy oraz w rozwoju nowych funkcji.
• Analiza głosu niezamówionego: Wszelkie serwisy społecznościowe oraz mapowe są doskonałym źródłem wiedzy odnośnie potrzeb i problemów klientów własnych jak też konkurencji 

Do automatyzacji kategoryzacji można podejść na dwa sposoby:

1. Swobodna automatyczna kategoryzacja: System samodzielnie identyfikuje i tworzy kategorie na podstawie analizy treści. Jest to przydatne, gdy nie mamy wcześniejszej struktury danych lub chcemy odkryć nowe wzorce i tematy w odpowiedziach.
2. Automatyczna kategoryzacja dopasowana do listy kategorii: System przypisuje dane do wcześniej zdefiniowanych kategorii. Ta metoda jest bardziej kontrolowana i precyzyjna, szczególnie gdy mamy jasno określone cele analizy i wiemy, jakie kategorie są istotne. W tym przypadku zastosowanie mają indywidualne modele językowe nauczane pod kątem konkretnych kategorii.

Krok 2: Wybór odpowiedniego narzędzia

Wybór odpowiedniego narzędzia do automatycznej kategoryzacji jest kluczowy dla efektywności i dokładności procesu. Poniżej przedstawiamy kilka istotnych kryteriów, które warto wziąć pod uwagę przy wyborze narzędzia, oraz przykłady popularnych rozwiązań dostępnych na rynku.

Kryteria wyboru narzędzia do automatyzacji kategoryzacji

1. Funkcjonalność:
   • Zgodność z wymaganiami: Upewnij się, że narzędzie wspiera wszystkie niezbędne funkcje, takie jak analiza tekstu, integracja z innymi systemami, możliwość definiowania własnych kategorii oraz automatyczne uczenie się na podstawie nowych danych.
   • Elastyczność: Narzędzie powinno być na tyle elastyczne, aby można było dostosować je do specyficznych potrzeb Twojej organizacji. Na rynku dostępne są rozwiązania pozwalające dopasowywać działanie mechanizmów do potrzeb oraz szczegółową analizę jakości działania modeli kategoryzujących
2. Łatwość użycia:
   • Interfejs użytkownika: Intuicyjny i łatwy w obsłudze interfejs pozwoli na szybkie wdrożenie narzędzia i zmniejszy krzywą uczenia się dla pracowników.
   • Wsparcie techniczne i dokumentacja: Dostępność szczegółowej dokumentacji oraz wsparcie techniczne mogą być kluczowe w przypadku problemów z konfiguracją lub użytkowaniem narzędzia.
3. Skalowalność i wydajność:
   • Wydajność: Narzędzie powinno być w stanie przetwarzać duże ilości danych w rozsądnym czasie.
   • Skalowalność: Upewnij się, że narzędzie może rosnąć razem z Twoimi potrzebami, obsługując coraz większe zbiory danych i bardziej złożone analizy.
4. Integracje:
   • Kompatybilność z innymi systemami: Narzędzie powinno łatwo integrować się z innymi systemami używanymi w Twojej organizacji, takimi jak CRM, systemy analityczne czy platformy do zarządzania treścią.
5. Koszt:
   • Model cenowy: Rozważ koszty licencji, opłaty za utrzymanie oraz ewentualne dodatkowe koszty związane z wdrożeniem i szkoleniem pracowników.
6. Bezpieczeństwo:
   • Poufność danych: Twoje dane powinny być chronione i przetwarzane jedynie w sposób zapewniający w 100% bezpieczeństwo, czyli lokalnie. Oparcie się o jakiekolwiek zewnętrzne rozwiązania chmurowe, co jest stosowane w wielu rozwiązaniach rynkowych, obarczone jest ryzykiem wykorzystania Twoich danych do trenowania publicznych modeli

Przykładem narzędzia badawczego, które zapewnia automatyczne przetwarzanie jest YourCX

YourCX

YourCX to platforma skoncentrowana na analizie doświadczeń klientów oraz prowadzeniu dowolnych badań, która oferuje automatyczną kategoryzację odpowiedzi otwartych oraz analizę sentymentu.

• Funkcjonalność: Kategoryzacja odpowiedzi, analiza sentymentu i emocji,  identyfikacja kluczowych tematów, monitorowanie kluczowych wskaźników zadowolenia klientów.
• Łatwość użycia: Intuicyjny interfejs, kompleksowe wsparcie techniczne i dokumentacja.
• Integracje: Łatwa integracja z systemami CRM, narzędziami marketingowymi i platformami analitycznymi.

Podobne możliwości mają także platformy typu Medallia oraz Qualtrics.

Krok 3: Przygotowanie danych

Automatyczna kategoryzacja odpowiedzi otwartych wymaga odpowiednio przygotowanych danych, które można poddać analizie. Źródła danych mogą być różnorodne:

• Ankiety: Dane pochodzące z ankiet online, w których respondenci udzielają odpowiedzi na pytania otwarte.
• Opinie online: Recenzje i opinie zamieszczane na stronach internetowych, takich jak sklepy e-commerce, fora dyskusyjne i strony z recenzjami produktów.
• Social media: Komentarze, posty i opinie zamieszczane na platformach społecznościowych, takich jak Facebook, Twitter, Instagram, mapy Google bądź LinkedIn.

Określenie celu pytania

Aby dane mogły być efektywnie analizowane przez narzędzia do automatycznej kategoryzacji, istotne jest określenie, kiedy i w jakiej sytuacji dane były zbierane. Potrzebne jest to w celu nadania odpowiedniego kontekstu dla mechanizmów analizujących treści. Przykładowo istotne jest tu:

1. Dokładne określenie celu zadawanego pytania:
   • Cel pytania: Zastanów się, co chcesz osiągnąć poprzez pytanie zadawane respondentom. Czy chodzi o zrozumienie satysfakcji klienta, identyfikację problemów z produktem, czy może o pozyskanie pomysłów na ulepszenie usług?
   • Kontekst pytania: Ustal kontekst, w jakim pytanie jest zadawane. Czy dotyczy to konkretnej usługi, produktu, momentu zakupu, czy może ogólnej opinii na temat marki?
2. Określenie momentu interakcji respondenta z badaniem:
   • Czas badania: Określ, w którym momencie klient otrzymuje badanie. Czy to po dokonaniu zakupu, po skorzystaniu z usługi, czy w ramach regularnych badań satysfakcji?
   • Trafność: Upewnij się, że analizowane pytanie dotyczy aktualnych doświadczeń klienta i jest wysyłane w odpowiednim momencie, aby uzyskać jak najbardziej wartościowe odpowiedzi.

Krok 4: Nie masz wstępnych kategorii? Nic prostszego - wykorzystaj kategoryzację automatyczną

Jeśli nie masz zdefiniowanych kategorii na początku, YourCX umożliwia automatyczne generowanie kategorii na podstawie analizy tekstu. Jest to szybkie i w 100% zautomatyzowane rozwiązanie:

• Automatyczna kategoryzacja: Narzędzie wykorzystuje zaawansowane algorytmy uczenia maszynowego do identyfikacji wzorców i tworzenia kategorii. Dzięki temu na bieżąco masz dostęp do wypowiedzi grupowanych prawie w czasie rzeczywistym.
• Wyodrębnienie istotnych kategorii: Po przeprowadzeniu automatycznej kategoryzacji, przejrzyj wygenerowane kategorie i wybierz te, które są najbardziej istotne i pasują do celów Twojej analizy.

W bardzo krótkim czasie można dowiedzieć się, o czym respondenci piszą oraz wyciągnąć istotne biznesowo tematy.

Krok 5: Przygotowanie danych treningowych - import skategoryzowanych wypowiedzi lub wygenerowanie opinii do kategoryzacji

Aby zapewnić dokładne trenowanie modelu, konieczne jest odpowiednie przygotowanie danych treningowych. Wszakże chcemy, aby model kategoryzacyjny działał dokładnie tak, jak tego oczekujemy. Im lepsze przykłady dostarczymy, tym lepiej mechanizm w przyszłości zadziała.

Na co należy zwrócić uwagę oraz co należy wykonać:

Import danych

Zaimportuj istniejące opinie, które zostały już skategoryzowane ręcznie. Możesz to zrobić bezpośrednio poprzez importer danych YourCX. Realne przykłady wypowiedzi skategoryzowanych ręcznie będą bardzo dobrym wsadem dla modelu kategoryzacji.

Rewizja kategorii

Kategorie powinny być logicznie rozdzielne, jeśli chcemy mieć niski udział kategorii przypisanych nadmiarowo. Przykłady bliskich sobie kategorii to niezawodność i awarie bądź dostępność i lokalizacje. Jeśli jednak akceptowalne jest przypisywanie kilku kategorii do wypowiedzi, można zostawić bliskie sobie kategorie.

Uwzględnienie wszystkich aspektów tematu
Kategorie powinny dotyczyć wszystkich aspektów, które mogą pojawić się w danym zagadnieniu. Jeśli chcemy móc wyłuskiwać kategorie dotyczące problemów, powinny też powstać kategorie dotyczące chwalenia za podobne tematy bądź kategorie ogólne. Inaczej będzie się zdarzać tak, że promotorzy chwalący aplikację mobilną będą mogli mieć przypisywaną kategorię “problemy z działaniem aplikacji mobilnej”. Jeśli jednak model ma działać tylko na wypowiedziach krytycznych, może być ukierunkowany tylko na problemy. Jest to też powiązane z wcześniejszą analizą celu oraz kontekstu analizowanego pytania.

Generowanie danych treningowych

Jeśli nie masz wystarczającej liczby samodzielnie skategoryzowanych opinii, YourCX zapewnia mechanizmy do wygenerowania dodatkowych opinii automatycznie, aby zapewnić odpowiednią ilość danych treningowych. Wystarczy kilka kliknięć i możesz wygenerować tysiące zróżnicowanych wypowiedzi służących do wytrenowania modelu kategoryzującego. Dzięki automatycznemu przygotowaniu wypowiedzi treningowych możesz zaoszczędzić dziesiątki godzin.

Pamiętaj - wygeneruj wypowiedzi syntetyczne oraz dodaj ręcznie skategoryzowane wypowiedzi, tak aby każda kategoria miała minimum 200 przykładów. Im lepsze będą przykłady, tym lepiej zadziała model kategoryzujący.

Krok 6. Szkolenie modelu

Trenowanie modelu kategoryzacyjnego w YourCX jest tym krokiem, który tworzy realny mechanizm i model językowy przypisujący kategorie zgodnie z Twoimi oczekiwaniami.

Wytrenuj model na bazie zaimportowanych lub wygenerowanych opinii. YourCX automatycznie dostosuje parametry modelu, aby osiągnąć jak najlepszą dokładność. Jeśli jednak uważasz, że warto byłoby zmienić parametry trenowania - masz na wszystko wpływ. Przykładowe parametry, na które masz wpływ to:

• Wybór bazowego modelu językowego
• Liczba przebiegów trenowania
• Ustawienie przeważonej funkcji straty
• Minimalna akceptowalna liczba wyników dla kategorii, aby była uwzględniana w trenowaniu
• Minimalny stosunek najmniej licznej kategorii do najbardziej licznej
• Próg prawdopodobieństwa akceptacji dla pierwszej kategorii
• Próg prawdopodobieństwa akceptacji dla kolejnych kategorii

Krok 7. Ocena jakości modelu

Po przeszkoleniu modelu, konieczne jest przeprowadzenie oceny jego jakości, aby upewnić się, że działa poprawnie i skutecznie kategoryzuje opinie.

Testowanie modelu: Model jest automatycznie testowany na treningowym zbiorze danych. Jeśli chciałbyś przetestować na dodatkowym zbiorze walidacyjnym, wystarczy go zaimportować a analiza zostanie przeprowadzona automatycznie.

Metryki oceny: Użyj metryk takich jak dokładność (accuracy), precyzja (precision), czułość (recall) i F1-score, aby ocenić jakość modelu.

Sprawdzenie błędów: Zidentyfikuj i przeanalizuj przypadki błędnie skategoryzowane przez model (o ile takie będą). YourCX pozwala na łatwe przeglądanie i analizowanie takich przypadków, jak również edycję kategorii.

Krok 8. Dalsza optymalizacja pracy modelu

Jeśli model nie działa wystarczająco dobrze, YourCX oferuje pełne wsparcie dla każdego przypadku problemu bądź rozbieżności, aby zoptymalizować

Poprawienie kategorii

Jeśli problem dotyczy nieprawidłowo przypisanych kategorii, ręcznie przypisz poprawne kategorie dla problematycznych wypowiedzi.

Dodanie nowych kategorii

Jeśli pojawiły się nowe tematy, które nie były ujęte w dotychczasowych kategoriach, wygeneruj dodatkowe opinie dla tych tematów, aby rozszerzyć model.

Modyfikacja parametrów

Zmodyfikuj parametry działania modelu, takie jak funkcja straty, aby zmienić jego jakość pracy.

Manipulacja progami akceptacji prawdopodobieństwa

Model pracując wyznacza prawdopodobieństwa dla wszystkich kategorii. Ustawiając odpowiednio wysoko progi, można pozbyć się nadmiarowo przypisywanych kategorii. Jednakże z drugiej strony rośnie ryzyko eliminacji także tej poprawnej kategorii.

Powyżej widoczna jest macierz dezorientacji (confusion matrix) informująca o potencjalnych problemach z przypisaniem kategorii.

Wytrenowanie na nowo: Wytrenuj model ponownie na bazie poprawionych i nowych danych, aby osiągnąć lepsze wyniki.

Krok 9. Dodatkowe możliwości - analiza sentymentu oraz emocji

Kategoryzacja wypowiedzi to nie wszystko. Mając odpowiednio ogólne i rozdzielne kategorie warto przeanalizować sentyment oraz emocje w wypowiedziach, aby wiedzieć które są pozytywne a które negatywne. YourCX oferuje tego typu rozwiązania od ręki, co pozwala automatycznie analizować rozkład emocji oraz sentymentów dla zagadnień istotnych biznesowo jak też dostawać alerty dla krytycznych uwag np. na temat Obsługi Klienta. 

Analiza sentymentów:

Użyj narzędzi do analizy sentymentów w YourCX, aby określić, czy opinie są pozytywne, negatywne czy neutralne. To pomoże w lepszym zrozumieniu nastrojów klientów.

Analiza emocji: 

YourCX umożliwia identyfikowanie emocji wyrażanych w opiniach, takich jak radość, złość, smutek, zaskoczenie itp. Integracja wyników analizy emocji z kategoryzacją daje pełniejszy obraz opinii klientów.

Integracja wyników: 

Zintegrowanie wyników analizy sentymentów i emocji z kategoryzacją pozwala uzyskać bardziej szczegółowe i wartościowe dane do analizy. Poniżej przykładowo pokazane są dane z opinii z map Google przetworzone automatycznie wraz z automatyczną oceną zadowolenia z poszczególnych kwestii oraz określeniem udziału procentowego dla danej kwestii. 

Jeśli zainteresował Cię temat i chciał(a)byś zaoszczędzić czas na analizie danych z badań bądź opinii, porozmawiajmy.