Skończyła się era instynktu jako jedynego źródła informacji przy podejmowaniu decyzji. Obecnie firmy stosują randomizowane, kontrolowane eksperymenty, aby rozwiązać problemy związane ze sprzedażą lub algorytmami. Pisząc dla MIT Sloan Management Review, Michael Luca i Max H. Bazerman przedstawiają cztery lekcje wyciągnięte z badań i wywiadów, aby podkreślić podstawy, dzięki którym Państwa eksperymenty będą istotne i wartościowe. Od włączenia testów do procesów decyzyjnych do zapewnienia, że eksperymenty przyniosą oczekiwane rezultaty, ich analiza może pomóc Państwu w budowaniu biznesu.
Tłumaczenie maszynowe opracowane na szkolenie z prowadzenia prezentacji, może zawierać nieścisłości i błędy językowe.
Wnioski
- Aby wykorzystać eksperymenty do podejmowania dobrych decyzji biznesowych, należy przestrzegać czterech lekcji:
- Lekcja 1: Włączyć eksperymenty do procesu decyzyjnego.
- Lekcja 2: Nie należy zastanawiać się tylko nad tym, „czy” coś zadziała, należy dowiedzieć się, dlaczego tak się dzieje.
- Lekcja 3: Nie skupiać się na wąskich, krótkoterminowych wynikach.
- Lekcja 4: Poinformować klientów lub użytkowników o tym, że firma przeprowadza eksperymenty.
Podsumowanie
Aby wykorzystać eksperymenty do podejmowania dobrych decyzji biznesowych, należy przestrzegać czterech lekcji:
Kierownictwo Google nie debatuje nad tym, czy dodanie pewnego koloru może zwiększyć przychody z reklam, lecz przeprowadza eksperyment online. Rocznie firma przeprowadza ponad 10.000 testów, aby rozwiązać problemy od sprzedaży po algorytmy. Randomizowane, kontrolowane eksperymenty są wszechobecne w branży technologicznej.
Korporacje takie jak Amazon, Facebook, Uber czy Yelp również podejmują działania dopiero po przetestowaniu planowanej zmiany, rejestrując zachowania i reakcje użytkowników. To samo dotyczy wielu firm, które nie działają w Internecie. Na przykład Campbell Soup Company od ponad 20 lat stosuje eksperymenty, aby uzyskać „wgląd oparty na dowodach”.
Aby uzyskać jak najwięcej korzyści z wyników testów, należy dokładnie określić, jaką decyzję chcą Państwo podjąć. Wtedy można się upewnić, że eksperymenty, które Państwo zaprojektują i informacje, które Państwo zbiorą, dadzą pożądane odpowiedzi.
„Eksperymentalny sposób myślenia przeniknął do dużej części sektora technologicznego i rozprzestrzenia się poza niego”.
Ponieważ coraz więcej decyzji biznesowych zależy od danych testowych, firmy muszą opracować procesy tworzenia testów i interpretacji wyników. Test musi pomagać firmie, a jednocześnie uwzględniać prywatność i bezpieczeństwo klientów. Poniższe cztery lekcje powstały w wyniku intensywnej pracy z firmami, klientami i badaniami:
Lekcja 1: Wpleść eksperymenty w proces decyzyjny.
Zaangażowanie menedżerów we wszystkie aspekty eksperymentu, od projektu po zrozumienie wyników, pomaga budować ich wiedzę o testowaniu. Skłania ich do tego, aby przed podjęciem decyzji poprosić o dane empiryczne.
Booking.com, cyfrowy serwis turystyczny, ściśle zintegrował testowanie w ramach swojej działalności. Posiadając własnych naukowców od danych, którzy prowadzą szkolenia i dostosowują analitykę, firma umożliwia zespołom łatwe przeprowadzanie odpowiednich eksperymentów, a następnie wykorzystanie wyników do podejmowania świadomych decyzji.
„Podejście Booking’a pozwala firmom na nasycenie decyzji zespołu dowodami z eksperymentów.”
Około 80% zespołów rozwojowych Booking przeprowadza testy dotyczące kwestii związanych z klientami i partnerami. Wyniki są udostępniane w centralnym miejscu, do którego mają dostęp inne osoby decyzyjne w firmie. Testerzy korzystają z dostosowanego, zdefiniowanego zestawu metryk i rozpowszechniają podstawowe informacje o testach w całej firmie.
Lekcja 2: Proszę nie zastanawiać się tylko nad tym, „czy” coś działa, ale dowiedzieć się, „dlaczego”.
W 2016 r. chiński gigant handlu elektronicznego Alibaba chciał się dowiedzieć, czy dostarczenie kuponów na przedmiot, który klient pozostawił w koszyku na 24 godziny, skłoni go do zakupu. Kierownictwo firmy chciało również wiedzieć, czy otrzymanie kuponu spowoduje dodatkową sprzedaż. Testy dały słabe wyniki, więc firma nie wdrożyła „programu promocji koszyka”.
Pytanie, na które odpowiadał ten test, dotyczyło jednak tylko jednego konkretnego programu kuponowego. Badacze stracili okazję, aby sprawdzić, czy promocja o innej konstrukcji mogłaby zwiększyć sprzedaż dla firmy i jej partnerów handlowych. Jednym z problemów testu było to, że 33% użytkowników nie wiedziało o rabacie. Innym problemem było to, że różni sprzedawcy oferowali różne kwoty rabatu. Ponadto firma nie miała szansy sprawdzić, czy program wpłynie na zadowolenie użytkowników lub „długoterminowe zaangażowanie”.
„Menedżerowie powinni zastanowić się, w jaki sposób szersza baza danych może pomóc w podejmowaniu decyzji”.
Prowadząc eksperymenty, należy zadawać wystarczająco dużo pytań i zadawać pytania właściwe. Alibaba mógł wyjść poza zdefiniowane „warunki i mechanizmy”, aby zbadać, w jaki sposób może sprawić, że program będzie działał lepiej. Z tego powodu laureat Nagrody Nobla Al Roth, który napisał „The Handbook of Experimental Economics”, popiera przeprowadzanie „serii eksperymentów” zamiast jednego.
Lekcja 3: Nie należy skupiać się na wąskich, krótkoterminowych wynikach.
Ograniczone, krótkoterminowe eksperymenty są łatwiejsze do zdefiniowania. Mogą odpowiedzieć na ważne, natychmiastowe pytania, ale dla większości firm ważniejsze są wyniki długoterminowe. Kiedy Uber chciał sprawdzić, czy Uber Express Pool wpłynie na jego ofertę, przeprowadził szeroki eksperyment. Firma zidentyfikowała duże miasta i losowo wybrała sześć z nich, w których miała oferować usługę carpoolingu. Następnie badacze danych Ubera zdefiniowali „syntetyczną” grupę kontrolną z pozostałych dużych miast.
Ponieważ badacze skrupulatnie ważyli pewne kryteria, ich analiza pokazała Uberowi, że może on uruchomić Uber Express Pool bez negatywnego wpływu na swoją dotychczasową ofertę. Ich „szeroko zakrojone eksperymenty” dały wiedzę, że oferta będzie opłacalna.
Lekcja 4: Poinformować klientów lub użytkowników, że firma przeprowadza eksperymenty.
Chociaż firmy przeprowadzają testy i wykorzystują ich wyniki, aby wpłynąć na interakcje klientów z ich ofertą, konsumenci zazwyczaj nie wiedzą o tych testach. Tak było w przypadku Facebooka, gdy testował, czy „emocjonalny ton postów” wpływa na nastrój użytkownika. Firma pokazała wybranym losowo użytkownikom „mniej pozytywnych postów” niż grupie kontrolnej. Chociaż eksperyment spowodował tylko niewielką zmianę nastroju, Facebook spotkał się z krytyką użytkowników i mediów. Oprócz złości, że Facebook manipulował ich emocjami, ludzie czuli, że „szpieguje” ich.
„Firmy powinny spełniać wysokie standardy w zakresie przejrzystości i etyki eksperymentów”.
Facebook wstrzymał niektóre z „badań zewnętrznych” i ograniczył ilość informacji o testach wewnętrznych. Powołał pięcioosobową komisję ds. etyki badań, ale nigdy nie ujawnił, czym dokładnie zajmuje się ta komisja. Firmy powinny otwarcie mówić, jakie eksperymenty prowadzą, zamiast ukrywać te informacje w umowach, które użytkownicy rzadko czytają.
Zdefiniowany przez firmę proces powinien mieć cztery cele:
Poinformowanie klientów w „szerokim zakresie”, że firma stosuje eksperymenty w celu zbadania reakcji użytkowników i dostosowania produktów.
Wyjaśnić, dlaczego firma stosuje eksperymenty i jakie są tego korzyści dla firmy i jej konsumentów.
Wspieranie dyskusji użytkowników na temat eksperymentów firmy.
Jeśli to możliwe, ujawniać wyniki eksperymentów.
Testowanie oferty pomaga firmom świadczyć usługi wyższej jakości dla klientów, którzy powinni być zadowoleni z tych eksperymentów, o ile firma ma zapewnioną kontrolę prywatności.
O Autorach
Profesor biznesu na Harvardzie Max H. Bazerman i profesor nadzwyczajny Michael Luca są współautorami książki The Power of Experiments: Decision-Making in a Data-Driven World.