Potęga eksperymentów, Podejmowanie decyzji w świecie opartym na danych, Michael Luca i Max H. Bazerman

Organizacje duże i małe polegają na eksperymentach, aby testować pomysły, badać produkty i usługi, oceniać reakcje konsumentów i informować o decyzjach. Eksperymenty, które niegdyś były domeną medycyny, środowiska akademickiego i nauk społecznych, dziś są stosowane w niemal każdej dziedzinie, dostarczając liderom danych, dzięki którym mogą opracowywać i dostarczać lepsze towary i usługi, doskonalić praktyki i przynosić korzyści społeczeństwu. Profesorowie Harvard Business School, Michael Luca i Max H. Bazerman, uważają, że spostrzeżenia i korzyści, jakie badania naukowe przynoszą przedsiębiorstwom, konsumentom i obywatelom, przewyższają potencjał niewłaściwego ich wykorzystania.

Opracowanie zostało przetłumaczone maszynowo (przepraszamy za błędy) jako materiał na nasze szkolenia z przywództwa.

Take-Aways

• Trwa rewolucja eksperymentalna, która zmienia sposób podejmowania decyzji przez organizacje.
• Psychologia ma bogatą historię eksperymentalnego uczenia się.
• Architektura wyboru skłania ludzi do podejmowania decyzji korzystnych dla społeczeństwa.
• Największe firmy technologiczne pielęgnują kulturę eksperymentowania.
• Eksperymenty pomogły zidentyfikować, określić ilościowo, ujawnić i rozwiązać problem dyskryminacji przez Airbnb.
• Liderzy w organizacjach nastawionych na zysk i nie nastawionych na zysk czerpią korzyści z wykorzystywania eksperymentów do podejmowania decyzji.
• Zachowanie otwartości i przejrzystości w kwestii badań i ich wyników pozwoli rozwiać wrodzoną nieufność ludzi do eksperymentów.

Podsumowanie

Trwa rewolucja eksperymentalna, która zmienia sposób podejmowania decyzji przez organizacje.
Kiedy ludzie nie płacili podatków w Wielkiej Brytanii, otrzymywali list przypominający od Her Majesty’s Revenue and Customs (HMRC). Wiele osób ignorowało monit i pozostawało w zwłoce. W 2010 roku naukowcy społeczni i urzędnicy państwowi utworzyli Behavioral Insights Team (BIT), aby zastosować naukę o zachowaniach do poprawy funkcjonowania rządu. Eksperymentowali z listem, testując różne sformułowania. Wybrane grupy otrzymały nieco inne wersje, z dramatycznymi wynikami. Na przykład, list z dodanym zdaniem: „Do tej pory dziewięć na dziesięć osób w Pana miejscowości zapłaciło swoje podatki”, zwiększył odzew z 35,8% do 37,8%. Dzięki temu zapłacono miliony funtów zaległych podatków.

„Kiedy decydenci lub firmy zastanawiają się, jak najskuteczniej rozdzielić ograniczone zasoby, eksperymenty mogą pomóc im przewidzieć zyski z różnych opcji”.
BIT przeniósł się do innych sektorów rządowych, takich jak rozwój polityki. Do 2018 roku BIT przeprowadził ponad 500 randomizowanych badań kontrolowanych w takich dziedzinach jak opieka zdrowotna, edukacja i zatrudnienie. Eksperymenty ujawniają wartość produktów lub usług i stanowią namacalny dowód dla zainteresowanych.

Naukowcy przeprowadzają eksperymenty, aby porównać wyniki grupy leczonej z wynikami grupy kontrolnej. Na przykład w 1882 roku Ludwik Pasteur zaszczepił grupę leczoną składającą się z 25 owiec, aby porównać ją z grupą kontrolną o tej samej liczbie. W 1946 r. Medical Research Council w Wielkiej Brytanii przeprowadził randomizowane badanie kliniczne antybiotyku streptomycyny, które wyznaczyło standardy dla eksperymentów medycznych.

Rewolucja eksperymentalna wychodzi poza medycynę i naukę do biznesu, rządu, techniki, psychologii i sektora społecznego. Dostępność ogromnych ilości danych, łatwa i niedroga randomizacja oraz świadomość, że małe zmiany mogą mieć ogromne skutki, napędzają erę eksperymentów.

Psychologia ma bogatą historię nauki eksperymentalnej.
Chociaż pionier psychologii Zygmunt Freud nie brał udziału w psychologii eksperymentalnej, jego teorie dały początek nowym dziedzinom badań psychologicznych. Eksperymenty rosyjskiego naukowca Iwana Pawłowa z nieświadomym warunkowaniem wpłynęły na teorię behawioryzmu psychologa Johna Watsona. Psycholog B.F. Skinner opracował „warunkowanie operacyjne”, wykorzystując nagrody i kary do promowania określonych zachowań.

W eksperymentach Milgrama, serii doświadczeń przeprowadzonych na Uniwersytecie Yale, w których badano posłuszeństwo wobec autorytetów, osoby nazywane „nauczycielami” wstrząsały prądem „uczniów”, jeżeli uczeń udzielił nieprawidłowej odpowiedzi. Wstrząsy nie były prawdziwe, ale wielu psychologów społecznych uważało, że eksperymenty te powodowały niedopuszczalny poziom stresu u uczestników. Od lat 70-tych XX wieku instytucjonalne komisje rewizyjne (IRB) oceniają i zatwierdzają proponowane eksperymenty, aby chronić uczestników. Obecnie psycholodzy mierzą poziom kortyzolu u uczestników, aby określić poziom stresu, a także wykorzystują technologię obrazowania mózgu, aby uzyskać wgląd w sytuację. Psychologowie Mahzarin Banaji i Tony Greenwald opracowali Implicit Associations Test (IAT), aby badać procesy poznawcze, które zachodzą poniżej poziomu świadomości. IAT wykazał, że ludzie mają wrodzone uprzedzenia, których nie są świadomi.

Architektura wyboru skłania ludzi do podejmowania decyzji korzystnych dla społeczeństwa.
Ekonomista Richard Thaler zgłębił związek między psychologią a ekonomią. Jego eksperymenty z zakresu polityki behawioralnej przyniosły przełom, który udokumentował wraz z prawnikiem Cassem Sunsteinem w książce „Nudge” z 2008 roku, która przyczyniła się do rozwoju ekonomii behawioralnej. Eksperymenty porównujące wskaźniki opt-in i opt-out w zakresie dawstwa organów wykazały na przykład, że systemy opt-out miały znacznie wyższe wskaźniki dawstwa. Opcja opt-out w przypadku dawstwa organów pozostaje kontrowersyjna, ponieważ ludzie mogą zostać dawcami wbrew swojej woli.

Projektowanie systemów, które skłaniają ludzi do podejmowania altruistycznych decyzji, kontrastuje z dwusystemowym modelem podejmowania decyzji, który opracowali profesorowie Keith Stanovich i Richard West, a który Daniel Kahneman przedstawił w swojej rewolucyjnej książce „Myślenie szybkie i wolne”. Myślenie w systemie pierwszym jest intuicyjne i automatyczne, oparte na doświadczeniu i powtarzaniu. Jednak podlega on tendencyjności. System drugi to świadomy wysiłek, polegający na rozważeniu zalet i wad, aby dokonać logicznego wyboru. W teorii kuksańce wyrównują niedoskonałości i uprzedzenia w społeczeństwie. Jednak kontekst ma wpływ na wynik. Dlatego eksperymenty rzucają światło na najbardziej efektywne podejście. Na wyniki wpływają również wybory projektowe. Na przykład uśmiechnięta buźka na mailu dotyczącym zużycia energii elektrycznej zmienia reakcję ludzi. Nudges często mają niezamierzone konsekwencje, które badacze muszą zbadać i ocenić.

Duże firmy technologiczne pielęgnują kulturę eksperymentowania.
W latach 70-tych Campbell Soup testował zyski ze swoich kampanii marketingowych, porównując wyniki reklamy w jednej grupie miast z miastami kontrolnymi. Badano, czy zupa jednoskładnikowa nie odbiera klientów znanej zupie skondensowanej. Detaliści eksperymentowali, drukując różne wersje katalogów, aby zmierzyć reakcję, odkrywając, że cena kończąca się na dziewiątce przynosiła więcej sprzedaży niż cena kończąca się na zerze.

„Być może żaden sektor nie przyjął metody eksperymentalnej bardziej niż sektor technologiczny, gdzie jest ona obecnie standardowym elementem podejmowania decyzji przez menedżerów”.
Większość firm technologicznych, takich jak Google, Amazon i Facebook, stosuje eksperymenty, aby testować funkcje, produkty, interfejsy, projekty i komunikację w celu określenia najlepszych praktyk. Dostęp do ogromnych ilości danych o użytkownikach umożliwia przeprowadzenie testów na dużą skalę. Można tanio i łatwo randomizować takie rzeczy jak wygląd strony internetowej, aby śledzić reakcje w zachowaniu użytkowników. Microsoft odkrył, że wielkość reklam w jego wyszukiwarce Bing wpływa na zaangażowanie użytkowników: Powiększenie reklam przyniosło dodatkowe 50 milionów dolarów zysku rocznie. Kierownicy techniczni mogą przeprowadzać ukierunkowane, niedrogie eksperymenty. Brak danych nigdy nie jest problemem, więc wyzwanie polega na zdefiniowaniu pożądanych wyników, umiejętności zrozumienia i interpretacji danych oraz wykorzystania danych do wyciągnięcia najbardziej korzystnych wniosków.

Eksperymenty pomogły zidentyfikować, określić ilościowo, ujawnić i rozwiązać problem dyskryminacji ze strony Airbnb.
Na początku istnienia Internetu ludzie uważali go za wielki wyrównywacz. Poczucie anonimowości prowadziło do przekonania, że interakcje online zmniejszą dyskryminację i staną się mniej stronnicze i bardziej bezstronne. Jednak idea bardziej sprawiedliwej epoki Internetu szybko się rozmyła. Na przykład w połowie lat 2010 pojawiły się niepotwierdzone dowody na to, że osoby czarnoskóre miały większe trudności z zarezerwowaniem mieszkania w Airbnb. Airbnb przyjęło postawę świadomej ignorancji i odmówiło przeprowadzenia testu na dyskryminację. Niezależny zespół badawczy BIT wysłał zapytania o wynajem do 6 400 gospodarzy Airbnb w USA, sprawdzając reakcję na imiona kandydatów popularne wśród białych ludzi i imiona popularne w społeczności czarnych. Wyniki pokazały, że osoby o afroamerykańskich nazwiskach miały o 16% mniejsze szanse na zarezerwowanie noclegu.

„Airbnb nie mogło już dłużej ukrywać się za swoimi bezpodstawnymi zapewnieniami, że dyskryminacja nie jest problemem na platformie”.
Kiedy naukowcy opublikowali wyniki badania, Airbnb utworzyło grupę zadaniową złożoną z działaczy na rzecz praw obywatelskich i stworzyło wewnętrzny zespół do przeprowadzania eksperymentów. To podkreśla korzyści, jakie organizacje czerpią z eksperymentów. Eksperymenty potwierdzają lub obalają istniejącą teorię, np. wzór dyskryminacji osób kolorowych. Eksperymenty pozwalają również określić skalę problemu. W przykładzie Airbnb, liczba 16% pokazała zakres dyskryminacji czarnych kandydatów. Airbnb wprowadziło zmiany, takie jak zmiana pozycji zdjęć gospodarzy lub zaoferowanie natychmiastowej rezerwacji, a eksperymenty testowały opcje przeprojektowania, aby ocenić wyniki.

Liderzy organizacji nastawionych na zysk i nie nastawionych na zysk czerpią korzyści z wykorzystywania eksperymentów do podejmowania decyzji.
Jednostki zajmujące się wglądem behawioralnym stosują eksperymenty w celu usprawnienia działań rządowych i znalezienia rozwiązań zapewniających dostęp do opieki zdrowotnej, finansów, żywności i edukacji dla społeczności o niskich dochodach. Jeden z programów, którym kierował behawiorysta Todd Rogers, wykorzystywał eksperymenty z zakresu nauk społecznych, aby zachęcić ludzi do korzystania z prawa do głosowania. Rogers i jego współpracownicy przeprowadzili ponad 300 testów w terenie, których celem było zwiększenie frekwencji wyborczej. Na przykład Rogers przygotował skrypty telefoniczne dla gospodarstw domowych Demokratów w Pensylwanii, zadając pytania, które skłaniały respondentów do zastanowienia się, w jaki sposób dotrą do urn. Pomysł na realizację zamiarów nie był nowy, ale okazał się skuteczny w zwiększaniu frekwencji wyborczej.

„W ostatnich latach coraz bardziej docenia się wartość eksperymentów w świecie edukacji, w tym zainteresowanie ze strony fundatorów, szkół i organizacji pozarządowych.”
Mimo że wiele firm oferuje pracownikom możliwość oszczędzania w ramach planów emerytalnych z odroczonym podatkiem, a nawet oferuje wyrównanie składek, ludzie nie zapisują się. Niektórzy padają ofiarą teraźniejszości, tendencji do cenienia natychmiastowych korzyści bardziej niż korzyści w przyszłości. Inni po prostu zapominają. Zespół badawczy stwierdził, że jednostronicowy dokument opisujący łatwy do wykonania plan zapisów sprawił, że ludzie byli o 67% bardziej skłonni do zapisów. Uczynienie z uczestnictwa opcji domyślnej przyniosło znacznie większe uczestnictwo niż plany opt-in.

Otwartość i przejrzystość w kwestii badań i ich rezultatów rozwiewa wrodzoną nieufność ludzi do eksperymentów.
Chociaż firmy technologiczne w dużej mierze opierają się na eksperymentach, większość z nich ukrywa wyniki swoich badań, a użytkownicy rzadko wiedzą, czy są częścią próby. Na przykład Facebook przeprowadza tysiące eksperymentów rocznie. Kiedy platforma społecznościowa opublikowała wyniki badania mierzącego wpływ radosnych i smutnych postów, spotkała się z ostrą krytyką ze strony użytkowników, którzy uważali, że firma manipuluje ich emocjami. Zamiast stać się bardziej przejrzystym, Facebook przestał publikować wyniki swoich eksperymentów. Większa przejrzystość eksperymentów mogłaby złagodzić podejrzenia konsumentów, promować sprawiedliwe traktowanie, generować wsparcie i ułatwiać dialog na tematy społeczne.

„O ile nie mieszka Pan w bunkrze bez dostępu do Internetu, to w ciągu ostatniego roku uczestniczył Pan zapewne w wielu eksperymentach”.
Eksperymenty, jako forma nauki, dają możliwość lepszego zrozumienia i doskonalenia. Jednak o ile rozsądne jest podejmowanie przez firmy decyzji opartych na badaniach w celu zwiększenia zysków, o tyle eksperymenty wykorzystujące słabości konsumentów budzą wątpliwości etyczne. Ludzie mają awersję do eksperymentów i nie chcą, aby firmy wykorzystywały ich zachowania bez ich wiedzy. Pomimo kwestii etycznych, eksperymenty pozwalają liderom podejmować świadome decyzje, chronić zasoby organizacyjne i uczyć się, jakie strategie są najbardziej skuteczne.

O Autorach

Michael Luca jest profesorem nadzwyczajnym w Harvard Business School i współpracuje z The Atlantic, The Wall Street Journal i Harvard Business Review. Max H. Bazerman jest autorem książek Better, Not Perfect i The Power of Noticing oraz współautorem Blind Spots.