Profesor Daniel Kahneman wnosi swoją wiedzę na temat podejmowania decyzji do zjawiska hałasu. Kiedy posługują się Państwo swoim osądem, aby dokonywać ocen lub przewidywań, mogą Państwo popełniać błędy, nie wiedząc jak i dlaczego. Analizując medycynę, system sądowniczy i ubezpieczenia, Kahneman i współautorzy Olivier Sibony i Cass R. Sunstein ujawniają rażące, niewykryte błędy, których można by uniknąć dzięki „audytowi hałasu”. Jak twierdzą, zarządzanie hałasem pozwala rozwiązywać problemy, zamiast tworzyć nowe.

Take-Aways

Streszczenie zostało przetłumaczone maszynowo (przepraszamy za niedoskonałości tłumaczenia) jako materiał na nasze szkolenia menedżerskie.

  • W ocenie dąży się do znalezienia „prawdziwej wartości”, która nie jest taka sama dla wszystkich.
  • Szum i stronniczość przyczyniają się do błędów w ocenie.
  • Mechaniczna ocena eliminuje złożoność i przypadkowość, dlatego jest bardziej wiarygodna niż ocena kliniczna.
  • Szum systemu, szum poziomu i szum wzorca przyczyniają się do błędów w różnych proporcjach.
  • Proszę poprawić swoje oceny poprzez wykorzystanie „obserwatorów decyzji” w celu zmniejszenia stronniczości.
  • Stosować metody „higieny decyzji”, aby zapobiegać szumom zanim się pojawią.
  • W systemach rankingowych szum pojawia się, gdy oceny są bezwzględne, a nie względne.
  • Całkowite wyeliminowanie szumu może nie zawsze być warte zachodu.

Podsumowanie

Ocena ma na celu znalezienie „prawdziwej wartości”, która nie jest taka sama dla wszystkich.

Umysł ludzki jest „instrumentem pomiarowym”, a osądy są pomiarami. Wyrok jest wnioskiem, a nie argumentem. Obliczenia znajdują się po jednej stronie spektrum, a smak i opinia po drugiej. Pomiędzy nimi znajduje się sfera osądu.

Dobry osąd to nie to samo, co dobry osąd w ogóle. Ocena nie ma wpływu na decyzje dotyczące smaku, który jest zmienny i pożądany. Ocena dotyczy prawdziwej wartości, która różni się w zależności od osoby. Niepożądana zmienność ludzkiego osądu prowadzi do ludzkiej omylności.

"Ogólną właściwością szumu jest to, że można go rozpoznać i zmierzyć, nie wiedząc nic o celu ani o stronniczości".

Osądy dzielą się na dwie kategorie, w których niespójność jest problematyczna, ale z różnych powodów:

  1. Osąd predykcyjny – Prognozujący oceniają wyniki na podstawie prawdopodobieństwa. Gdy dwóch lekarzy lub dwóch prognostyków pogody dochodzi do skrajnie różnych wniosków na podstawie tych samych danych, świadczy to o szumie.
  2. Osąd oceniający – Osądy te opierają się na wartościach i preferencjach, a szum pojawia się, gdy decyzje wydają się arbitralne, a nie zgodne z ustalonymi kryteriami.

Pomiar dokładności osądów prognostycznych po fakcie jest prawie niemożliwy, zwłaszcza jeżeli są one warunkowe lub długoterminowe. Rozbieżności w ocenach, szczególnie w systemach, prowadzą do niesprawiedliwości. Niespójność szkodzi zaufaniu i wiarygodności.

Szum i stronniczość przyczyniają się do błędów w ocenie.

Aby zrozumieć różnicę między stronniczością a hałasem, proszę wyobrazić sobie cel i strzelców. Strzelcy stronniczy, na przykład, konsekwentnie nie trafiają w tarczę w rozpoznawalny sposób. Z kolei strzelcy hałaśliwi wytwarzają przypadkowy rozrzut, który jest trudniejszy do zmierzenia, ponieważ nie można stwierdzić, czy celują w cel. Tendencyjność oznacza konsekwentne odchylenie od przewidywanych wyników, np. waga, która konsekwentnie dodaje pięć funtów do wagi. Szum wskazuje na odchylenie od średniej, jak np. kierownik, który stale zaniża lub zawyża czas trwania projektu.

"To, do czego ludzie zwykle dążą w przypadku sprawdzalnych sądów, to przewidywanie, które odpowiada wynikowi".

Szum pojawia się, gdy sprzeczne informacje wymagają interpretacji – ponieważ dwie osoby mogą nie widzieć problemu w tym samym świetle, nawet jeżeli posiadają taką samą wiedzę. Wszystko, co mogą zrobić, to rozważyć możliwości i przypisać prawdopodobieństwo, ponieważ jedna jasna, prawidłowa odpowiedź nie istnieje. Na przykład, kandydat do pracy może mieć trudny charakter, a jednocześnie jest ambitny, inteligentny i zdolny. Jak przewidzieć sukces tego kandydata jako prezesa zarządu? W jednym z badań dokładność przewidywań wahała się od 10% do 95%.

Mechaniczny osąd eliminuje złożoność i przypadkowość, dlatego jest bardziej wiarygodny niż osąd kliniczny.
Wiele osądów ma charakter prognostyczny, a więc możliwy do sprawdzenia. Uczą one wiele o hałasie. Porównując profesjonalistów, maszyny i proste zasady, profesjonaliści popełniają najwięcej błędów. Aby zmierzyć ten błąd, w audycie hałasu stosuje się „procent zgodności”, który umożliwia porównanie oceny klinicznej i mechanicznej w celu określenia, która jest bardziej dokładna.

Na przykład, weźmy dwóch kandydatów i zmierzmy, jak dokładnie można przewidzieć ich kwalifikację do pracy. Chociaż osąd mechaniczny ma więcej ograniczeń, a czynniki są ważone w równym stopniu, jego ograniczenia zapewniają niezawodność. Zbyt często ludzki osąd opiera się na tak wielu czynnikach intuicyjnych, że podejmowanie decyzji staje się niemal przypadkowe. Może się Panu wydawać, że Pana ocena jest bardziej zniuansowana niż ocena maszyny, ale Pana nastrój, chwila i wewnętrzne preferencje nie są w stanie zapewnić dokładności mechanicznej prognozy.

"W osądzie jest tyle szumu, że pozbawiony szumu model sędziego osiąga dokładniejsze prognozy niż rzeczywisty sędzia".

W ostatnich czasach uczenie maszynowe – lub AI – zyskało na znaczeniu, ponieważ umożliwia przewidywanie na podstawie ogromnych ilości danych. Z większą dokładnością niż jakikolwiek człowiek, AI jest w stanie przewidzieć zdarzenia losowe. Ludzie mają niewielką tolerancję dla błędów w maszynach, chociaż tolerują je u siebie. Ludzie dokonujący ocen prognostycznych zbyt często polegają na instynktach, co prowadzi do niepotrzebnych błędów.

Tam, gdzie istnieje przewidywanie, istnieje również ignorancja – i to w większym stopniu, niż mogłoby się wydawać. Przyznanie się do niewiedzy jest pierwszym krokiem w kierunku rozwiązania problemu niepewności i stanowi poprawę w stosunku do pozwolenia na rozkwit nadmiernej pewności siebie i odpowiednie nagromadzenie szumu.

Szum systemowy, szum poziomu i szum wzorca przyczyniają się do powstawania błędów w różnych proporcjach.
Gdy ludzie wyciągają wnioski, trzymają się ich – albo zastępując prostsze pytanie trudnym, albo „przesądzając” i wymuszając dopasowanie wniosku, albo szybko tworząc spójne wrażenia i nie chcąc ich zmieniać. Te uprzedzenia przyczyniają się do powstawania szumu. Stronniczość psychologiczna może prowadzić do stronniczości statystycznej, ale każdy ma inne stronniczości, które tworzą szum w systemie.

"Wielokrotne, sprzeczne sygnały powodują niejednoznaczność, która definiuje trudne problemy z osądem".

Kiedy staje Pan przed trudnymi, złożonymi lub niejednoznacznymi decyzjami, Pana umysł stara się spełnić dwa kryteria: że Pana osąd jest godny i nie ma lepszych alternatyw. To, w co Pan wierzy i myśli, że wierzą inni, nie zawsze jest spójne – na przykład z powodu nastroju. Te „błędy wzorca” przyczyniają się do powstawania szumu wzorca, który jest kombinacją stabilnego szumu wzorca i szumu okazjonalnego.

Do stabilnego szumu wzorca przyczyniają się trzy czynniki: waga elementów rankingu, osobiste reakcje i indywidualne różnice jakościowe między ocenami. Jeżeli doda się do tego unikalne doświadczenia i osobiste dziwactwa, to oceny mogą być jeszcze bardziej hałaśliwe, chociaż mogą wykazywać wewnętrzną spójność zgodną z osobowością.

Błąd pojawia się w trzech kolejnych kategoriach:

Błąd w postaci stronniczości i szumu systemowego.
Szum systemowy – na szum poziomu i szum wzorca.
Szum wzorcowy na stabilny szum wzorcowy i szum okolicznościowy.
Szum w większym stopniu przyczynia się do powstawania błędów, niż bias. Wśród różnych rodzajów szumu, szum wzorcowy jest znacznie bardziej rozpowszechniony niż szum poziomu – zazwyczaj dwukrotnie.

Poprawić swoje oceny, korzystając z „obserwatorów decyzji”, aby zmniejszyć stronniczość.
W celu poprawy oceny należy przeprowadzić audyt hałasu, w którym wielu sędziów ocenia te same problemy. Zmienność w ich ocenach to właśnie hałas. Jeżeli mają Państwo problem z szumem systemowym, należy rozważyć zastąpienie jednostek prostymi regułami lub algorytmami. Proszę mieć świadomość, że AI nie zastąpi ludzkiego osądu. Oczywiście, chcą Państwo wybrać najlepszych sędziów, aby poprawić swój poziom błędów, ale czynniki, które sprawiają, że ktoś jest dobrym sędzią, nie zawsze są jasne. Należy zacząć od osób, które już mają opinię dobrych sędziów. Będą pewni swoich osądów i będą potrafili wyjaśnić swoje rozumowanie. Mając wieloletnie doświadczenie, doskonale radzą sobie z tworzeniem spójnych narracji.

"Stronniczość prowadzi do błędów i niesprawiedliwości. Hałas również - a jednak robimy z nim o wiele mniej".

Alternatywnie, należy szukać sędziów o stylu poznawczym, charakteryzującym się uważnym myśleniem. Tacy ludzie badają informacje, aby upewnić się, czy są one dokładne i godne zaufania. Są zazwyczaj bardziej pokorni, otwarci na krytykę i zmianę zdania w miarę jak zmieniają się fakty. Podczas pracy nad audytem hałasu, osoby te mogą obserwować proces decyzyjny i ostrzegać zespół przed niezidentyfikowanymi stronniczościami.

Wdrażanie metod „higieny decyzji”, aby zapobiegać hałasom, zanim się pojawią. Szum jest trudniejszy do zidentyfikowania i naprawienia, ponieważ w przeciwieństwie do stronniczości, szum jest bardziej nieprzewidywalny i trudniejszy do wyjaśnienia. Aby rozwiązać problem hałasu, należy skupić się na zapobieganiu, a nie na leczeniu. Takie podejście to higiena decyzji i przypomina mycie rąk wśród pracowników służby zdrowia. Nigdy nie będzie wiadomo, którym dokładnie błędom udało się zapobiec, ale statystycznie zmniejszy się ich liczba.

"Tak jak mycie rąk i inne formy zapobiegania, higiena decyzji jest nieoceniona, ale niewdzięczna."

Niektóre metody praktykowania higieny decyzji obejmują:

Sekwencjonowanie informacji, aby ograniczyć powstawanie przedwczesnych intuicji – Tendencyjność poznawcza może dotyczyć wielu zawodów, np. kryminalistyki. Należy przekazywać ludziom tylko te informacje, które są im potrzebne, kiedy ich potrzebują, i wymagać od nich, aby na każdym etapie dokumentowali swoje oceny.
Agregowanie wielu niezależnych szacunków – Prognozowanie cierpi na niechlubną tendencyjność, a statystycznie rzecz biorąc, prognostycy są fatalni w swojej pracy. Najprostszym rozwiązaniem jest uśrednienie kilku ocen, co znacznie zmniejsza szum.
Opracowanie wytycznych diagnostycznych – Lekarze polegają na swoim wykształceniu, aby zdiagnozować zaburzenia, a niektórzy są w tym lepsi od innych. Posiadanie wytycznych upraszcza proces diagnozowania i zmniejsza liczbę błędów.
W systemach rankingowych szum pojawia się, gdy oceny są bezwzględne, a nie względne.
Wszyscy boją się ocen wydajności, które z biegiem lat stają się coraz bardziej złożone. Choć są one powszechne, pozostają bezużyteczne dla stwierdzenia prawdziwej wartości pracownika. Określenie skali w ocenach wyników to metoda higieny decyzji. Należy wybrać jeden wymiar i oceniać pracowników względem siebie, zamiast stosować skale bezwzględne. Ranking redukuje szum wzorców i szum poziomów, dając wyniki, które są bardziej spójne – a tym samym bardziej dokładne.

„Można poprawić oceny, wyjaśniając skalę ocen i szkoląc ludzi, aby konsekwentnie ją stosowali”.

Szum jest problemem, gdy zatrudniają Państwo nowych ludzi. Osoby przeprowadzające rozmowy kwalifikacyjne wnoszą do procesu poznawcze uprzedzenia. Często opierają się na pierwszym wrażeniu, a następnie szukają spójności. Rozwiązanie? Ustrukturyzować złożone oceny poprzez agregację ocen różnych sędziów. Na przykład Google stosuje w swojej strukturze następujące zasady:

Dekompozycja – Rozbicie decyzji na części składowe. Dzięki temu sędziowie skupiają się na istotnych informacjach.
Niezależność – Zadawanie wcześniej zdefiniowanych pytań o zachowanie kandydatów w różnych sytuacjach.
Opóźniona ocena całościowa – Nie należy wykluczać intuicji na temat kandydata. Opóźnić ją. Utworzyć komisję, która przejrzy wszystkie dane zebrane przez ankieterów, aby podjąć kolegialną decyzję.
Dane napędzają Google. W ten sposób ostateczna decyzja nie jest mechaniczna, lecz wynika z uśrednienia połączonych wyników.

Całkowita eliminacja hałasu może nie zawsze być warta zachodu.
Koszty mogą przewyższać korzyści, gdy próbuje się wyeliminować hałas. Najważniejszym kosztem jest niesprawiedliwość, ponieważ mechaniczne oceny nie mogą zastąpić ludzkiego rozeznania, zwłaszcza gdy w grę wchodzi ludzkie życie. Koszty finansowe mogą być zbyt duże dla instytucji publicznych, takich jak jednostki edukacyjne.

Czasami redukcja szumów powoduje więcej błędów niż usuwa. Na przykład, algorytmy przewyższają człowieka w wydawaniu sądów bez szumu. Dopuszczają jednak niedopuszczalne uprzedzenia. Ludzie cenią swój osąd, ponieważ jest on bardziej wnikliwy i zniuansowany oraz opiera się na podstawach moralnych, których nikt nie chce lekceważyć. Na przykład miłosierdzie jest cechą ludzką, której nikt nie chce wyeliminować przez algorytm. Jeżeli metody redukcji hałasu są niesprawiedliwe lub prymitywne, ale hałas powoduje niesprawiedliwość nie do odrobienia, rozwiązaniem jest stworzenie lepszych metod redukcji hałasu, a nie ignorowanie problemu.

"Usuwanie hałasu może być kosztowne - ale często warto ponieść ten koszt. Hałas może być strasznie niesprawiedliwy".


Wartości społeczne stale ewoluują, a elastyczność w ocenie może pozwolić na rozwój nowych wartości i przekonań. W miejscu pracy posiadanie mechanicznych zasad, które regulują Państwa zadania, może wydawać się dehumanizujące i hamować kreatywność. Redukcja hałasu jest korzystna w systemach opartych na regułach.

W przypadku norm – które są bardziej otwarte na interpretację, a więc i na ocenę – redukcja hałasu jest bardziej pożądana. Normy są niejasne nie bez powodu: Wymagają więcej niuansów. Na przykład, uniwersytet może mieć standardową politykę dotyczącą molestowania seksualnego, ale nie zasady, jak zachować się w każdej sytuacji. Jednak przy dokonywaniu oceny należy pamiętać, że celem jest dokładność, a nie wyrażanie siebie.

O Autorach


Daniel Kahneman, emerytowany profesor Uniwersytetu Princeton, otrzymał w 2002 r. Nagrodę Nobla w dziedzinie nauk ekonomicznych i jest autorem bestsellera „Myślenie szybkie i powolne”. Olivier Sibony, były starszy partner w firmie McKinsey, jest profesorem strategii w HEC Paris i Saïd Business School w Oksfordzie. Starszy doradca w Departamencie Bezpieczeństwa Wewnętrznego w administracji Bidena i profesor Harvardu Cass R. Sunstein napisał bestseller Świat według Gwiezdnych Wojen.

Rate this post