Pułapki pomiaru i iluzja sukcesu w świetle książki Setha Godina The Knot Problems Can Be Solved
Artykuł analizuje niebezpieczeństwo poznawczego i instytucjonalnego uwikłania, które powstaje w momencie utożsamienia niedoskonałych mierników (tzw. false proxies) z rzeczywistymi celami organizacji. Autor stawia tezę, że zgodnie z prawem Goodharta i prawem Campbella, wskaźnik przestaje być rzetelnym narzędziem obserwacji, gdy staje się celem sterowania lub podstawą systemu nagród. Mechanizm ten prowadzi do systemowej deformacji zachowań: uczestnicy organizacji, zamiast dążyć do realizacji misji (np. realnej poprawy zdrowia pacjentów czy kompetencji uczniów), optymalizują swoje działania pod kątem uzyskania korzystnych wyników w mierzalnych parametrach. Tekst dowodzi, że presja na efektywność formalną często prowadzi do paradoksalnego spadku użyteczności społecznej działań, gdyż to, co łatwo policzalne, wypiera to, co istotne, lecz trudne do zmierzenia. Rozwiązaniem tego problemu jest przejście od jednowymiarowych rankingów ku wielowymiarowej ocenie rezultatów, która rozróżnia skuteczność operacyjną od aksjologicznej.
Wprowadzenie
Współczesne organizacje często wpadają w pułapkę utożsamiania mierzalnych danych z rzeczywistym sukcesem. Artykuł analizuje mechanizm powstawania tzw. false proxy, czyli błędnych wskaźników zastępczych, które wypierają autentyczne cele misji instytucjonalnej.
Czytelnik dowie się, dlaczego optymalizacja liczb często prowadzi do spadku użyteczności społecznej. Poznasz zasady rządzące pomiarem oraz dowiesz się, jak uniknąć iluzji skuteczności w zarządzaniu ludźmi i procesami.
Wskaźniki zastępcze nie są tożsame z rzeczywistymi celami
Autor książki zauważa, że precyzyjny pomiar nie gwarantuje wzrostu skuteczności, ponieważ często mierzymy cechy jedynie pośrednio związane z celem. Powstaje paradoks: organizacja zwiększa sprawność działań, których realna wartość społeczna maleje.
Dzieje się tak, gdy false proxy zaczyna samodzielnie określać hierarchię celów i rozdzielanie zasobów. Przykładem jest traktowanie liczby odbiorców reklamy jako dowodu jej skuteczności lub utożsamianie poziomu finansowania z realną poprawą losu beneficjentów.
W takich systemach to, co łatwo policzalne, dominuje nad tym, co istotne, lecz trudne do zmierzenia.
Trafność konstruktu jako fundament rzetelnego pomiaru
Kluczem do rzetelności jest trafność konstruktu. Statystyczna korelacja wskaźnika z celem nie oznacza, że miernik faktycznie reprezentuje badaną właściwość. Wskaźnik może reagować na czynniki uboczne, a nie na realną zmianę zjawiska.
Przykładem jest wzrost wyników egzaminacyjnych uczniów. Może on wynikać z rozwoju kompetencji, ale równie dobrze ze wzrostu znajomości formatu zadań. To rozróżnienie między relacją statystyczną a przyczynową jest fundamentem uniknięcia błędów w ocenie.
Bez analizy mechanizmu, za pomocą którego właściwość jest reprezentowana przez wynik, ryzykujemy budowanie systemów na pozornych przesłankach.
Miernik przestaje być rzetelny, gdy staje się celem
Zgodnie z prawem Goodharta, wskaźnik traci wartość diagnostyczną w momencie, gdy staje się celem sterowania. Uczestnicy systemu nie są bierni; dostosowują swoje zachowania do reguł nagradzania, co zniekształca dane.
Nadanie miernikom rangi administracyjnej wywołuje presję na ich maksymalizację kosztem jakości. Prowadzi to do zaniedbywania zadań trudniej mierzalnych, takich jak rozwijanie samodzielności myślenia u uczniów czy budowanie relacji z pacjentem.
W efekcie organizacja może osiągać wszystkie wskaźniki operacyjne, podczas gdy rzeczywisty problem pozostaje nierozwiązany. Jest to klasyczny przykład przemieszczenia celów, gdzie procedura staje się ważniejsza niż misja.
Podsumowanie
W świecie zdominowanym przez dyktat danych ryzykujemy stworzenie instytucji perfekcyjnie sprawnych w generowaniu liczb, lecz bezużytecznych w realizacji swoich misji.
Największym błędem współczesnego zarządzania jest wiara, że to, czego nie da się zmierzyć, nie istnieje lub nie mają znaczenia. Prawdziwy sukces wymaga odwagi do wyjścia poza tabele i uznania wartości, które z natury wymykają się każdej skali.
Często zadawane pytania
Dlaczego precyzyjne mierzenie wyników w organizacjach nie zawsze przekłada się na rzeczywisty wzrost ich skuteczności?
Precyzyjne pomiary nie zawsze zwiększają skuteczność, ponieważ organizacje mogą mierzyć wskaźniki jedynie pośrednio związane z rzeczywistym celem lub oparte na błędnych założeniach. Problem narasta, gdy taki wskaźnik zastępczy (false proxy) zaczyna samodzielnie określać hierarchię celów i zasobów, zamiast służyć rozpoznawaniu rzeczywistości.
Czym różni się statystyczna korelacja wskaźnika od rzeczywistej trafności pomiaru?
Różnica polega na tym, że korelacja statystyczna opisuje jedynie współwystępowanie obserwacji, podczas gdy rzeczywista trafność wymaga istnienia mierzonej właściwości i jej przyczynowego wpływu na wynik. Wskaźnik może być silnie skorelowany z celem, mimo że bezpośrednia manipulacja nim nie prowadzi do zmiany tego celu.
Dlaczego wskaźnik, który wcześniej dobrze opisywał rzeczywistość, może stać się bezużyteczny po wprowadzeniu go jako celu sterowania?
Wskaźnik może stać się bezużyteczny, ponieważ uczestnicy systemu dostosowują swoje zachowania do nowej reguły sterowania. Przejście od funkcji diagnostycznej do regulacyjnej zmienia strukturę działań osób mierzonych, co niszczy historyczne zależności statystyczne.
W jaki sposób nadanie wskaźnikom znaczenia administracyjnego wpływa na zachowania ludzi i rzetelność danych?
Nadanie wskaźnikom znaczenia administracyjnego zwiększa presję na zniekształcanie procesu pomiarowego lub zachowań, które ten pomiar bada. Prowadzi to do sytuacji, w której miernik przestaje być neutralną obserwacją rzeczywistości, a staje się narzędziem jej instytucjonalnego kształtowania poprzez manipulację danymi lub adaptację działań pod konkretny format oceny.
Dlaczego wybieranie najlepszych wyników na podstawie wskaźników może prowadzić do błędnych wniosków?
Wybieranie najlepszych wyników może prowadzić do nadreprezentacji przypadków, w których wysoki rezultat wynika z losowej zmienności, błędu pomiarowego lub sprzyjających okoliczności, a nie z rzeczywistych kompetencji. Dodatkowo wskaźniki mogą tracić wiarygodność przy ocenie przypadków ekstremalnych, nowatorskich lub wykraczających poza zakres danych, na których model został oparty.
Dlaczego systemy nagród oparte na łatwo mierzalnych wskaźnikach prowadzą do zaniedbywania kluczowych, ale trudniej mierzalnych zadań?
Silne uzależnienie nagród od łatwo mierzalnych wskaźników zmienia relatywną opłacalność poszczególnych czynności, co skłania pracowników do przesunięcia wysiłku z zadań niemierzonych ku tym premiowanym. Dzieje się tak szczególnie wtedy, gdy realizacja obu grup zadań wymaga tych samych ograniczonych zasobów czasu i uwagi.
Jak błędne systemy oceny i nagradzania wpływają na rzeczywiste działania pracowników w różnych zawodach?
Błędne systemy oceny i nagradzania mogą prowadzić do zmiany struktury wysiłku pracowników, którzy zaczynają koncentrować się na parametrach premiowanych zamiast na deklarowanej misji organizacji. Powoduje to ryzyko przedkładania ilości nad jakość, co przejawia się m.in. w dążeniu do zwiększenia liczby publikacji, transakcji czy treści przy jednoczesnym zaniedbaniu rzetelności badań, potrzeb klientów lub wartości informacyjnej.
Dlaczego organizacja może osiągać wszystkie założone wskaźniki, mimo że nie rozwiązuje rzeczywistego problemu?
Dzieje się tak z powodu przemieszczenia celów, gdy przestrzeganie reguł i procedur staje się ważniejsze niż nadrzędny cel organizacji. W takiej sytuacji organizacja osiąga skuteczność formalną i operacyjną (wykonanie czynności zgodnie z planem), ale nie uzyskuje skuteczności aksjologicznej, czyli rzeczywistej zgodności efektów z wartościami, które miały zostać zrealizowane.
Dlaczego wysokie miejsce w rankingu nie zawsze świadczy o wysokiej jakości działania instytucji?
Wysoka pozycja w rankingu nie zawsze świadczy o jakości instytucji, ponieważ wyniki mogą odzwierciedlać selekcję osób o wysokich kompetencjach początkowych (cream skimming) zamiast rzeczywistego wpływu placówki. Rankingi często opierają się na uproszczonych danych zagregowanych, które nie uwzględniają różnic w profilu obsługiwanej populacji ani czynników zewnętrznych.
Dlaczego spadek wskaźników rehospitalizacji nie musi oznaczać rzeczywistej poprawy zdrowia pacjentów?
Spadek wskaźników rehospitalizacji nie musi oznaczać poprawy zdrowia, ponieważ ponowne przyjęcie do szpitala może wynikać zarówno z błędów w leczeniu, jak i z rzeczywistej potrzeby medycznej. Ograniczanie tych wskaźników jest korzystne tylko wtedy, gdy dotyczy wizyt możliwych do uniknięcia bez narażania bezpieczeństwa pacjentów.
Dlaczego ocena instytucji publicznych wyłącznie na podstawie liczby wykonanych spraw jest błędna?
Sama liczba spraw nie rozstrzyga o jakości orzeczeń, a premiowanie szybkości i ilości może prowadzić do pominięcia kosztów proceduralnych oraz znaczenia stabilności i prawidłowego uzasadniania decyzji. Ponadto wskaźniki ilościowe nie oddają wartości działań prewencyjnych ani specyfiki trudniejszych przypadków, co sprawia, że nie dostarczają one pełnej informacji o rzeczywistej skuteczności instytucji.