Czym jest istotność statystyczna?

STATYSTYKA JEST KOJARZONA Z OPISEM DUŻYCH ZBIOROWOŚCI — Nic w tym dziwnego. Trudno otworzyć jakikolwiek portal informacyjny, żeby się z niego nie wysypały jakieś liczby - ile osób zachorowało na COVID-19, ile wyzdrowiało, ile Unia Europejska wykupiła szczepionek, itp. Bez zbytniej przesady można powiedzie, że pytanie Ile? jest podstawowym pytanie do statystyki i jej narzędzia służą do odpowiedzi na nie.

Zresztą służyły tak od dawna. Pierwszym zadaniem statystyki było właśnie dostarczanie informacji o tym, ilu jest wojowników, budowniczych, niewolników. Jakie zebrano plony, ile jest oliwy. Samo słowo statystyka pochodzi od słowa status (państwo), a przymiotnik statystyczny brzmi prawie tak samo jak zbiorowy, społeczny. Dlatego wszystko co ma dodatek statystyczny w nazwie będzie odnosiło się do społeczności.

RÓŻNICE MIĘDZY DWIEMA GRUPAMI SĄ ISTOTNE STATYSTYCZNIE — Kiedy usłyszysz takie zdanie, niemal bezrefleksyjnie łapiesz, o co w nim chodzi. Te grupy różnią się w sposób istotny, odczuwalny, nie do pominięcia. Na przykład różnice między kobietami a mężczyznami są istotne statystycznie. Oznacza to mniej więcej tyle samo, co mężczyźni są z Marsa, a kobiety z Wenus.

Wszystko się zgadza, brzmi to całkiem logicznie i spójnie. I zawsze kiedy jest tak dobrze, przychodzi ktoś, kto psuje wszystko, bo wcale nie jest tak, jak powiedzieliśmy. W statystyce jest kilka pojęć, które nie mają zbyt wiele wspólnego z potocznym rozumieniem i istotność statystyczna jest jednym z nich. Wszystko przez położenie słowa 'statystycznie' za słowem 'istotny'.

KIEDY USŁYSZYSZ, ŻE RÓŻNICE MIĘDZY GRUPAMI SĄ ISTOTNE STATYSTYCZNIE — to przede wszystkim nie zrozum tego, jako istotne statystycznie w tym znaczeniu, o którym pisałam wyżej. Że są to różnice obserwowane w całej społeczności. Jeśli Twój rozmówca jest statystykiem i chcesz zobaczyć, jak wije się przy wyjaśnieniu, to zadaj mu to pytanie:"istotne statystycznie - a co masz na myśli?". Jeśli chcesz zaoszczędzić katuszy, to niżej jest rozwikłanie zagadki, jak powinno się rozumieć istotność statystyczną.

Wynik testu statystycznego może być istotny lub nieistotny statystycznie. W statystyce do badania zależności posługujemy się testami statystycznymi - tak, jak w medycynie testami medycznymi. Wynik, który jest istotny statystycznie to żargonowe powiedzenie tego, że ten wynik osiągnął pewien oczekiwany pułap. Dokładniej rzecz ujmując, wynik testu statystycznego ma szansę wystąpienia niższą niż 5%, jeśli przyjmie się dodatkowe założenie, że szansę tego wystąpienia sprawdza się, gdy tej zależności czy różnicy nie ma. Dalsze wyjaśnienie wpędza nas w las statystycznych pojęć, więc zatrzymajmy się tutaj. Statystyczna istotność statystyczna ma o wiele skromniejsze znaczenie niż by się chciało.

Jeśli w radiu, telewizji czy w Internecie widzisz, słyszysz pojedyncze zdanie różnica między grupami jest istotna statystycznie, to nie daj się zwieść, zwłaszcza, wówczas mówi to statystyk. Nie dlatego, że kłamie, ale dlatego, że wszyscy naukowcy cierpią na swoisty brak teorii umysłu. Bardzo ciężko im wejść w buty, kogoś, kto nie mówi tym samym żargonem. Krótko mówiąc, posługują się tym zawężonym znaczeniem pojęcia istotności. A różnica między ogólnym pojęciem istotności a pojęciem istotności statystycznej jest ogromna.

ISTOTNOŚĆ STATYSTYCZNA TO NIE STATYSTYCZNA ISTOTNOŚĆ — Żeby nie popaść w inny żargon, tym razem z językoznawstwa, powiem, że różnica między istotnością statystyczną a statystyczną istotnością jest taka sama, jak różnica między ptakiem niebieskim, a niebieskim ptakiem. Ptak niebieski to ktoś, kto jest lekkomyślny. Niebieski ptak to ptak o niebieskim kolorze piór. Chodzi tu o kolejność rzeczownika i przymiotnika. Istotność statystyczna to jedno, a statystyczna istotność to drugie.