Dlaczego 118 i 124 to często ten sam wynik

Każdy wynik testu psychometrycznego jest oszacowaniem, nie odczytem z linijki. Otacza go błąd pomiaru i to on decyduje o tym, czy różnica sześciu punktów w ogóle coś znaczy.

Przedział ufności zamiast jednej liczby

Policzmy to na konkretnych liczbach. Przy rzetelności skali α = 0,91 i odchyleniu standardowym 15 punktów błąd standardowy pomiaru wynosi 15 × √(1 − 0,91), czyli 4,5 punktu. Przedział 95-procentowy to około ±9 punktów. Wynik 118 oznacza więc „gdzieś między 109 a 127”, a 124: „gdzieś między 115 a 133”. Te przedziały nachodzą na siebie w dwóch trzecich, a różnica sześciu punktów jest mniejsza niż błąd samej różnicy (6,4 punktu), więc rozstrzyganie, który wynik jest „lepszy”, nie ma podstaw.

Warto zapamiętać samą regułę, bo działa przy każdej skali: im wyższa rzetelność, tym węższy przedział, ale nawet przy α = 0,91 (a to wartość wysoka, typowa dla dobrych narzędzi klinicznych) pojedynczy wynik obarczony jest niepewnością rzędu kilkunastu punktów. Test szybki, darmowy i rozwiązywany w domu ma tę niepewność wyraźnie większą.

Co z tego wynika w praktyce

Po pierwsze: nie porównuj pojedynczych wyników dwóch osób, jeśli dzieli je mniej niż kilkanaście punktów. Po drugie: nie traktuj własnej zmiany między dwoma podejściami jako „postępu”, częściej to zwykły szum pomiarowy plus efekt wprawy. Po trzecie: patrz na profil wymiarów składowych, bo tam kryje się informacja, której pojedyncza liczba nie oddaje.

Z tego samego powodu nie podajemy w naszych testach liczby IQ. Trzycyfrowy wynik wymagałby próby normalizacyjnej, której nikt tu nie zebrał, a dostawiony do niego przedział ufności sugerowałby precyzję, której nie ma. Zamiast tego dostajesz wynik surowy, rozbicie na typy zadań i (dopiero gdy podejść uzbiera się dość, żeby cokolwiek znaczyły) pozycję na tle innych osób, które ten test rozwiązały. Tam, gdzie korzystamy z opublikowanego narzędzia, nazywamy je i piszemy, co wiadomo o jego trafności; tam, gdzie progi są nasze własne, piszemy to wprost.