Test Turinga: ile wiesz o rozpoznawaniu AI
Dwadzieścia pytań o grę w naśladowanie, ELIZĘ i o to, dlaczego narzędzia wykrywające tekst AI mylą się częściej, niż deklarują.
Przy każdej odpowiedzi wyjaśnienie: test działa też jako lektura.
Wynik z rozbiciem na trzy grupy pytań.
Bez limitu czasu, bez rejestracji, z wersją do druku razem z kluczem.
Twój wynik testu
Chcesz sprawdzić się jeszcze raz? Wersja trudniejsza ma więcej pytań i szczegółowe wyjaśnienia.
Odpowiedzi i wyjaśnienia
Sprawdź inne testy
Logiczne myślenie, wiedza ogólna, koncentracja: wszystkie za darmo i bez rejestracji.
Test Turinga nie mierzy tego, co się wszystkim wydaje
Alan Turing zaproponował swoją grę w 1950 roku, żeby ominąć pytanie, na które nie da się odpowiedzieć. Zamiast pytać, czy maszyny mogą myśleć (bo ani „maszyna”, ani „myśleć” nie są dostatecznie ostre) zapytał, czy sędzia prowadzący pisemną rozmowę odróżni maszynę od człowieka. To pytanie ma tę zaletę, że można je rozstrzygnąć obserwacją.
Cena tej zamiany jest jednak wysoka i rzadko się o niej mówi. Przejście testu nie dowodzi ani rozumienia, ani świadomości, ani inteligencji. Dowodzi wyłącznie skuteczności naśladowania. Program może zwieść sędziego, nie mając pojęcia, o czym mowa: pokazała to już ELIZA w 1966 roku, licząca kilkaset linii kodu i odbijająca cudze zdania w formie pytań.
Wykrywanie tekstu AI działa gorzej, niż się sądzi
Dziś częściej zadaje się pytanie odwrotne: czy da się rozpoznać tekst napisany przez model. Odpowiedź z badań jest niewygodna dla wszystkich, którzy takich narzędzi używają w szkole i na uczelni.
Zespół ze Stanfordu sprawdził siedem popularnych detektorów na dwóch zbiorach tekstów napisanych przez ludzi: esejach amerykańskich ósmoklasistów i esejach osób zdających egzamin z angielskiego jako języka obcego. Przy pierwszym zbiorze narzędzia radziły sobie niemal bezbłędnie. Przy drugim uznały za wygenerowane przez AI ponad 61 procent prac, mimo że wszystkie powstały pod nadzorem egzaminacyjnym. Osiemdziesiąt dziewięć z dziewięćdziesięciu jeden esejów zostało oznaczonych przez co najmniej jedno narzędzie, a osiemnaście przez wszystkie siedem naraz.
Wyjaśnienie jest prozaiczne i tym bardziej niepokojące. Detektory szukają przewidywalności: tekst zbyt gładki, zbyt równy, o zbyt małej zmienności słownictwa uznają za maszynowy. Dokładnie tak pisze ktoś, kto posługuje się językiem obcym. Narzędzie nie wykrywa więc maszyny, tylko ubogą składnię. I karze za nią osoby, które i tak mają pod górę.
Praktyczny wniosek jest jeden: wynik detektora nie jest dowodem. Sprawdzenie drugim narzędziem nic nie daje, bo badanie objęło siedem i wszystkie miały ten sam błąd.
Dlaczego to zadanie jest z natury trudne
Model językowy uczy się przewidywać, co napisałby człowiek. To jest dosłownie jego cel treningowy. Im lepiej mu to wychodzi, tym mniej zostaje w tekście śladów do wykrycia, a każde ulepszenie modelu z definicji utrudnia pracę detektorom. To nie jest wyścig, który da się wygrać po stronie wykrywania.
Skąd wzięły się pytania w tym teście
To test wiedzy, a nie gra w zgadywanie, który fragment napisał model. Taką grę dałoby się zrobić, ale wymagałaby ode mnie oznaczenia pewnych tekstów jako „napisane przez człowieka”, a innych jako „napisane przez AI”. I musielibyśmy w to uwierzyć na słowo. Wolimy pytać o rzeczy sprawdzalne: co Turing napisał, co zrobiła ELIZA, co wyszło w badaniu nad detektorami.