Az IQ teszt adatbányász szemmel

Egy műegyetemi szemináriumsorozat keretében a napokban egy remek előadást tartott arról, hogy mi az intelligencia és hogyan készülnek az IQ tesztek. Ez utóbbit azért is tartottam érdekesnek, mert lényegében adatelemzési, analitikai keretben mondta el azt, amit a legtöbbször pszichológiai szempontból szoktak csak körülírni. Ezt a gondolatmenetet szeretném nektek adatbányászati szemszögből röviden ismertetni.

Kezdjük azzal, hogy mi az intelligencia. Kezdetben nem adtak rá definíciót, de nem is kellett: a kísérleti eredmények azt mutatják, hogy az emberek nem tudják megfogalmazni mi is az, de mikor nyilatkozni kell kollégáik, közeli ismerőseik intelligenciájáról, akkor közel ugyanazt mondja mindenki ugyanarról az emberről. Van tehát egy fogalmunk, konszenzus van, de nem tudjuk körülírni. Az intelligenciateszt célja legyen az, hogy ezt az amúgy nagyon körülményesen kiszámolható intelligencia szintet becsülje meg. Nehéz lenne ugyanis megoldani, hogy valakinek sok-sok ismerőse nyilatkozzon az adott ember intelligenciájáról, illetve sok más emberről is, hogy ez alapján ki lehessen mutatni, hogy az adott ember mennyivel van az átlagos intelligencia szint felett vagy alatt. Van tehát egy viszonylag jól megfogalmazott célunk, melyet adatbányászati szemmel regressziós feladatként értelmezhetünk.

Szükségünk lenne tehát egy viszonylag könnyen kiértékelhető statisztikai modellre, amihez lehetőleg csak a célszemélytől származó információk szükségesek. Ha ilyen modellt szeretnénk építeni, kezdjük azzal, milyen attribútumok állnak rendelkezésünkre. Kimutatták, hogy az intelligencia felnőtt korban lényegében kor, nem, és úgy általában majdnem minden demográfiai értéktől független (például hajszíntől sem függ, ergo a szőke nős viccek csak viccek, nincsen bennük valódi igazság). Ebből kifolyólag nekünk kell kitalálni, milyen attribútumok legyenek a bemeneti adathalmazban.

Intelligencia mérésénél könnyen adódik, hogy attribútumoknak alkalmasak lehetnek feladványok megfejtései, műveltségi vagy találós kérdésre adott válaszok. A múlt század húszas éveitől kezdődően összeszedtek több ezer potenciális IQ teszt kérdés-válasz párt, majd fáradságos munkával kitöltették őket sok-sok olyan alannyal, akiről tudták mi a környezetük véleménye az ő intelligenciájukról (nem töltött ki mindenki minden tesztet, az túl sok lett volna, de ez most itt kevésbé lényeges).

Ezt követően megnézték, hogy az így kapott tesztenkénti eredmények (attribútumok) közül vannak-e olyanok, melyek korrelációban vannak az többi ember által adott intelligencia ítélettel. Kiderült, hogy erős (a pszichológiában szokásos korrelációs értékeknél jelentősen erősebb) összefüggés van bizonyos kérdések és a célváltozó között. Lényegében azt lehetett mondani, hogy ha valaki kitölti az összes tesztkérdést, akkor kvázi meg lehet mondani, mi az illető intelligencia szintje.

Persze több ezer kérdés egy kicsit sok, szükség volt egy feature selection technikára: olyan attribútum halmazt kellett keresni, ami nem túl nagy, de nemre, korra nézve egyenletesen jól tudja előrejelezni az intelligencia értékét. Külön statisztikai módszert dolgoztak ki ezen részhalmaz megtalálására (ugye nem mindegyik alany töltötte ki mindegyik tesztfeladatot, így azért sokkal bonyolultabb a jó kérdéseket kiválogatni). Kiderült, hogy kb. két tucat kérdéssel nagyon jó megbízhatósággal megállapítható a vizsgált alanyok IQja. Ez azt jelenti, hogy az standardizálás után az átlagos IQ érték az adott vizsgálati csoportra 100 lett, a mérés hibája körülbelül 3 pont lett. A normál IQ teszt mérési tartománya 70-135 közé esett, ezen kívül már nem tudta jól mérni a hányadost (erre külön tesztek vannak, például a Mensa Egyesületek tagfelvételéhez szükséges IQ teszt 125 feletti IQ-val rendelkező személyek számára lett kitalálva).

Az eredmény azért is nagyon erős, mert lényegében egy nagyon egyszerű scoring modellt állítottak az adott kérdésekhez kapcsolódó attribútumokhoz: a kérdésekre adott válaszokhoz egy-egy pontértéket rendeltek, ezek összege adja meg lényegében milyen az adott ember IQ pontértéke.

Érezhető, hogy ilyen egyszerű modellel ilyen pontosan mérni egy értékítéletet különösen látványos dolog, valóban jó kérdéseket találtak az intelligencia méréséhez. Sőt, az adatbányászati elemzésektől nem idegen módon az intelligencia definícióját is részint ez alapján tudták megadni. Ezt hangzatosan úgy fogalmazták meg, hogy „az intelligencia az, amit az intelligencia tesztek mérnek”. Persze látjuk, hogy az intelligencia fogalmát az emberek jól ismerik (az alanyokról a legtöbb ismerősük ugyanazt az ítéletet mondta), de definiálni nem tudták, mit is értenek ez alatt. Tehát az intelligencia definícióját ismerjük az intelligencia tesztekből, ami körülbelül úgy fogalmazható meg, hogy egy adott környezetben az életben történő tájékozódási képességet írja le az intelligencia.

Az intelligencia-hányadosunk felnőtt korunkban lényegében nem változik (néhány pontos különbséget lehet csak kimérni, ami lényegében itt a zajnak felel meg), de a körülöttünk lévő világ igen. Ezért aztán időről időre új intelligencia teszteket állítanak össze, mert más kérdések lesznek relevánsak az életrevalóság tekintetében, mint évtizedekkel ezelőtt (most jelentek meg az első nagyon egyszerű számítástechnikához köthető kérdések). Szóval rendszeresen karbantartják a modellt, sőt különböző kulturális közegekre külön teszteket készítenek – mást jelent Japánban életrevalónak lenni, mint mondjuk Egyiptomban, vagy Magyarországon. Érdekes, hogy minden közegben található az intelligenciával erősen korreláló kisebb kérdéscsoport, ami alapján közel ugyanolyan mértékig jól mérhető az emberek intelligenciája.

Fontos megjegyezni, hogy sok más emberi tulajdonság nem mérhető ezzel a módszerrel. Például a kreativitásra nem tudtak ilyen egységes, sztandardizálható tesztet kialakítani, mint ahogy sok minden másra sem (ki mennyire tehetséges egy adott területen, sportban, stb). Ezért aztán valószínűleg egy „üzleti intelligencia hányados” megalkotása sem biztos, hogy sikerülne, de azért szívesen megnéznék egy próbálkozást. A gondolat az IBM-et is megihlette, de úgy érzem inkább csak a marketing szintig vitték el a dolgot: az alábbi címen egy AQ teszt (Analytics Quotient) kitöltésére van lehetőség (a teszt üzleti felhasználóknak szól).