Testy hodnotené umelou inteligenciou by mohli štátu ušetriť až 20 miliónov dolárov ročne.
Študenti v Texase budú medzi prvými, ktorí budú mať štátne povinné testy vyhodnocované platformou poháňanou umelou inteligenciou. Písomná časť skúšky STAAR (State of Texas Assessments of Academic Readiness), ktorá meria úroveň zručností v čítaní, písaní, prírodných vedách a spoločenských vedách, bude hodnotená pomocou „automatického skórovacieho nástroja“.
Test bol prepracovaný v roku 2023. Revidovaná skúška teraz obsahuje menej otázok s výberom odpovede a viac otvorených otázok, ktoré sa nazývajú položky s konštruovanou odpoveďou. Nové testy obsahujú až sedemkrát viac otvorených otázok ako predtým. Podľa denníka Texas Tribune by prístup založený na spracovaní prirodzeného jazyka mohol štátu ušetriť až 20 miliónov dolárov ročne.
Peniaze, ktoré by inak boli vynaložené na najímanie ľudských hodnotiteľov od externého dodávateľa. Jose Rios, riaditeľ pre hodnotenie žiakov v TEA, uviedol, že chceli zachovať čo najviac otvorených odpovedí, ale poznamenal, že ich vyhodnotenie zaberie neuveriteľné množstvo času. Stroje nenahradia úplne ľudských hodnotiteľov – aspoň zatiaľ nie.
Minulý rok Texaská agentúra pre vzdelávanie (TEA) zamestnala približne 6 000 dočasných ľudských hodnotiteľov. Tento rok ich bude potrebovať menej ako 2 000. Štvrtina všetkých skonštruovaných odpovedí, ktoré pôvodne vyhodnotila umelá inteligencia, bude prehodnotená ľuďmi, rovnako ako testy, v ktorých si počítač nebude istý svojím výsledkom.
Odpovede napísané v inom ako anglickom jazyku a odpovede obsahujúce slangové slová budú tiež postúpené ľudským hodnotiteľom. Automatické bodovanie bolo vyškolené na 3 000 odpovediach, ktoré najprv prešli dvoma kolami ľudského bodovania. Vzorky umožnili umelej inteligencii posúdiť spoločné charakteristiky odpovedí a poučili ju, ako má udeliť rovnaké skóre, aké by udelil človek.
Chris Rozunick, riaditeľ divízie pre rozvoj hodnotenia v TEA, uviedol, že pri ľuďoch mali vždy veľmi spoľahlivé procesy kontroly kvality a že podobne je to aj s počítačovým systémom. Len ho nenazývajú umelou inteligenciou. „Sme ďaleko od niečoho, čo je autonómne alebo dokáže samostatne myslieť,“ povedal Rozunick. Napríklad bodové riešenie sa „neučí“ od jednej reakcie k druhej, ale vždy sa odkloní od svojho pôvodného tréningu ako referencie.