Við fögnum í dag útgáfu nýrrar stigatöflu Miðeindar um þekkingu gervigreindar-mállíkana á íslensku máli og menningu. Stigatöfluna má nálgast á www.stigatafla.is.

Tvö ár eru liðin frá því að við gáfum fyrst út töflu yfir frammistöðu mállíkana í íslensku (Íslensk stigatafla risamállíkana). Sú tafla hefur reynst okkur og öðrum góður vegvísir við val á réttu líkönunum í verkefni sem útheimta íslenskuþekkingu. En á tveimur árum hefur mikið vatn runnið til sjávar; líkönin hafa batnað til muna og flest gömlu prófin eru nú orðin mettuð og ekki lengur gagnleg til að meta framfarir [1].

Það var því ljóst að við þyrftum ný, fjölbreyttari og erfiðari próf.

Í því skyni fengum við í sumar til liðs við okkur öflugt fólk í gegnum Nýsköpunarsjóð námsmanna til að handsmíða prófdæmi, þau Ölfu Magdalenu B Jórunnardóttur, Stefán Atla Árnason og Thelmu Karen Siggeirsdóttur. Til varð nýtt safn spurninga sem ná yfir breitt svið: málmyndunarfærni; málfræði; þekkingu á íslenskri menningu, svo sem á dægurmenningu, tónlist, lífríki og hannyrðum; orðatiltækjum og þekktum frösum.

Sá munur er á nýju prófunum og þeim gömlu að hvorki prófspurningar né svör eru gefin út opinberlega. Þannig komum við í veg fyrir að svör „leki“ óvart í yfir þjálfunargögn líkana og mengi þar með niðurstöður prófanna.

Nýja taflan inniheldur viðbótarupplýsingar sem gætu reynst áhugaverðar, svo sem fjölda tóka sem líkön nota við úrlausn dæmanna, dagsetningu mats, sundurliðun í undirflokka þar sem það á við og nákvæmar líkansstillingar sem notaðar voru við matið.

Fyrsta útgáfa nýju stigatöflunnar sýnir frammistöðu valinna líkana sem komu út nýlega eða hafa vakið sérstaka athygli fyrir góða frammistöðu í íslensku. Við munum svo halda áfram að uppfæra töfluna næstu misserin með niðurstöðum fyrir ný líkön sem koma út. Einnig kemur vel til greina að bæta nýjum mæliprófum í safnið, hvort sem þau koma úr ranni Miðeindar eða frá öðru áhugafólki um stöðu íslenskunnar í gervigreindarlíkönum.

Þegar þetta er skrifað trónir nýja líkanið GPT-6 Astra frá OpenAI á toppi stigatöflunnar með um 70% árangur að meðaltali.

Stigatöfluna og nánari upplýsingar um prófin má nálgast á vefsvæði Hugging Face í gegnum nýja slóð: www.stigatafla.is.

Prófin á nýju töflunni

• WikiQA. Þetta próf, sem mælir þekkingu á íslenskri sögu og menningu, helst óbreytt frá gömlu töflunni nema hvað nú er GPT-5.6 Luna í hlutverki dómara. Sammælisskor þess við handmerkt dæmi er sambærilegt og hjá fyrra líkani, GPT-4o.

• Dægurmenning. Þetta er tvískipt próf sem mælir annars vegar kunnáttu á þekktum íslenskum lagatextum og hins vegar þekktum frösum úr menningu og þjóðlífi. Í lagahlutanum eru líkön til dæmis látin botna íslenska þjóðsönginn en í frasahlutanum eru þau meðal annars spurð um línur úr bókmenntum og sjónvarpsefni, svo sem að svara hver hafi sagt „Minn tími mun koma!“. Þess ber að geta að þetta er sem stendur langerfiðasta prófið en það mælir beint hversu mikið líkönin hafa lagt á minnið.

• Íðorð. Hér könnum við kunnáttu í sérhæfðum orðaforða. Í hannyrðahlutanum eru líkön fengin til að útskýra merkingu ýmissa prjón- og heklhugtaka, svo sem að „fitja upp“. Í hinum hlutanum er beðið um íslenskar þýðingar á enskum og latneskum heitum ógrynnis af plöntum og dýrum sem fyrirfinnast á Íslandi.

• Myndunargæði. Próf á myndunargæðum er nýjung en þar eiga líkön að semja texta eftir forskrift, til dæmis: „Skrifaðu stutta sögu á íslensku um hreindýr sem villist inn í miðbæ Egilsstaða“. Textarnir eru síðan færðir inn í yfirlestrartólið Málfríði til að meta villutíðni og svo er orðunum flett upp í BÍN til þess að meta hlutfall óorða. Hvor um sig eru þetta ófullkomnar aðferðir til þess að meta gæði texta en saman eru þær nokkuð fylgnar við það sem mannfólk myndi meta.

• Málfarsleiðrétting. Í þessu prófi eru líkaninu gefnar íslenskar málsgreinar sem innihalda annað hvort eina málfarsvillu eða enga og þeim gert að leiðrétta ef við á.

• Fallstjórn. Margar íslenskar sagnir taka frumlag í aukafalli („mér leikur forvitni á“, „hana vantar“). Þá ræður sögnin ein oft falli andlags í íslenskum setningum. Í prófinu fær líkanið nafnlið í nefnifalli og á að setja hann í eyðu í réttu falli, eða smíða orðasamband úr sögn og andlagi. Þetta mælir því máleinkenni eins og þágufallshneigð. Bestu líkönin fá flest nærri því fullt húsi hér, svo prófið nýtist helst til að greina þau slakari.

• Orðatiltæki. Þetta próf er tvískipt: Í fyrri hlutanum eru sett fram þekkt orðatiltæki þar sem þarf að fylla í eyðu, t.d. „Að vera þrándur í _ einhvers“ (götu). Í seinni hlutanum er líkani gert að útskýra merkingu orðatiltækja, t.d. „Hvað merkir orðatiltækið að lepja dauðann úr skel?“. Þá er mállíkan sett í hlutverk dómara sem fær réttu merkinguna til hliðsjónar. Svarið „að draga fram lífið í mikilli fátækt“ myndi fá fullt hús stiga en „að borða skemmda ostru“ fengi líklega ekkert.

[1] Sum voru líka af lágu gæðastigi, s.s. vélþýdda prófið ARC-Challenge sem var talsvert miðað að bandarískri menningu. Við vélþýðingu prófsins læddust inn óheppilegar villur eins og þegar spurt var um uppgötvanir vísindamannsins Louis Guðmundssonar um gerilsneyðingu (https://arxiv.org/pdf/2603.16406).