Nýlega kynnti Logi Einarsson, ráðherra menningar, nýsköpunar og háskóla, fyrirætlanir um að þróað verði risamállíkan (e. LLM) sem er sérsniðið að íslenskri tungu og aðstæðum og hýst á Íslandi. Áformin hafa verið kennd við „fullveldisgervigreind“ (e. Sovereign AI) og eiga sér hliðstæðu í öðrum löndum sem hafa áhyggjur af öryggi sínu og sjálfstæði gagnvart erlendum tæknirisum, einkum bandarískum.

Flest þeirra sem hafa tjáð sig um þessi áform opinberlega virðast fylgjandi þeirri stefnu að Ísland komi sér upp sínu eigin gervigreindarlíkani. Þó hefur talsvert verið rætt um mismunandi leiðir sem hægt er að fara til þess að ná þessu takmarki.

Draga má þá ályktun af grein ráðherra  að stjórnvöld hafi í hyggju að þróa umrætt líkan í nánu samstarfi við evrópskan aðila. Fyrirtækið er ekki nefnt á nafn en hér er væntanlega um franska fyrirtækið Mistral að ræða sem er leiðandi á þessu sviði í Evrópu og hefur sérhæft sig í slíku samstarfi við þjóðríki víða um heim.

Verði gengið til samninga við birgja á borð við Mistral hefur það ýmsa kosti í för með sér: þjálfun gæti farið fram á vélbúnaði birgjans, líkaninu myndi fylgja þjálfunar- og rekstrarumhverfi sem dregur úr flækjustigi við að gera líkanið nothæft og aðgengilegt, þaulreynt teymi myndi vinna með innlendum aðilum til þess að tryggja bæði þekkingaryfirfærslu og farsæla útkomu, gögn og gagnapípur sem birginn býr yfir yrðu nýttar í stað umfangsmikillar gagnavinnu hérlendis, og þar fram eftir götunum. 

Á móti kemur að verðmiðinn fyrir slíka þjónustu er líklega nokkuð hár og ef stigatöflur yfir almenna getu risamállíkana eru skoðaðar er ljóst að opin líkön Mistral af núverandi kynslóð standast opnum líkönum á borð við Kimi 2.5, Qwen 3.5 og DeepSeek ekki fyllilega snúning (Mistral hefur þó hafið þjálfun fjórðu kynslóðar líkana sinna og er Mistral Small 4 þegar komið út, en von er á stærri líkönum af þeirri kynslóð). Enn fremur má benda á að samkvæmt stigatöflu Miðeindar yfir íslenskugetu risamállíkana eru sum þessara kínversku opnu líkana betri í eða áþekk Mistral Large 3 í íslenskugetu, þótt ekkert þessara líkana komist með tærnar í þeim efnum þar sem bestu lokuðu líkönin hafa hælana.

Það er því eðlilegt að fólk spyrji sig hvort ekki sé skynsamlegra að nýta þá fjármuni sem eyrnamerktir eru málstaðnum til þess að fínþjálfa eitt af þessum öflugu opnu líkönum. Í slíku verkefni myndi í grófum dráttum felast að útbúa íslensk fínþjálfunargögn sem yrðu öllum opin, að fínþjálfa líkan  (og halda forþjálfun áfram sé markmiðið að ná fram sem bestri íslenskugetu) á aðkeyptu eða leigðu reikniafli, að byggja upp rekstrarumhverfi og ýmis konar hugbúnað sem þarf til að gera slíkt líkan aðgengilegt á stórum skala, og að halda utan um viðhald, uppfærslur og rekstur.

Markmið þessa pistils  er ekki að fella dóm um hvaða leið er skynsamlegust í þessum efnum. Tilgangurinn er einungis sá að veita raunsæja innsýn í umfang og flækjustig þess að fínþjálfa opið líkan, frá sjónarhóli fyrirtækis sem hefur hvað mesta reynslu hérlendis af þjálfun mállíkana. 

Til þess að átta sig betur á raunverulegu umfangi slíks verkefnis er skynsamlegt að leita fordæma. Eitt slíkt má finna í japönsku verkefni sem ber nafnið Swallow LLM og er samvinnuverkefni Institute of Science Tokyo (einkaframtak) og AIST, sem er opinber rannsóknarstofnun Japans í tækni og vísindum. Markmiðið verkefnisins, sem er nú á sínu þriðja ári, er að þróa öflugt japanskt rökhugsunarlíkan byggt á opnu líkani, nú síðast Qwen3, og niðurstöðurnar hingað til lofa góðu. Um er að ræða ítrað ferli þar sem teymið hefur haldið áfram forþjálfun (e. continued pretraining) sífellt stærri líkana (8B -> 32B) með sérútbúnu japönsku gagnasafni sem telur um 200 milljarða flísa (e. tokens), og þar að lokum eftirþjálfað og fínþjálfað líkanið á sértækum gögnum, s.s. fyrirmælagögnum (e. instruction tuning data). Þjálfun hefur farið fram á ofurtölvu í eigu japanska ríkisins, sem og niðurgreiddu reikniafli í gegnum háskólasamfélagið. Útkoman er samkeppnishæft líkan sem hefur góða japönskukunnáttu en þó ber að slá þann varnagla að verkefnið er enn þá á rannsóknastigi og er ekki komið í almennan rekstur.

Hvað skyldi svona verkefni kosta? Fyrst skal nefna að gögnin voru útbúin með ýmsum aðferðum: vefskröpun, þýðingum á erlendum gagnaheildum og sérútbúnum gervigagnapípum, svo eitthvað sé nefnt. Íslenskt teymi myndi þurfa að gera hið sama en í tilfelli íslensku er ekki raunhæft að safna 200 milljörðum flísa til forþjálfunar svo um yrði að ræða blöndu af íslenskum, enskum, norrænum og mögulega pólskum gögnum. Þar að auki þyrfti að útbúa sértæk fín- og eftirþjálfunargögn, ýmist frá grunni eða með því að þýða erlend gagnasöfn. Ef ætlunin er að ljúka gagnasöfnun á einu ári má gera ráð fyrir 8-10 heilum starfsgildum í þessa vinnu, aðallega verkfræðingum. Ekki er ljóst hvaða íslensku aðilar hafa bæði vilja og hæfni til þess að vinna slíkt verkefni en kostnaðurinn yrði líklega um 200 milljónir íslenskra króna miðað við þessar forsendur.

Næst er það reikniaflið. Ísland á ekki sína eigin ofurtölvu og því eru hér tvær leiðir í boði, annars vegar að kaupa búnað, hins vegar að leigja hann. Miðað við að áframhaldandi forþjálfun krefjist jafngildis 32 x 8 x H100 skjákorta myndi kostnaðurinn við að kaupa og reka tölvuna á meðan þjálfun stendur hlaupa á einum og hálfum til tveimur og hálfum milljörðum króna, eftir því hversu fullkominn búnaður er keyptur. Biðtími eftir kaupum á slíkum búnaði telst um þessar mundir í ársfjórðungum. Leigukostnaður í gegnum skýjalausnir væri mun lægri, næmi mögulega um 100 milljónum króna fyrir þennan þátt verkefnis (miðað við að ein leigð kortaklukkustund kosti rúmar 400 krónur, að lágmarksþörf fyrir forþjálfun séu 100 þúsund kortaklukkustundir að viðbættri eftir- og fínþjálfun, og að tiltölulega reynslulítið teymi nái ekki fullri nýtingu á reikniafli).

Launakostnaður vegna þjálfunar yrði a.m.k. jafnhár og líklega hærri en kostnaður sem tiltekinn var vegna gagnavinnslu. Þá er miðað við 8 manna sérhæft teymi í fullri vinnu í 12-18 mánuði. Hér er ekki um hefðbundna hugbúnaðarþróun að ræða, heldur krefst verkefnið sérfræðinga í djúpnámi (e. deep learning) sem hafa reynslu af dreifðri þjálfun (e. distributed training) á stórum tölvuklösum, auk sérþekkingar á aðferðum á borð við viðgjafarnám (e. RLHF) og samstillingu (e. alignment). Slík sérþekking er af skornum skammti á heimsvísu og kostar samkvæmt því, enda krefst hönnun flókinna þjálfunarferla mikillar reynslu til að tækla vandamál á borð við „stórfellda gleymsku“ (e. catastrophic forgetting), þar sem líkanið gæti misst fyrri getu sína á meðan það lærir íslensku. Ofan á þetta bætist svo rafmagnskostnaður, kostnaður við húsnæði, o.s.frv. 

Upphafskostnaður hleypur þá á 0,5-3 milljörðum króna og gera má ráð fyrir að tímalínan hlaupi á a.m.k. 2-3 árum, svipað og í japanska verkefninu.

Til þess að reka svo stórt og öflugt líkan þarf hugbúnað, mannskap og reikniafl. Reikniaflið sem þarf til að keyra líkanið (e. inference hardware) er mun minna en það sem þarf til þjálfunar og hér væri hægt að notast við þjónustu gagnavera sem eru nú þegar til staðar á Íslandi. Kostnaðurinn myndi líklega hlaupa á 40-70 milljónum króna á ári miðað við talsverða og almenna notkun. Að öðrum kosti væri hægt að kaupa búnað til reksturs fyrir 150-300 milljónir króna. 

Til þess að smíða allan hugbúnað í kringum rekstur (viðmót, aðgangsstýringu, forritaskil, öryggisumbúnað, gjaldfærslukerfi) þyrfti teymi af stærðargráðu 8-10 hugbúnaðarverkfræðinga í eitt ár sem myndi líklega kosta um 150-200 milljónir króna. Annan eins mannskap þyrfti svo til þess að viðhalda líkani og rekstri.

Í öllu ofangreindu er gert ráð fyrir að þekking og kunnátta til þess að þjálfa, meðhöndla og reka stór mállíkön sé yfirhöfuð til staðar innanlands. Sé það ekki tilfellið þarf annaðhvort að ráða teymi erlendra sérfræðinga eða lengja verkefnistíma og hækka kostnaðaráætlun að sama skapi til þess að gera ráð fyrir fleiri ítrunum og kostnaðarsömum mistökum. 

Eins og gefur að skilja er áhættan við þessa nálgun mun meiri en ef unnið er með reyndri lausn og birgja (á borð við Mistral). Á móti kemur að útkoman kemst nær því að geta talist fullveldisgervigreind — að því gefnu að kínverskur uppruni grunnlíkansins teljist ekki frágangssök í því efni. Hvort verðmiðinn sé lægri en með Mistral-leiðinni er ekki ljóst enda eru þær tölur ekki opinberar enn sem komið er. 

Það er gleðiefni að hér á landi sé að mótast opinber stefna í gervigreindarmálum og það er enn gleðilegra að sjá þá einingu sem virðist ríkja um þörfina á fullveldisgervigreind. Hér eru mikilvægir þjóðarhagsmunir í húfi og full ástæða til þess að ræða kosti og galla mismunandi leiða að markmiðinu svo lengi sem það er gert á málefnalegan hátt og að umræðan byggi á þekkingu og staðreyndum en ekki upphrópunum og dylgjum. Sjálfstæði í tæknimálum er æskileg hugsjón,  en raunveruleg fullveldisgervigreind krefst ekki bara pólitísks vilja og fjármagns heldur ekki síður djúprar sérþekkingar sem er af skornum skammti hérlendis og þarf því að byggja upp og efla með einum eða öðrum hætti. Slík þekkingaruppbygging er út af fyrir sig dýrmæt fjárfesting og hana má ekki vanmeta þegar kostir og gallar mismunandi nálgana eru metnir.