Miðeind hefur gefið út fjölda opinna hugbúnaðarpakka fyrir íslenska máltækni. Pakkarnir eru skrifaðir í Python og gefnir út með MIT-leyfi, svo öllum er frjálst að nota þá, jafnt í rannsóknum sem í eigin hugbúnaði, sé einföldum skilmálum fylgt. Hér er yfirlit yfir helstu pakkana en nánari lýsingar, dæmi og leiðbeiningar má finna á GitHub.
Tókarinn Tokenizer breytir texta í runu tóka, þ.e. orð, greinarmerki, tölur, dagsetningar, netföng, vefslóðir og fleira, og skiptir honum jafnframt í setningar. Tókarinn ræður við skammstafanir og dagsetningar inni í setningum, sem annars rugla setningaskiptingu. Tókun (tilreiðing) er fyrsta skrefið í mörgum máltækniverkefnum, t.d. mörkun, þáttun, stafsetningarleiðréttingu og vinnslu málheilda.
pip install tokenizer
BinPackage gerir Beygingarlýsingu íslensks nútímamáls (BÍN) aðgengilega í Python. Í pakkanum eru um 356.000 uppflettiorð og yfir 3,7 milljónir orðmynda. Með honum má fletta upp orðmyndum, finna uppflettiorð, orðflokk, beygingu og aðrar beygingarmyndir sama orðs, t.d. þágufall fleirtölu. Hann greinir líka samsett orð sem ekki eru í BÍN. Gögnin fylgja pakkanum svo ekki þarf annað niðurhal eða gagnagrunn.
pip install islenska
Greynir greinir íslenskar setningar í setningatré. Út frá þeim má finna uppflettiorð, marka orðflokka og beygja nafnliði í óskað fall, t.d. breyta „tveir brimsaltir pokar af poppi“ í „tveimur brimsöltum pokum af poppi“. Setningatrén nýtast einnig til að draga upplýsingar úr texta, t.d. um fólk, titla, staðreyndir og skoðanir. Greynir byggir á handskrifuðum málfræðireglum fyrir íslensku og notar Tokenizer og BinPackage.
pip install reynir
GreynirCorrect rýnir og leiðréttir íslenskan texta. Hann getur leiðrétt texta hratt, orð fyrir orð, t.d. stafsetningarvillur, endurtekin orð og rangt rituð orðasambönd. Hann getur líka greint textann málfræðilega og bent á villur á borð við rangt fall. Villunum fylgja skýringar og tillögur að leiðréttingu. GreynirCorrect byggir á Greyni.
pip install reynir-correct
Icegrams geymir tíðni um 78 milljóna þrístæðna, þ.e. runa þriggja orða, úr Risamálheildinni. Með pakkanum má fá tíðni og líkur einstakra orða, orðapara og þrístæðna og finna þau orð sem líklegast koma næst. Uppflettingar eru mjög hraðar. Icegrams nýtist t.d. í stafsetningarleiðréttingu, textaspá og tölfræðigreiningu á texta.
pip install icegrams
IceBERT-PoS markar orðflokka og beygingarþætti hvers orðs í íslenskum texta með mállíkaninu IceBERT-PoS. Mörkin fylgja markamengi Íslenskrar orðtíðnibókar og hvert orð heldur staðsetningu sinni í upphaflega textanum. Textinn er fyrst tilreiddur með Tokenizer.
pip install "icebert-pos[torch] @ git+https://github.com/mideind/IceBERT-PoS.git"
