tokenizer

Englanti muokkaa

Substantiivi muokkaa

tokenizer (monikko tokenizers)

(tietotekniikka) tietokoneohjelma tai aliohjelma, joka muuntaa syötteen sen koostumusta vastaaviksi diskreeteiksi symboleiksi

Etymologia muokkaa

johdos verbistä tokenize

Noudettu kohteesta ”https://fi.wiktionary.org/w/index.php?title=tokenizer&oldid=4452754”