tokenizer

Englanti

Substantiivi

tokenizer (monikko tokenizers)

(tietotekniikka) tietokoneohjelma tai aliohjelma, joka muuntaa syötteen sen koostumusta vastaaviksi diskreeteiksi symboleiksi

Etymologia

johdos verbistä tokenize

Noudettu kohteesta ”https://fi.wiktionary.org/w/index.php?title=tokenizer&oldid=4452754”