token

"natural-language processing" occurrence of a type (2.8) EXAMPLE If the class is defined as all word forms (2.11) of “good”, then all the occurrences of the word forms “good”, “better” and “best” are tokens.

"obrada prirodnog jezika" Pojavljivanje nekog tipa jedinice (2.8). PRIMER Ako se klasa definiše kao skup svih oblika reči (2.11) "dobro", tada su tokeni sva pojavljivanja reči "dobro", "bolje" i "najbolje".

"obrada prirodnog jezika" Pojavljivanje nekog tipa jedinice (2.8). PRIMER Ako se klasa definiše kao skup svih oblika reči (2.11) "dobro", tada su tokeni sva pojavljivanja reči "dobro", "bolje" i "najbolje".