Programma's van ewbtokenfactory.sf.net

EWBTokenFactory voor PHP is een whitespace inclusive tokenizer. De meeste tokenizers zullen elk woord als een token grijpen en de witruimte laten vallen. Deze tokenizer zal ook de tussenruimten in hun eigen tokens token. Onde