Programma's van ctokenizer.sf.net

CTokenizer accepteert C++ syntaxis als invoer en voert een vector van CToken-objecten uit, die een tokentekenreeks en een (n opgesomd) tokentype bevatten, die vervolgens kunnen worden gebruikt om de invoer te ontleden.