Pessoal,
Fiz um gerador de tokenizers e estou disponibilizando para uso na
minha página:
http://www.thradams.com/codeblog/tkgen.htm
Espero que seja útil e ficarei feliz em receber comentários críticas e
sugestões de todos os tipos.
O gerador roda online e o link está na página da documentação.
Este gerador é implementado em C++ e é baseado em algorítmos descritos
no livro Aho - Compilers: Principles, Techniques, and Tools.
Basicamente o programa gera um NFA a partir da descrição dos tokens,
depois converte para um DFA e por fim minimiza os estados.
O ouput é uma classe com as transições do DFA que é usada em conjunto
com um "provedor de caracteres" mais o tokenizer em si.
É um projeto inicial e espero melhorar a página o gerador etc..
Bom proveito!