太長不看(TL;DR), 你可能在以下情況下需要 Tokenizer: 需要複用已有框架, 而它恰好提供了 Tokenizer. 需要回溯上下文, 通常用於報錯和語法高亮. 我正在設計和編寫一門編程語言 Styio. 在項目之初, 我就有所疑惑: 一個解析器 (Parser) 一般由 Lexer 和 Tokenizer 兩部分組成, 其中 Lexer 的存在毋庸置疑, 總要先解析字符串才能
