tokenizer-json 对huggingface tokenizer进行cpp实现 使用： //linux 平台 cd tokenizer-json mkdir build cd build && cmake .. make //移动tokenizer.json到文件夹中 目前仅对qwen模型进行测试更多测试请等待 2.参考： mnn-llm json