Hugging Face发布tokenizers v1预览：编码吞吐较v0.23最高约数十倍

Hugging Face官方博客宣布tokenizers即将迎来v1，并公布发布候选基准。目标是在输出token ID、API、词表与merge秩与v0.23一致的前提下，大幅提升性能，避免大规模训练与高并发服务时分词成为瓶颈。

主要改动包括：工作区拆分（tk-encode等按需链接）、无分配merge工作集、用bitcannon比特流/SIMD替代正则预分词、重写merge循环、词缓存，以及原生多线程并行。在Apple M4 Max上，十个模型族单线程编码较v0.23快约3至30倍（t5-base偏低、gpt2偏高），八线程扩展效率约76%。crates.io已可cargo add tokenizers --pre安装预发布版。