Transformers v5 重构 Tokenizer 机制：解耦分词器架构与词表

Hugging Face 在 Transformers v5 中重构了 Tokenizer 机制，将分词器架构与训练好的词表参数彻底解耦。新版本取消了此前 Python 与 Rust 双文件并行的实现方式，默认统一使用 Rust 后端，使内部组件属性完全透明可查。开发者无需手动拼装底层流水线，即可直接复用模型预设架构并针对自定义语料从零训练分词器。