huggingface-tokenizers

用于研究和生产的快速分词器。基于Rust实现，可在20秒内处理1GB文本。支持BPE、WordPiece和Unigram算法。可训练自定义词汇表，跟踪对齐，处理填充/截断。与transformers无缝集成。当你需要高性能分词或自定义分词器训练时使用。