基于 DS4proTokenizer 和 GLM5.1Tokenizer 的单次性能测试报告

用户分享了一个关于比较两种 Tokenizer（GLM5.1 和 DS4）在 LLM 项目中的性能测试的个人实验报告。实验主要关注分词规模、训练吞吐、显存占用和 LongRoPE2 候选因子评测表现。实验结果显示 DS4Tokenizer 在 token 数量、训练吞吐和显存占用方面表现更优。实验者还提到由于个人硬件限制，无法进行多轮训练以进一步验证 Tokenizer 对模型语义表达的影响。报告强调实验结果仅代表特定条件下的数据，不具备普遍性。用户提供了详细的实验报告和代码，可通过提供的链接访问。