省Token新策略：LLMLingua-2如何助力AI模型优化

关于省token的话题，好像很少人提到LLMLingua-2？

在使用AI模型的过程中，token就等于是真金白银花出去的花费。目前我看到蛮多人提到这个问题的时候会使用TOON]，但这个格式比较适合表格化的数据，例如

{

“team”: [
{
    “id”: 1, “name”: “001”, “role”: “title01”},
{
    “id”: 2, “name”: “002”, “role”: “title02”},
{
    “id”: 3, “name”: “003”, “role”: “title03”}
],

}

将其改用TOON格式呈现是如下

team[3]{id,name,role}:
1,001,title01
2,002,title02
3,003,title03

Token花费减少了近4成，但准确率几乎一致。但问题是这格式比较适合已经数据化的格式或表单内容。如果针对非格式化内容，我们可以考虑微软的LLMLingua-2。以下是技术文件

llmlingua.com

由表格可以知道初始版本跟经过LLMLingua-2优化版本，token用量减少了一半，而且随着文本数量增加，压缩比率也随之增长。