[WIP][text] add tokens

[Mddct]

after pr: #2186
hf 上 add token 和add special tokens 的联系和区别
1 都会加载到tokenizer里边，并且tokenzie的时候 新加的token不会被“split”
2 add special tokens 会把新的token变成tokenizer的property

比如：

tokenizer = ....
tokenizer.add_special_tokens(['cls'])

# then:
print(tokenizer.cls )

之前讨论

• [text] refine tokenizer #2165 (comment)
• [refine/tokenzier] 重构tokenizer接口 #2160 (comment)

我们只需要add_token就可以了，让模型own id就够了

TODO:
add tokens work with
- [x] tries (see: #2201 (comment))

• char
• bpe model
• hg tokenizer
• whisper
• unit test

next pr

• resize model embedding

[Mddct]

这里有个小问题：

• 对于char tokenizer , 如果我们add_tokens(["你好"]) 怎么办？

solution:
检查tokens是否为char list

[Mddct]

第二个问题

• bpe model 支持自定义piece 涉及到操作proto， https://github.com/google/sentencepiece/blob/master/python/add_new_vocab.ipynb

solution：

• 可以参考下这个https://github.com/Glanvery/LLM-Travel/blob/main/sentencepiece.ipynb
•    也可以按照 新增的tokens 拆 https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_utils.py#L581

[Mddct]

第二个问题

• bpe model 支持自定义piece 涉及到操作proto， https://github.com/google/sentencepiece/blob/master/python/add_new_vocab.ipynb

solution：

• 可以参考下这个https://github.com/Glanvery/LLM-Travel/blob/main/sentencepiece.ipynb
• 也可以按照 新增的tokens 拆 https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_utils.py#L581

优先选择第二种，原因如下：

• 修改proto的时候，比较繁琐，需要给相应的分数，这块可以留个有需要的人在最外边自己扩充词典和bpe model用
• 对于其他tokenizer，比如 使用了tiktoke等，会涉及到更复杂的操作

所以直接按照方案2，简洁 更通用

[Mddct]

add_tokens 需要考虑到“边界”

[Mddct]

过度封装
可以丢到最外边做 每种底层实现都放到这里太臃肿了

[Mddct]

如果要在外边扩充词表，可以参考：
1 bpe：

• https://github.com/google/sentencepiece/blob/master/python/add_new_vocab.ipynb
• https://github.com/Glanvery/LLM-Travel/blob/main/sentencepiece.ipynb

2 tiktoken + sentence piece：
https://github.com/QwenLM/Qwen/blob/524a7ff2787493767b6cdd6eae6df86e99174a86/examples/add_merges.py