[cli] support context biasing with ac automaton

[cdliang11]

热词列表:

荣誉伟
北京
人民大会堂
嗨小奇

base) ➜  wenet git:(chengdong-context) ✗ wenet --language chinese ../1000003_0f90da0d.wav --context_path ../context_path.txt --context_score 3.0         
{'text': '日本内阁官房长官荣誉伟表示', 'confidence': 0.5924476210863998}
(base) ➜  wenet git:(chengdong-context) ✗ wenet --language chinese ../1000003_0f90da0d.wav                                                       
{'text': '日本内阁官房长官荣誉为表示', 'confidence': 0.8130293280382528}

@pkufool, 这里我们搬运了你的代码。

[cdliang11]

wenet/wenet/dataset/processor.py

Line 28 in 3c7f291

torchaudio.utils.sox_utils.set_buffer_size(16500)

procesor.py 这一行代码和运行环境关系较大，不保证都能运行成功，是否考虑将__tokenize_by_bpe_model函数换个位置

[robin1001]

We should aslo add context support in recognize.py, let's do it in future PR.

[robin1001]

用 yapf 做过格式化了吗？

[robin1001]

@kaixunhuang0 The new AC automate will override the greedy search before.

[Mddct]

paraformer 支持热词容易吗， 只考虑greedy search 就行 ，字数对齐到text了 没有prefix ， 会简单些， 有时间支持下吗@cdliang11

[cdliang11]

用 yapf 做过格式化了吗？

格式化了

[cdliang11]

paraformer 支持热词容易吗， 只考虑greedy search 就行 ，字数对齐到text了 没有prefix ， 会简单些， 有时间支持下吗@cdliang11

好的，我瞧瞧

[robin1001]

@cdliang11 可以再在 https://github.com/wenet-e2e/wenet/blob/main/docs/python_package.md 这里加下热词相关文档