Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

可以先分词,后翻译吗? #660

Closed
KayLeung opened this issue Oct 29, 2017 · 4 comments
Closed

可以先分词,后翻译吗? #660

KayLeung opened this issue Oct 29, 2017 · 4 comments
Labels

Comments

@KayLeung
Copy link

KayLeung commented Oct 29, 2017

版本号

当前最新版本号是:1.3.5
我使用的版本是:1.3.5

我的问题

HanLP 分词正确,可是繁簡转换结果错误,查找一下,发现 HanLP 好像其中用了 OpenCC 同样词库,所以两边有共同错误,不知是否可以以分词来对比词库?

比如转换 "计算发现" 到繁体:
BYVoid/OpenCC#272

BYVoid/OpenCC#224

@hankcs
Copy link
Owner

hankcs commented Oct 31, 2017

其实繁体分词前也是需要先转为简体的,先有鸡先有蛋?你可以试试。

@KayLeung
Copy link
Author

KayLeung commented Oct 31, 2017

我问得不够清楚,是简体转换到繁体有错误 (所以分词是正确的)

相反,繁体转换到简体没有错误
(不过这地方有趣,加上你的建议,试一试,繁体分词真的有错。但是看 TXT 词库都包含了 "算发=算髮")

我是可以自己先分词 -> 转换 -> 合并句子
不过原本有这 API,我再自己做一次怪怪的

hankcs added a commit that referenced this issue Nov 2, 2017
@hankcs
Copy link
Owner

hankcs commented Nov 2, 2017

感谢反馈,这种错误可以顺手改掉的。

@hankcs
Copy link
Owner

hankcs commented Jan 1, 2020

感谢您对HanLP1.x的支持,我一直为没有时间回复所有issue感到抱歉,希望您提的问题已经解决。或者,您可以从《自然语言处理入门》中找到答案。

时光飞逝,HanLP1.x感谢您的一路相伴。我于东部标准时间2019年12月31日发布了HanLP1.x在上一个十年最后一个版本,代号为最后的武士。此后1.x分支将提供稳定性维护,但不是未来开发的焦点。

值此2020新年之际,我很高兴地宣布,HanLP2.0发布了。HanLP2.0的愿景是下一个十年的前沿NLP技术。为此,HanLP2.0采用TensorFlow2.0实现了最前沿的深度学习模型,通过精心设计的框架支撑下游NLP任务,在海量语料库上取得了最前沿的准确率。作为第一个alpha版本,HanLP 2.0.0a0支持分词、词性标注、命名实体识别、依存句法分析、语义依存分析以及文本分类。而且,这些功能并不仅限中文,而是面向全人类语种设计。HanLP2.0提供许多预训练模型,而终端用户仅需两行代码即可部署,深度学习落地不再困难。更多详情,欢迎观看HanLP2.0的介绍视频,或参与论坛讨论

展望未来,HanLP2.0将集成1.x时代继承下来的高效率务实风范,同时冲刺前沿研究,做工业界和学术界的两栖战舰,请诸君继续多多指教,谢谢。

@hankcs hankcs closed this as completed Jan 1, 2020
@hankcs hankcs added ignored and removed improvement labels Jan 1, 2020
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Projects
None yet
Development

No branches or pull requests

2 participants