Skip to content

基于Python解决Chatito生成数据中包含空格的土方法。

Notifications You must be signed in to change notification settings

Dr-Corgi/Chatito_Chn_Tools

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

9 Commits
 
 
 
 
 
 

Repository files navigation

Chatito中文工具 - Chatito_Chn_Tools

Attention:理论上这个功能只需要对Chatito的js代码进行稍微的修改就可以实现,但由于本人不是很了解js,本着快速解决问题的想法构建了一个简单的处理代码。

Chatito是一个非常简单易用的RASA_NLU标注数据构建工具。 由于RASA本身没有针对中文的扩展,Chatito工具在其实现中沿用了空格作为单词的分隔符。但当我们使用支持中文的RASA_NLU框架时,我们同样也希望能够利用Chatito快速构建标注语料。

Chatito在生成标注语料时会在标记实体的两侧生成空格,这会给标记实体的位置造成偏差。例如:
“查询北京汕头车票”句子中,两个实体的标记位置[start, end]分别为北京[2,4]和汕头[5,7],而
“查询 北京汕头 车票”句子中为北京[3,5]和汕头[8,10]。

那么如果希望将不分词的句子传输给RASA_NLU模块进行识别,就需要对数据进行以下处理:

  1. 移除句子中的空格
  2. 修正相应的位置索引。

About

基于Python解决Chatito生成数据中包含空格的土方法。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages