第一期w1：知识提取

知识提取是要解决结构化数据生成的问题。但是广义上讲，知识提取是数据质量提升中的一环，各种提升数据质量的方法，都可以视为某种知识提取。学术上一般是用自然语言处理的方法，但在实践中通常是利用规则。

我们要熟悉的概念和工具有 （假设大家已经熟悉了Python）

正则表达式

正则表达式（Regular Expression， regex）是字符串处理的基本功。数据爬取、数据清洗、实体提取、关系提取，都离不开regex。

教程：

• Python Module of the Week上的讲Python的re包 https://pymotw.com/2/re/
• Ubtuntu Wiki上的 Python正则表达式操作指南

应该掌握的知识点

• 基本regex语法
• 用match匹配模式
• 使用group和提取匹配数据

Regex工具

• regexper 可视化： 例 [a-z]*(\d{4}(\D+))
• pythex 在线测试正则表达式 http://pythex.org/

进阶阅读

• re2 一个更快的Cython实现 https://pypi.python.org/pypi/re2/
• pyahocorasick 用字典树和Aho-Corasick自动机实现的超快的正则引擎 https://pypi.python.org/pypi/pyahocorasick/
• PythonVerbalExpressions 类自然语言构造正则表达式 https://github.com/VerbalExpressions/PythonVerbalExpressions
• Exrex 从正则表达式生成随机字符串 https://github.com/asciimoo/exrex
• PyParsing 构造正则语法（和更多规则）和提取的引擎 http://pyparsing.wikispaces.com/
• Parsley 更人性化的正则表达语法 http://parsley.readthedocs.io/en/latest/tutorial.html

中文分词和词性标注

（待续）

扩展阅读：

• Pattern 用词性标签扩展的正则表达式

命名实体识别

（待续）

作业

综合分词工具和正则表达式提取邮件签名档

（待续）