Crawl Plan

Jump to bottom Edit New page

dalgu90 edited this page Nov 18, 2015 · 12 revisions

크롤러 구현됨

네이버 영어사전 예문
네이버 글로벌 회화
중앙일보 영어신문학습
- HTML분석 어려운 경우가 있어 일부는 제외되어 구현됨.
TED
- 싱크가 맞는 1477개 강연, 411536 문장 크롤
곰플레이어 자막자료실
- 싱크가 맞는 SAMI(.smi) 한영자막 파일을 파싱
- 33597개 자막 파일 -> 싱크 맞는 한영자막 4605 파일 -> 290만 문장(448MB)
- Encoding detection 시간이 제일 오래 걸림

구현중롤

분석예정 목록

Contact needs...