뉴스기사_전처리_정규표현식.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "삼성전자 : 14.908889초\n",
      "SK하이닉스 : 3.893704초\n",
      "셀트리온 : 2.188104초\n",
      "삼성전자우 : 0.315919초\n",
      "삼성바이오로직스 : 1.554766초\n",
      "현대차 : 5.969785초\n",
      "LG화학 : 2.231049초\n",
      "SK텔레콤 : 4.136049초\n",
      "한국전력 : 1.927777초\n",
      "POSCO : 0.759733초\n",
      "삼성물산 : 1.207810초\n",
      "NAVER : 1.547314초\n",
      "KB금융 : 0.962590초\n",
      "신한지주 : 0.977626초\n",
      "현대모비스 : 1.591080초\n",
      "SK : 18.702733초\n",
      "LG생활건강 : 1.035797초\n",
      "삼성생명 : 0.596208초\n",
      "삼성에스디에스 : 0.102327초\n",
      "SK이노베이션 : 1.060661초\n",
      "삼성SDI : 0.658199초\n",
      "KT&G : 6.493986초\n",
      "기아차 : 2.387946초\n",
      "삼성화재 : 0.573683초\n",
      "LG : 16.610279초\n",
      "아모레퍼시픽 : 0.803366초\n",
      "하나금융지주 : 0.364183초\n",
      "우리은행 : 2.174880초\n",
      "S-Oil : 0.479795초\n",
      "LG전자 : 3.933777초\n",
      "엔씨소프트 : 0.746148초\n",
      "롯데케미칼 : 0.438691초\n",
      "넷마블 : 0.895608초\n",
      "현대중공업 : 1.794909초\n",
      "카카오 : 8.346332초\n",
      "고려아연 : 0.148920초\n",
      "KT : 6.290180초\n",
      "LG유플러스 : 2.358830초\n",
      "기업은행 : 1.239308초\n",
      "삼성전기 : 0.514208초\n",
      "강원랜드 : 0.468205초\n",
      "LG디스플레이 : 0.888510초\n",
      "현대건설 : 1.222226초\n",
      "현대제철 : 0.460168초\n",
      "롯데지주 : 0.347275초\n",
      "롯데쇼핑 : 0.789569초\n",
      "한온시스템 : 0.151643초\n",
      "아모레G : 0.118599초\n",
      "현대중공업지주 : 0.262541초\n",
      "코웨이 : 0.440582초\n",
      "한미약품 : 0.630027초\n",
      "한국타이어 : 0.374172초\n",
      "이마트 : 4.505698초\n",
      "CJ제일제당 : 0.867151초\n",
      "한미사이언스 : 0.064994초\n",
      "DB손해보험 : 0.412761초\n",
      "현대글로비스 : 0.322546초\n",
      "삼성중공업 : 0.617080초\n",
      "GS : 4.885753초\n",
      "오리온 : 0.515291초\n",
      "한국가스공사 : 0.691569초\n",
      "미래에셋대우 : 1.912474초\n",
      "삼성카드 : 0.549415초\n",
      "에스원 : 0.181949초\n",
      "CJ대한통운 : 0.420773초\n",
      "한화생명 : 0.693907초\n",
      "대우조선해양 : 1.412310초\n",
      "현대해상 : 0.426244초\n",
      "BGF리테일 : 0.332431초\n",
      "NH투자증권 : 3.026966초\n",
      "삼성엔지니어링 : 0.248695초\n",
      "CJ : 8.327327초\n",
      "대림산업 : 0.998168초\n",
      "GS건설 : 1.110578초\n",
      "KCC : 0.608062초\n",
      "맥쿼리인프라 : 0.079947초\n",
      "한화케미칼 : 0.359501초\n",
      "한국금융지주 : 0.245266초\n",
      "한국항공우주 : 0.556664초\n",
      "휠라코리아 : 0.224151초\n",
      "쌍용양회 : 0.191315초\n",
      "두산밥캣 : 0.166107초\n",
      "대한항공 : 3.985033초\n",
      "GS리테일 : 0.562594초\n",
      "호텔신라 : 0.538183초\n",
      "현대엘리베이 : 0.106478초\n",
      "삼성증권 : 1.629538초\n",
      "현대차2우B : 0.033670초\n",
      "오뚜기 : 0.404959초\n",
      "금호석유 : 0.237262초\n",
      "제일기획 : 0.212454초\n",
      "유한양행 : 0.482159초\n",
      "OCI : 0.390448초\n",
      "메리츠종금증권 : 0.894283초\n",
      "신세계 : 5.644309초\n",
      "메리츠화재 : 0.372427초\n",
      "팬오션 : 0.084058초\n",
      "현대미포조선 : 0.281526초\n",
      "한화 : 8.135531초\n",
      "BNK금융지주 : 0.222147초\n"
     ]
    }
   ],
   "source": [
    "import pandas as pd\n",
    "import re\n",
    "import timeit\n",
    "\n",
    "company = pd.read_csv('./raw/19년 1월 2일 기준(코스피).csv',encoding='utf-8')\n",
    "company_list = company.iloc[:100,]['종목명'][0:100]  # 시총 상위 100개 기업 리스트\n",
    "\n",
    "for company in company_list:\n",
    "    start_time = timeit.default_timer() # 시작 시간 체크\n",
    "    df = pd.read_csv(\"./raw/기사/%s.csv\" %(company))\n",
    "    df_del = df[df['Day']=='0000000000'].index # 이전 뉴스 스크래핑 당시에 형식에 맞지 않은 기사는 00000000을 넣어주어서 결측치 처리\n",
    "    df1 = df.drop(df_del)\n",
    "    # 형태소 처리 전단계까지 전처리한 Head, Main 컬럼\n",
    "    data_head = []\n",
    "    data_main = []\n",
    "    data_day = []\n",
    "    data_id = []\n",
    "\n",
    "    for idx, val in df1.iterrows():\n",
    "        # 한글, 띄어쓰기 제외한 모든 문자 제거\n",
    "        parse = re.compile('[^ ㄱ-ㅣ가-힣+]')\n",
    "        if val['Main'] == None or val['Head'] == None or val['Day'] == '0000000000':\n",
    "            continue\n",
    "        result_main = parse.sub('', str(val['Main']))\n",
    "        result_head = parse.sub('', str(val['Head']))\n",
    "        result_day = str(val['Day'])\n",
    "        result_id = str(val['ID'])\n",
    "\n",
    "        data_head.append(result_head)\n",
    "        data_main.append(result_main)\n",
    "        data_day.append(result_day)\n",
    "        data_id.append(result_id)\n",
    "    col_name1 = ['Head_after']\n",
    "    trans_head = pd.DataFrame(data_head, columns=col_name1)\n",
    "    col_name2 = ['Main_after']\n",
    "    trans_main = pd.DataFrame(data_main, columns=col_name2)\n",
    "    col_name3 = ['Day']\n",
    "    trans_day = pd.DataFrame(data_day, columns=col_name3)\n",
    "    col_name4 = ['ID']\n",
    "    trans_id = pd.DataFrame(data_id, columns=col_name4)\n",
    "\n",
    "    df3 = pd.concat([trans_id,trans_day, trans_head, trans_main], axis = 1)\n",
    "    df3.to_csv(\"./전처리/1차 전처리 기사/%s_전처리.csv\" %(company), mode='w',encoding = 'utf-8-sig')\n",
    "    terminate_time = timeit.default_timer() # 종료 시간 체크 \n",
    "    print(\"%s : %f초\" % (company,terminate_time - start_time))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}