0504-aihub-kogpt2-output.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "FupRizNA9Y-J"
   },
   "source": [
    "🌱 인프런 📚 모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 🐍 https://inf.run/FX4TP\n",
    "\n",
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/python-text-analysis/blob/main/0504-aihub-kogpt2-output.ipynb)\n",
    "\n",
    "\n",
    "## AI Hub 데이터를 활용한 KoGPT2 학습\n",
    "\n",
    "<font color=\"red\">이전 실습 파일에서 aihub_text.csv 파일 데이터 전처리를 하고 해당 파일로 실습을 진행합니다.\n",
    "\n",
    "실습 중 다음의 오류가 발생한다면 colab 런타임을 재실행 해주세요.\n",
    "NotImplementedError: A UTF-8 locale is required. Got ANSI_X3.4-1968\n",
    "</font>\n",
    "\n",
    "<img src=\"https://aihub.or.kr/web-nas/aihub21/files/editor/2022/06/13dabc7c0e4042e5a7d6c23c3f7422ef.png\">\n",
    "\n",
    "* https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=582\n",
    "* https://huggingface.co/skt/kogpt2-base-v2\n",
    "* https://github.com/SKT-AI/KoGPT2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "executionInfo": {
     "elapsed": 6133,
     "status": "ok",
     "timestamp": 1703486404969,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "HJh80wkRqXOB"
   },
   "outputs": [],
   "source": [
    "# HuggingFace transformer 패키지 설치\n",
    "!pip install -U -qq transformers"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 278,
     "status": "ok",
     "timestamp": 1703486470729,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "t2AqEoJmrxNY",
    "outputId": "c1fa8688-962c-47c9-907e-0c526f79f4c2"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "device(type='cuda', index=0)"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# GPU 사용 여부 확인\n",
    "# 'cuda:0', 'cpu'\n",
    "import torch\n",
    "\n",
    "torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "_fuvZvE71a3o"
   },
   "source": [
    "## 사전 학습 모델 로드\n",
    "* model_ckpt = \"skt/kogpt2-base-v2\":\n",
    "    * model_ckpt 변수에는 KoGPT2의 체크포인트 경로를 지정합니다. \"skt/kogpt2-base-v2\"는 사전학습된 KoGPT2 모델 중 기본(베이스) 버전을 의미합니다.\n",
    "* tokenizer = PreTrainedTokenizerFast.from_pretrained(model_ckpt, ...)\n",
    "    * PreTrainedTokenizerFast.from_pretrained() 함수를 사용하여 미리 학습된 KoGPT2의 토크나이저를 불러옵니다.\n",
    "    * bos_token, eos_token, unk_token, pad_token, mask_token을 지정하여 특수 토큰들을 설정합니다. `<s>, </s>, <unk>, <pad>, <mask>`가 순서대로 각각 지정되었습니다.\n",
    "* model = GPT2LMHeadModel.from_pretrained(model_ckpt)\n",
    "    * GPT2LMHeadModel.from_pretrained() 함수를 사용하여 미리 학습된 KoGPT2의 언어 모델을 불러옵니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 7093,
     "status": "ok",
     "timestamp": 1703486420327,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "NoLw7Ypkq6g4",
    "outputId": "bd343dd9-4c5f-437e-d896-e20ba57facca"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization. \n",
      "The tokenizer class you load from this checkpoint is 'GPT2Tokenizer'. \n",
      "The class this function is called from is 'PreTrainedTokenizerFast'.\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "GPT2LMHeadModel(\n",
       "  (transformer): GPT2Model(\n",
       "    (wte): Embedding(51200, 768)\n",
       "    (wpe): Embedding(1024, 768)\n",
       "    (drop): Dropout(p=0.1, inplace=False)\n",
       "    (h): ModuleList(\n",
       "      (0-11): 12 x GPT2Block(\n",
       "        (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)\n",
       "        (attn): GPT2Attention(\n",
       "          (c_attn): Conv1D()\n",
       "          (c_proj): Conv1D()\n",
       "          (attn_dropout): Dropout(p=0.1, inplace=False)\n",
       "          (resid_dropout): Dropout(p=0.1, inplace=False)\n",
       "        )\n",
       "        (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)\n",
       "        (mlp): GPT2MLP(\n",
       "          (c_fc): Conv1D()\n",
       "          (c_proj): Conv1D()\n",
       "          (act): NewGELUActivation()\n",
       "          (dropout): Dropout(p=0.1, inplace=False)\n",
       "        )\n",
       "      )\n",
       "    )\n",
       "    (ln_f): LayerNorm((768,), eps=1e-05, elementwise_affine=True)\n",
       "  )\n",
       "  (lm_head): Linear(in_features=768, out_features=51200, bias=False)\n",
       ")"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# KoGPT2 tokenizer, model 불러오기\n",
    "from transformers import PreTrainedTokenizerFast\n",
    "from transformers import GPT2LMHeadModel\n",
    "\n",
    "model_ckpt = \"skt/kogpt2-base-v2\"\n",
    "tokenizer = PreTrainedTokenizerFast.from_pretrained(\n",
    "    model_ckpt,\n",
    "    bos_token='<s>',\n",
    "    eos_token='</s>',\n",
    "    unk_token='<unk>',\n",
    "    pad_token='<pad>',\n",
    "    mask_token='<mask>')\n",
    "\n",
    "\n",
    "model = GPT2LMHeadModel.from_pretrained(model_ckpt)\n",
    "model"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "lKH1_uCiF36B"
   },
   "source": [
    "## 텍스트 파일 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 930,
     "status": "ok",
     "timestamp": 1703486424386,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "x0DYerClrK_p",
    "outputId": "3cb8dfa8-bc71-4083-bb1f-3601433cf3de"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(1000, 2)"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# pandas\n",
    "import pandas as pd\n",
    "df = pd.read_csv(\"aihub_text.csv\")\n",
    "df.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 206
    },
    "executionInfo": {
     "elapsed": 295,
     "status": "ok",
     "timestamp": 1703486426049,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "G4wg-sJslXCV",
    "outputId": "ea7b1384-4009-4e0b-b1c0-fc92050f0475"
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "\n",
       "  <div id=\"df-678dbd60-d24d-4ba0-b185-8adc078af6d1\" class=\"colab-df-container\">\n",
       "    <div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>article</th>\n",
       "      <th>summary</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>바이든 미국 대통령과 시진핑 중국 주석이 첫 정상회담을 했다. 미중 갈등이 심화된 ...</td>\n",
       "      <td>미중 갈등이 심화된 가운데 바이든 대통령과 시진핑 주석의 첫 정상회담이 열리자 전 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>이회창 전 한나라당 총재가1997년과2002년 대선을 복기(復棋)했다면JP(김종필)...</td>\n",
       "      <td>JP와의 연대로 충청권 지지세를 확산할 것을 호소하는 당료들의 호소가 있었으나 이 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>이 같은 발언은 특히 집권당인 민자당의 계파 갈등과 맞물려 공화계(JP 세력)의 거...</td>\n",
       "      <td>JP는 호적상 69세로 1992년 대선 패배 후 정계 은퇴를 선언했던 DJ가 정계 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>브라질 ‘좌파의 대부‘ 룰라 전 대통령을 그린 넷플릭스 다큐 영화 ’위기의 민주주의...</td>\n",
       "      <td>문 대통령은 경남 양산에 농지가 포함된 땅을 퇴임 후 사저용으로 구입했지만 농지를 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>한나라당 이명박 후보는 김영삼(YS) 전 대통령과 측근 세력의 지지를 이끌어냈다. ...</td>\n",
       "      <td>1992년 총선을 앞두고 YS에 의해 영입되어 정치권에 입문한 한나라당의 이 후보는...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>\n",
       "    <div class=\"colab-df-buttons\">\n",
       "\n",
       "  <div class=\"colab-df-container\">\n",
       "    <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-678dbd60-d24d-4ba0-b185-8adc078af6d1')\"\n",
       "            title=\"Convert this dataframe to an interactive table.\"\n",
       "            style=\"display:none;\">\n",
       "\n",
       "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\" viewBox=\"0 -960 960 960\">\n",
       "    <path d=\"M120-120v-720h720v720H120Zm60-500h600v-160H180v160Zm220 220h160v-160H400v160Zm0 220h160v-160H400v160ZM180-400h160v-160H180v160Zm440 0h160v-160H620v160ZM180-180h160v-160H180v160Zm440 0h160v-160H620v160Z\"/>\n",
       "  </svg>\n",
       "    </button>\n",
       "\n",
       "  <style>\n",
       "    .colab-df-container {\n",
       "      display:flex;\n",
       "      gap: 12px;\n",
       "    }\n",
       "\n",
       "    .colab-df-convert {\n",
       "      background-color: #E8F0FE;\n",
       "      border: none;\n",
       "      border-radius: 50%;\n",
       "      cursor: pointer;\n",
       "      display: none;\n",
       "      fill: #1967D2;\n",
       "      height: 32px;\n",
       "      padding: 0 0 0 0;\n",
       "      width: 32px;\n",
       "    }\n",
       "\n",
       "    .colab-df-convert:hover {\n",
       "      background-color: #E2EBFA;\n",
       "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
       "      fill: #174EA6;\n",
       "    }\n",
       "\n",
       "    .colab-df-buttons div {\n",
       "      margin-bottom: 4px;\n",
       "    }\n",
       "\n",
       "    [theme=dark] .colab-df-convert {\n",
       "      background-color: #3B4455;\n",
       "      fill: #D2E3FC;\n",
       "    }\n",
       "\n",
       "    [theme=dark] .colab-df-convert:hover {\n",
       "      background-color: #434B5C;\n",
       "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
       "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
       "      fill: #FFFFFF;\n",
       "    }\n",
       "  </style>\n",
       "\n",
       "    <script>\n",
       "      const buttonEl =\n",
       "        document.querySelector('#df-678dbd60-d24d-4ba0-b185-8adc078af6d1 button.colab-df-convert');\n",
       "      buttonEl.style.display =\n",
       "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
       "\n",
       "      async function convertToInteractive(key) {\n",
       "        const element = document.querySelector('#df-678dbd60-d24d-4ba0-b185-8adc078af6d1');\n",
       "        const dataTable =\n",
       "          await google.colab.kernel.invokeFunction('convertToInteractive',\n",
       "                                                    [key], {});\n",
       "        if (!dataTable) return;\n",
       "\n",
       "        const docLinkHtml = 'Like what you see? Visit the ' +\n",
       "          '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
       "          + ' to learn more about interactive tables.';\n",
       "        element.innerHTML = '';\n",
       "        dataTable['output_type'] = 'display_data';\n",
       "        await google.colab.output.renderOutput(dataTable, element);\n",
       "        const docLink = document.createElement('div');\n",
       "        docLink.innerHTML = docLinkHtml;\n",
       "        element.appendChild(docLink);\n",
       "      }\n",
       "    </script>\n",
       "  </div>\n",
       "\n",
       "\n",
       "<div id=\"df-87e69582-8ced-4b07-809d-603b2e6ac7f6\">\n",
       "  <button class=\"colab-df-quickchart\" onclick=\"quickchart('df-87e69582-8ced-4b07-809d-603b2e6ac7f6')\"\n",
       "            title=\"Suggest charts\"\n",
       "            style=\"display:none;\">\n",
       "\n",
       "<svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
       "     width=\"24px\">\n",
       "    <g>\n",
       "        <path d=\"M19 3H5c-1.1 0-2 .9-2 2v14c0 1.1.9 2 2 2h14c1.1 0 2-.9 2-2V5c0-1.1-.9-2-2-2zM9 17H7v-7h2v7zm4 0h-2V7h2v10zm4 0h-2v-4h2v4z\"/>\n",
       "    </g>\n",
       "</svg>\n",
       "  </button>\n",
       "\n",
       "<style>\n",
       "  .colab-df-quickchart {\n",
       "      --bg-color: #E8F0FE;\n",
       "      --fill-color: #1967D2;\n",
       "      --hover-bg-color: #E2EBFA;\n",
       "      --hover-fill-color: #174EA6;\n",
       "      --disabled-fill-color: #AAA;\n",
       "      --disabled-bg-color: #DDD;\n",
       "  }\n",
       "\n",
       "  [theme=dark] .colab-df-quickchart {\n",
       "      --bg-color: #3B4455;\n",
       "      --fill-color: #D2E3FC;\n",
       "      --hover-bg-color: #434B5C;\n",
       "      --hover-fill-color: #FFFFFF;\n",
       "      --disabled-bg-color: #3B4455;\n",
       "      --disabled-fill-color: #666;\n",
       "  }\n",
       "\n",
       "  .colab-df-quickchart {\n",
       "    background-color: var(--bg-color);\n",
       "    border: none;\n",
       "    border-radius: 50%;\n",
       "    cursor: pointer;\n",
       "    display: none;\n",
       "    fill: var(--fill-color);\n",
       "    height: 32px;\n",
       "    padding: 0;\n",
       "    width: 32px;\n",
       "  }\n",
       "\n",
       "  .colab-df-quickchart:hover {\n",
       "    background-color: var(--hover-bg-color);\n",
       "    box-shadow: 0 1px 2px rgba(60, 64, 67, 0.3), 0 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
       "    fill: var(--button-hover-fill-color);\n",
       "  }\n",
       "\n",
       "  .colab-df-quickchart-complete:disabled,\n",
       "  .colab-df-quickchart-complete:disabled:hover {\n",
       "    background-color: var(--disabled-bg-color);\n",
       "    fill: var(--disabled-fill-color);\n",
       "    box-shadow: none;\n",
       "  }\n",
       "\n",
       "  .colab-df-spinner {\n",
       "    border: 2px solid var(--fill-color);\n",
       "    border-color: transparent;\n",
       "    border-bottom-color: var(--fill-color);\n",
       "    animation:\n",
       "      spin 1s steps(1) infinite;\n",
       "  }\n",
       "\n",
       "  @keyframes spin {\n",
       "    0% {\n",
       "      border-color: transparent;\n",
       "      border-bottom-color: var(--fill-color);\n",
       "      border-left-color: var(--fill-color);\n",
       "    }\n",
       "    20% {\n",
       "      border-color: transparent;\n",
       "      border-left-color: var(--fill-color);\n",
       "      border-top-color: var(--fill-color);\n",
       "    }\n",
       "    30% {\n",
       "      border-color: transparent;\n",
       "      border-left-color: var(--fill-color);\n",
       "      border-top-color: var(--fill-color);\n",
       "      border-right-color: var(--fill-color);\n",
       "    }\n",
       "    40% {\n",
       "      border-color: transparent;\n",
       "      border-right-color: var(--fill-color);\n",
       "      border-top-color: var(--fill-color);\n",
       "    }\n",
       "    60% {\n",
       "      border-color: transparent;\n",
       "      border-right-color: var(--fill-color);\n",
       "    }\n",
       "    80% {\n",
       "      border-color: transparent;\n",
       "      border-right-color: var(--fill-color);\n",
       "      border-bottom-color: var(--fill-color);\n",
       "    }\n",
       "    90% {\n",
       "      border-color: transparent;\n",
       "      border-bottom-color: var(--fill-color);\n",
       "    }\n",
       "  }\n",
       "</style>\n",
       "\n",
       "  <script>\n",
       "    async function quickchart(key) {\n",
       "      const quickchartButtonEl =\n",
       "        document.querySelector('#' + key + ' button');\n",
       "      quickchartButtonEl.disabled = true;  // To prevent multiple clicks.\n",
       "      quickchartButtonEl.classList.add('colab-df-spinner');\n",
       "      try {\n",
       "        const charts = await google.colab.kernel.invokeFunction(\n",
       "            'suggestCharts', [key], {});\n",
       "      } catch (error) {\n",
       "        console.error('Error during call to suggestCharts:', error);\n",
       "      }\n",
       "      quickchartButtonEl.classList.remove('colab-df-spinner');\n",
       "      quickchartButtonEl.classList.add('colab-df-quickchart-complete');\n",
       "    }\n",
       "    (() => {\n",
       "      let quickchartButtonEl =\n",
       "        document.querySelector('#df-87e69582-8ced-4b07-809d-603b2e6ac7f6 button');\n",
       "      quickchartButtonEl.style.display =\n",
       "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
       "    })();\n",
       "  </script>\n",
       "</div>\n",
       "\n",
       "    </div>\n",
       "  </div>\n"
      ],
      "text/plain": [
       "                                             article  \\\n",
       "0  바이든 미국 대통령과 시진핑 중국 주석이 첫 정상회담을 했다. 미중 갈등이 심화된 ...   \n",
       "1  이회창 전 한나라당 총재가1997년과2002년 대선을 복기(復棋)했다면JP(김종필)...   \n",
       "2  이 같은 발언은 특히 집권당인 민자당의 계파 갈등과 맞물려 공화계(JP 세력)의 거...   \n",
       "3  브라질 ‘좌파의 대부‘ 룰라 전 대통령을 그린 넷플릭스 다큐 영화 ’위기의 민주주의...   \n",
       "4  한나라당 이명박 후보는 김영삼(YS) 전 대통령과 측근 세력의 지지를 이끌어냈다. ...   \n",
       "\n",
       "                                             summary  \n",
       "0  미중 갈등이 심화된 가운데 바이든 대통령과 시진핑 주석의 첫 정상회담이 열리자 전 ...  \n",
       "1  JP와의 연대로 충청권 지지세를 확산할 것을 호소하는 당료들의 호소가 있었으나 이 ...  \n",
       "2  JP는 호적상 69세로 1992년 대선 패배 후 정계 은퇴를 선언했던 DJ가 정계 ...  \n",
       "3  문 대통령은 경남 양산에 농지가 포함된 땅을 퇴임 후 사저용으로 구입했지만 농지를 ...  \n",
       "4  1992년 총선을 앞두고 YS에 의해 영입되어 정치권에 입문한 한나라당의 이 후보는...  "
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 5,
     "status": "ok",
     "timestamp": 1703486426420,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "1-_qCCXOAdwV",
    "outputId": "120a2700-0926-49b8-eff5-723fce24c806"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "바이든 미국 대통령과 시진핑 중국 주석이 첫 정상회담을 했다. 미중 갈등이 심화된 가운데 열린 회담이라 전 세계가 이목을 집중했다. 화상으로 진행된 회담은 미국시간으로 15일 오후 7시 50분쯤, 중국시간으로 16일 오전 8시 50분쯤 시작했다.\n",
      "두 정상은 모두발언에서 상호 간 협력의 필요성을 강조한 후 본론에 들어갔다. 바이든 대통령은 “미국과 중국의 지도자로서의 책임은 양국 관계가 공개적인 충돌로 바뀌지 않게 하는 것”이라고 말했다. 그러면서 “우리는 양국 국민뿐만 아니라 세계에 대해서도 책임이 있다”면서 “각국은 규칙에 따라 행동해야 하며 미국은 미국의 가치를 따를 것”이라고 했다. 이와 함께 인권에서 인도·태평양 이슈에 이르기까지 미국이 우려하는 분야에 대해 시 주석과 논의할 것이라고 말했다.\n",
      "바이든 발언 후 입은 연 시 주석은 “현재 미·중 양국 발전은 모두 결정적 단계에 와 있고 인류의 지구촌은 많은 도전에 직면해 있다”면서 “미·중은 세계 2대 경제 대국이자 유엔 안전보장이사회 상임이사국으로서 소통과 협력을 강화해야 한다”라고 했다. 그러면서 “양국은 자국 내 일을 잘 처리하는 동시에 국제적인 책임도 져야 하고 인류 평화와 발전의 위대한 사업을 공동 추진해야 한다”면서 “이는 양국과 양국 국민 공동의 바람이자 미·중 양국 지도자의 공동의 사명”이라고 했다.\n",
      "시 주석은 “중국과 미국은 서로 존중하고 평화롭게 공존하고 협력해서 윈윈해야 한다”면서도 “중·미가 각각 발전을 촉진하고 평화롭고 안정적인 국제 환경을 유지해야 한다”며 미국의 간섭과 개입을 경계하는 목소리도 냈다.\n",
      "\n",
      "-------------\n",
      "이회창 전 한나라당 총재가1997년과2002년 대선을 복기(復棋)했다면JP(김종필)를 우선 떠올렸을 것 같다.\n",
      "대선 판세가 갈수록 악화되고 있었기 때문이었다.\n",
      "이 후보의 지지율이 김대중 새정치국민회의 후보는 물론,당내 경선에서 패한 뒤 탈당해 출마한 이인제 후보에게도 밀려나 있을 때였다.\n",
      "그는석 달 전 신한국당 후보로 확정됐으나 당내경선 주자였던‘9룡’들 중 이인제·박찬종 경선 후보가 탈당하는 등 적잖은 상처를 입은 채 대선행보에 나섰다.\n",
      "대세론을 탔던 그의 지지율은 두 아들의 병역비리 의혹까지 터지면서 급락하기 시작했고 반등의 기회를 잡지 못하고 있었던 것이다.\n",
      "이들 당료는 이 후보에게 충청권 맹주JP와의 연대로 이 지역 지지세를 확산,지지율 반전에 나설 것을 호소했으나 일축 당했다.\n",
      "이 후보는JP와 연대할 경우 수도권에서 고전하게 될 것이란 점 등을 거론하며 선거에 별로 도움되지 않을 것이라고 판단했다. JP가 연대의 조건으로 내건 내각제 개헌문제에 대해서도 소극적이었으며DJ(김대중),이인제 후보와의3자대결로 가도 이길 수 있다는 판단도 했을 법하다. ‘3김(김대중·김영삼·김종필)시대 청산’을 대선 이슈로 부각시켰다는 측면에서도JP와의 연대에 적잖은 부담을 느꼈을 것이다.\n",
      "그러나 당시 대선결과로 보면 이 후보의 판세 분석이 옳았다고 하기 어렵다.\n",
      "이 후보가 총 득표에서DJ에게39만표 뒤졌는데 충청권에선41만표나 적었던 것이다.\n",
      "JP는 당시 이 지역에서 정치적 맹주라 할 정도로 영향력을 갖고 있었던 것.\n",
      "\n",
      "-------------\n",
      "이 같은 발언은 특히 집권당인 민자당의 계파 갈등과 맞물려 공화계(JP 세력)의 거센 반발을 초래했다. 당시 JP는 호적상 69세였다. 게다가 1992년 대선 패배후 정계은퇴를 선언했던 DJ가 정계복귀를 모색하던 상황과도 맞물려 파문이 더욱 확산될 움직임을 보이고 있었다. 호적상 DJ는 JP보다 한 살 많았다.\n",
      "결국 김 장관은 발언 나흘 뒤 \"지역구공천 정년제를 얘기한 것이 잘못 전달됐다\"며 \"70세가 넘으면 정계은퇴해야 한다고 말한 게 아니라 우리 정치과제중 하나인 세대교체를 위해선 일본의 신생당처럼 70세 이상에 대해선 지역구 공천을 주지않도록 하는 방안을 검토해볼 수 있다는 뜻\"이라고 해명했다.\n",
      "그의 주장은 그러나 정치권에서 대세로 굳어져 갔다. 여야 각 당은 총선을 앞두고 공천개혁 의지를 부각시켰고 연령문제에 초점을 맞춰 물갈이를 단행해 왔던 것이다. 65세이상 의원들이 타깃이었다. 대상 의원들 측에서 거센 반발이 잇따랐고 일부는 선거일을 기준으로 연령을 구분해야 한다는 등 자신의 나이를 낮추려고 애쓰기도 했다.\n",
      "이 연령대 의원들이 모두 공천장을 받지못했던 것은 아니었다. '노·장·청 조화' 등의 명분으로, 아니면 당내 주류에 속했기에 살아남았던 쪽도 있었다. 정치적 생존경쟁이 어느 연령대보다 뜨거웠다.\n",
      "# 국민의힘 대표 경선에서 의원경력조차 없는 30대의 이준석 후보가 돌풍을 일으킬 수 있었던 것도 당 쇄신여론과 맞아떨어진 상황때문이다.\n",
      "\n",
      "-------------\n",
      "브라질 ‘좌파의 대부‘ 룰라 전 대통령을 그린 넷플릭스 다큐 영화 ’위기의 민주주의‘에 이런 장면이 있다. 2011년 1월1일 대통령 임기를 마친 룰라 전 대통령과 영부인 마리자가 관저인 알보라다궁을 나서는 모습이다. 엘리베이터를 나오는 대통령 부부에게 취재진이 “어디로 갈 것인지”를 묻자 영부인 마리자는 “이제 (살던)아파트로 가야죠”라고 말한다. 상파울로 집 주소까지 대며 즐겁고 홀가분하다는 표정이다.\n",
      "이 장면에서 새로 양산에 땅을 사 퇴임 후 사저를 짓겠다는 문재인 대통령이 자연스레 오버랩 됐다.\n",
      "문 대통령는 작년 4월 경남 양산에 농지가 포함된 땅 3774㎡(약 1144평)를 퇴임 후 사저용으로 구입했다. 이 농지 구입을 위해 문 대통령은 ‘영농 경력 11년’을 적어냈고 9개월 만에 농지를 대지로 형질 변경했다. 대통령의 사저용 부지 구입이 LH ‘땅투기’ 수법을 그대로 닮았다. 그런데도 그는 땅투기 의혹을 제기하는 쪽에 “좀스럽다” “법대로 하고 있다”며 오히려 격노하며 일축했다.\n",
      "룰라 전 대통령은 차베스 전 베네수엘라 전 대통령과 함께 현 집권 세력이 ‘롤모델‘로 삼는 사람이다. 작년 이맘때쯤 한창 추미애 법무장관이 ’윤석열 죽이기‘를 할 때는 이 영화가 집권 세력의 ’프로파간다‘에 이용되기도 했다. 조국 전 장관과 소위 ’문빠‘들은 이 영화를 추천영화로 각자 SNS에 경쟁적으로 올렸다.\n",
      "그렇지만 ‘롤모델’인 룰라 이미지를 차용하는 것과 실제는 차원이 달랐다. 문 대통령이 영화의 이 장면을 놓친 것인지, 아니면 애써 보지 않으려고 했는지 우리는 알지 못한다. 분명한 것은 문 대통령은 양산 사저 문제로 ‘땅투기’ 논란에 휩싸였다.\n",
      "\n",
      "-------------\n",
      "한나라당 이명박 후보는 김영삼(YS) 전 대통령과 측근 세력의 지지를 이끌어냈다. 이 후보는 1992년 총선을 앞두고 민자당 대표였던 YS에 의해 영입돼 전국구 의원으로 정치권에 입문했던 ‘YS 키즈’이기도 하다.\n",
      "JP는 한나라당에 입당까지 한 뒤 이 후보 지지를 선언했다. 이완구 전 총리 등 자민련 의원들의 입당도 잇따랐다. 2002년 대선 때 국민통합21 후보였던 정몽준 무소속 의원도 가세했다.\n",
      "정동영 후보를 출마시킨 대통합민주신당의 경우 당내 복잡한 계파갈등까지 떠안고 있어 지지세력 확산에 한계가 있었다. 노무현 정부 임기 말 열린우리당 의원들의 집단탈당 러시를 계기로 한나라당과 민주당의 일부 의원들까지 가세한 가운데 세력들끼리 이합집산을 거듭하다 대통합민주신당이 창당됐으나 정동영 세력, 김근태 세력, 손학규 세력 등 당내 계파가 복잡해 내부 결속조차 쉽지않았다.\n",
      "민주당에선 이인제 후보가 출마, 진보 진영 분열도 초래됐다.\n",
      "이같은 상황에서 치러진 대선에서 이 후보는 영남권과 충청권을 비롯, 호남권을 제외한 전 지역에서 정 후보를 앞섰던 것이다.\n",
      "박근혜 후보와 새누리당은 JP 지지선언을 이끌어냈고, 앞서 대선에서 이명박 후보에게 맞섰던 이회창 전 한나라당 총재도 입당했다. 충청권 정당인 선진통일당(자민련 후신)의 일부 의원들도 입당했다.\n",
      "YS도 지지입장을 표명했고 측근세력 다수가 가세했다. ‘리틀 DJ’로 불리는 한화갑 전 민주당 대표를 비롯한 DJ 세력 일부도 지지대열에 나섰을 정도였다.\n",
      "\n",
      "-------------\n"
     ]
    }
   ],
   "source": [
    "# 상위 아티클과 요약문 보기\n",
    "raw_data = df\n",
    "for i in raw_data[:5].index:\n",
    "    print(raw_data.loc[i, \"article\"])\n",
    "    print(\"-------------\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "GzcCW0y2-9z4"
   },
   "source": [
    "## 데이터셋 로드"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "JslExx3Z2hRu"
   },
   "source": [
    "* SummaryDataset 클래스:\n",
    "    * tokenizer: 텍스트 데이터를 토큰화하기 위해 사용되는 토크나이저입니다. 이 토크나이저는 Hugging Face의 Transformers 라이브러리에서 불러온 KoGPT2의 토크나이저입니다.\n",
    "    * raw_data: 원시 데이터셋 입니다.\n",
    "    * max_len: 각 데이터의 최대 길이를 정의하는 변수입니다. 생성된 토큰 시퀀스가 이 길이를 초과하면 최대 길이로 자르게 됩니다.\n",
    "    * data: 토큰화된 데이터를 저장하는 리스트입니다.\n",
    "\n",
    "* `__init__` 메서드:\n",
    "    * 클래스 객체가 생성될 때 호출되는 초기화 메서드입니다.\n",
    "    * max_len, tokenizer, SEP_CHARS, data 등의 멤버 변수를 초기화하고 _load_and_build 메서드를 호출하여 데이터셋을 구성합니다.\n",
    "\n",
    "* `_load_and_build` 메서드:\n",
    "    * 데이터셋을 로드하고 토큰화하여 전처리하는 메서드입니다.\n",
    "    * 텍스트가 최대 길이인 max_len보다 길다면, 최대 길이에 맞게 자르고 토큰 시퀀스를 구성합니다.\n",
    "    * 텍스트가 최대 길이보다 짧다면, 부족한 부분을 패딩 토큰으로 채워서 토큰 시퀀스를 구성합니다.\n",
    "\n",
    "* `__len__` 메서드:\n",
    "    * 데이터셋의 총 샘플 개수를 반환하는 메서드입니다. len(dataset) 형태로 호출되며, len(dataset.data)와 같은 결과를 반환합니다.\n",
    "\n",
    "* `__getitem__` 메서드:\n",
    "    * 데이터셋의 인덱스에 해당하는 샘플을 반환하는 메서드입니다. dataset[idx] 형태로 호출되며, dataset.data[idx]와 같은 결과를 반환합니다. 이때, 데이터는 PyTorch의 텐서로 반환됩니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "executionInfo": {
     "elapsed": 617,
     "status": "ok",
     "timestamp": 1703486428525,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "Ow0YmR7xBFw0"
   },
   "outputs": [],
   "source": [
    "from torch.utils.data import Dataset, DataLoader\n",
    "\n",
    "class SummaryDataset(Dataset):\n",
    "    def __init__(self, tokenizer, raw_data, max_len=500):\n",
    "        # tokenizer, max_len, SEP_CHARS, data\n",
    "        self.tokenizer = tokenizer\n",
    "        self.max_len = max_len\n",
    "        self.SEP_CHARS = \" TL;DR \"\n",
    "        self.data = self._load_and_build(raw_data)\n",
    "\n",
    "    def _process_row(self, row):\n",
    "        \"\"\"\n",
    "        기사와 요약을 토크나이징하고, 토큰 길이가 max_len을 초과하지 않도록 조정합니다.\n",
    "        토크나이징된 기사와 요약 사이에 구분자(SEP_CHARS)를 끼워 넣습니다.\n",
    "        필요한 경우 패딩을 추가하여 모든 데이터가 동일한 길이를 가지도록 합니다.\n",
    "        \"\"\"\n",
    "        tokenized_article = self.tokenizer.encode(row[\"article\"])\n",
    "        tokenized_summary = self.tokenizer.encode(row[\"summary\"])\n",
    "        tokenized_sep_chars = self.tokenizer.encode(self.SEP_CHARS)\n",
    "\n",
    "        total_length = len(tokenized_article) + len(tokenized_sep_chars) + len(tokenized_summary) + 1\n",
    "\n",
    "        if total_length > self.max_len:\n",
    "            tokenized_article = tokenized_article[:self.max_len - total_length]\n",
    "\n",
    "        padding_length = self.max_len - len(tokenized_article) - len(tokenized_sep_chars) - len(tokenized_summary) - 1\n",
    "        return torch.tensor(tokenized_article\n",
    "                            + tokenized_sep_chars\n",
    "                            + tokenized_summary\n",
    "                            + [self.tokenizer.eos_token_id]\n",
    "                            + ([self.tokenizer.pad_token_id] * padding_length)\n",
    "                            )\n",
    "\n",
    "    def _load_and_build(self, raw_data):\n",
    "        self.data = raw_data.apply(self._process_row, axis=1).tolist()\n",
    "        return self.data\n",
    "\n",
    "    def __len__(self):\n",
    "        return len(self.data)\n",
    "\n",
    "    def __getitem__(self, idx):\n",
    "        return self.data[idx]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 206
    },
    "executionInfo": {
     "elapsed": 9,
     "status": "ok",
     "timestamp": 1703486428526,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "D37Euk02nQXu",
    "outputId": "2bf37b97-e975-4159-eae1-c7d3a7a2816e"
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "\n",
       "  <div id=\"df-74cab625-657a-41b1-b39b-b1ac1957247c\" class=\"colab-df-container\">\n",
       "    <div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>article</th>\n",
       "      <th>summary</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>바이든 미국 대통령과 시진핑 중국 주석이 첫 정상회담을 했다. 미중 갈등이 심화된 ...</td>\n",
       "      <td>미중 갈등이 심화된 가운데 바이든 대통령과 시진핑 주석의 첫 정상회담이 열리자 전 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>이회창 전 한나라당 총재가1997년과2002년 대선을 복기(復棋)했다면JP(김종필)...</td>\n",
       "      <td>JP와의 연대로 충청권 지지세를 확산할 것을 호소하는 당료들의 호소가 있었으나 이 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>이 같은 발언은 특히 집권당인 민자당의 계파 갈등과 맞물려 공화계(JP 세력)의 거...</td>\n",
       "      <td>JP는 호적상 69세로 1992년 대선 패배 후 정계 은퇴를 선언했던 DJ가 정계 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>브라질 ‘좌파의 대부‘ 룰라 전 대통령을 그린 넷플릭스 다큐 영화 ’위기의 민주주의...</td>\n",
       "      <td>문 대통령은 경남 양산에 농지가 포함된 땅을 퇴임 후 사저용으로 구입했지만 농지를 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>한나라당 이명박 후보는 김영삼(YS) 전 대통령과 측근 세력의 지지를 이끌어냈다. ...</td>\n",
       "      <td>1992년 총선을 앞두고 YS에 의해 영입되어 정치권에 입문한 한나라당의 이 후보는...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>\n",
       "    <div class=\"colab-df-buttons\">\n",
       "\n",
       "  <div class=\"colab-df-container\">\n",
       "    <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-74cab625-657a-41b1-b39b-b1ac1957247c')\"\n",
       "            title=\"Convert this dataframe to an interactive table.\"\n",
       "            style=\"display:none;\">\n",
       "\n",
       "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\" viewBox=\"0 -960 960 960\">\n",
       "    <path d=\"M120-120v-720h720v720H120Zm60-500h600v-160H180v160Zm220 220h160v-160H400v160Zm0 220h160v-160H400v160ZM180-400h160v-160H180v160Zm440 0h160v-160H620v160ZM180-180h160v-160H180v160Zm440 0h160v-160H620v160Z\"/>\n",
       "  </svg>\n",
       "    </button>\n",
       "\n",
       "  <style>\n",
       "    .colab-df-container {\n",
       "      display:flex;\n",
       "      gap: 12px;\n",
       "    }\n",
       "\n",
       "    .colab-df-convert {\n",
       "      background-color: #E8F0FE;\n",
       "      border: none;\n",
       "      border-radius: 50%;\n",
       "      cursor: pointer;\n",
       "      display: none;\n",
       "      fill: #1967D2;\n",
       "      height: 32px;\n",
       "      padding: 0 0 0 0;\n",
       "      width: 32px;\n",
       "    }\n",
       "\n",
       "    .colab-df-convert:hover {\n",
       "      background-color: #E2EBFA;\n",
       "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
       "      fill: #174EA6;\n",
       "    }\n",
       "\n",
       "    .colab-df-buttons div {\n",
       "      margin-bottom: 4px;\n",
       "    }\n",
       "\n",
       "    [theme=dark] .colab-df-convert {\n",
       "      background-color: #3B4455;\n",
       "      fill: #D2E3FC;\n",
       "    }\n",
       "\n",
       "    [theme=dark] .colab-df-convert:hover {\n",
       "      background-color: #434B5C;\n",
       "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
       "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
       "      fill: #FFFFFF;\n",
       "    }\n",
       "  </style>\n",
       "\n",
       "    <script>\n",
       "      const buttonEl =\n",
       "        document.querySelector('#df-74cab625-657a-41b1-b39b-b1ac1957247c button.colab-df-convert');\n",
       "      buttonEl.style.display =\n",
       "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
       "\n",
       "      async function convertToInteractive(key) {\n",
       "        const element = document.querySelector('#df-74cab625-657a-41b1-b39b-b1ac1957247c');\n",
       "        const dataTable =\n",
       "          await google.colab.kernel.invokeFunction('convertToInteractive',\n",
       "                                                    [key], {});\n",
       "        if (!dataTable) return;\n",
       "\n",
       "        const docLinkHtml = 'Like what you see? Visit the ' +\n",
       "          '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
       "          + ' to learn more about interactive tables.';\n",
       "        element.innerHTML = '';\n",
       "        dataTable['output_type'] = 'display_data';\n",
       "        await google.colab.output.renderOutput(dataTable, element);\n",
       "        const docLink = document.createElement('div');\n",
       "        docLink.innerHTML = docLinkHtml;\n",
       "        element.appendChild(docLink);\n",
       "      }\n",
       "    </script>\n",
       "  </div>\n",
       "\n",
       "\n",
       "<div id=\"df-eca6a8c7-3203-420f-90de-ec2a79d8fa7c\">\n",
       "  <button class=\"colab-df-quickchart\" onclick=\"quickchart('df-eca6a8c7-3203-420f-90de-ec2a79d8fa7c')\"\n",
       "            title=\"Suggest charts\"\n",
       "            style=\"display:none;\">\n",
       "\n",
       "<svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
       "     width=\"24px\">\n",
       "    <g>\n",
       "        <path d=\"M19 3H5c-1.1 0-2 .9-2 2v14c0 1.1.9 2 2 2h14c1.1 0 2-.9 2-2V5c0-1.1-.9-2-2-2zM9 17H7v-7h2v7zm4 0h-2V7h2v10zm4 0h-2v-4h2v4z\"/>\n",
       "    </g>\n",
       "</svg>\n",
       "  </button>\n",
       "\n",
       "<style>\n",
       "  .colab-df-quickchart {\n",
       "      --bg-color: #E8F0FE;\n",
       "      --fill-color: #1967D2;\n",
       "      --hover-bg-color: #E2EBFA;\n",
       "      --hover-fill-color: #174EA6;\n",
       "      --disabled-fill-color: #AAA;\n",
       "      --disabled-bg-color: #DDD;\n",
       "  }\n",
       "\n",
       "  [theme=dark] .colab-df-quickchart {\n",
       "      --bg-color: #3B4455;\n",
       "      --fill-color: #D2E3FC;\n",
       "      --hover-bg-color: #434B5C;\n",
       "      --hover-fill-color: #FFFFFF;\n",
       "      --disabled-bg-color: #3B4455;\n",
       "      --disabled-fill-color: #666;\n",
       "  }\n",
       "\n",
       "  .colab-df-quickchart {\n",
       "    background-color: var(--bg-color);\n",
       "    border: none;\n",
       "    border-radius: 50%;\n",
       "    cursor: pointer;\n",
       "    display: none;\n",
       "    fill: var(--fill-color);\n",
       "    height: 32px;\n",
       "    padding: 0;\n",
       "    width: 32px;\n",
       "  }\n",
       "\n",
       "  .colab-df-quickchart:hover {\n",
       "    background-color: var(--hover-bg-color);\n",
       "    box-shadow: 0 1px 2px rgba(60, 64, 67, 0.3), 0 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
       "    fill: var(--button-hover-fill-color);\n",
       "  }\n",
       "\n",
       "  .colab-df-quickchart-complete:disabled,\n",
       "  .colab-df-quickchart-complete:disabled:hover {\n",
       "    background-color: var(--disabled-bg-color);\n",
       "    fill: var(--disabled-fill-color);\n",
       "    box-shadow: none;\n",
       "  }\n",
       "\n",
       "  .colab-df-spinner {\n",
       "    border: 2px solid var(--fill-color);\n",
       "    border-color: transparent;\n",
       "    border-bottom-color: var(--fill-color);\n",
       "    animation:\n",
       "      spin 1s steps(1) infinite;\n",
       "  }\n",
       "\n",
       "  @keyframes spin {\n",
       "    0% {\n",
       "      border-color: transparent;\n",
       "      border-bottom-color: var(--fill-color);\n",
       "      border-left-color: var(--fill-color);\n",
       "    }\n",
       "    20% {\n",
       "      border-color: transparent;\n",
       "      border-left-color: var(--fill-color);\n",
       "      border-top-color: var(--fill-color);\n",
       "    }\n",
       "    30% {\n",
       "      border-color: transparent;\n",
       "      border-left-color: var(--fill-color);\n",
       "      border-top-color: var(--fill-color);\n",
       "      border-right-color: var(--fill-color);\n",
       "    }\n",
       "    40% {\n",
       "      border-color: transparent;\n",
       "      border-right-color: var(--fill-color);\n",
       "      border-top-color: var(--fill-color);\n",
       "    }\n",
       "    60% {\n",
       "      border-color: transparent;\n",
       "      border-right-color: var(--fill-color);\n",
       "    }\n",
       "    80% {\n",
       "      border-color: transparent;\n",
       "      border-right-color: var(--fill-color);\n",
       "      border-bottom-color: var(--fill-color);\n",
       "    }\n",
       "    90% {\n",
       "      border-color: transparent;\n",
       "      border-bottom-color: var(--fill-color);\n",
       "    }\n",
       "  }\n",
       "</style>\n",
       "\n",
       "  <script>\n",
       "    async function quickchart(key) {\n",
       "      const quickchartButtonEl =\n",
       "        document.querySelector('#' + key + ' button');\n",
       "      quickchartButtonEl.disabled = true;  // To prevent multiple clicks.\n",
       "      quickchartButtonEl.classList.add('colab-df-spinner');\n",
       "      try {\n",
       "        const charts = await google.colab.kernel.invokeFunction(\n",
       "            'suggestCharts', [key], {});\n",
       "      } catch (error) {\n",
       "        console.error('Error during call to suggestCharts:', error);\n",
       "      }\n",
       "      quickchartButtonEl.classList.remove('colab-df-spinner');\n",
       "      quickchartButtonEl.classList.add('colab-df-quickchart-complete');\n",
       "    }\n",
       "    (() => {\n",
       "      let quickchartButtonEl =\n",
       "        document.querySelector('#df-eca6a8c7-3203-420f-90de-ec2a79d8fa7c button');\n",
       "      quickchartButtonEl.style.display =\n",
       "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
       "    })();\n",
       "  </script>\n",
       "</div>\n",
       "\n",
       "    </div>\n",
       "  </div>\n"
      ],
      "text/plain": [
       "                                             article  \\\n",
       "0  바이든 미국 대통령과 시진핑 중국 주석이 첫 정상회담을 했다. 미중 갈등이 심화된 ...   \n",
       "1  이회창 전 한나라당 총재가1997년과2002년 대선을 복기(復棋)했다면JP(김종필)...   \n",
       "2  이 같은 발언은 특히 집권당인 민자당의 계파 갈등과 맞물려 공화계(JP 세력)의 거...   \n",
       "3  브라질 ‘좌파의 대부‘ 룰라 전 대통령을 그린 넷플릭스 다큐 영화 ’위기의 민주주의...   \n",
       "4  한나라당 이명박 후보는 김영삼(YS) 전 대통령과 측근 세력의 지지를 이끌어냈다. ...   \n",
       "\n",
       "                                             summary  \n",
       "0  미중 갈등이 심화된 가운데 바이든 대통령과 시진핑 주석의 첫 정상회담이 열리자 전 ...  \n",
       "1  JP와의 연대로 충청권 지지세를 확산할 것을 호소하는 당료들의 호소가 있었으나 이 ...  \n",
       "2  JP는 호적상 69세로 1992년 대선 패배 후 정계 은퇴를 선언했던 DJ가 정계 ...  \n",
       "3  문 대통령은 경남 양산에 농지가 포함된 땅을 퇴임 후 사저용으로 구입했지만 농지를 ...  \n",
       "4  1992년 총선을 앞두고 YS에 의해 영입되어 정치권에 입문한 한나라당의 이 후보는...  "
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "raw_data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 2142,
     "status": "ok",
     "timestamp": 1703486431768,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "q0zvKFalzA-h",
    "outputId": "edcda53d-26db-41f9-b5d3-687dc351f2a8"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<torch.utils.data.dataloader.DataLoader at 0x7bdc26eb9db0>"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset = SummaryDataset(tokenizer, raw_data, max_len=600)\n",
    "dataloader = DataLoader(dataset, batch_size=4, shuffle=True)\n",
    "dataloader"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 8,
     "status": "ok",
     "timestamp": 1703486431769,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "kQ0qKaWzOAk1",
    "outputId": "e9d9b319-2b70-4c59-9245-714f98ed2444"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "tensor([[ 9022,  9281,  7191,  ...,     3,     3,     3],\n",
       "        [16330,  8148,  9697,  ...,     3,     3,     3],\n",
       "        [ 9322, 17910, 37755,  ...,     3,     3,     3],\n",
       "        [12484, 10513, 32724,  ...,     3,     3,     3]])"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 첫 번째 배치 가져오기\n",
    "first_batch = next(iter(dataloader))\n",
    "# 가져온 배치 출력\n",
    "first_batch"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 459
    },
    "executionInfo": {
     "elapsed": 3040,
     "status": "ok",
     "timestamp": 1703486434805,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "UH3vBLhAOFKy",
    "outputId": "f39300ab-d378-4e09-854e-28d68cd56690"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<Axes: >"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAhkAAAGpCAYAAAAgOCRjAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAABQXklEQVR4nO3deVxU9f4/8NeZgWEVEGQzFckNyB0VMXdJUlo0NStNM5f0QqV8s6v3erX03ihLTRPz5t7m1m25am65VYqpKKbmvqEpuAKCMAMz798fXubnHAYEPCNar+d9nMfjzvl8PudzZvp45s37c85nFBEREBEREWlMV9UnQERERH9MDDKIiIjIIRhkEBERkUMwyCAiIiKHYJBBREREDsEgg4iIiByCQQYRERE5BIMMIiIicginqj6BYgd/z4Wrsx5/X3sE7/QMAwAMWrwHc/o3x4pDF9GhTnWE+nngQnY+3Jz08K/mgtyCIgDAtXwTzt24ichgX4z4ci8WvRiJ/EIzbhQUwaDX4f0fT+LduHDk5hfB1aBH+vWbCPBwwQ1jEbalX0WvsGAUmi0AACe9AgBwcdLDVGRBkdmCa/kmZBkLUcPVBW7OejjpFWTmFuAhLzf8diUHzjodwv29YCqyQETg4qyHTgHa/301fv7XEzAVWZD43UHM7tMU1/MKoVMAdxcnmC0CgcBsFny8Kx2jHw2FTgdM3XYK3RpUh0UELYOrAwIoioJNpy+ha6g/iswCve7WeeoUBWaLYOvZy2gTVB2+ngYIgDxjEU5ez0XLmtVvvQ+LwOCkQ4HJjKs3Tajh4YKohC/QtWcL9GkZhI4h/hABzmfdRE1vN0z/+TQeCXLHYw8HwFRkgcFJh0OXc9C1fgCMRWb8cvYafjqbjcce9kVtH3cMWrgLXw6PQpFZ4KRXcD3PhLn/e08uTjqYiizILzTjiSnrsPVfT+DL/RcwJLI2kracwP91eBiJ3x3EXzqE4OT1m+hUpwZGfJaKxUNaw+Ckw5pjGWji7wW9oiDEzx2FRYJzWTdxpcCIQDdXHLqagzffnI8Ni97A6OVp+ODZpqjp7YbcgiI8PXUzru7fjR8/exMFRRZUc3WCAkCnUzBy6T7MfrY5nP/33/z3nHwUmM2o71sNIoKCQgvcDHqYLYJj126gcYA3Ar1d4KRXcPbKTfyenY/MmwUI8/XCoE92wsPDgCUvt8blXCOquxlwo6AIg+em4L+JHbFw73kMbFoTYQ9V+/+DXoBz1/JRYDIj7t1NuLp/N3q8/AwmPtbQ7jmevJ6LetU9odcpsAig1ylYdTQDq/ddxNAOdfDOV7/Bw8OA7eO73JN/s0RVydXB315uLRI0O1b+vtmaHetBc98EGURERPcNhYl+LfBTJCIiIodgkEFERKSmKNptFfDWW29BURSbLSwszFpeUFCA+Ph4+Pn5wdPTE3369EFmZqbNMdLT0xEXFwd3d3cEBARg7NixKCoqsqmzdetWtGzZEi4uLqhfvz4WL15c4lySk5NRt25duLq6IioqCrt27arQewEYZBAREZWk6LTbKuiRRx7BxYsXrdvPP/9sLRszZgxWrVqFlStXYtu2bbhw4QKeeeYZa7nZbEZcXBxMJhN27NiBJUuWYPHixZg4caK1zunTpxEXF4cuXbogLS0No0ePxrBhw7B+/XprneXLlyMxMRGTJk3C3r170axZM8TGxuLSpUsVei8MMoiIiBzIaDQiJyfHZjMajaXWd3JyQlBQkHWrUaMGACA7OxsLFizA9OnT0bVrV0RGRmLRokXYsWMHdu7cCQDYsGEDfvvtN3z++edo3rw5evTogSlTpiA5ORkmkwkAMHfuXISGhmLatGkIDw9HQkIC+vbtixkzZljPYfr06Rg+fDiGDBmCiIgIzJ07F+7u7li4cGGF3juDDCIiIjUNp0uSkpLg7e1tsyUlJZXa9fHjx1GzZk08/PDDGDBgANLT0wEAqampKCwsRExMjLVuWFgY6tSpg5SUFABASkoKmjRpgsDAQGud2NhY5OTk4NChQ9Y6tx+juE7xMUwmE1JTU23q6HQ6xMTEWOuUF58uISIiUtPw6ZLx48cjMTHRZp+Li4vdulFRUVi8eDEaNWqEixcv4u2330aHDh1w8OBBZGRkwGAwwMfHx6ZNYGAgMjIyAAAZGRk2AUZxeXFZWXVycnKQn5+P69evw2w2261z5MiRCr13BhlEREQO5OLiUmpQodajRw/r/2/atCmioqIQEhKCFStWwM3NzVGn6DCcLiEiIlKroqdL1Hx8fNCwYUOcOHECQUFBMJlMyMrKsqmTmZmJoKAgAEBQUFCJp02KX9+pjpeXF9zc3FCjRg3o9Xq7dYqPUV4MMoiIiNSq8OmS2+Xm5uLkyZMIDg5GZGQknJ2dsWnTJmv50aNHkZ6ejujoaABAdHQ0Dhw4YPMUyMaNG+Hl5YWIiAhrnduPUVyn+BgGgwGRkZE2dSwWCzZt2mStU14MMoiIiO4Tb7zxBrZt24YzZ85gx44d6N27N/R6PZ5//nl4e3tj6NChSExMxJYtW5CamoohQ4YgOjoabdu2BQB0794dERERePHFF7F//36sX78eEyZMQHx8vHXKZuTIkTh16hTefPNNHDlyBHPmzMGKFSswZswY63kkJiZi3rx5WLJkCQ4fPoxRo0YhLy8PQ4YMqdD74T0ZREREanc5zVFZ58+fx/PPP4+rV6/C398f7du3x86dO+Hv7w8AmDFjBnQ6Hfr06QOj0YjY2FjMmTPH2l6v12P16tUYNWoUoqOj4eHhgcGDB2Py5MnWOqGhoVizZg3GjBmDmTNnolatWpg/fz5iY2Otdfr374/Lly9j4sSJyMjIQPPmzbFu3boSN4PeCYMMIiIitSr67ZJly5aVWe7q6ork5GQkJyeXWickJATff/99mcfp3Lkz9u3bV2adhIQEJCTc3Q/FMcggIiJSq6JMxh8N78kgIiIih2Amg4iISI0/9a4JBhlERERqnC7RBEM1IiIicghmMoiIiNQ4XaIJBhlERERqDDI0wU+RiIiIHIKZDCIiIjUdb/zUAoMMIiIiNU6XaIKfIhERETkEMxlERERqXCdDEwwyiIiI1DhdogkGGURERGrMZGiCoRoRERE5BDMZREREapwu0QSDDCIiIjVOl2iCoRoRERE5BDMZREREapwu0QSDDCIiIjVOl2iCoRoRERE5BDMZREREapwu0QSDDCIiIjVOl2iCoRoRERE5BDMZREREapwu0QSDDCIiIjUGGZpgkEFERKTGezI0wVCNiIiIHIKZDCIiIjVOl2iCQQYREZEap0s0wVCNiIiIHKLCmYwrV65g4cKFSElJQUZGBgAgKCgI7dq1w0svvQR/f/87HsNoNMJoNNrsMxkL4ersXtHTISIi0h6nSzRRoU9x9+7daNiwIWbNmgVvb2907NgRHTt2hLe3N2bNmoWwsDDs2bPnjsdJSkqCt7e3zTZ/9rRKvwkiIiJNKYp2259YhTIZr776Kvr164e5c+dCUX1wIoKRI0fi1VdfRUpKSpnHGT9+PBITE232nbhSWJFTISIiovtchYKM/fv3Y/HixSUCDABQFAVjxoxBixYt7ngcFxcXuLi42Owz3MityKkQERE5jL3vOaq4Ck2XBAUFYdeuXaWW79q1C4GBgXd9UkRERFVJURTNtj+zCmUy3njjDYwYMQKpqano1q2bNaDIzMzEpk2bMG/ePHzwwQcOOVEiIiJ6sFQoyIiPj0eNGjUwY8YMzJkzB2azGQCg1+sRGRmJxYsX49lnn3XIiRIREd0zf+4EhGYq/Ahr//790b9/fxQWFuLKlSsAgBo1asDZ2VnzkyMiIqoKf/ZpDq1UesVPZ2dnBAcHa3kuRERE9wUGGdrgaiNERETkEPztEiIiIhVmMrTBIIOIiEiFQYY2OF1CREREDsFMBhERkRoTGZpgkEFERKTC6RJtcLqEiIiIHIKZDCIiIhVmMrTBIIOIiEiFQYY2OF1CREREDsFMBhERkQozGdpgkEFERKTGGEMTDDKIiIhUmMnQBu/JICIiIodgJoOIiEiFmQxtMMggIiJSYZChDU6XEBERkUMwk0FERKTGRIYmGGQQERGpcLpEG5wuISIiIodgJoOIiEiFmQxtMJNBRESkoiiKZltlvfvuu1AUBaNHj7buKygoQHx8PPz8/ODp6Yk+ffogMzPTpl16ejri4uLg7u6OgIAAjB07FkVFRTZ1tm7dipYtW8LFxQX169fH4sWLS/SfnJyMunXrwtXVFVFRUdi1a1eF3wODDCIiovvM7t278e9//xtNmza12T9mzBisWrUKK1euxLZt23DhwgU888wz1nKz2Yy4uDiYTCbs2LEDS5YsweLFizFx4kRrndOnTyMuLg5dunRBWloaRo8ejWHDhmH9+vXWOsuXL0diYiImTZqEvXv3olmzZoiNjcWlS5cq9D4YZBAREalUZSYjNzcXAwYMwLx581C9enXr/uzsbCxYsADTp09H165dERkZiUWLFmHHjh3YuXMnAGDDhg347bff8Pnnn6N58+bo0aMHpkyZguTkZJhMJgDA3LlzERoaimnTpiE8PBwJCQno27cvZsyYYe1r+vTpGD58OIYMGYKIiAjMnTsX7u7uWLhwYYXeC4MMIiIiNUW7zWg0Iicnx2YzGo2ldh0fH4+4uDjExMTY7E9NTUVhYaHN/rCwMNSpUwcpKSkAgJSUFDRp0gSBgYHWOrGxscjJycGhQ4esddTHjo2NtR7DZDIhNTXVpo5Op0NMTIy1TnkxyCAiIlLRMpORlJQEb29vmy0pKcluv8uWLcPevXvtlmdkZMBgMMDHx8dmf2BgIDIyMqx1bg8wisuLy8qqk5OTg/z8fFy5cgVms9luneJjlBefLiEiInKg8ePHIzEx0Wafi4tLiXrnzp3D66+/jo0bN8LV1fVenZ5DMcggIiJS0fIRVhcXF7tBhVpqaiouXbqEli1bWveZzWb8+OOPmD17NtavXw+TyYSsrCybbEZmZiaCgoIAAEFBQSWeAil++uT2OuonUjIzM+Hl5QU3Nzfo9Xro9Xq7dYqPUV6cLiEiIlKpihs/u3XrhgMHDiAtLc26tWrVCgMGDLD+f2dnZ2zatMna5ujRo0hPT0d0dDQAIDo6GgcOHLB5CmTjxo3w8vJCRESEtc7txyiuU3wMg8GAyMhImzoWiwWbNm2y1ikvZjKIiIjuA9WqVUPjxo1t9nl4eMDPz8+6f+jQoUhMTISvry+8vLzw6quvIjo6Gm3btgUAdO/eHREREXjxxRcxdepUZGRkYMKECYiPj7dmU0aOHInZs2fjzTffxMsvv4zNmzdjxYoVWLNmjbXfxMREDB48GK1atUKbNm3w4YcfIi8vD0OGDKnQe2KQQUREpHafLvg5Y8YM6HQ69OnTB0ajEbGxsZgzZ461XK/XY/Xq1Rg1ahSio6Ph4eGBwYMHY/LkydY6oaGhWLNmDcaMGYOZM2eiVq1amD9/PmJjY611+vfvj8uXL2PixInIyMhA8+bNsW7duhI3g94JgwwiIiKV+2VZ8a1bt9q8dnV1RXJyMpKTk0ttExISgu+//77M43bu3Bn79u0rs05CQgISEhLKfa728J4MIiIicghmMoiIiFTul0zGg45BBhERkQqDDG1wuoSIiIgcgpkMIiIiFWYytMEgg4iISI0xhiYUEZGqPgkAOHLxJgrNFri76BHs44qTmXlwM+jx1Ic/YeoLzVDH2wMWEaw8dBGtHvLCsA+2YOs7T0JRgK8OXUTP+gF4eeEu+Pt7IKi6O8Z3qQ+9TkGovzvOX89HrepuAIDTl28CAN7bdhJvdnwYUIDcgiK4G5xQaLbAxenWDFK+yYwek9fil6lP43KOEdXcnHHs6g08EugFvU7BtRsmGJx1aBDkCQA4dzUfBSYzBi3YhZQJXbH+cCYeCfCCRQC9ToFOd6sfT1cn5BvNKLIIbhQUIdDbBdl5hXBz0QMC5Bpv1SksEpzOykXjIG8UmQV5BUV4pLYXLmYVIDuvEE56HYyFZmQZC2EyW1C3ugeybprg425AkdkCJ70OrgYdgr1dceTiDShQsPviNXQO9ceFrAI8NWk19n3UD/kmM3ILiuDt5gyLAMYiM26azHBz1sPVWY/QAHdAgOMZuTCZLZi67STe7RmO4OquWHPoIpx0OoR4ucPgpEO9QE/sOHkFgZ6uyC0ogsliwYiFu7F4eBTcDHp8czgDzzd9CL9dykG4vxcA2Pw3H/Pdb3gtui6KLBZsOn0ZTzQKsnnvfv3m4YOx3RFdyxfhNb1w6lIefrucjZPX8tG9nj8Meh0u3ijAq0tS8dWrj+LJD7bB398DgzvVRWyDQLy98RgmdGuA2n5uSL+SD50CGIsscHXW4yFfVxzPyIW7wQnGQjPyTWa4uzhBpwA5+UVwd9EDAG4azej59veY+XoHRNXyg6nIgi9//R2NgzyQ9M1hLHq5DVycdFAUBWaLoKDQDItFsO7UZfR9JBjPzPwZ7w1sjkY1qsHFWYdgn1v96hQFigK8u+Ukuof5oqFPNeh0CjxcnDB751lMezIcpy/fhKtBh3m7z2F4q9rIN5mhKAqc9AqKzIKjV3LweHgQlu0/h2b+Plh1LBM96gVg7u50JLQNQWrGdbQO9oW7ix6FZguKzIK3NhzFxMcaQoECZ72Ckcv2YcNr7XHk4g1M3ngMN/IL8ffHGiLtUja61wuAk04Hs0WQtOUExnZ8GAYnHb47koGAas7wdTGgSbA38k1m/JqZhWaB1fHrpSw87OWJg1ez0e5/n9eui9fg4axHZE1fFJkFKw9dwJtd6uONVYfxWnRdXMk1wsfdGWazQKe79bnkG83wrWZAsI8r1h/ORGz4bc/qC+DXaxZmTuyFzqH+iH13C1a90QnHr+aiabA3Rq3Yj+m9GuPE1VyE+Xsh8buDmPRYI3i46pGWkYXWD/mijp87zl/Lx4hl+zCjdxM463W4kV8ID1cnzNtzHlOfCLtXl0IqJ1cH/4n8cGLZj4BWxKnpPTU71oOG92QQERGRQ3C6hIiISIX3ZGiDQQYREZEKYwxtcLqEiIiIHIKZDCIiIhVOl2iDQQYREZEKYwxtcLqEiIiIHIKZDCIiIhVOl2iDQQYREZEKYwxtcLqEiIiIHIKZDCIiIhWdjqkMLTDIICIiUuF0iTYYZBAREanwxk9t8J4MIiIicghmMoiIiFSYyNAGgwwiIiIVTpdog9MlRERE5BDMZBAREakwk6ENBhlEREQqjDG0wekSIiIicghmMoiIiFQ4XaINBhlEREQqjDG0wekSIiIicghmMoiIiFQ4XaINBhlEREQqjDG0wSCDiIhIhZkMbfCeDCIiInIIZjKIiIhUmMjQBoMMIiIiFU6XaIPTJUREROQQzGQQERGpMJGhDQYZREREKpwu0QanS4iIiMghmMkgIiJSYSJDGwwyiIiIVDhdog1OlxAREZFDMJNBRESkwkSGNhhkEBERqXC6RBsMMoiIiFQYZGiD92QQERGRQzCTQUREpMJEhjYYZBAREalwukQbnC4hIiIih2Amg4iISIWJDG0wyCAiIlLhdIk2NJ8uOXfuHF5++eUy6xiNRuTk5NhsJqNR61MhIiKiKqR5kHHt2jUsWbKkzDpJSUnw9va22T756AOtT4WIiKhSFEW77c+swtMl//3vf8ssP3Xq1B2PMX78eCQmJtrsO3PNXNFTISIicgjdnz060EiFg4xevXpBURSISKl17jSX5eLiAhcXF5t9hrybKDRbKno6REREdJ+q8HRJcHAwvv76a1gsFrvb3r17HXGeRERE9wynS7RR4SAjMjISqamppZbfKctBRER0v1MURbPtz6zC0yVjx45FXl5eqeX169fHli1b7uqkiIiIqpLuzx0baKbCQUaHDh3KLPfw8ECnTp0qfUJERET0x8DFuIiIiFT+7NMcWmGQQUREpMIYQxv8gTQiIqL7xMcff4ymTZvCy8sLXl5eiI6Oxtq1a63lBQUFiI+Ph5+fHzw9PdGnTx9kZmbaHCM9PR1xcXFwd3dHQEAAxo4di6KiIps6W7duRcuWLeHi4oL69etj8eLFJc4lOTkZdevWhaurK6KiorBr164Kvx8GGURERCqKhv+riFq1auHdd99Famoq9uzZg65du+Lpp5/GoUOHAABjxozBqlWrsHLlSmzbtg0XLlzAM888Y21vNpsRFxcHk8mEHTt2YMmSJVi8eDEmTpxorXP69GnExcWhS5cuSEtLw+jRozFs2DCsX7/eWmf58uVITEzEpEmTsHfvXjRr1gyxsbG4dOlShd4PgwwiIiIVnaLdVhFPPvkkevbsiQYNGqBhw4b417/+BU9PT+zcuRPZ2dlYsGABpk+fjq5duyIyMhKLFi3Cjh07sHPnTgDAhg0b8Ntvv+Hzzz9H8+bN0aNHD0yZMgXJyckwmUwAgLlz5yI0NBTTpk1DeHg4EhIS0LdvX8yYMcN6HtOnT8fw4cMxZMgQREREYO7cuXB3d8fChQsr9jlW7O0TERFRRdj7UVBjOX4U1Gw2Y9myZcjLy0N0dDRSU1NRWFiImJgYa52wsDDUqVMHKSkpAICUlBQ0adIEgYGB1jqxsbHIycmxZkNSUlJsjlFcp/gYJpMJqampNnV0Oh1iYmKsdcqLQQYREZGKlotx2ftR0KSkpFL7PnDgADw9PeHi4oKRI0fim2++QUREBDIyMmAwGODj42NTPzAwEBkZGQCAjIwMmwCjuLy4rKw6OTk5yM/Px5UrV2A2m+3WKT5GefHpEiIiIhUtny6x96Og6t/vul2jRo2QlpaG7OxsfPXVVxg8eDC2bdum3QndQwwyiIiIHMjej4KWxWAwoH79+gBu/ZTH7t27MXPmTPTv3x8mkwlZWVk22YzMzEwEBQUBAIKCgko8BVL89MntddRPpGRmZsLLywtubm7Q6/XQ6/V26xQfo7w4XUJERKSiUxTNtrtlsVhgNBoRGRkJZ2dnbNq0yVp29OhRpKenIzo6GgAQHR2NAwcO2DwFsnHjRnh5eSEiIsJa5/ZjFNcpPobBYEBkZKRNHYvFgk2bNlnrlBczGURERCpVtRjX+PHj0aNHD9SpUwc3btzAl19+ia1bt2L9+vXw9vbG0KFDkZiYCF9fX3h5eeHVV19FdHQ02rZtCwDo3r07IiIi8OKLL2Lq1KnIyMjAhAkTEB8fb82mjBw5ErNnz8abb76Jl19+GZs3b8aKFSuwZs0a63kkJiZi8ODBaNWqFdq0aYMPP/wQeXl5GDJkSIXeD4MMIiIilapaVvzSpUsYNGgQLl68CG9vbzRt2hTr16/HY489BgCYMWMGdDod+vTpA6PRiNjYWMyZM8faXq/XY/Xq1Rg1ahSio6Ph4eGBwYMHY/LkydY6oaGhWLNmDcaMGYOZM2eiVq1amD9/PmJjY611+vfvj8uXL2PixInIyMhA8+bNsW7duhI3g94JgwwiIqL7xIIFC8osd3V1RXJyMpKTk0utExISgu+//77M43Tu3Bn79u0rs05CQgISEhLKrHMnDDKIiIhU+Nsl2mCQQUREpKLFDZvEp0uIiIjIQZjJICIiUmEeQxsMMoiIiFSq6umSPxpOlxAREZFDMJNBRESkUtGfaCf7GGQQERGpcLpEG5wuISIiIodgJoOIiEiFiQxtMMggIiJS4XSJNhhkEBERqfDGT23wngwiIiJyCGYyiIiIVDhdog0GGURERCoMMbTB6RIiIiJyCGYyiIiIVPhT79pgkEFERKTCGEMbnC4hIiIih2Amg4iISIVPl2iDQQYREZEKYwxtcLqEiIiIHIKZDCIiIhU+XaINBhlEREQqjDG0wSCDiIhIhTd+aoP3ZBAREZFDKCIiVX0SAPDl3vP4xxcHMO7ZCETX8kO+yQxjkQW939mA9ZN6INtYCF93A1yc9Mi6aYKvhwECYMvpS1i45Qxm9W+O6h4GvL/tFMZ3rYe8AjPWncjE2SwT3n8iDH3m78I7PSNgcNLB4KTDTWMRdDoFRWaBm0GP9Kw8hFT3wNnreajj44H0rDy0r18DPWbvQOO6vtZjjHg0BLWqucFZr8P3xy8htp4/XJ31EBEoigJjkRlHr91AZq4Jjz0cYH1/piIL3Ax67Pr9Kt5eehD/TewIvU5BelYe/N1dYSwy49j1G2gZVB0FhRYcu56DBtWrQYECnQKYRfDBj6fwt671odcpUKBgf+Z1KIqCT348i791b4gATxc88+HPWPNGJxSaLcjJL4TBSYeO/d5CXPyLeLZFEB7x94ZAsPn0ZTzeIBBmi0CvKMi+WYhlhzLQ/5EguLvokW8yY8WhDAxrVRsKAJPZgm6T1mLblDjkm8xwdlKg1ylo2fcd7F4xHnqdghA/dxw6nwM3gx5QgLSMLFR3MWD3hWw0DfREoxpeOJuVhyAPVxicdcg3mrHq+CU8FloDW85exVONAnEu+yaW7Pkdb3dvhEKzBTcKitB36g9Y8/dYCAR6nQJnvQ7bz13BmHe+R71mDfBCl4cR1zAAChQ0CPIEAJy6lIeHAzxwMjMXiqIg32SGu4seIsCNgkJ4uDihsMgCRVHwf98dxMiOIXh75UE81+VhPP6wPwzOOuj/91vP+UYzjGYLvFydYSw0w81Fj9bPJuGnz/8KEcHZGzcRUs0dbgY9Wg+ehd1LXoNer6DAZIFArH1BAZx0OmTkFMDf0wVmi+DEtRsI9/fC6eu3PhcnvQ71gzxuDRoBvj34O747cBk/bD6Cbe88iXyTGQDwadoFjGxTp8QYuJxfgJbBvriQnY/qbgZ8/uuFEv9Npzze6F7+0yZyCFcH5+Ff/eawZsf6qHe4Zsd60HC6hIiISIXTJdrgdAkRERE5BDMZREREKjomMjTBIIOIiEiFQYY2OF1CREREDsFMBhERkQpv/NQGgwwiIiIVTpdog9MlRERE5BDMZBAREalwtkQbDDKIiIhU+Cus2mCQQUREpMJ7CbTBz5GIiIgcgpkMIiIiFc6WaINBBhERkQrvydAGp0uIiIjIIZjJICIiUmEiQxsMMoiIiFS44qc2OF1CREREDsFMBhERkQpv/NQGgwwiIiIVxhja4HQJEREROQQzGURERCq88VMbDDKIiIhUFDDK0AKDDCIiIhVmMrTBezKIiIjIIZjJICIiUmEmQxsMMoiIiFQUPsOqCU6XEBERkUMwk0FERKTC6RJtMMggIiJS4WyJNjhdQkRERA7BTAYREZEKfyBNGwwyiIiIVHhPhjY4XUJEREQOwUwGERGRCmdLtMFMBhERkYoOimZbRSQlJaF169aoVq0aAgIC0KtXLxw9etSmTkFBAeLj4+Hn5wdPT0/06dMHmZmZNnXS09MRFxcHd3d3BAQEYOzYsSgqKrKps3XrVrRs2RIuLi6oX78+Fi9eXOJ8kpOTUbduXbi6uiIqKgq7du2q0PthkEFERKSiKNptFbFt2zbEx8dj586d2LhxIwoLC9G9e3fk5eVZ64wZMwarVq3CypUrsW3bNly4cAHPPPOMtdxsNiMuLg4mkwk7duzAkiVLsHjxYkycONFa5/Tp04iLi0OXLl2QlpaG0aNHY9iwYVi/fr21zvLly5GYmIhJkyZh7969aNasGWJjY3Hp0qVyvx9OlxARETmQ0WiE0Wi02efi4gIXF5cSddetW2fzevHixQgICEBqaio6duyI7OxsLFiwAF9++SW6du0KAFi0aBHCw8Oxc+dOtG3bFhs2bMBvv/2GH374AYGBgWjevDmmTJmCv/71r3jrrbdgMBgwd+5chIaGYtq0aQCA8PBw/Pzzz5gxYwZiY2MBANOnT8fw4cMxZMgQAMDcuXOxZs0aLFy4EOPGjSvXe2cmg4iISEWnaLclJSXB29vbZktKSirXeWRnZwMAfH19AQCpqakoLCxETEyMtU5YWBjq1KmDlJQUAEBKSgqaNGmCwMBAa53Y2Fjk5OTg0KFD1jq3H6O4TvExTCYTUlNTberodDrExMRY65QHMxlEREQqWq6TMX78eCQmJtrss5fFULNYLBg9ejQeffRRNG7cGACQkZEBg8EAHx8fm7qBgYHIyMiw1rk9wCguLy4rq05OTg7y8/Nx/fp1mM1mu3WOHDlyx3MvxiCDiIjIgUqbGrmT+Ph4HDx4ED///LMDzure4HQJERGRSlXd+FksISEBq1evxpYtW1CrVi3r/qCgIJhMJmRlZdnUz8zMRFBQkLWO+mmT4td3quPl5QU3NzfUqFEDer3ebp3iY5QHgwwiIiIVnaJotlWEiCAhIQHffPMNNm/ejNDQUJvyyMhIODs7Y9OmTdZ9R48eRXp6OqKjowEA0dHROHDggM1TIBs3boSXlxciIiKsdW4/RnGd4mMYDAZERkba1LFYLNi0aZO1TnlwuoSIiOg+ER8fjy+//BLfffcdqlWrZr2HwtvbG25ubvD29sbQoUORmJgIX19feHl54dVXX0V0dDTatm0LAOjevTsiIiLw4osvYurUqcjIyMCECRMQHx9vnbYZOXIkZs+ejTfffBMvv/wyNm/ejBUrVmDNmjXWc0lMTMTgwYPRqlUrtGnTBh9++CHy8vKsT5uUR4WDjPz8fKSmpsLX19caERUrKCjAihUrMGjQoDKPYe9xnkKTsZTaRERE91ZVrfj58ccfAwA6d+5ss3/RokV46aWXAAAzZsyATqdDnz59YDQaERsbizlz5ljr6vV6rF69GqNGjUJ0dDQ8PDwwePBgTJ482VonNDQUa9aswZgxYzBz5kzUqlUL8+fPtz6+CgD9+/fH5cuXMXHiRGRkZKB58+ZYt25diZtBy1KhIOPYsWPo3r070tPToSgK2rdvj2XLliE4OBjArUdthgwZcscgIykpCW+//bbNvmdGjAE8H6vI6RARETlEVd1LICJ3rOPq6ork5GQkJyeXWickJATff/99mcfp3Lkz9u3bV2adhIQEJCQk3PGcSlOhz/Gvf/0rGjdujEuXLuHo0aOoVq0aHn30UaSnp1eo0/HjxyM7O9tme2pIfIWOQURE5CiKomi2/ZlVKJOxY8cO/PDDD6hRowZq1KiBVatW4S9/+Qs6dOiALVu2wMPDo1zHsfc4j7MhpyKnQkRERPe5CmUy8vPz4eT0/+MSRVHw8ccf48knn0SnTp1w7NgxzU+QiIjoXlM03P7MKpTJCAsLw549exAeHm6zf/bs2QCAp556SrszIyIiqiJarvj5Z1ahTEbv3r2xdOlSu2WzZ8/G888/X66bVoiIiOiPr0JBxvjx48u8W3XOnDmwWCx3fVJERERVidMl2uBiXERERCqcLdEGlxUnIiIih2Amg4iISOXPvr6FVhhkEBERqTDNrw1+jkREROQQzGQQERGpcLpEGwwyiIiIVBhiaINBBhERkQozGdrgPRlERETkEMxkEBERqfAvcG0wyCAiIlLhdIk2GKwRERGRQzCTQUREpMI8hjYYZBAREalwtkQbnC4hIiIih2Amg4iISEXHCRNNMMggIiJS4XSJNjhdQkRERA7BTAYREZGKwukSTTDIICIiUuF0iTYYZBAREanwxk9t8J4MIiIicghmMoiIiFQ4XaINBhlEREQqDDK0wekSIiIicghmMoiIiFT4CKs2GGQQERGp6BhjaILTJUREROQQzGQQERGpcLpEGwwyiIiIVPh0iTY4XUJEREQOwUwGERGRCqdLtMEgg4iISIVPl2iDQQYREZEKMxna4D0ZRERE5BDMZBAREanw6RJtMMggIiJSYYyhDU6XEBERkUMwk0FERKSi43yJJhQRkao+CQBIS7+B1776FbuXf4sfl07Ab9dy0K52DRQUmmFw0qHILCg0W/D0B1sxZVBz7P09D8Nb1YZOAcwWwffHMxET6o9Hn/sXdiyfAGenWwOkwGSBs5MCnaKgsMgCg5MOrgY9jIUW5JvMeHPVIczq0wQA4Op8a3/WTRO83ZxxOc+IXFMRHvb1hJNeQaHZArNZsPbEJcQ1DIROUeCkV5B28ToC3d2wYM85PNs0CA9Vc0P4Q144kZmLNk+Ow57V78FsEbgZ9DAVWfD98Uz0bBAIEYGiKDiXdRNpmTlo+1B1LD+YgdGP1kWRWSAiMDjpcOZ6HjrU98ei3WfQsU4NHLqcjfAa3tApQM/3NmPtuG7QKcCO81cRVdMXezOuo2VwdRy7cgMNa1TDe1tPIr5tCHw9DDAWWZBXUITqngYUFlmw6+I1tAryRWZuAS7m5aNONQ/8dO4awmq4I3Hebqz7WwyMhWa4GfQ4cTUXhRYLIgK8YSqyoH6Qx63/eP8bQWev3ITZIiiyCF776lcM61gHrWv6ouUzk7Fj+QSEP1StKoYWEf0BuTr4T+SdJ7I0O1bb+j6aHetBw+kSIiIicghOlxAREalxtkQTDDKIiIhUuBiXNjhdQkRERA7BTAYREZEKHy7RBoMMIiIiFcYY2mCQQUREpMYoQxO8J4OIiIgcgpkMIiIiFT5dog0GGURERCq88VMbnC4hIiIih2Amg4iISIWJDG0wyCAiIlJjlKEJTpcQERGRQzCTQUREpMKnS7TBTAYREZGKomi3VcSPP/6IJ598EjVr1oSiKPj2229tykUEEydORHBwMNzc3BATE4Pjx4/b1Ll27RoGDBgALy8v+Pj4YOjQocjNzbWp8+uvv6JDhw5wdXVF7dq1MXXq1BLnsnLlSoSFhcHV1RVNmjTB999/X7E3AwYZRERE9428vDw0a9YMycnJdsunTp2KWbNmYe7cufjll1/g4eGB2NhYFBQUWOsMGDAAhw4dwsaNG7F69Wr8+OOPGDFihLU8JycH3bt3R0hICFJTU/H+++/jrbfewieffGKts2PHDjz//PMYOnQo9u3bh169eqFXr144ePBghd4Pp0uIiIhUqmqypEePHujRo4fdMhHBhx9+iAkTJuDpp58GAHz66acIDAzEt99+i+eeew6HDx/GunXrsHv3brRq1QoA8NFHH6Fnz5744IMPULNmTXzxxRcwmUxYuHAhDAYDHnnkEaSlpWH69OnWYGTmzJl4/PHHMXbsWADAlClTsHHjRsyePRtz584t9/thJoOIiEhN0W4zGo3Iycmx2YxGY4VP6fTp08jIyEBMTIx1n7e3N6KiopCSkgIASElJgY+PjzXAAICYmBjodDr88ssv1jodO3aEwWCw1omNjcXRo0dx/fp1a53b+ymuU9xPeTHIICIiUlE0/F9SUhK8vb1ttqSkpAqfU0ZGBgAgMDDQZn9gYKC1LCMjAwEBATblTk5O8PX1talj7xi391FaneLy8uJ0CRERkQONHz8eiYmJNvtcXFyq6GzuLQYZREREKlr+domLi4smQUVQUBAAIDMzE8HBwdb9mZmZaN68ubXOpUuXbNoVFRXh2rVr1vZBQUHIzMy0qVP8+k51isvLi9MlREREKhrekqGZ0NBQBAUFYdOmTdZ9OTk5+OWXXxAdHQ0AiI6ORlZWFlJTU611Nm/eDIvFgqioKGudH3/8EYWFhdY6GzduRKNGjVC9enVrndv7Ka5T3E95McggIiK6T+Tm5iItLQ1paWkAbt3smZaWhvT0dCiKgtGjR+Of//wn/vvf/+LAgQMYNGgQatasiV69egEAwsPD8fjjj2P48OHYtWsXtm/fjoSEBDz33HOoWbMmAOCFF16AwWDA0KFDcejQISxfvhwzZ860mdJ5/fXXsW7dOkybNg1HjhzBW2+9hT179iAhIaFC74fTJURERGpV9Azrnj170KVLF+vr4i/+wYMHY/HixXjzzTeRl5eHESNGICsrC+3bt8e6devg6upqbfPFF18gISEB3bp1g06nQ58+fTBr1ixrube3NzZs2ID4+HhERkaiRo0amDhxos1aGu3atcOXX36JCRMm4G9/+xsaNGiAb7/9Fo0bN67Q+2GQQUREpFJVy4p37twZIlJquaIomDx5MiZPnlxqHV9fX3z55Zdl9tO0aVP89NNPZdbp168f+vXrV/YJ3wGnS4iIiMghmMkgIiJS0fLpkj8zBhlEREQqjDG0wekSIiIicghmMoiIiNSYytAEgwwiIiKVqnq65I+GQQYREZEKb/zUBu/JICIiIodgJoOIiEiFiQxtMMggIiJSY5ShCU6XEBERkUMwk0FERKTCp0u0wSCDiIhIhU+XaIPTJUREROQQzGQQERGpMJGhDQYZREREaowyNMHpEiIiInIIZjKIiIhU+HSJNqokyDAajTAajTb7TEZTVZwKERFRCXy6RBsVni45fPgwFi1ahCNHjgAAjhw5glGjRuHll1/G5s2by3WMpKQkeHt722wL50yr6KkQERE5hKLh9mdWoSBj3bp1aN68Od544w20aNEC69atQ8eOHXHixAmcPXsW3bt3L1egMX78eGRnZ9tsL//l/yr9JoiIiOj+U6EgY/LkyRg7diyuXr2KRYsW4YUXXsDw4cOxceNGbNq0CWPHjsW77757x+O4uLjAy8vLZjO4uFT6TRAREWmKqQxNVCjIOHToEF566SUAwLPPPosbN26gb9++1vIBAwbg119/1fQEiYiI7jVFw//9mVX4ngzlf3fD6HQ6uLq6wtvb21pWrVo1ZGdna3d2RERE9MCqUJBRt25dHD9+3Po6JSUFderUsb5OT09HcHCwdmdHRERUBRRFu+3PrEKPsI4aNQpms9n6unHjxjbla9euRdeuXbU5MyIioiryJ48NNFOhIGPkyJFllr/zzjt3dTJERET0x8EVP4mIiFT+7NMcWmGQQUREVAKjDC3wB9KIiIjIIZjJICIiUuF0iTYYZBAREakwxtAGgwwiIiIVZjK0wXsyiIiIyCGYySAiIlL5s//miFYYZBAREakxxtAEp0uIiIjIIZjJICIiUmEiQxsMMoiIiFT4dIk2OF1CREREDsFMBhERkQqfLtEGgwwiIiI1xhia4HQJEREROQQzGURERCpMZGiDQQYREZEKny7RBoMMIiIiFd74qQ3ek0FEREQOwUwGERGRCqdLtMFMBhERETkEgwwiIiJyCE6XEBERqXC6RBsMMoiIiFT4dIk2OF1CREREDsFMBhERkQqnS7TBIIOIiEiFMYY2OF1CREREDsFMBhERkRpTGZpgkEFERKTCp0u0wSCDiIhIhTd+aoP3ZBAREZFDMJNBRESkwkSGNhhkEBERqTHK0ASnS4iIiMghmMkgIiJS4dMl2mCQQUREpMKnS7TB6RIiIiJyDLkPFBQUyKRJk6SgoOCetWWff6w+76Yt+2SfVdmWfTq2LVWt+yLIyM7OFgCSnZ19z9qyzz9Wn3fTln2yz6psyz4d25aqFqdLiIiIyCEYZBAREZFDMMggIiIih7gvggwXFxdMmjQJLi4u96wt+/xj9Xk3bdkn+6zKtuzTsW2paikiIlV9EkRERPTHc19kMoiIiOiPh0EGEREROQSDDCIiInIIBhlERETkEAwyiIiIyCGq5FdYr1y5goULFyIlJQUZGRkAgKCgILRr1w4vvfQS/P39q+K0iIiISEP3PJOxe/duNGzYELNmzYK3tzc6duyIjh07wtvbG7NmzUJYWBj27NlT5jEsFkup+9PT08t9Ll27dsXZs2fLrHP+/HlcuXLF+vqnn37CgAED0KFDBwwcOBApKSmltl29ejUmTpyI7du3AwA2b96Mnj174vHHH8cnn3xS7vOk0hUVFWH//v1Yv3491q9fj/3796OwsPCensOQIUNw4cKFctfPysrCvHnz8I9//APz589Hdna2A8/uj+/SpUvYvHmz9XPMzMzE1KlT8e677+LAgQN3bP8gjiGiB8a9/rGUqKgoGTFihFgslhJlFotFRowYIW3btrXbNjs7W/r16yeurq4SEBAg//jHP6SoqMhanpGRITqdrkS77777zu6m1+tl9uzZ1tf2tGnTRlatWiUiIt9++63odDp56qmn5K9//av07t1bnJ2dreW3mzt3rjg5OUlkZKR4eXnJZ599JtWqVZNhw4bJK6+8Im5ubvLhhx+W+Vn98ssv8uGHH8q4ceNk3Lhx8uGHH8ovv/xSZhutvfTSS/L7779XqM3169flk08+kQkTJsi8efMkKyurzPppaWmyYMECOXnypIiIHDx4UEaNGiWvvPKKrFu3zm4bs9ksf//738XHx0cURbHZfHx8ZMKECWI2m+22TU5Olm7dukm/fv3khx9+sCm7fPmyhIaG2m23f/9+u5uzs7N888031tdqvXv3lpUrV1rfW40aNcTf31+ioqIkMDBQgoKC5Lfffiv18ykqKpKTJ09a309BQYEsX75cli5dKhkZGaW2ExEpLCyUtLQ0Wbdunaxbt07S0tLEZDKV2UZrb731lly+fLlCbco7hrZs2SIeHh6iKIoEBQVJWlqa1KpVSxo0aCCNGjUSFxcXWb9+vd22lR1DJpNJxo4dK/Xq1ZPWrVvLggULbMpLuw6JVH4M2VNYWCgbNmyQ+fPny8aNG22uhWp3M4aK+6rqcVSZaxFVvXseZLi6usrhw4dLLT98+LC4urraLXvttdekYcOGsnLlSpk3b56EhIRIXFycGI1GEbn1j1tRlBLtFEURnU5X4kJy+1baRcHDw0NOnTolIrcCpHfffdem/KOPPpIWLVqUaBcRESGffPKJiIhs3rxZXF1dJTk52Vq+aNEiCQ8Pt9tnZmamtG/fXhRFkZCQEGnTpo20adNGQkJCRFEUad++vWRmZtptW9kL4N1c/O7mS/Q///mP6PV68fPzE09PT9m4caP4+PhITEyMxMbGil6vly+++KJEu7Fjx4q/v7/MnTtXTp8+LTdv3pSbN2/K6dOn5d///rcEBATIm2++WaLdzJkzxd3dXeLj42XgwIFiMBjknXfeuePnI1L2OCreb69t9erVrWO+R48e8sILL1jHrMlkkqFDh0r37t3t9rl//34JDg4WnU4njRs3lvT0dGncuLF4eHiIp6enVK9eXXbt2lWi3d0EYSKVC8Sys7NLbFlZWeLs7Cy//PKLdZ89lR1D7du3l/j4eLlx44a8//778tBDD0l8fLy1/I033pB27drZ7bOyY2jSpEkSGBgo77//vvz9738Xb29vGTFihLW8tOuQSOXHkIhIQkKC9Q+ac+fOSVhYmOj1egkMDBS9Xi9NmjSR8+fPl2hX2TEk8mAF83R/uudBRt26dWXJkiWlli9ZskRCQkLsltWpU0e2bNlifX358mVp06aNdO/eXQoKCkr9gnj88cclLi6uxBezk5OTHDp0qMzz9fb2tg7ogICAEoP7xIkT4u7uXqKdm5ubnD171vra2dlZDhw4YH19+vRpu+1ERPr06SPR0dFy5MiREmVHjhyRdu3aSd++fe22rewF8G4ufnfzJdqyZUv55z//KSIiS5cuFR8fH5k8ebK1/IMPPpDmzZuXaBcYGFhqlkNEZN26dRIQEFBif0REhE3Qsn37dvH395d//OMfIlJ2kNGsWTOJi4uTw4cPy5kzZ+TMmTNy+vRpcXJyko0bN1r3qbm5ucmJEydERCQ4OFj27t1rU3706FHx9va222dsbKz07dtXDhw4IK+//rqEh4dLv379xGQySWFhoQwcOFBiYmJKtKvsF6hI5QMxnU5nd3PkGPLy8rJ+toWFheLk5CT79u2zlh87dqzUz7ayY6h+/fo22cvjx49L/fr15aWXXhKLxeKQMVR8vsXXkGeffVZiYmKsGaKrV6/KE088Yfe6UNkxJPJgBfN0f7rnQcbs2bPFxcVFXnvtNfnuu+9k586dsnPnTvnuu+/ktddeEzc3N5u/+G/n5uZmzSoUy8nJkejoaOnataucOnWq1ME3ffp0qV27ts3FoTxBxlNPPSXjxo0TkVv/WGfOnGlTPm/ePGnQoEGJdrVq1ZIff/xRRER+//13URRF1qxZYy3funWr1KpVy26fnp6eJb6Ibrdnzx7x9PS0W1bZC+DdXPzu5kvUw8NDTp8+LSK3psucnZ3l119/tZafPHnS7nt1d3e3qae2f/9+8fDwsHuuxf0VO3DggAQGBsq4cePKvPgZjUZ5/fXXJSIiwuY93mkcRUVFWbNaLVq0kG+++camfMOGDRIUFGS3bfXq1a1/wd+8eVP0er3NlNnBgwfFz8+vRLvKfoGKVD4Qe+ihhyQuLk42b94sW7dula1bt8qWLVtEr9fLokWLrPvsqewYqlGjhhw8eFBERPLy8kSn00lKSoq1fP/+/VKjRg27fWo5hs6fPy8NGzaUAQMGyO+//675GBK5lQUuvv7VqlWrxNTpgQMH7L7Xyo4hkQcrmKf70z0PMkREli1bJlFRUeLk5GSNUJ2cnCQqKkqWL19eartGjRrZfFEXu3HjhkRHR0uzZs3KjHD37dsnERERMmLECMnLyyvXP+zffvtN/Pz8ZNCgQTJlyhTx9PSUgQMHyr/+9S8ZNGiQuLi4yKJFi0q0i4+PlwYNGsg///lPadOmjQwePFjCwsJk7dq1sm7dOmnSpIm8/PLLdvv08/Mr9WIscmseurSLQmUvgHdz8bubL9GgoCDZs2ePiIhcu3ZNFEWxyVbt2rXLbtuePXtK9+7d7c71X7582Zq9Uqtdu7Y1+LvdoUOHJDAwUAYNGnTHv5K+//57qVWrlrzzzjtiNpvv+BmtXr1afH19ZdGiRbJo0SKpW7euzJ8/X7Zv3y4LFy6U2rVry9ixY+229fHxkWPHjonIrb/o9Xq9pKamWssPHz4s1atXL9Gusl+gIpUPxK5evSq9evWSLl262KTtHTmGnn76aXniiSfk559/lhEjRkirVq0kLi5OcnNzJS8vT/r27SuPP/643T4rO4ZCQ0NLpP9Fbv0x0bBhQ3nsscc0H0MiIk2bNpVly5aJiEh4eLhs3LjRpnzHjh3i6+tbol1lx5DIgxXM0/2pSoKMYiaTSS5cuCAXLlwo101Er776aqnTBDk5ORIVFXXHf9w3b96UV155RRo0aCB6vb5cg/bEiRPy3HPPSbVq1axBkbOzs7Rr167ExbBYbm6uDB8+XBo3biwjRowQo9Eo77//vhgMBlEURTp37lzqfRV/+ctfJCQkRL7++mubOezs7Gz5+uuvpW7dupKQkGC37d1eACtz8bubL9GBAwdKVFSUfP755/Lkk09KbGystG3bVg4fPixHjhyRTp062f1vXjyv7OTkJC1atJDHH39cHn/8cWnRooU4OTlJ06ZNJT09vUS7559/XkaPHm33XA4ePCj+/v7lSsVmZGRIjx49pEOHDuX6jL766iupVatWiTSwq6urjB49utSb9rp16yZDhw6V8+fPy9tvvy3169eXIUOGWMv/8pe/SIcOHUq0q+wXqMjdB2Jz5syRmjVrypdffiki5ftyqOwYOnbsmDRo0EAURZHw8HA5f/68PPXUU+Lk5CROTk7i7+9v84V6u8qOoaFDh5b6B8L58+elfv36DhlDixYtklq1asmWLVvk008/lfDwcPnhhx/k999/l82bN0uTJk1k2LBhJdpVdgyJPFjBPN2fqjTIqKhr165ZU6P25OTklJkBuF3x9ExpX/T2FE83lDcosic/P19ycnLKrFNQUCAjR44Ug8EgOp1OXF1dxdXVVXQ6nRgMBhk1apQUFBTYbavFBbCiFz+Ryn+JZmRkyGOPPSaenp4SGxsrWVlZkpCQYJ13bdCggTWNrmY2m+X777+XiRMnyogRI2TEiBEyceJEWbt2bak3o+3fv18WLlxY6vs4cOCAvPXWW3d8v8VmzpwpvXr1knPnzt2xblFRkezatUuWLVsmX375pWzZsuWOY2HXrl3i5+cnOp1O/P395eDBgxIVFSVBQUFSs2ZNcXNzsxtUVvYLVESbQOzQoUPSrFkzef755x0+hkRErly5YvP6hx9+kFWrVpXYr1aZMXTmzJkypxB+//13Wbx4cZn93q4iY2jatGni7u4ubm5u1utD8darVy+5ceNGiTaVHUMiD14wT/efP/VPvRsMBuzfvx/h4eFVfSp25eTkIDU11WbBssjISHh5eZXa5uzZszhy5AhiY2Ptll+4cAEbN27E4MGD79j/rFmzsGXLFnz00UeoVavWHeubzWbs3bsXp06dgsViQXBwMCIjI1GtWrU7tlU7deoUbt68ibCwMDg5VcmacfeNvLw8HDlyBI0aNYKnpycKCgrwxRdfID8/H4899hgaNWpkt53FYsH69euxc+dOmzEUHR2N7t27Q6ezv0zOr7/+itTUVAwZMsRu+cGDB/Gf//wHkyZNKvO8TSYTxo0bhy1btuDrr79GaGjoHd+r2WxGamoqTp8+fddj6I8qKysLGzZssPmMHn30UTRo0KDUNpUdQ0DlxpFWY6hYRa9FdP944IKM/Px8pKamwtfXFxERETZlBQUFWLFiBQYNGmSzPzEx0e6xZs6ciYEDB8LPzw8AMH369BJ19u7di+rVq1svkJ999hnmzp2L9PR0hISEICEhAc8995zd48+ePRu7du1Cz5498dxzz+Gzzz5DUlISLBYLnnnmGUyePPlP/wV6tywWi92LnMViwfnz51GnTp1yHadr165YtGgRQkJCSq1jNBqh0+ng7OwMADh58iQWLlxoHQtDhw4t9Yt0//79SE1NRefOnfHwww/j0KFDSE5OhsViQe/evUsNCunuXL9+HatWrSpxTSjLncbC3YwDgGOB/lweqCDj2LFj6N69O9LT06EoCtq3b49ly5YhODgYwK2V/mrWrAmz2WzTTqfToVmzZvDx8bHZv23bNrRq1QoeHh5QFAWbN28u0WezZs0wbdo0xMTEYP78+XjttdcwfPhwhIeH4+jRo5g/fz5mzpyJl19+2abdP//5T0ydOhXdu3fH9u3bMXr0aLz//vsYM2YMdDodZsyYgVGjRuHtt9+u8OeQmZmJf//735g4caLd8qtXr+LXX39Fs2bN4OvriytXrmDBggUwGo3o169fuTI3IoKtW7fixIkTCA4ORmxsrPWiqjZt2jT07du3zC/osuTn52Pp0qX4+eefcfHiReh0Ojz88MPo1asXunXrZrdNTk4Ohg0bhlWrVsHLywuvvPIKJk2aBL1eD6D0sfDf//7X7vGeeeYZzJw5E7Vr1wYAPPXUUyXqdO7cGQkJCejbty+2b9+Obt26oVGjRggPD8exY8dw9OhR/PDDD4iOjrZp9/XXX+PZZ5+Fj48PjEYjvvnmG/Tr1w+tWrWCXq/HDz/8gE8//RQvvPBCqZ/Rrl277C7D37p161LbiAjOnDmD2rVrw8nJCSaTCd988w2MRiN69uyJGjVqlNpW7fTp09ax0LhxY7t1/vOf/6BHjx5wd3cv93HVNm/eXGIcPPXUU2X+lV6W/fv3o2XLliXGAVD5sVDZcQA4bixER0ejTZs2ZX4WWgXkVTUW6tWrhyeffLLSY4GqSNXN1FRcr169JC4uTi5fvizHjx+XuLg4CQ0Nta5HUdody0lJSRIaGiqbNm2y2V+eOT43Nzfr41ItWrSw3gFf7IsvvpCIiIgS7erVqyf/+c9/ROTWipZ6vV4+//xza/nXX38t9evXL8e7LiktLa3U+cxffvlFvL29RVEUqV69uuzZs0dCQ0OlQYMGUq9ePXFzc7N7I1yPHj2sqypevXpVoqKiRFEU69xpWFiYXLp0yW6fiqKIXq+XmJgYWbZsmXV9g/I4fvy4hISESEBAgNSuXVsURZG4uDiJiooSvV4v/fr1k8LCwhLtqmJhNi8vL+td+p06dZIxY8bYlE+YMEEeffTREu0quxaISOUXZjty5IiEhISITqeT+vXry6lTpyQyMlI8PDzE3d1datSoYX0vaqNGjbLO7d+8eVP69Oljsz5Bly5d7M79K4oiXl5eMnz4cNm5c6fdY5cmMzNT2rRpIzqdTpycnESn00lkZKQEBQWJXq8v9cZhewuA3b799NNPlVqPoayxUNlxIFI1Y6GyKyWL2B8Lt38299NYoPvTAxVkBAQE2DxOZbFYZOTIkVKnTh05efJkmf9Ydu3aJQ0bNpT/+7//s960WZ4gw8/Pz/qIZUBAgKSlpdmUnzhxQtzc3Eq0s7cY1+03rZ45c6bUxbhKW/GueFu+fHmp7zMmJkaGDRsmOTk58v7770utWrVs7jgfMmSI9OrVq0Q7RVGsF6hRo0ZJRESE9Zn8c+fOSWRkpIwcOdJun4qiyKJFi+Tpp58WZ2dn8fPzk9dff91m8bHS9OjRQ1555RXrMvPvvvuu9OjRQ0RuPTlQt25dmTRpUol2VbEwm4eHh3XBqMDAQLtjwd6aHpVdC0Sk8guzPf300/LUU0/Jr7/+KqNHj5bw8HB5+umnxWQySUFBgTz55JMycOBAu33qdDrr5zN+/HipVauWbN68WfLy8uTnn3+WevXqWdeOuZ2iKDJ58mRp0aKFKIoijzzyiMyYMeOON1+KiPTv31969eol2dnZUlBQIAkJCTJo0CAREdm0aZP4+fnZXYa/+MvuTguB2VPZsVDZcVDc9l6PhcoG5CIP1lig+9MDFWRUq1bN7tLC8fHx1sWvyrpj+caNGzJo0CBp2rSpHDhwQJydne/4xTJw4EAZOnSoiIj069dPJkyYYFP+zjvvSJMmTUq0Cw0NlbVr14rIrS9LnU4nK1assJavWbNG6tata7fPu119s/gzMplMotPpbBbeSU1NlYceeshun8UXk0aNGpX4LZcffvih1GWAb2+bmZkp7733noSFhYlOp5PWrVvLJ598UupTFO7u7jZ/URuNRnF2drZejL799lu7n1NVLMzWtWtXmTp1qoiItGvXrsTKtV999ZXUqVOnRLvKrgUiUvmF2fz9/a0rX+bm5oqiKPLTTz9Zy7dv3273XEVs/3s2btzY+ihqse+++04aNmxYZrs9e/bIqFGjxMfHR1xcXKRfv36yYcOGUt+Hl5eXTRCem5srzs7O1ke4P/vsM2nUqJHddu+99551oS/1Nm/evDKvCZUZC5UdByJVMxYqG5CLPFhjge5PD1SQ0bp1a/n000/tlsXHx4uPj0+5HotaunSpBAYGik6nu+MXy++//y5169aVjh07SmJiori5uUn79u1l+PDh0rFjRzEYDHYXCJswYYL4+/vLsGHDJDQ0VMaNGyd16tSRjz/+WObOnSu1a9cukWYt5ufnJwsWLLCubKfe1qxZU+Zvrdy+CI6np6f1h8dERM6ePWv3t2EURbFOhwQEBJR4VPjMmTPi4uJit8/bLyi3+/HHH2Xw4MHi4eFR6sJPNWvWtJm+uX79uiiKYg1KTp06ZbffqliYbceOHeLt7S2TJk2Sjz76SGrUqCETJkyQL774QiZOnCg+Pj7y3nvvlWhX2bVARCq/MJs6k+bp6WnzKHB6enqZ/z2Lx8LtK2oWO3PmjN3snb1xkJ+fL59++ql07txZdDpdqYG1v7+/zed/8+ZN0el0cvXqVRG59Re+vfPt3Lmz3c+8WFpaWql/pRer6Fio7DgQqbqxUNmA/EEaC3R/eqCCjHfeeceaSrdn1KhRd7ygFDt37px8++23kpube8e6169fl7/+9a8SEREhrq6uYjAYJCQkRF544QXZvXu33TZms1n+9a9/yRNPPCHvvPOOWCwWWbp0qdSuXVv8/PzkpZdeKrXv7t27y5QpU0o9n7IunGFhYTb3nqxevVpu3rxpfb1z5067y5kriiI9e/aU3r17S/Xq1Uv8suzOnTslMDDQbp+3p1Ttyc7OLnEvS7HBgwdLp06d5PDhw3Lq1Cnp37+/zQ/Obd26VWrXrl2iXVUtzLZjxw5p27ZtiQzTQw89VGoK927WAqnswmz16tWzyVzMmTPHJpuUmppa6l/MiqLIK6+8ImPGjJGAgIASf3WmpqbaXb76TuPg+PHj8re//c1uWe/evaVPnz6Sm5srJpNJRo8ebXPP0s6dO+2e7yeffFJiqf/bZWRklGvdk4qOhcqMg+Lzuddj4W4C8gdpLND96YEKMv4svv76a/nss89KLb927Vqpi/289dZbsnTp0lLb/u1vf5NnnnmmxP6XXnrJZlMv7z527FiJjY21e8zSMhnlkZmZab1Y63Q6CQkJsUkJr1y5UmbNmlWindYLs40ePbpC7+HSpUuyc+dO2bFjR4nlk8vr5MmTcuDAAbs3thar7MJsr7zyisybN6/U4yYlJUnPnj3tlnXq1Ek6d+5s3dTHmTJlinTq1KlEu7sZBydPnpR69eqJk5OTODs7i4+Pj82y2YsWLbI791+a4nt8Kqqii/TdPg7U2YKKcORYuJuA/H4ZC7cHNxUdC1S1HqhHWOnu3bx5E3q9Hi4uLhVql5eXB71eD1dXV4ec1/Hjx2E0Grn4VikqszBbWU6fPg1XV1fr498VcerUKRgMhhKLIp09exZ16tSBoiiVOqebN29i+/btMBqNaNu2bYUesVW7m4X2Ktv2XvVZ0bFw/fp1XLhwAY888ojd8hs3bmDv3r3o1KlThc/7QRgLVLUYZDyAzp07h0mTJmHhwoX3rG1V9HmntpVZmO1u2lVVn4cPH8bOnTsRHR2NsLAwHDlyBDNnzoTRaMTAgQPRtWtXTdvd3rZdu3Zo1KjRPe2zIm3vZqG9yratij7tycvLw4oVK3DixAnUrFkTzz33nLV9edsFBwfj+eefL1e7u2lbFX3SfaJqEylUGWWtk+GotlXRZ1ltjx49al0fQKfTSceOHeXChQvW8tLumK9su6rqc+3atWIwGMTX11dcXV1l7dq14u/vLzExMdK1a1fR6/Ul1n+5m3YPWp+Kokjz5s1tUvqdO3cWRVGkdevW0rlzZ+nSpYvdPivbtir6FLn1y6vFNz+mp6dL3bp1xdvbW1q3bi2+vr4SEBBgd8qmsu3stQ0JCblv+6T7E4OM+9B3331X5jZjxoxSv5Qq27Yq+rybtpVdmK2y7aqqz+joaPn73/8uIreeiqpevbrNDXPjxo2Txx57TLN2D1qfd7PQXmXbVkWfIrb3OQwYMEDatWtnXUDvxo0bEhMTI88//7xm7R60Pun+xCDjPnQ3q1JWtm1V9Hk3bSu7MNvdLOhWFX16eXnJ8ePHRUSsP3d9+42xBw4csPvUT2XbPWh9ilR+ob27aVsVfd7+5fvwww+XeNJj+/btdp/Eqmy7B61Puj/Z/xlGqlLBwcH4+uuvYbFY7G579+7VvG1V9Hk3bfPz821uEFUUBR9//DGefPJJdOrUCceOHdO0XVX1WVwfuPUbPK6urvD29raWVatWDdnZ2Zq2e9D6bN26NVJTU3H58mW0atUKBw8eLPcNh5VtWxV9Av//MyooKChx0+5DDz2Ey5cva9ruQeuT7j8MMu5DkZGRSE1NLbVcURRIKffrVrZtVfR5N23DwsKwZ8+eEvtnz56Np59+2u4PnN1Nu6rqs27dujh+/Lj1dUpKis0PWaWnp9t9QqSy7R60Pot5enpiyZIlGD9+PGJiYuz+IJrWbauiz27duqFly5bIycnB0aNHbcrOnj1b6g2RlW33oPVJ9x8+K3gfGjt2LPLy8kotr1+/PrZs2aJp26ro827a9u7dG0uXLsWLL75Yomz27NmwWCyYO3euZu2qqs9Ro0bZfAGpf/Vy7dq1dp+6qGy7B61Pteeeew7t27dHampqhX8VuLJt71WfkyZNsnnt6elp83rVqlXo0KGDZu0etD7p/sRHWImIiMghOF1CREREDsEgg4iIiByCQQYRERE5BIMMIiIicggGGUREROQQDDKIiIjIIRhkEBERkUP8P9yfNes81P4lAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 640x480 with 2 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# 첫 번째 배치 heatmap 시각화\n",
    "import seaborn as sns\n",
    "sns.heatmap(first_batch, cmap=\"Blues\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "5UdB7P4WDquT"
   },
   "source": [
    "## 학습"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "executionInfo": {
     "elapsed": 5,
     "status": "ok",
     "timestamp": 1703486437426,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "wE6mG5jsE8hZ"
   },
   "outputs": [],
   "source": [
    "#  모델의 어떤 부분이 가장 많은 메모리를 사용하는지 식별\n",
    "# print(torch.cuda.memory_summary())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "executionInfo": {
     "elapsed": 4,
     "status": "ok",
     "timestamp": 1703486437427,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "dCc6A80QFIbI"
   },
   "outputs": [],
   "source": [
    "# GPU 캐시를 비워 모델에서 사용할 수 있는 메모리를 확보할 수 있습니다.\n",
    "# torch.cuda.empty_cache()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "executionInfo": {
     "elapsed": 2,
     "status": "ok",
     "timestamp": 1703486437951,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "8tjXgo3gqscK"
   },
   "outputs": [],
   "source": [
    "# model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 8,
     "status": "ok",
     "timestamp": 1703486505062,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "lscrADZ2tQeV",
    "outputId": "83f1d075-e305-4b28-fbd3-b7984d3fa497"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "device(type='cuda', index=0)"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')\n",
    "device"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 557373,
     "status": "ok",
     "timestamp": 1703487063485,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "Wvl8cr6fq870",
    "outputId": "a923fd44-bd98-4f37-ed8e-3a0ae139a485"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "We strongly recommend passing in an `attention_mask` since your input_ids may be padded. See https://huggingface.co/docs/transformers/troubleshooting#incorrect-output-when-padding-tokens-arent-masked.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch: 1, step:   0, loss: 7.090\n",
      "epoch: 1, step: 100, loss: 2.652\n",
      "epoch: 1, step: 200, loss: 2.371\n",
      "epoch: 2, step:   0, loss: 1.479\n",
      "epoch: 2, step: 100, loss: 1.958\n",
      "epoch: 2, step: 200, loss: 1.474\n",
      "epoch: 3, step:   0, loss: 1.769\n",
      "epoch: 3, step: 100, loss: 1.745\n",
      "epoch: 3, step: 200, loss: 1.338\n"
     ]
    }
   ],
   "source": [
    "EPOCHS = 3\n",
    "\n",
    "model = model.to(device).train()\n",
    "optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4)\n",
    "\n",
    "# epoch > dataloader > torch.set_grad_enabled()\n",
    "for epoch in range(EPOCHS):\n",
    "    for idx, batch in enumerate(dataloader):\n",
    "        with torch.set_grad_enabled(True):\n",
    "            optimizer.zero_grad()\n",
    "            batch = batch.to(device)\n",
    "            output = model(batch, labels=batch)\n",
    "            loss = output[0]\n",
    "            loss.backward()\n",
    "            optimizer.step()\n",
    "\n",
    "            if idx % 100 == 0:\n",
    "                print(\"epoch: {}, step: {:3d}, loss: {:.3f}\".format(epoch+1, idx, loss))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "5FFvi9F2gwYp"
   },
   "source": [
    "## 생성에 사용할 입력 문서 확인"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 279,
     "status": "ok",
     "timestamp": 1703487266882,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "8sb-D1ilDBaL",
    "outputId": "38747f42-703d-45ba-bebb-20ef59f302fe"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "tensor([[12096,  7283,  9528, 41931,  9039,  8265,  8701,  9522,  9046, 12304,\n",
       "          9877, 11574, 38960, 25218,  9121,  8243, 24492,  9327, 11100,  9513,\n",
       "         13363, 24124,  9131,  9034, 28781,  9018, 13261, 11312, 13872,  9192,\n",
       "         10123, 28814, 24124,  8135,  9528, 10785,  9021, 13467, 21734,  9247,\n",
       "          7888, 10759,  7671,  8325,   387,  9522, 10785,  9021, 17244, 26098,\n",
       "          9253,  7888, 10759,  7671,  8325, 10472,  7258,  9040, 10283,  9432,\n",
       "          7601,  8008,  9023, 10873,  9226,  9696, 11033, 23583, 20028,  9133,\n",
       "          9269, 14541, 17545,  9016, 12096,  7283, 20684,  9640,  7584, 14517,\n",
       "         11226, 17286, 11349, 44443, 22443, 13198, 14628,  9090, 12940,  7426,\n",
       "         10923,  8263, 13656,  9277, 32239,  9383,  9135, 13872, 49366,  9640,\n",
       "         30903, 22443,  9888, 11314,  9554, 19601, 17496, 32437,  9019, 15910,\n",
       "          9149,  9640,  6825, 11554, 35477,  9161, 10446,  9685, 11584, 20674,\n",
       "         10772, 13889, 43267, 32239,  9383, 25218,  9987,  9304, 19771,  9023,\n",
       "         10420,   473, 20493, 44886,  8022, 12129, 21198, 20067,  9033, 16582,\n",
       "          9552,  9039,  9046, 14689, 13564,  8705, 11839, 13525, 15715,  7283,\n",
       "         35727,  9133, 15875,  9081,  9039,  9046, 12083,  9640, 25495,  9121,\n",
       "         12340, 22443, 25213,  9432, 39205, 22321, 10278, 10038, 18761, 10611,\n",
       "         50303,  9366,  9095, 10617, 20838,  8711,  9019, 15910,  9149,  9640,\n",
       "          7584, 12340,  8135,  9457, 34730,  9555,  9026,  6920, 10901, 17913,\n",
       "         50057,  9971, 20060, 12929,  6920,  9780,  9077, 19315, 33139, 10416,\n",
       "          9685, 15353, 26018, 25218, 49366,  9640,  8000, 11554, 25013,  9094,\n",
       "         10578,  9443, 23342, 10408, 19803, 11254,  7235, 36057,  7991,  9676,\n",
       "         15674, 45098, 25943, 15535, 13929, 10210, 10822,  9685, 15353,   684,\n",
       "          9149,  9640,  9489,  9164, 14517, 22443,  9888, 32396, 10891, 10901,\n",
       "          9121, 12340, 22443, 10360,  9401, 32396, 33855,   684,  9383,  9463,\n",
       "          7888,  9046, 12083,  9640,  8243, 14517, 20674,  9919, 16789,  9038,\n",
       "         12501, 11078, 23035,  9038, 14461,  9867, 16902,  8119,  9685, 15353,\n",
       "           684, 14166,  9640,  8243,   473, 15803,  9880, 13299, 12486,  9038,\n",
       "         12501, 17204, 48529,  9767, 20459,  9922,  9685, 15353,   684,  7530,\n",
       "         10772, 16440,  6903, 15262,  8137, 11507,  9033, 48213,  7235, 26019,\n",
       "          9791,   418,   402,   410,   424,   739]], device='cuda:0')"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 샘플 문서\n",
    "sample_idx = 0\n",
    "sample_text = df.loc[sample_idx, \"article\"]\n",
    "\n",
    "# 샘플 문서 + \" TL;DR \"\n",
    "sample_text = sample_text + \" TL;DR \"\n",
    "\n",
    "# 입력 값을 tokenize\n",
    "tokenized_sample = tokenizer.encode(sample_text, return_tensors=\"pt\")\n",
    "tokenized_sample = tokenized_sample.to(device)\n",
    "tokenized_sample"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "xxC2Bln4IZpA"
   },
   "source": [
    "## 생성\n",
    "* repetition_penalty\n",
    "    * 정의: repetition_penalty는 모델이 이전에 생성한 토큰을 반복하는 것을 억제하는 데 사용됩니다.\n",
    "    * 작동 방식: 이 매개변수는 이미 생성된 토큰의 확률을 인위적으로 감소시켜, 모델이 같은 단어나 구를 반복적으로 생성하는 것을 방지합니다. 값이 1보다 크면 반복되는 토큰의 확률이 감소하고, 1이면 영향을 주지 않습니다.\n",
    "* no_repeat_ngram_size\n",
    "    * 정의: no_repeat_ngram_size는 생성된 텍스트에서 n-gram의 반복을 방지합니다.\n",
    "    * 작동 방식: 이 매개변수는 지정된 크기(n)의 n-gram이 생성된 텍스트 내에서 반복되는 것을 방지합니다. 예를 들어, no_repeat_ngram_size=2로 설정하면 동일한 2-gram이 생성된 텍스트 내에서 반복되지 않도록 합니다.\n",
    "* top-k 샘플링\n",
    "    * 정의: top-k 샘플링은 모델이 다음 토큰을 예측할 때 가능성이 높은 상위 k개의 토큰 중에서 무작위로 선택하는 방법입니다.\n",
    "    * 작동 방식: 모델이 다음 토큰에 대한 확률 분포를 계산한 후, 가장 높은 확률을 가진 상위 k개의 토큰을 선택합니다. 그런 다음 이 k개의 토큰 중 하나를 무작위로 선택하여 텍스트를 생성합니다.\n",
    "    * 목적: top-k 샘플링은 생성된 텍스트의 다양성을 보장하면서도, 너무 낮은 확률을 가진 토큰을 배제하여 품질을 유지합니다.\n",
    "* Top-p (Nucleus) 샘플링\n",
    "    * 정의: top-p 샘플링은 확률 분포의 누적 확률이 p 이상이 되는 최소한의 토큰 집합을 선택하는 방법입니다.\n",
    "    * 작동 방식: 먼저 모델이 다음 토큰에 대한 확률 분포를 계산합니다. 그런 다음 높은 확률의 토큰부터 순차적으로 추가하면서, 누적 확률이 p 이상이 되는 순간의 토큰 집합을 선택합니다. 이 집합 내에서 토큰이 무작위로 선택됩니다.\n",
    "    * 목적: top-p 샘플링은 다양성과 품질 사이의 균형을 맞추는 데 효과적입니다. top-k와 달리, p 값에 따라 선택되는 토큰의 수가 동적으로 변경됩니다.\n",
    "\n",
    "* temperature\n",
    "    * 정의: temperature는 생성 과정에서 확률 분포의 '온도'를 조절하여 결과의 무작위성과 예측 가능성을 조절합니다.\n",
    "    * 작동 방식: 낮은 temperature 값(예: 0.7)은 더 예측 가능하고 일관된 텍스트를 생성하도록 합니다. 반면 높은 값(예: 1 이상)은 더 다양하고 예측하기 어려운 텍스트를 생성합니다. temperature는 확률 분포를 '평탄화'하거나 '날카롭게' 만듦으로써 선택의 다양성을 조절합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 124
    },
    "executionInfo": {
     "elapsed": 3749,
     "status": "ok",
     "timestamp": 1703487563183,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "C4dyVy5X_g1D",
    "outputId": "2b023a0c-2c4a-4401-bfe1-1c24011393a1"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/usr/local/lib/python3.10/dist-packages/transformers/generation/configuration_utils.py:389: UserWarning: `do_sample` is set to `False`. However, `temperature` is set to `0.5` -- this flag is only used in sample-based generation modes. You should set `do_sample=True` or unset `temperature`.\n",
      "  warnings.warn(\n",
      "/usr/local/lib/python3.10/dist-packages/transformers/generation/configuration_utils.py:394: UserWarning: `do_sample` is set to `False`. However, `top_p` is set to `0.95` -- this flag is only used in sample-based generation modes. You should set `do_sample=True` or unset `top_p`.\n",
      "  warnings.warn(\n"
     ]
    },
    {
     "data": {
      "application/vnd.google.colaboratory.intrinsic+json": {
       "type": "string"
      },
      "text/plain": [
       "'중국은 미국에 대한 책임을 인정하는 대가로 선진 그룹인 두 명에게 러브콜이 제안됐다고 한다.'"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 학습한 모델에 입력\n",
    "model.eval()\n",
    "\n",
    "output = model.generate(\n",
    "    tokenized_sample,\n",
    "    max_length=2000,               # 생성할 텍스트의 최대 길이\n",
    "    repetition_penalty=5.0,        # 반복 패널티\n",
    "    no_repeat_ngram_size=2,        # 반복되는 n-gram 크기 제한\n",
    "    top_k=50,                      # top-k 샘플링\n",
    "    top_p=0.95,                    # top-p 샘플링 (nucleus sampling)\n",
    "    temperature=0.5,               # 생성 다양성 조절\n",
    "    pad_token_id=tokenizer.pad_token_id,\n",
    "    eos_token_id=tokenizer.eos_token_id,\n",
    "    bos_token_id=tokenizer.bos_token_id,\n",
    "    use_cache=True\n",
    ")\n",
    "\n",
    "# 출력 값에 포함된 입력 값 부분을 제외하고 출력\n",
    "output_decode = tokenizer.decode(output[0][len(tokenized_sample[0]):-1])\n",
    "output_decode"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 35
    },
    "executionInfo": {
     "elapsed": 264,
     "status": "ok",
     "timestamp": 1703487573263,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "sLhxfXi2WxbQ",
    "outputId": "eae983b6-0c85-4ab2-b724-fb5ebc898c55"
   },
   "outputs": [
    {
     "data": {
      "application/vnd.google.colaboratory.intrinsic+json": {
       "type": "string"
      },
      "text/plain": [
       "'미중 갈등이 심화된 가운데 바이든 대통령과 시진핑 주석의 첫 정상회담이 열리자 전 세계의 이목이 집중됐고 두 정상은 상호 간 협력의 필요성을 강조했다.'"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[sample_idx, \"summary\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "CT9BhK3yMe5B"
   },
   "source": [
    "## ROUGE-N (N-gram Co-occurrence Statistics)\n",
    "\n",
    "* ROUGE-N은 생성된 요약과 참조 요약 간의 N-gram 일치를 측정합니다.\n",
    "    * 가장 일반적인 것은 ROUGE-1(단일 단어 일치)과 ROUGE-2(2-gram 일치)입니다.\n",
    "    * ROUGE-N 스코어는 정밀도(Precision), 재현율(Recall), F1 스코어의 세 가지 값을 제공합니다.\n",
    "* ROUGE-L (Longest Common Subsequence):\n",
    "    * ROUGE-L은 생성된 요약과 참조 요약 간의 최장 공통 부분 수열(Longest Common Subsequence)을 측정합니다.\n",
    "    * 이 메트릭은 단어의 순서를 고려하여 요약의 질을 평가합니다.\n",
    "* ROUGE-S:\n",
    "    * ROUGE-S(또는 ROUGE-SU)는 단어 순서가 덜 중요한 경우에 사용되며,2-gram이지만 단어 간에 다른 단어들이 삽입될 수 있습니다.\n",
    "\n",
    "\n",
    "* ROUGE(Rouge-Oriented Understudy for Gisting Evaluation) 스코어를 직접 계산하기 위해서는 생성된 요약과 참조 요약 간의 n-gram 일치를 계산해야 합니다.\n",
    "\n",
    "* ROUGE-N 스코어 계산 방법\n",
    "ROUGE-N 스코어는 참조 요약과 생성된 요약 간의 n-gram 오버랩을 측정합니다. ROUGE-1은 단일 단어(1-gram)에 대한 오버랩을, ROUGE-2는 두 단어 쌍(2-gram)에 대한 오버랩을 측정합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 253,
     "status": "ok",
     "timestamp": 1703487759262,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "KGumMIeLJpJS",
    "outputId": "9c2a9737-a2be-4660-c306-0e9a3e820f75"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{('.',), ('다',), ('기',), ('맑',), ('책',), ('고',), ('니',), ('을',), ('는',), ('하',), ('한',), ('날',), ('창',), (' ',), ('입',), ('화',), ('은',), ('좋',), ('산',), ('씨',)}\n",
      "{('한',), ('.',), ('날',), ('창',), ('책',), ('고',), ('다',), ('기',), ('화',), ('은',), (' ',), ('좋',), ('니',), ('맑',), ('산',), ('입',), ('씨',), ('하',)}\n",
      "ROUGE-1: Precision: 0.42857142857142855, Recall: 0.5, F1: 0.4615384615384615\n",
      "ROUGE-2: Precision: 0.16666666666666666, Recall: 0.2, F1: 0.1818181818181818\n"
     ]
    }
   ],
   "source": [
    "def ngram(token_list, n):\n",
    "    return set(zip(*[token_list[i:] for i in range(n)]))\n",
    "\n",
    "def rouge_n_score(candidate, reference, n=1):\n",
    "    candidate_ngrams = ngram(candidate.split(), n)\n",
    "    reference_ngrams = ngram(reference.split(), n)\n",
    "    overlap_ngrams = candidate_ngrams.intersection(reference_ngrams)\n",
    "    return len(overlap_ngrams) / len(candidate_ngrams), len(overlap_ngrams) / len(reference_ngrams)\n",
    "\n",
    "def calculate_f1_score(precision, recall):\n",
    "    if precision + recall == 0:\n",
    "        return 0.0\n",
    "    return 2 * (precision * recall) / (precision + recall)\n",
    "\n",
    "\n",
    "def rouge_score(candidate, reference):\n",
    "    # ROUGE-1 스코어 계산\n",
    "    precision_1, recall_1 = rouge_n_score(candidate, reference, n=1)\n",
    "    f1_score_1 = calculate_f1_score(precision_1, recall_1)\n",
    "    # ROUGE-2 스코어 계산\n",
    "    precision_2, recall_2 = rouge_n_score(candidate, reference, n=2)\n",
    "    f1_score_2 = calculate_f1_score(precision_2, recall_2)\n",
    "\n",
    "    print(f\"ROUGE-1: Precision: {precision_1}, Recall: {recall_1}, F1: {f1_score_1}\")\n",
    "    print(f\"ROUGE-2: Precision: {precision_2}, Recall: {recall_2}, F1: {f1_score_2}\")\n",
    "\n",
    "\n",
    "# 예시 텍스트\n",
    "candidate = \"산책을 하기 좋은 날씨는 맑고 화창한 날입니다.\"\n",
    "# reference = \"산책을 하기 좋은 날씨는 맑고 화창한 날입니다.\"\n",
    "reference = \"맑고 화창한 날은 산책하기 좋은 날씨입니다.\"\n",
    "\n",
    "print(ngram(candidate, 1))\n",
    "print(ngram(reference, 1))\n",
    "rouge_score(candidate, reference)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "F9muqYf1IL3e"
   },
   "source": [
    "## 생성한 텍스트의 ROUGE 점수 측정"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 5,
     "status": "ok",
     "timestamp": 1703487881359,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "FviClOnsyM83",
    "outputId": "c062d0f3-2290-4433-b15b-c5c17bc6994b"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "중국은 미국에 대한 책임을 인정하는 대가로 선진 그룹인 두 명에게 러브콜이 제안됐다고 한다.\n",
      "미중 갈등이 심화된 가운데 바이든 대통령과 시진핑 주석의 첫 정상회담이 열리자 전 세계의 이목이 집중됐고 두 정상은 상호 간 협력의 필요성을 강조했다.\n"
     ]
    }
   ],
   "source": [
    "candidate = output_decode\n",
    "print(candidate)\n",
    "reference = raw_data.loc[sample_idx, \"summary\"]\n",
    "print(reference)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 287,
     "status": "ok",
     "timestamp": 1703487897087,
     "user": {
      "displayName": "오늘코드todaycode",
      "userId": "06313463015165663090"
     },
     "user_tz": -540
    },
    "id": "7VpSA1FTJgNc",
    "outputId": "013b6897-fc6f-4d15-db59-2100df04d0f9"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{('콜',), ('.',), ('로',), ('러',), ('다',), ('진',), ('제',), ('미',), ('안',), ('임',), ('그',), ('됐',), ('책',), ('고',), ('을',), ('국',), ('인',), ('에',), ('는',), ('하',), ('정',), ('한',), ('명',), ('게',), ('이',), (' ',), ('두',), ('룹',), ('중',), ('브',), ('가',), ('선',), ('대',), ('은',)}\n",
      "{('목',), ('했',), ('필',), ('령',), ('.',), ('조',), ('세',), ('다',), ('진',), ('미',), ('주',), ('과',), ('상',), ('됐',), ('심',), ('바',), ('든',), ('집',), ('갈',), ('시',), ('강',), ('고',), ('회',), ('석',), ('자',), ('계',), ('협',), ('을',), ('등',), ('담',), ('호',), ('정',), ('첫',), ('리',), ('핑',), ('의',), ('력',), ('운',), ('간',), ('이',), ('된',), ('요',), (' ',), ('통',), ('두',), ('중',), ('데',), ('전',), ('가',), ('열',), ('대',), ('화',), ('은',), ('성',)}\n",
      "ROUGE-1: Precision: 0.07692307692307693, Recall: 0.045454545454545456, F1: 0.05714285714285715\n",
      "ROUGE-2: Precision: 0.0, Recall: 0.0, F1: 0.0\n"
     ]
    }
   ],
   "source": [
    "print(ngram(candidate, 1))\n",
    "print(ngram(reference, 1))\n",
    "rouge_score(candidate, reference)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "iAX-ZNJjIvXR"
   },
   "source": [
    "## 다른 거대 모델에 비해 낮은 성능을 갖는 이유\n",
    "* 모델 크기와 복잡성: 일반적으로, 더 큰 모델(더 많은 매개변수를 가진 모델)은 더 작은 모델보다 더 많은 양의 데이터를 학습하고, 더 복잡한 패턴을 인식할 수 있습니다. 따라서, 거대한 LLMs는 종종 더 작은 모델보다 더 우수한 성능을 보입니다.\n",
    "\n",
    "* 학습 데이터: 모델의 성능은 사용된 학습 데이터의 양과 질에 크게 의존합니다. 더 다양하고 방대한 데이터셋으로 학습된 모델은 일반적으로 더 좋은 성능을 나타냅니다.\n",
    "\n",
    "* 사전 학습 및 미세 조정: 많은 대형 언어 모델들은 먼저 대규모 데이터셋에서 사전 학습된 후, 특정 작업에 대해 미세 조정됩니다. 사전 학습과 미세 조정 과정의 효율성이 모델 성능에 큰 영향을 미칩니다.\n",
    "\n",
    "* 아키텍처의 차이: 모델의 아키텍처 또한 성능에 영향을 줍니다. 변형된 Transformer 구조, 새로운 어텐션 메커니즘, 레이어 정규화 방법 등은 성능에 큰 차이를 만들 수 있습니다.\n",
    "\n",
    "* 최적화 및 하이퍼파라미터 조정: 학습 과정에서 사용되는 최적화 기법과 하이퍼파라미터(학습률, 배치 크기 등)의 설정은 모델의 최종 성능에 중요한 역할을 합니다.\n",
    "\n",
    "* 작업 특이성: 특정 모델이 특정 작업에 대해 더 높은 성능을 보이는 경우가 있습니다. 예를 들어, 어떤 모델은 자연어 이해(NLU)에서 뛰어난 반면, 다른 모델은 자연어 생성(NLG)에서 더 좋은 성능을 보일 수 있습니다.\n",
    "\n",
    "* 업데이트와 유지 관리: 지속적인 업데이트와 유지 관리는 모델 성능을 지속적으로 개선하는 데 중요합니다. 최신 연구 결과나 기술의 적용이 성능 향상에 기여할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "k_aYYhxtSfOJ"
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "accelerator": "GPU",
  "colab": {
   "gpuType": "T4",
   "provenance": [
    {
     "file_id": "1Cl_2WTNXn_Si4K3UC8xxz0uoaHl-dJuV",
     "timestamp": 1682695974988
    }
   ]
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}