Emotions Classification in Hindi Text.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Importing Important Libraries and Data Set"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "import pandas as pd\n",
    "import nltk\n",
    "import os"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "text = []\n",
    "cat = []"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "angry=[]\n",
    "base_path = \"C:/Users/Saurav/Desktop/Python Practise/emotions/angry\"\n",
    "for i in range(130):\n",
    "    filename = str(i)+\".txt\"\n",
    "    path_to_file = os.path.join(base_path, filename)\n",
    "    fd = pd.read_csv(path_to_file , 'r')\n",
    "    angry.append(list(fd.columns))    \n",
    "    \n",
    "    \n",
    "for item in angry:\n",
    "    text.append(item[0]) \n",
    "    cat.append(0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "happy=[]\n",
    "base_path = \"C:/Users/Saurav/Desktop/Python Practise/emotions/happy\"\n",
    "for i in range(151):\n",
    "    filename = str(i)+\".txt\"\n",
    "    path_to_file = os.path.join(base_path, filename)\n",
    "    fd = pd.read_csv(path_to_file , 'r')\n",
    "    happy.append(list(fd.columns))    \n",
    "\n",
    "for item in happy:\n",
    "    text.append(item[0]) \n",
    "    cat.append(1)    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "neutral=[]\n",
    "base_path = \"C:/Users/Saurav/Desktop/Python Practise/emotions/neutral\"\n",
    "for i in range(128):\n",
    "    filename = str(i)+\".txt\"\n",
    "    path_to_file = os.path.join(base_path, filename)\n",
    "    fd = pd.read_csv(path_to_file , 'r')\n",
    "    neutral.append(list(fd.columns))    \n",
    "\n",
    "for item in neutral:\n",
    "    text.append(item[0]) \n",
    "    cat.append(2)        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "sad=[]\n",
    "base_path = \"C:/Users/Saurav/Desktop/Python Practise/emotions/sad\"\n",
    "for i in range(104):\n",
    "    filename = str(i)+\".txt\"\n",
    "    path_to_file = os.path.join(base_path, filename)\n",
    "    fd = pd.read_csv(path_to_file , 'r')\n",
    "    sad.append(list(fd.columns))    \n",
    "\n",
    "for item in sad:\n",
    "    text.append(item[0]) \n",
    "    cat.append(3)    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "513\n",
      "513\n"
     ]
    }
   ],
   "source": [
    "print(len(text))\n",
    "print(len(cat))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "data = pd.DataFrame(data=[text, cat])\n",
    "data = data.T\n",
    "data.rename(columns={0:'Text', 1:'Class'}, inplace=True)\n",
    "\n",
    "data['Class'] = data['Class'].astype(int)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Text</th>\n",
       "      <th>Class</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>मेरे ट्रैन का बुकिंग फेल हो रहा है बार बार</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>मेरे फ्लाइट  का बुकिंग फेल हो रहा है बार बार</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>बहुत ही घटिया एप्प है तुम्हारा</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>मेरी कैब क्यों नहीं आ रही है</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>बहुत ही बकवास वेबसाइट है तुम्हारा भाई</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            Text  Class\n",
       "0    मेरे ट्रैन का बुकिंग फेल हो रहा है बार बार       0\n",
       "1  मेरे फ्लाइट  का बुकिंग फेल हो रहा है बार बार       0\n",
       "2                बहुत ही घटिया एप्प है तुम्हारा       0\n",
       "3                  मेरी कैब क्यों नहीं आ रही है       0\n",
       "4         बहुत ही बकवास वेबसाइट है तुम्हारा भाई       0"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Text     0\n",
       "Class    0\n",
       "dtype: int64"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.isnull().sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Text     object\n",
       "Class     int32\n",
       "dtype: object"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.dtypes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Text</th>\n",
       "      <th>Class</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>मेरे ट्रैन का बुकिंग फेल हो रहा है बार बार</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>मेरे फ्लाइट  का बुकिंग फेल हो रहा है बार बार</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>बहुत ही घटिया एप्प है तुम्हारा</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>मेरी कैब क्यों नहीं आ रही है</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>बहुत ही बकवास वेबसाइट है तुम्हारा भाई</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            Text  Class\n",
       "0    मेरे ट्रैन का बुकिंग फेल हो रहा है बार बार       0\n",
       "1  मेरे फ्लाइट  का बुकिंग फेल हो रहा है बार बार       0\n",
       "2                बहुत ही घटिया एप्प है तुम्हारा       0\n",
       "3                  मेरी कैब क्यों नहीं आ रही है       0\n",
       "4         बहुत ही बकवास वेबसाइट है तुम्हारा भाई       0"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Class\n",
       "0    130\n",
       "1    151\n",
       "2    128\n",
       "3    104\n",
       "Name: Class, dtype: int64"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.groupby('Class').Class.count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "X = data['Text']\n",
    "y = data['Class']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Train Test Split"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.model_selection import train_test_split\n",
    "X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1, random_state=48)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Count Vectorizer (We can also use Tf-idf vectorizer)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\Saurav\\Anaconda3\\lib\\site-packages\\sklearn\\feature_extraction\\text.py:301: UserWarning: Your stop_words may be inconsistent with your preprocessing. Tokenizing the stop words generated tokens ['अरे', 'चैनल्स', 'ये'] not in stop_words.\n",
      "  'stop_words.' % sorted(inconsistent))\n"
     ]
    }
   ],
   "source": [
    "stop_words = ['',' ',' ','!','! ','!  ','! !','! ! ','! ! !','?','ही','तुमसे','बार','आप','तुम्हारे','तु','रहा','कुछ','कभी','एक','तुम','होता','नहीं','कितनी','पर','तू','हो','है','क्यों','एप','कर','काम','रहे','बातें','लग','आता','ये चैनल्स','करनी','अपना','पैक्स','चीज़','क्या','अरे ये','करा','मैं']\n",
    "def my_tokenizer(s):\n",
    "    return s.split(' ')\n",
    "\n",
    "from sklearn.feature_extraction.text import CountVectorizer\n",
    "vect = CountVectorizer(min_df=2, ngram_range=(1, 3), encoding='ISCII',tokenizer=my_tokenizer,stop_words=stop_words).fit(X_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "489\n"
     ]
    }
   ],
   "source": [
    "print(len(vect.get_feature_names()))         # Printing length of Vocabulary"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['अंतिम',\n",
       " 'अकाउंट',\n",
       " 'अकाउंट का',\n",
       " 'अकाउंट बंद',\n",
       " 'अकाउंट में',\n",
       " 'अकाउंट में कितना',\n",
       " 'अच्छा',\n",
       " 'अच्छा किया',\n",
       " 'अच्छा था',\n",
       " 'अच्छा लगा',\n",
       " 'अच्छी',\n",
       " 'अच्छे',\n",
       " 'अपने',\n",
       " 'अपने पास',\n",
       " 'अप्प',\n",
       " 'अब',\n",
       " 'अबे',\n",
       " 'अभी',\n",
       " 'अरे',\n",
       " 'अरे बढ़िया',\n",
       " 'अरे यार',\n",
       " 'अरे ये',\n",
       " 'अरे वाह',\n",
       " 'अवेलेबल',\n",
       " 'आ',\n",
       " 'आ गया',\n",
       " 'आ हा',\n",
       " 'आ हा सारथी',\n",
       " 'आएगा',\n",
       " 'आखिरकार',\n",
       " 'आखिरकार बुक',\n",
       " 'आखिरकार बुक गया',\n",
       " 'आगे',\n",
       " 'आज',\n",
       " 'आज का',\n",
       " 'आज का मौसम',\n",
       " 'आज तो',\n",
       " 'आपसे',\n",
       " 'आय',\n",
       " 'आया',\n",
       " 'आर',\n",
       " 'आस',\n",
       " 'आस पास',\n",
       " 'इतना',\n",
       " 'इतनी',\n",
       " 'इतने',\n",
       " 'इतने पैसे',\n",
       " 'इतने पैसे में',\n",
       " 'इधर',\n",
       " 'इन',\n",
       " 'इनका',\n",
       " 'इनके',\n",
       " 'इस',\n",
       " 'उम्मीद',\n",
       " 'उम्मीद थी',\n",
       " 'एप्प',\n",
       " 'एप्प का',\n",
       " 'एप्प तुम्हारा',\n",
       " 'ऐप',\n",
       " 'ऐसा',\n",
       " 'ऐसे',\n",
       " 'ऐसे कैसे',\n",
       " 'ऑटो',\n",
       " 'ऑटो बुक',\n",
       " 'ऑन',\n",
       " 'ऑफ',\n",
       " 'ऑफर',\n",
       " 'ओए',\n",
       " 'ओए होए',\n",
       " 'और',\n",
       " 'और कितना',\n",
       " 'कब',\n",
       " 'कब तक',\n",
       " 'कब तक आएगा',\n",
       " 'कब तक चलेगा',\n",
       " 'कब तक रिचार्ज',\n",
       " 'कम',\n",
       " 'कम्प्लेन',\n",
       " 'करके',\n",
       " 'करता',\n",
       " 'करता ये',\n",
       " 'करना',\n",
       " 'करना चाहिए',\n",
       " 'करने',\n",
       " 'करने के',\n",
       " 'करने के लिए',\n",
       " 'करू',\n",
       " 'करूँ',\n",
       " 'करो',\n",
       " 'कल',\n",
       " 'कहा',\n",
       " 'कहा मर',\n",
       " 'का',\n",
       " 'का टिकट',\n",
       " 'का टिकट बुक',\n",
       " 'का बुकिंग',\n",
       " 'का बुकिंग फेल',\n",
       " 'का मौसम',\n",
       " 'का स्टेटस',\n",
       " 'काफी',\n",
       " 'काफी अच्छा',\n",
       " 'कारण',\n",
       " 'काश',\n",
       " 'काश ये',\n",
       " 'कितना',\n",
       " 'कितना बैलेंस',\n",
       " 'किया',\n",
       " 'किया भाई',\n",
       " 'की',\n",
       " 'की ट्रेन',\n",
       " 'की ट्रेन मिल',\n",
       " 'के',\n",
       " 'के लिए',\n",
       " 'के लिए धन्यवाद',\n",
       " 'के लिए शुक्रिया',\n",
       " 'कैंसिल',\n",
       " 'कैंसिल दिया',\n",
       " 'कैब',\n",
       " 'कैब ड्राइवर',\n",
       " 'कैब बुक',\n",
       " 'कैब वाला',\n",
       " 'कैब वाले',\n",
       " 'कैब वाले ने',\n",
       " 'कैसा',\n",
       " 'कैसे',\n",
       " 'कैसे करू',\n",
       " 'कैसे होगा',\n",
       " 'को',\n",
       " 'को तुम्हारा',\n",
       " 'को तुम्हारा सर्विस',\n",
       " 'कोई',\n",
       " 'कोटि',\n",
       " 'कोटि कोटि',\n",
       " 'कोटि कोटि धन्यवाद',\n",
       " 'कोटि धन्यवाद',\n",
       " 'कोटि धन्यवाद मेरा',\n",
       " 'कौन',\n",
       " 'खराब',\n",
       " 'खाना',\n",
       " 'खुश',\n",
       " 'खुश हुआ',\n",
       " 'गई',\n",
       " 'गए',\n",
       " 'गधा',\n",
       " 'गधे',\n",
       " 'गन्दा',\n",
       " 'गया',\n",
       " 'गया यार',\n",
       " 'गया हु',\n",
       " 'गयी',\n",
       " 'गवार',\n",
       " 'गुड',\n",
       " 'घटिया',\n",
       " 'घटिया सर्विस',\n",
       " 'चल',\n",
       " 'चलेगा',\n",
       " 'चाप',\n",
       " 'चाहिए',\n",
       " 'चीज',\n",
       " 'चुप',\n",
       " 'चुप चाप',\n",
       " 'चेक',\n",
       " 'चैनल',\n",
       " 'चैनल कैसे',\n",
       " 'चैनल्स',\n",
       " 'चैनल्स बंद',\n",
       " 'जल्दी',\n",
       " 'जल्दी रिचार्ज',\n",
       " 'जा',\n",
       " 'जाएगा',\n",
       " 'जाता',\n",
       " 'जीत',\n",
       " 'जीत लिया',\n",
       " 'जैसा',\n",
       " 'जो',\n",
       " 'ज्यादा',\n",
       " 'टाइम',\n",
       " 'टिकट',\n",
       " 'टिकट बुक',\n",
       " 'टिकट बुक गया',\n",
       " 'टिकट्स',\n",
       " 'ट्रेन',\n",
       " 'ट्रेन मिल',\n",
       " 'ट्रेन मिल गई',\n",
       " 'ट्रैन',\n",
       " 'ट्रैन का',\n",
       " 'ट्रैन का टिकट',\n",
       " 'ट्रैन टिकट',\n",
       " 'ट्रैन टिकट बुक',\n",
       " 'ठीक',\n",
       " 'डलवाने',\n",
       " 'डलवाने के',\n",
       " 'डलवाने के लिए',\n",
       " 'डिले',\n",
       " 'डिले गयी',\n",
       " 'डील',\n",
       " 'डील मिली',\n",
       " 'डेट',\n",
       " 'ड्राइवर',\n",
       " 'ड्राइवर था',\n",
       " 'ड्राइवर ने',\n",
       " 'तक',\n",
       " 'तक आएगा',\n",
       " 'तक चलेगा',\n",
       " 'तक रिचार्ज',\n",
       " 'तुमने',\n",
       " 'तुम्हरा',\n",
       " 'तुम्हरा कोटि',\n",
       " 'तुम्हरा कोटि कोटि',\n",
       " 'तुम्हारा',\n",
       " 'तुम्हारा सर्विस',\n",
       " 'तुम्हारी',\n",
       " 'तुरंत',\n",
       " 'तूने',\n",
       " 'तेरे',\n",
       " 'तो',\n",
       " 'तो बहुत',\n",
       " 'तोह',\n",
       " 'था',\n",
       " 'था यार',\n",
       " 'थी',\n",
       " 'थी यार',\n",
       " 'थी वह',\n",
       " 'थैंक्स',\n",
       " 'दम',\n",
       " 'दिए',\n",
       " 'दिखा',\n",
       " 'दिखाओ',\n",
       " 'दिमाग',\n",
       " 'दिमाग खराब',\n",
       " 'दिया',\n",
       " 'दिल',\n",
       " 'दिल जीत',\n",
       " 'दिल जीत लिया',\n",
       " 'दिल्ली',\n",
       " 'दी',\n",
       " 'दे',\n",
       " 'दो',\n",
       " 'धन्यवाद',\n",
       " 'धन्यवाद मेरा',\n",
       " 'धन्यवाद मेरे',\n",
       " 'न',\n",
       " 'नंबर',\n",
       " 'नही',\n",
       " 'नाराज',\n",
       " 'नाराज हु',\n",
       " 'निराश',\n",
       " 'ने',\n",
       " 'ने मुझसे',\n",
       " 'पता',\n",
       " 'परसों',\n",
       " 'परेशान',\n",
       " 'परेशान गया',\n",
       " 'परेशान गया हु',\n",
       " 'पहले',\n",
       " 'पागल',\n",
       " 'पास',\n",
       " 'पे',\n",
       " 'पैक',\n",
       " 'पैसा',\n",
       " 'पैसे',\n",
       " 'पैसे डलवाने',\n",
       " 'पैसे डलवाने के',\n",
       " 'पैसे में',\n",
       " 'पैसे वापस',\n",
       " 'प्लान',\n",
       " 'पड़ेगी',\n",
       " 'फिर',\n",
       " 'फिर से',\n",
       " 'फेल',\n",
       " 'फ्लाइट',\n",
       " 'फ्लाइट आखिरकार',\n",
       " 'फ्लाइट आखिरकार बुक',\n",
       " 'फ्लाइट का',\n",
       " 'फ्लाइट का टिकट',\n",
       " 'फ्लाइट टिकट्स',\n",
       " 'बंद',\n",
       " 'बकवास',\n",
       " 'बचा',\n",
       " 'बढ़िया',\n",
       " 'बता',\n",
       " 'बताई',\n",
       " 'बताई तुमने',\n",
       " 'बताएंगे',\n",
       " 'बताओ',\n",
       " 'बहनचोद',\n",
       " 'बहुत',\n",
       " 'बहुत अच्छा',\n",
       " 'बहुत अच्छा किया',\n",
       " 'बहुत परेशान',\n",
       " 'बहुत बढ़िया',\n",
       " 'बात',\n",
       " 'बारिश',\n",
       " 'बारिश हुई',\n",
       " 'बाहर',\n",
       " 'बिलकुल',\n",
       " 'बुक',\n",
       " 'बुक करना',\n",
       " 'बुक करो',\n",
       " 'बुक गया',\n",
       " 'बुक दो',\n",
       " 'बुक सकता',\n",
       " 'बुक सकते',\n",
       " 'बुक हुई',\n",
       " 'बुकिंग',\n",
       " 'बुकिंग कैसे',\n",
       " 'बुकिंग फेल',\n",
       " 'बे',\n",
       " 'बेकार',\n",
       " 'बेस्ट',\n",
       " 'बैंगलोर',\n",
       " 'बैंगलोर की',\n",
       " 'बैंगलोर की ट्रेन',\n",
       " 'बैंगलोर में',\n",
       " 'बैलेंस',\n",
       " 'बोला',\n",
       " 'बोलोगे',\n",
       " 'बढ़िया',\n",
       " 'बढ़िया यार',\n",
       " 'भाई',\n",
       " 'भाई तूने',\n",
       " 'भी',\n",
       " 'भोसड़ीके',\n",
       " 'मजा',\n",
       " 'मत',\n",
       " 'मदद',\n",
       " 'मन',\n",
       " 'मर',\n",
       " 'मस्त',\n",
       " 'मादरचोद',\n",
       " 'मिल',\n",
       " 'मिल गई',\n",
       " 'मिल गया',\n",
       " 'मिला',\n",
       " 'मिली',\n",
       " 'मुंबई',\n",
       " 'मुंबई की',\n",
       " 'मुझसे',\n",
       " 'मुझे',\n",
       " 'मुझे बहुत',\n",
       " 'मुझे बात',\n",
       " 'मुझे ये',\n",
       " 'मूड',\n",
       " 'मे',\n",
       " 'में',\n",
       " 'में और',\n",
       " 'में कितना',\n",
       " 'में कितना बैलेंस',\n",
       " 'में समझ',\n",
       " 'मेरा',\n",
       " 'मेरा अकाउंट',\n",
       " 'मेरा ट्रैन',\n",
       " 'मेरा ट्रैन टिकट',\n",
       " 'मेरा दिमाग',\n",
       " 'मेरा पैसा',\n",
       " 'मेरा फ्लाइट',\n",
       " 'मेरा फ्लाइट आखिरकार',\n",
       " 'मेरी',\n",
       " 'मेरी ट्रैन',\n",
       " 'मेरी फ्लाइट',\n",
       " 'मेरे',\n",
       " 'मेरे अकाउंट',\n",
       " 'मेरे अकाउंट का',\n",
       " 'मेरे अकाउंट में',\n",
       " 'मेरे को',\n",
       " 'मेरे को तुम्हारा',\n",
       " 'मेरे पैसे',\n",
       " 'मै',\n",
       " 'मै बहुत',\n",
       " 'मैंने',\n",
       " 'मौसम',\n",
       " 'मज़ा',\n",
       " 'मज़ा आ',\n",
       " 'मज़ा आ गया',\n",
       " 'मज़ा आया',\n",
       " 'मज़ेदार',\n",
       " 'यह',\n",
       " 'यह तो',\n",
       " 'यहाँ',\n",
       " 'यात्रा',\n",
       " 'यार',\n",
       " 'यार मेरी',\n",
       " 'यार ये',\n",
       " 'यीपी',\n",
       " 'यू',\n",
       " 'यू आर',\n",
       " 'यूज़लेस',\n",
       " 'ये',\n",
       " 'ये उम्मीद',\n",
       " 'ये उम्मीद थी',\n",
       " 'ये एप्प',\n",
       " 'ये कैब',\n",
       " 'ये कैब वाला',\n",
       " 'ये कैसे',\n",
       " 'ये कैसे होगा',\n",
       " 'ये चैनल',\n",
       " 'ये चैनल कैसे',\n",
       " 'ये चैनल्स',\n",
       " 'ये तो',\n",
       " 'ये बहुत',\n",
       " 'रजिस्टर',\n",
       " 'रजिस्टर करने',\n",
       " 'रजिस्टर करने के',\n",
       " 'रही',\n",
       " 'रिचार्ज',\n",
       " 'रिचार्ज करना',\n",
       " 'रिचार्ज करने',\n",
       " 'रिचार्ज करने के',\n",
       " 'रीस्टार्ट',\n",
       " 'रीस्टार्ट करने',\n",
       " 'रेट',\n",
       " 'लंड',\n",
       " 'लगता',\n",
       " 'लगा',\n",
       " 'लगाते',\n",
       " 'लाजवाब',\n",
       " 'लिए',\n",
       " 'लिए धन्यवाद',\n",
       " 'लिए धन्यवाद मेरे',\n",
       " 'लिए शुक्रिया',\n",
       " 'लिया',\n",
       " 'लूं',\n",
       " 'वह',\n",
       " 'वाओ',\n",
       " 'वापस',\n",
       " 'वाला',\n",
       " 'वाली',\n",
       " 'वाले',\n",
       " 'वाले ने',\n",
       " 'वाले ने मुझसे',\n",
       " 'वाह',\n",
       " 'वाहियात',\n",
       " 'वूहू',\n",
       " 'शिट',\n",
       " 'शिट यार',\n",
       " 'शुक्रिया',\n",
       " 'सकता',\n",
       " 'सकते',\n",
       " 'सबसे',\n",
       " 'सबसे कम',\n",
       " 'सबसे बेकार',\n",
       " 'समझ',\n",
       " 'समझ आ',\n",
       " 'समझ में',\n",
       " 'समय',\n",
       " 'सर्विस',\n",
       " 'सर्विस से',\n",
       " 'सस्ता',\n",
       " 'सस्ता फ्लाइट',\n",
       " 'सस्ती',\n",
       " 'सस्ती फ्लाइट',\n",
       " 'सही',\n",
       " 'सही होगा',\n",
       " 'सा',\n",
       " 'सारथि',\n",
       " 'सारथी',\n",
       " 'साले',\n",
       " 'सुन्दर',\n",
       " 'से',\n",
       " 'से काफी',\n",
       " 'से बात',\n",
       " 'से मुंबई',\n",
       " 'से मुंबई की',\n",
       " 'सो',\n",
       " 'स्टाफ',\n",
       " 'स्टेटस',\n",
       " 'हम',\n",
       " 'हमेशा',\n",
       " 'हा',\n",
       " 'हा सारथी',\n",
       " 'हाल',\n",
       " 'हु',\n",
       " 'हुआ',\n",
       " 'हुई',\n",
       " 'हुर्रे',\n",
       " 'हू',\n",
       " 'हूँ',\n",
       " 'हेल्प',\n",
       " 'होए',\n",
       " 'होगा',\n",
       " 'होटल',\n",
       " 'होटल था',\n",
       " 'होटल बुक',\n",
       " 'होटल में',\n",
       " 'होने',\n",
       " 'ख़तम',\n",
       " 'ख़राब',\n",
       " 'फ़क',\n",
       " '२']"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vect.get_feature_names()             ## Printing Vocabulary"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<461x489 sparse matrix of type '<class 'numpy.int64'>'\n",
       "\twith 2220 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train_vectorized = vect.transform(X_train)    # Getting Bag of words representation for all the documents\n",
    "X_train_vectorized"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(461, 489)"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train_vectorized.shape"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Logistic Regression Model (It works nice for sparse Matrix)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "LogisticRegression(C=0.05, class_weight=None, dual=False, fit_intercept=True,\n",
       "          intercept_scaling=1, max_iter=10000, multi_class='multinomial',\n",
       "          n_jobs=None, penalty='l2', random_state=None, solver='newton-cg',\n",
       "          tol=0.0001, verbose=0, warm_start=False)"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from sklearn.linear_model import LogisticRegression\n",
    "model1 = LogisticRegression(C=0.05, max_iter=10000, solver='newton-cg', multi_class='multinomial')\n",
    "model1.fit(X_train_vectorized, y_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train accuracy =  0.7570498915401301\n",
      "Test accuracy =  0.6538461538461539\n"
     ]
    }
   ],
   "source": [
    "from sklearn.metrics import accuracy_score\n",
    "X_test_transformed = vect.transform(X_test)\n",
    "y_pred_train = model1.predict(X_train_vectorized)\n",
    "y_pred_test = model1.predict(X_test_transformed)\n",
    "print('Train accuracy = ', accuracy_score(y_train, y_pred_train))\n",
    "print('Test accuracy = ', accuracy_score(y_test, y_pred_test))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Looking into 50 top and bottom learned features"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Largest Coeff\n",
      "['रिचार्ज' 'अबे' 'घटिया' 'समझ' 'दिमाग' 'तुम्हारा' 'बेकार' 'बकवास' 'बहनचोद'\n",
      " 'साले' 'गधे' 'पागल' 'बोला' 'घटिया सर्विस' 'बे' 'ऐसे कैसे' 'ख़राब'\n",
      " 'मेरे पैसे' 'मत' 'जा' 'ऐसे' 'लूं' 'बोलोगे' 'कम्प्लेन' 'यूज़लेस' 'फ़क' 'लंड'\n",
      " 'मादरचोद' 'का बुकिंग' 'फेल' 'का बुकिंग फेल' 'बुकिंग फेल' 'अपने पास'\n",
      " 'कहा मर' 'में समझ' 'भोसड़ीके' 'ये चैनल्स' 'मेरा पैसा' 'दिमाग खराब' 'गवार'\n",
      " 'मेरा दिमाग' 'एप्प तुम्हारा' 'एप्प' 'चाप' 'चुप' 'चुप चाप' 'जल्दी रिचार्ज'\n",
      " 'समझ में' 'जल्दी']\n",
      "Smallest Coeff\n",
      "['था' 'होटल' 'थी' 'की' 'फ्लाइट' 'बुक' 'आज' 'अकाउंट' 'यार' 'वाह' 'काफी'\n",
      " 'लिए' 'अच्छा' 'टिकट' 'मेरे अकाउंट' 'दो' 'में' 'ट्रैन' 'धन्यवाद' 'मै'\n",
      " 'बढ़िया' 'कैब' 'के लिए' 'गया' 'भाई' 'खुश' 'तूने' 'सही' 'सारथी' 'मेरी'\n",
      " 'हूँ' 'उम्मीद' 'उम्मीद थी' 'मौसम' 'मज़ा' 'मिल' 'अभी' 'ट्रेन' 'वाओ' 'करना'\n",
      " 'गुड' 'टिकट बुक' 'हुई' 'और' 'यू' 'यीपी' 'इतनी' 'लाजवाब' 'कब' 'अरे']\n"
     ]
    }
   ],
   "source": [
    "feature_names = np.array(vect.get_feature_names())\n",
    "sorted_coef_index = model1.coef_[0].argsort()\n",
    "\n",
    "print('Largest Coeff')\n",
    "print(feature_names[sorted_coef_index[:-50:-1]])\n",
    "\n",
    "print('Smallest Coeff')\n",
    "print(feature_names[sorted_coef_index[:50]])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<bound method VectorizerMixin.get_stop_words of CountVectorizer(analyzer='word', binary=False, decode_error='strict',\n",
       "        dtype=<class 'numpy.int64'>, encoding='ISCII', input='content',\n",
       "        lowercase=True, max_df=1.0, max_features=None, min_df=2,\n",
       "        ngram_range=(1, 3), preprocessor=None,\n",
       "        stop_words=['', ' ', ' ', '!', '! ', '!  ', '! !', '! ! ', '! ! !', '?', 'ही', 'तुमसे', 'बार', 'आप', 'तुम्हारे', 'तु', 'रहा', 'कुछ', 'कभी', 'एक', 'तुम', 'होता', 'नहीं', 'कितनी', 'पर', 'तू', 'हो', 'है', 'क्यों', 'एप', 'कर', 'काम', 'रहे', 'बातें', 'लग', 'आता', 'ये चैनल्स', 'करनी', 'अपना', 'पैक्स', 'चीज़', 'क्या', 'अरे ये', 'करा', 'मैं'],\n",
       "        strip_accents=None, token_pattern='(?u)\\\\b\\\\w\\\\w+\\\\b',\n",
       "        tokenizer=<function my_tokenizer at 0x000002F9C3A51950>,\n",
       "        vocabulary=None)>"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vect.get_stop_words"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Training on the whole Data Set and 10 fold Cross Validation Score"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\Saurav\\Anaconda3\\lib\\site-packages\\sklearn\\feature_extraction\\text.py:301: UserWarning: Your stop_words may be inconsistent with your preprocessing. Tokenizing the stop words generated tokens ['अरे', 'चैनल्स', 'ये'] not in stop_words.\n",
      "  'stop_words.' % sorted(inconsistent))\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<513x546 sparse matrix of type '<class 'numpy.int64'>'\n",
       "\twith 2528 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from sklearn.model_selection import cross_val_score\n",
    "\n",
    "from sklearn.feature_extraction.text import CountVectorizer\n",
    "vect = CountVectorizer(min_df=2, ngram_range=(1, 3), encoding='ISCII',tokenizer=my_tokenizer,stop_words=stop_words).fit(X)\n",
    "\n",
    "X_vectorized = vect.transform(X)    # Getting Bag of words representation for all the documents\n",
    "X_vectorized"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cross validation score 1 = 0.660377358490566\n",
      "cross validation score 2 = 0.5576923076923077\n",
      "cross validation score 3 = 0.6538461538461539\n",
      "cross validation score 4 = 0.7307692307692307\n",
      "cross validation score 5 = 0.6274509803921569\n",
      "cross validation score 6 = 0.6274509803921569\n",
      "cross validation score 7 = 0.37254901960784315\n",
      "cross validation score 8 = 0.5490196078431373\n",
      "cross validation score 9 = 0.64\n",
      "cross validation score 10 = 0.6\n"
     ]
    }
   ],
   "source": [
    "from sklearn.linear_model import LogisticRegression\n",
    "model2 = LogisticRegression(C=0.085, max_iter=10000, solver='newton-cg', multi_class='multinomial')\n",
    "\n",
    "c=cross_val_score(model2, X_vectorized, y, cv=10)\n",
    "count = 1\n",
    "for item in c:\n",
    "    print('cross validation score '+str(count)+' =', item)\n",
    "    count=count+1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Final cross validation score =  0.6019155639033552\n"
     ]
    }
   ],
   "source": [
    "print('Final cross validation score = ', np.mean(c))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}