Teoria da Probabilidade Classificador Naive Bayes.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Classificador Naive Bayes\n",
    "\n",
    "___\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "Carregando algumas bibliotecas:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "\n",
    "from scipy import stats\n",
    "import math\n",
    "\n",
    "# Para ter melhor print\n",
    "from IPython.display import display"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "## Índice\n",
    "\n",
    "- [Questão 1](#q1)\n",
    "    - [Item a](#q1_a)\n",
    "    - [Item b](#q1_b)\n",
    "    - [Item c](#q1_c)\n",
    "- [Questão 2](#q2)\n",
    "    - [Item a](#q2_a)\n",
    "    - [Item b](#q2_b)\n",
    "    - [Item c](#q2_c)\n",
    "___"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div id=\"q1\"></div>\n",
    "\n",
    "___\n",
    "\n",
    "# Questão 1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O serviço de entregas de comida iQueMedo entrega apenas 4 itens diferentes durante a semana: coxinha (C), carne misteriosa (M), peixe caramelizado - pensa uma maçã do amor, mas de sardinha - (P) e ostra *vintage* (O). Aos sábados servem pizza ou sushi.\n",
    "\n",
    "O *DataFrame* abaixo mostra o histórico de compras de alguns clientes durante a semana, e qual o pedido que fizeram no sábado. A coluna \"Semana\" contém uma *string* onde cada letra representa um pedido (dentre as opções acima: 'C', 'M', 'P' e 'O'), e a coluna \"Final\" mostra o que foi pedido no final de semana."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Encontrei o arquivo comidas.csv, tudo certo para prosseguir com a prova!\n"
     ]
    }
   ],
   "source": [
    "import os\n",
    "\n",
    "filename = 'comidas.csv'\n",
    "if filename in os.listdir():\n",
    "    print(f'Encontrei o arquivo {filename}, tudo certo para prosseguir com a prova!')\n",
    "else:\n",
    "    print(f'Não encontrei o arquivo {filename} aqui no diretório {os.getcwd()}, '\n",
    "          'será que você não baixou o arquivo?')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "comidas = pd.read_csv(filename, sep=\";\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Sábado</th>\n",
       "      <th>Semana</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>pizza</td>\n",
       "      <td>PMPCPCC</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>sushi</td>\n",
       "      <td>CPO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>sushi</td>\n",
       "      <td>PPMPOPOOPP</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>sushi</td>\n",
       "      <td>POPPO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>pizza</td>\n",
       "      <td>CPMM</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "  Sábado      Semana\n",
       "0  pizza     PMPCPCC\n",
       "1  sushi         CPO\n",
       "2  sushi  PPMPOPOOPP\n",
       "3  sushi       POPPO\n",
       "4  pizza        CPMM"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "comidas.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div id=\"q1_a\"></div>\n",
    "\n",
    "---\n",
    "\n",
    "**a)** Queremos um sistema que permita escolher, baseado no histórico de pedidos de um cliente, se ele vai preferir sushi ou pizza no sábado.\n",
    "\n",
    "Construa um classificador Naive-Bayes para esse problema. Ou seja, determine:\n",
    "\n",
    "- as probabilidades condicionais de comida por preferência de final de semana, e \n",
    "- as probabilidades *a priori* das preferências de final de semana.\n",
    "\n",
    "Observação: você deve adotar as seguintes medidas simplificadoras:\n",
    "\n",
    "- Não precisa separar em treinamento e teste, estamos interessados apenas no classificador treinado com o conjunto completo de dados.\n",
    "- Não precisa implementar *smoothing*.\n",
    "- Não tem \"palavra desconhecida\": os pedidos são apenas as letras C, M, P e O.\n",
    "\n",
    "Dica: para separar uma *string* em lista de letras é simples: basta usar a função `list()`. Por exemplo:\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['P', 'P', 'M', 'P', 'O', 'P', 'O', 'O', 'P', 'P']\n"
     ]
    }
   ],
   "source": [
    "texto = 'PPMPOPOOPP'\n",
    "lista = list(texto)\n",
    "print(lista)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Coloque seu código aqui..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "--- \n",
    "\n",
    "<div id=\"q1_b\"></div>\n",
    "\n",
    "\n",
    "**b)** Determine a recomendação do sistema para um cliente com o seguinte histórico de pedidos: \"PPCPCCCOPP\"\n",
    "\n",
    "Observação: não precisa implementar o \"truque do log\"."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Coloque seu código aqui..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div id=\"q1_c\"></div>\n",
    "\n",
    "---\n",
    "\n",
    "**c)** Saiu uma notícia no jornal que diz que comer peixe caramelizado aumenta muito a incidência de unha encravada, daquelas bem horríveis. (Caso você goste de unha encravada: suponha que a população em geral não gosta.)\n",
    "\n",
    "Comente o que você espera que aconteça se você continuar usando seu classificador Naive-Bayes para fazer as recomendações de pizza ou sushi.\n",
    "\n",
    "(Nesta questão não tem código ou cálculos para fazer - apenas senso crítico.)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Coloque sua resposta aqui..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "<div id=\"q2\"></div>\n",
    "\n",
    "# Questão 2 - análise de texto"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![Fonte: https://commons.wikimedia.org/wiki/File:CocaColaBottle_background_free.png](img/160px-CocaColaBottle_background_Free.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Esta questão é baseada no Projeto 2"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Você foi contratado pela empresa *The Coca Cola Company* para fazer monitoramento de redes sociais. Sua empresa fez um *bot* que continuamente busca por novas postagens no Twitter e as classifica."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A empresa está interessada em saber quais mensagens estão felizes com a marca versus o total que estão neutros ou insatisfeitos."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Sua base de treinamento está no arquivo `coca_cola.xlsx`.  \n",
    "\n",
    "As mensagens felizes têm a coluna **Categoria** com valor `FELIZ` e as mensagens que não são felizes têm como **Categoria** o valor `NAO_FELIZ`."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Note que a coluna Texto já passou pelas seguintes etapas:\n",
    "* Conversão para letras minúsculas\n",
    "* Limpeza de pontuação"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "tweets = pd.read_excel(\"Q3_coca_cola.xlsx\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Texto</th>\n",
       "      <th>Categoria</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>acho que comer hamburguer de soja e se entupir...</td>\n",
       "      <td>NAO_FELIZ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>gosto mais de vaca preta  coca cola com sorvet...</td>\n",
       "      <td>FELIZ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>me prometo uma coca cola gelada para o  fim do...</td>\n",
       "      <td>FELIZ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>essa coca cola gelada fez meu dia</td>\n",
       "      <td>FELIZ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>prometo parar com doce refrigerante coca cola ...</td>\n",
       "      <td>NAO_FELIZ</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               Texto  Categoria\n",
       "0  acho que comer hamburguer de soja e se entupir...  NAO_FELIZ\n",
       "1  gosto mais de vaca preta  coca cola com sorvet...      FELIZ\n",
       "2  me prometo uma coca cola gelada para o  fim do...      FELIZ\n",
       "3                  essa coca cola gelada fez meu dia      FELIZ\n",
       "4  prometo parar com doce refrigerante coca cola ...  NAO_FELIZ"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tweets.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Pede-se:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div id=\"q2_a\"></div>\n",
    "\n",
    "---\n",
    "\n",
    "**a)** Junte todas as mensagens da cada categoria em uma *string* única\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div id=\"q2_b\"></div>\n",
    "\n",
    "---\n",
    "\n",
    "**b)** Apresente as tabelas que são equivalentes a $P(palavra|FELIZ)$ e $P(palavra|NAO\\_FELIZ)$, e que contém todas as palavras presentes nas respectivas categorias.\n",
    "\n",
    "Você deve guardá-las em variáveis e exibi-las de forma semelhante ao que foi feito com o comando `tweets.head()` acima."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**R.:**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$P(palavra|FELIZ)$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "# insira aqui os comandos para obter"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$P(palavra|NAO\\_FELIZ)$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "# insira aqui os comandos para palavra não feliz. Crie mais células se precisar"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div id=\"q2_c\"></div>\n",
    "\n",
    "---\n",
    "\n",
    "**c)** Considerando que: \n",
    "* Não deve ser feito nenhum tratamento para o caso de palavras inéditas\n",
    "* Não devem ser usadas bibliotecas de *machine learning* ou estatística\n",
    "* Atenha-se ao `pandas` e `numpy`\n",
    "\n",
    "\n",
    "\n",
    "Por favor faça:\n",
    "\n",
    "Classifique usando um classificador *Naive Bayes* se a frase `\"prometo que vai ser a última coca cola do dia\"` é uma frase que pertence à categoria `FELIZ` ou `NAO_FELIZ`\n",
    "\n",
    "Deixe claro (pode ser em comentários) o significado de seus cálculos e a qual conclusão chegou. Principalmente deixei claro *em qual número* baseou a conclusão \n",
    "\n",
    "Atente que vai ser necessário calcular os valores de $P(FELIZ)$ e $P(NAO\\_FELIZ)$\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "frase = \"prometo que vai ser a última coca cola do dia\" # frase a classificar"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}