PréAula23_Simulação_VarianciaAmostral_Distribuição_t.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "# PréAula 23 - Simulação <p> <center> Estimando a Variância Populacional $\\sigma^2$ & Distribuição t-Student\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "\n",
    "<div id=\"indice\"></div>\n",
    "\n",
    "## Índice\n",
    "\n",
    "- [Testes de Hipótese para Média Populacional com Variância Populacional Desconhecida](#th)\n",
    "    - [Simulação 1: Variância populacional *vs* Variâncias da amostra](#sim1)\n",
    "        - [Exercício 1](#ex1)\n",
    "    - [Simulação 2: t-Student *vs* Normal Padrão](#sim2)\n",
    "        - [Exercício 2](#ex2)\n",
    "- [Importantíssimo](#importantissimo)\n",
    "___"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from __future__ import print_function\n",
    "from ipywidgets import interact, interactive, fixed, interact_manual\n",
    "import ipywidgets as widgets\n",
    "\n",
    "import matplotlib.pyplot as plt\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "from scipy import stats"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div id=\"th\"></div>\n",
    "\n",
    "# Testes de Hipótese para Média Populacional com Variância Populacional Desconhecida\n",
    "\n",
    "Na aula anterior vimos como realizar testes de hipótese para média populacional assumindo que a variância é conhecida. Entretanto, na maiora dos casos não temos acesso a essa informação. Nesta atividade vamos entender:\n",
    "\n",
    "1. Como podemos estimar a variância (e consequentemente o desvio padrão) populacional a partir de uma amostra;\n",
    "1. Como a estimativa da variância afeta o teste de hipótese realizado.\n",
    "\n",
    "Para isso vamos realizar duas simulações."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "<div id=\"sim1\"></div>\n",
    "\n",
    "## Simulação 1: Variância populacional *vs* Variâncias da amostra\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos realizar uma simulação para entender o comportamento da fórmula do desvio padrão populacional quando aplicada a uma amostra. Como não temos a população inteira, o resultado da aplicação da fórmula será uma estimativa do desvio padrão populacional. Vamos chamar esse estimador de $\\hat{\\sigma}$. Vamos comparar esse estimador com o estimador $s$, cuja diferença é que o somatório é dividido por $n-1$ ao invés de $n$ (onde $n$ é o tamanho da amostra):\n",
    "\n",
    "$$\\hat{\\sigma}=\\sqrt{\\sum_{i=1}^{n}\\frac{(x_i-\\bar{x})^2}{n}}$$.\n",
    "\n",
    "$$s=\\sqrt{\\sum_{i=1}^{n}\\frac{(x_i-\\bar{x})^2}{n-1}}$$.\n",
    "\n",
    "Na simulação vamos assumir que a variável $X$ segue uma distribuição normal com média 0 e variância 1 ($X\\sim N(0,1)$). Vamos gerar amostras de tamanho 10 a partir dessa distribuição e então vamos calcular as estimativas para o desvio padrão utilizando os dois estimadores $\\hat{\\sigma}$ e $s$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div id=\"ex1\"></div>\n",
    "\n",
    "### EXERCÍCIO 1\n",
    "\n",
    "1. Repita 10000 vezes:\n",
    "    1. Gere 10 números aleatórios com distribuição $X\\sim N(0,1)$\n",
    "    1. Calcule $\\hat{\\sigma}$ (dica: a função `std()` do `numpy` já faz essa operação) e adicione o resultado em uma lista L1.\n",
    "    1. Calcule $s$ (dica: a função `std(ddof=1)` do `numpy` já faz essa operação) e adicione o resultado em uma lista L2.\n",
    "1. Calcule as médias de L1 e L2. Compare-as. Lembre-se que L1 e L2 pretendem acertar o desvio padrão de $X$, nesse caso, 1. Um dos estimadores é melhor que o outro? Execute a mesma célula algumas vezes. Esse resultado parece consistente?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "dp = []\n",
    "dpa = []\n",
    "for i in range (10000):\n",
    "    dados = stats.norm.rvs(size=10, loc=0, scale=1)\n",
    "    dp.append(np.std(dados))\n",
    "    dpa.append(np.std(dados, ddof=1))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.9244021573357922"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.mean(dp)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.9744054303848104"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.mean(dpa)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "\n",
    "<div id=\"sim2\"></div>\n",
    "\n",
    "## Simulação 2: t-Student *vs* Normal Padrão\n",
    "\n",
    "Ao substituir $\\sigma$ (desvio padrão populacional) por $S$ (desvio padrão amostral) na padronização $Z = \\frac{\\overline{X}-\\mu_0}{\\sigma/\\sqrt{n}}$ há mais erro envolvido no teste (a imprecisão da estimativa de $S$). Assim, a nova padronização tem uma nova distribuição com caudas mais pesadas e uma densidade menor na média, ou seja,\n",
    "\n",
    "$$t = \\frac{\\overline{X}-\\mu_0}{S/\\sqrt{n}}\\sim t_{(n-1)}$$\n",
    "\n",
    "Dizemos que $t$ segue uma distribuição t-Student com $n-1$ graus de liberdade (igual ao denominador do estimador $s$)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div id=\"ex2\"></div>\n",
    "\n",
    "### EXERCÍCIO 2\n",
    "\n",
    "Explore a simulação abaixo. Nela é apresentada a função de densidade de probabilidade (f.d.p.) da distribuição t-Student com `graus_lib` graus de liberdade. Avalie o formato da distribuição t-Student conforme aumenta o grau de liberdade `graus_lib`.\n",
    "\n",
    "Após explorar a simulação, responda os itens (a) a (d)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "db04fd927ce3450cb197582dafe007a3",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "interactive(children=(IntSlider(value=1, description='graus_lib', min=1), Output()), _dom_classes=('widget-int…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "#Se não visualizar o pywidgets:\n",
    "#conda install -c conda-forge ipywidgets\n",
    "\n",
    "#Função que utiliza o pywidget\n",
    "@interact(graus_lib = (1, 100, 1))\n",
    "def f(graus_lib = 1):\n",
    "    \n",
    "    #Prints\n",
    "    fig = plt.figure(figsize=(15,6))\n",
    "    \n",
    "    ax1 = fig.add_subplot(121)\n",
    "    ax2 = fig.add_subplot(122)\n",
    "    \n",
    "    #Fit e print da pdf\n",
    "    x = np.arange(-5, 5, 0.01)\n",
    "    ax1.plot(x, stats.norm.pdf(x, loc=0, scale=1), color='r')\n",
    "    ax1.plot(x, stats.t.pdf(x, df=graus_lib, loc=0, scale=1), color='b')\n",
    "    ax1.legend(['Normal', 't-Student'])\n",
    "    \n",
    "    #QQ-Plot\n",
    "    stats.probplot(stats.t.ppf(np.arange(0.01, 1, 0.01), df=graus_lib), dist=stats.norm, sparams=(0, 1), plot=ax2)\n",
    "    \n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Responda após observar comportamento da Simulação 2:\n",
    "\n",
    "a) Em qual situação a t-Student se aproxima da Normal Padrão?\n",
    "\n",
    "b) O que significa aumentar os graus de liberdade? **Dica:** Lembre-se que o grau de liberdade é calculado fazendo tamanho da amostra menos 1, ou seja, $(n-1)$.\n",
    "\n",
    "c) Quando formos realizar um teste de hipótese usando t-Student ao invés de uma normal, o que você espera que vai acontecer com os valores críticos da região crítica ou valor-p do teste? Ou seja, para um mesmo nível de significância ($\\alpha$), o $\\overline{x}_{crítico}$ estará mais próximo da média em qual das duas distribuições?\n",
    "\n",
    "d) Se $n\\rightarrow \\infty$ o que você imagina que vai acontecer com a distribuição t-Student?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# ESCREVA SUAS RESPOSTAS AQUI\n",
    "# Quando n-1 -> oo\n",
    "# Aumentar n\n",
    "# X crítico irá mais para as caudas da distribuição, devido ao desvio padrão menor\n",
    "# Tender à normal"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "\n",
    "<div id=\"importantissimo\"></div>\n",
    "\n",
    "# Importantíssimo:\n",
    "\n",
    "1. A padronização $t=\\frac{\\bar{X}-\\mu}{S/\\sqrt{n}}$ apenas tem distribuição *t-student* com $n-1$ graus de liberdade se a variável de interesse X segue uma distribuição Normal exata.\n",
    "    \n",
    "    \n",
    "2. Para estimar a variância populacional $\\sigma^2$, utilizamos a variância amostral dada por $s^2=\\frac{1}{n-1}\\sum^n_{i=1}(x_i-\\bar{x})^2$. Note que essa variância divide por $n-1$ e não por $n$. É o que foi discutido na Simulação 1 deste ipynb.\n",
    "\n",
    "   Para melhor compreensão desse novo estimador, **leia Magalhãoes e Lima, 7a. edição - Capítulo 7 - Exemplo 7.10 descrito na pág. 231**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "hide_input": false,
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}