Progresso em métodos baseados em árvores

Author: Ceacero

Diff for: SmallAdvertising.rds

@@ -1,3 +1,14 @@
+```{=html}
+<style>
+.red-text {
+  color: red;
+}
+.blue-text {
+  color: blue;
+}
+</style>
+```
+
 # Métodos de Treino Baseados em Árvore
 
 Neste capítulo será estudado de forma mais aprofundada modelos de treinamento baseados em árvores, os quais são simples para interpretação, como: árvores de decisão e regressão, florestas aleatórias, adaboost, entre outros. O objetivo é entender o funcionamento dos mesmos, assim como os critérios que utilizam para classificarem as amostras.
@@ -227,23 +238,135 @@ O ganho ao aumentar a árvore pode ser resumido como um conjunto de atributos pr
 
 Agora iremos discutir o processo de construção de uma árvore de regressão. Em uma árvore de regressão, diferentemente de uma árvore para classificação, cada folha possui um valor numérico (ao invés de categorias como "Sim" ou "Não", como no exemplo anterior da base SmallHeart). Vejamos a seguir um exemplo de árvore de decisão para um problema de regressão.
 
-![](images/Ex_Arvore_Reg.png)
-
+![](images/Ex_Arvore_Reg-01.png){fig-align="center"}
 
 Esse valor numérico presente nas folhas não é nada menos que a média do valor da variável de interesse a ser prevista para os elementos que satisfazem a condição do nó. Por exemplo, na árvore de regressão acima a primeira folha dá como resultado uma eficácia de 5%: essa foi a média observada da eficácia do medicamento em pacientes com mais de 50 anos de idade. Para a segunda folha, a com eficácia de 20%: esse valor é a média da eficácia do medicamento em um indivíduo com menos de 50 anos de idade e que toma uma dosagem maior do que 29mg foi de 20%. O processo é o mesmo para as outras folhas.
 
 A grande pergunta é qual valor colocar no nó como condição. Para exemplificar como funciona o processo, vamos começar com um exemplo simples:
 
-**Ex.:** Vamos carregar o banco de dados “SmallAdvertising”. Este banco possui informações sobre as vendas de um produto em 10 mercados diferentes (variável sales), além de orçamentos de publicidade para esse produto em cada um dos mercados para três mídias diferentes: TV, rádio e jornal (variáveis TV, radio e newspaper, respectivamente).
-
-
+**Ex.:** Vamos carregar o banco de dados "SmallAdvertising". Este banco possui informações sobre as vendas de um produto em 10 mercados diferentes (variável sales), além de orçamentos de publicidade para esse produto em cada um dos mercados para três mídias diferentes: TV, rádio e jornal (variáveis TV, radio e newspaper, respectivamente).
 
 ```{r}
 vendas = readRDS("SmallAdvertising.rds")
 
 vendas
 ```
 
+Vamos considerar o caso em que queremos construir uma árvore de regressão para prever as vendas baseados apenas na variável TV.
+
+```{r}
+plot(vendas$TV, vendas$sales, pch = 19,
+     xlab = "Orçamento de Publicidade do Produto para a TV",
+     ylab = "Vendas do Produto",
+     main = "Vendas do produto x Publicidade para a TV")
+```
+
+Primeiramente é preciso definir qual valor irá entrar como condição no primeiro nó. O algoritmo realiza isso testando todos os possíveis valores de separação para os dados, e pega o que minimiza a soma dos quadrados dos resíduos. Inicialmente, como o primeiro separador, ele considera a média dos 2 menores valores da Publicidade.
+
+```{r}
+ordenados = sort(vendas$TV)
+mean(ordenados[1:2])
+```
+
+Então 44,95 é o primeiro valor a ser testado para a separação dos dados.
+
+```{r}
+plot(vendas$TV, vendas$sales, pch = 19,
+     xlab = "Orçamento de Publicidade do Produto para a TV",
+     ylab = "Vendas do Produto",
+     main = "Vendas do produto x Publicidade para a TV"); abline(v = 44.95,
+                                                                 col = "red")
+```
+
+Assim, o primeiro nó será da seguinte forma:
+
+![](images/ArvReg1-01.png){fig-align="center"}
+
+Para a resposta "sim" prevemos que as vendas do produto será de 9,2, o qual é o resultado da média dos valores das vendas para todos os produtos cuja publicidade foi menor do que 44,95 (ou seja, é apenas o valor do primeiro elemento). Para a resposta "Não", então a folha seguinte contém o resultado da média dos valores das vendas para todos os produtos cuja publicidade foi maior do que 44,95, o qual é de 15,05.
+
+Note que fazendo isso teremos resíduos (diferença do valor original e do valor predito pela árvore) muito grandes. O algoritmo eleva esses resíduos ao quadrado e os soma. Esse valor é a soma dos quadrados dos resíduos considerando o nó "Publicidade para a TV \< 44,95?".
+
+Em seguida ele irá para o próximo separador: a média do segundo e do terceiro menores pontos.
+
+```{r}
+mean(ordenados[2:3])
+```
+
+Então 66,95 é o segundo valor a ser testado para a separação dos dados.
+
+```{r}
+plot(vendas$TV, vendas$sales, pch = 19,
+     xlab = "Orçamento de Publicidade do Produto para a TV",
+     ylab = "Vendas do Produto",
+     main = "Vendas do produto x Publicidade para a TV"); abline(v = 66.95,
+                                                                 col = "red")
+```
+
+Então o nó considerado será da forma "Publicidade para a TV \< 66,95?".
+
+![](images/ArvReg2.png){fig-align="center"}
+
+
+O valor de 8,9 corresponde ao resultado da média dos valores das vendas para todos os produtos cuja publicidade foi menor do que 66,95. Então a árvore prevê esse valor de vendas para o produto que obteve uma publicidade para a TV < 66,95. O valor de 15,77 é o resultado da média dos valores das vendas para todos os produtos cuja publicidade foi maior do que 66,95. Novamente serão obtidos os resíduos dessa predição e eles serão somados.
+
+Então o algoritmo irá para o próximo separador e irá calcular a soma dos quadrados dos resíduos da predição. Isso ocorre sucessivamente até acabarem todos os separadores possíveis para a árvore. O separador vencedor (aquele que irá para o nó raiz) é aquele com a menor soma dos quadrados dos resíduos.
+
+A construção dos próximos nós se dá pela mesma forma que a do nó raiz. O processo de construção da árvore termina quando:
+
+
+- Atingimos um número mínimo de observações em uma folha (usualmente é utilizado 20 observações). Não continuamos a divisão após esse número mínimo pois corremos o risco de criar uma árvore sobreajustada à amostra dada;
+
+- Quando o ganho ao aumentar a árvore é muito pequeno.
+
+
+Agora vamos para o caso em que tenhamos mais de uma variável preditiva nos dados. Vamos considerar agora que queremos prever as vendas do produto baseado em seus orçamentos de publicidade para TV, rádio e jornal.
+
+Assim como anteriormente, começamos usando o orçamento para a TV para prever as vendas, e pegamos o separador com a menor soma dos quadrados dos resíduos. O melhor separador se torna um candidato para a raiz da árvore. Em seguida, focamos em utilizar o orçamento para o rádio para prever as vendas. Assim como com o orçamento para a TV, tentamos diferentes separadores para a predição e calculamos a soma dos quadrados dos resíduos em cada passo. O melhor separador se torna outro candidato para a raiz. Por último, utilizamos o orçamento para o jornal para prever as vendas, e após tentarmos diferentes separadores pegamos aquele com a menor soma dos quadrados dos resíduos também. Então comparamos a soma dos quadrados dos resíduos de todos os candidatos para a raiz, e o escolhido, novamente, é aquele com a menor soma.
+
+Para os próximos nós o processo de construção também é equivalente ao anterior, exceto que agora nós comparamos a menor soma dos quadrados dos resíduos de cada preditor. E, novamente, quando uma folha atinge um número mínimo de observações, a árvore é finalizada.
+
+
+
+### Construindo árvores com o [rpart]{.red-text} e [rpart.plot]{.red-text}
+
+
+Vamos construir árvores com o comando rpart(). Como argumento da função nós passamos:
+
+
+- A variável de interesse a ser prevista em função das variáveis preditoras;
+- A base de dados onde as variáveis se encontram.
+
+
+Vamos utilizar a base de dados referentes ao primeiro exemplo dado de construção de uma árvore, onde queríamos prever se um indivíduo possui doença cardíaca baseado em características dele.
+
+
+```{r}
+library(rpart)
+heart_arvore = rpart(HeartDisease~., data = base)
+```
+
+
+Agora vamos plotar a árvore com o comando rpart.plot().
+
+
+
+```{r}
+library(rpart.plot)
+rpart.plot(heart_arvore)
+```
+
+
+Observe que a árvore ficou “vazia”. O que ela quer dizer com isso é: assuma “Não” sempre para o indivíduo possuir doença cardíaca, e acerte com precisão de 78%. Isso ocorre devido aos valores iniciais do comando rpart.control(), que ajusta os parâmetros da função rpart(). Os principais parâmetros do rpart.control são:
+
+
+- minsplit: o número mínimo de observações que devem existir em um nó para que uma divisão seja tentada. Padrão: minsplit = 20;
+
+- minbucket: o número mínimo de observações em qualquer folha. Padrão: minbucket = minsplit/3;
+
+- cp (complexity parameter): o mínimo de ganho de ajuste que devemos ter em cada divisão. O principal papel desse parâmetro é economizar tempo de computação removendo as divisões que não valem a pena. Padrão: cp = 0,01;
+
+- maxdepth: profundidade máxima da árvore (a profundidade da raiz é zero). Não pode ser maior que 30.
+
 
 
 

Diff for: advertising.csv

@@ -0,0 +1,12 @@
+TV,radio,newspaper,sales
+200.0,2.6,21.2,10.6
+66.1,5.8,24.2,8.6
+215.0,24.0,4.0,17.4
+23.8,35.1,65.9,9.2
+97.5,7.6,7.2,9.7
+204.0,32.9,46.0,19.0
+195.0,47.7,52.9,22.4
+67.8,36.6,114.0,12.5
+281.0,39.6,55.8,24.4
+69.2,20.5,18.3,11.3
+147.0,23.9,19.1,14.6