fifa-participante.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# WORKSHOP - ESTATÍSTICA BÁSICA COM R - GRUPO TURING"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Tabela de Conteúdos**\n",
    "- [Overview da programação em R para o Workshop](#-Parte-0---Overview-da-programação-em-R-para-o-Workshop)\n",
    "    - [Atribuição de valores a variáveis](#-Atribuição-de-valores-a-variáveis)\n",
    "    - [Tabelas de Dados - Dataframes](#Tabelas-de-Dados---Dataframes)\n",
    "    <br><br>\n",
    "- [📂 Importando dados em R](#-Parte-1---Importando-dados-em-R-)\n",
    "    - [Importando um csv](#Importando-um-arquivo-CSV)\n",
    "    - [Boas práticas em criação de bases de dados](#Boas-Práticas)\n",
    "    - [Importando os dados do Workshop](#Importando-o-arquivo-do-Workshop)\n",
    "    <br><br>\n",
    "- [📑 Manipulando dados em R](#-Parte-2---Manipulação-de-dados-em-R-)\n",
    "    - [Dados Faltantes](#Dados-faltantes)\n",
    "    - [Deep dive in dplyr](#Deep-dive-in-dplyr)\n",
    "        - [filter() - filtrando a base de dados](#filter---Filtrando-nossa-base-de-dados!)\n",
    "        - [Combinando os verbos](#Usando-vários-verbos-ao-mesmo-tempo)\n",
    "        <br><br>\n",
    "- [🔎 Estatística básica em R](#--Parte-3----Estatística-Básica-em-R-)\n",
    "    - [Tipos de dados](#Tipos-de-Dados)\n",
    "        - [Dados Qualitativos](#Dados-Qualitativos)\n",
    "        - [Dados Quantitativos](#Dados-Quantitativos)\n",
    "    - [Estatística Descritiva](#Estatística-Descritiva)\n",
    "        - [Medidas de tendência central](#Medidas-de-Tendência-Central)\n",
    "            - [Média](#Média)\n",
    "            - [Mediana](#Mediana)\n",
    "            - [Percentis](#Percentil)\n",
    "            - [Summary](#Summary)\n",
    "        - [Medidas de variação uni e multivariadas](#Medidas-de-Variação)\n",
    "            - [Amplitude](#Amplitude)\n",
    "            - [Amplitude interquartil](#Amplitude-Interquartil)\n",
    "            - [Variância](#Variância)\n",
    "            - [Desvio Padrão](#Desvio-Padrão)\n",
    "            - [Covariância](#Covariância)\n",
    "            - [Coeficiente de Correlação](#Coeficiente-de-Correlação)\n",
    "            <br><br>\n",
    "- [📉 Visualizando dados em R](#-Parte-4---Visualização-de-dados-em-R-com-ggplot2-)\n",
    "    - [Introdução](#Introdu%C3%A7%C3%A3o)\n",
    "        - [Vantagens](#Vantagens)\n",
    "        - [O que não fazer com ggplot2](#O-que-n%C3%A3o-fazer-com-ggplot2?)\n",
    "    - [Entendendo a lógica do ggplot2](#Entendendo-a-l%C3%B3gica-do-ggplot2)\n",
    "        - [Códigos Base](#C%C3%B3digos-base)\n",
    "    - [Exemplos](#Exemplos)\n",
    "<br><br>\n",
    "- [❓ Inferência Estatística em R](#-Parte-5---Inferência-Estatística-em-R-)\n",
    "    - [Testes de hipótese](#Testes-de-Hipótese)\n",
    "        - [Amostra vs População](#Amostra-vs-População)\n",
    "        - [Hipóteses e p-valor](#Hipóteses-e-p-valor)\n",
    "        - [Testes paramétricos VS Testes não paramétricos](#Testes-paramétricos-VS-não-paramétricos)\n",
    "        - [Teste de Kolgomorov-Smirnov](#Kolgomorov-Smirnov)\n",
    "        - Testes Paramétricos\n",
    "            - [Teste T](#Teste-T)\n",
    "            - [ANOVA de um fator](#ANOVA-de-um-fator)\n",
    "        - [Testes Não Paramétricos](#Não-paramétricos---Wilcoxon-Mann-Whitney-e-Kruskal-Wallis)\n",
    "            - [Wilconx-Mann_Whitney](#Wilcoxon-Mann-Whitney)\n",
    "            - [Kruskal-Wallys](#Kruskal-Wallys)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Antes de começar: "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![binder](img/mybinder.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O código do WorkShop para você nos acompanhar foi mandado através do Binder."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Em alguns lugares do material, deixamos os comandos incompletos. Preste atenção no WorkShop e substitua os três pontinhos (...) pelas palavras corretas para executar o comando que estará sendo demonstrado."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"img/letsgo.jpg\" alt=\"Drawing\" style=\"width: 500px;\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color: orange;\"> Parte 0 - Overview da programação em R para o Workshop</span>\n",
    "Nessa parte vamos passar pelo básico do básico do básico na programação R.\n",
    "### Atribuição de valores a variáveis\n",
    "Variáveis são \"nomes\" que vão representar algum valor dentro do programa, são extremamente úteis para facilitar nossa análise. <br>\n",
    "Em ```R``` além de usar o clássico ```=``` para atrbuir valores a variáveis, nós usamos uma setinha ```<-``` <br>\n",
    "O comando para \"imprimir\" alguma coisa é o ```print()```. <br>\n",
    "Caso você queira juntar/ concatenar dois textos separados por espaço, use a função ```paste()``` <br>\n",
    "Comentários são coisas escritas no código que são ignoradas pelo computador na hora de executar. No ```R``` são feitos colocando uma #hashtag na frente do texto."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Isso é uma célula\n",
    "#Você escreve códigos aqui"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Aperte na setinha à esquerda ou ```SHIFT + ENTER``` para fazer funcionar."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos atribuir o valor 2 á uma variável \"a\"."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "a <- ..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos agora imprimir esse valor na tela."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "...(...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos juntar alguns valores na hora de imprimir."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "b <- \"Meu nome é\"\n",
    "c <- \"Rodolfo\"\n",
    "d <- ...(...,c)\n",
    "print(...)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print(paste(...,...))\n",
    "print(paste(\"o valor de a é:\",...))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Existem alguns tipos de valores, como textos, números, valores lógicos...vamos ver como eles funcionam em R:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Não use espaço na hora de dar nome à variáveis\n",
    "#Use _\n",
    "um_logico <- ...\n",
    "print(paste(\"um_lógico:\", um_logico))\n",
    "um_double <- ...\n",
    "print(paste(\"um_double:\", um_double))\n",
    "um_inteiro <- ...\n",
    "print(paste(\"um_inteiro:\", um_inteiro))\n",
    "um_vetor <- ...\n",
    "print(\"um_vetor:\")\n",
    "print(um_vetor)\n",
    "uma_string <- ...\n",
    "print(paste(\"uma_string:\", uma_string))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Tabelas de Dados - Dataframes\n",
    "Um tipo de variável muito importante para nós nesse workshop são os DataFrames. Os dataframes são basicamente tabelas, só que com um nome mais chique. <br>\n",
    "Para criar um dataframe, utilize a função `data.frame()` do `R`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "disciplina <- c(...,...,...,...,...)\n",
    "nota <- c(...,...,...,...,...)\n",
    "notas_e_disciplinas <- ...(...,...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para visualizar nosso dataframe, podemos usar o print normalmente. O resultado será o mesmo esteja você no jupyter-notebook, no RStudio ou em qualquer outro lugar.\n",
    "<br>\n",
    "Agora, o jupyter é feito especialmente pensando-se em trabalhar com dados. Então usando a função `head()` (em que você especifica quantas linhas quer imprimir) ou simplmesmente digitando o nome do dataframe, ele será impresso de uma forma mais bonita."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print(notas_e_disciplinas)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "notas_e_disciplinas"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "...(notas_e_disciplinas, ...)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "notas_e_disciplinas[ ... : ... ,]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Selecionando colunas do dataframe"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "..."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Selecionando valores específicos "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "notas_e_disciplinas[notas_e_disciplinas$ ... ,]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color: orange;\"> Parte 1 - Importando dados em R </span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Quando vamos fazer nossa análise de dados, comumente devemos trazer esses dados de algum outro arquivo, o que nos pede um pouco de cuidado. <br> Por exemplo, é importante sabermos qual é o tipo de arquivo que estamos importando, pois isso pode fazer nosso programa ler os dados errôneamente. <br> Um dos formatos mais comums para a análise de dados é o **CSV**, ou *Comma separeted values*."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![img](img/csv_meme.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Importando um arquivo CSV "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "```R\n",
    "mydata <- read.csv(\"Data.csv\", header=TRUE)\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "```mydata``` é o nome da variável que atribuiremos o conteúdo do arquivo que estamos lendo <br>\n",
    "```read.csv``` lê arquivos que possuem este formato<br>\n",
    "O nome do arquivo deve vir dentro de aspas (simples ou dupla). Neste caso o arquivo está no mesmo diretório em que o nosso programa está sendo salvo, por isso não há necessidade de especificar diretórios anteriores. <br>\n",
    "```header=TRUE``` que significa que a primeira linha do nosso arquivo contém o nome das colunas."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Alguns problemas "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Caso o arquivo esteja em um diretório diferente, é necessário identificá-lo. <br>\n",
    "Além disso, caso a primeira linha já contenha dados, vc deve trocar o argumento por ```header=FALSE```. <br>\n",
    "No caso do separador não ser a vírgula, podemos usar o argumento  ```sep=\" \"``` como o separador desejado. <br>\n",
    "Vamos ver um exemplo com esses casos juntos:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "```R\n",
    "mydata <- read.csv(\"C:/Usuarios/Caminho/do/arquivo/Data.csv\", header=FALSE, sep=\";\")\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "```R\n",
    "names(mydata) <- c('id','name','type')\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Boas Práticas "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Caso você não queira ter problemas na hora de importar dados para fazer suas análises, são necessárias algumas boas práticas na hora de criar seu arquivo."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Neste WorkShop, usaremos o dataset Fifa, que possui dados de jogadores de futebol. Vamos visualizá-lo no Excel para entender sua estrutura:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![img2](img/excel_fifa.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "```\n",
    "\"\",\"sofifa_id\",\"short_name\",\"long_name\",\"age\",\"nationality\",\"club\",\"wage_eur\",\"player_positions\",\"preferred_foot\"\n",
    "\"2600\",223152,\"S. Vilakazi\",\"Sibusiso Vilakazi\",29,\"South Africa\",\"South Africa\",0,\"CAM, CF, RW\",\"Right\"\n",
    "\"11493\",244742,\"A. Ivan\",\"Andreas Ivan\",24,\"Romania\",\"New York Red Bulls\",2000,\"RM, LM\",\"Left\"\n",
    "\"11171\",248710,\"Paulino\",\"Paulino de la Fuente GÃ³mez\",22,\"Spain\",\"Deportivo AlavÃ©s\",5000,\"RM, CAM\",\"Left\"\n",
    "\"5780\",245598,\"I. Baba\",\"Iddrisu Baba Mohammed\",23,\"Ghana\",\"RCD Mallorca\",9000,\"CDM, CM\",\"Right\"\n",
    "\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Datasets também podem ser montados num simples arquivo de texto:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Como escrever então seu arquivo de dados?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1. Comece pela primeira linha e primeira coluna, ou seja, não pule células\n",
    "2. Inclua uma linha de títulos para cada coluna\n",
    "3. Tenha certeza que o número de títulos é igual ao número de colunas dos seus dados\n",
    "4. Não junte células, isso pode fazer seu programa ter problemas na hora de ler o arquivo\n",
    "5. No caso de arquivos de texto, use preferencialmente ```,``` como separador dos dados"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Importando o arquivo do Workshop "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "mydata <- read.csv(\"dados/fifa_sample_wsR.csv\", header=TRUE)\n",
    "head(mydata, 5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Note que por padrão, R lê seu arquivo CSV como se fosse separado por ```,``` <br>\n",
    "O que acontece então se usarmos outro separador?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "mydata <- read.csv(\"dados/fifa_sample_wsR.csv\", \n",
    "                   header=TRUE, \n",
    "                   sep= ...)   #substituir os três pontinhos\n",
    "head(mydata, 5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"img/surprised_face.jpg\" width=\"300\"/>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "fifa <- ... .csv(\"dados/fifa_sample_wsR.csv\", header=TRUE)  #substitua os 3 pontinhos\n",
    "... (fifa)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color: orange;\"> Parte 2 - Manipulação de dados em R </span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A linguagem R tem como um de seus grandes destaques o pacote Tidyverse.<br>\n",
    "Para falar a verdade, o Tidyverse não é um pacote em si, mas sim um conjunto de pacotes.<br>\n",
    "Dentro dele, encontramos o `dplyr`, que é instalado automaticamente com o `install.packages(\"tidyverse\")`.\n",
    "<br>\n",
    "Aqui uma [Cheat Sheet do dplyr](https://github.com/rstudio/cheatsheets/blob/master/data-transformation.pdf)\n",
    "<br>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "library(dplyr)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Dados faltantes\n",
    "<br>\n",
    "Dados faltantes podem ser um grande problema quando estamos lidando com uma base de dados. Assim, uma abordagem geralmente aplicada é simplesmente removê-los da sua base de dados. No R, muitas funções (a grande maioria delas) exibe um parâmetro `na.rm` que abrevia \"remover NAs\" ou *not available* ."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#definimos aqui um vetor, vamos ver o que acontece quando tentamos calcular sua soma\n",
    "vetor <- c(2, 3, 4, 5, NA, 7)\n",
    "print(sum(vetor))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Agora com o na.rm = TRUE\n",
    "print(sum(vetor, na.rm=TRUE))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Outra coisa que podemos querer fazer é inputar algum dado padrão aos dados faltantes, isso pode ser feito da seguinte maneira:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "#substituindo por zero\n",
    "vetor[is.na(vetor)] <- 0\n",
    "print(vetor)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#substituindo por 6\n",
    "vetor <- c(2, 3, 4, 5, NA, 7)\n",
    "vetor[is.na(vetor)] <- ...\n",
    "print(vetor)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos dar uma olhada na nossa tabela da Fifa, vamos ver se ela tem algum dado faltante."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "#Calculando a quantidade de dados faltantes\n",
    "sum( ... (fifa))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Como não há dados faltantes, não precisamos nos preocupar."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Deep dive in dplyr\n",
    "Vamos agora nos aprofundar na biblioteca `dplyr`. <br>\n",
    "Essa biblioteca é boa porque deixa o nosso código extremamente legível para um ser humano.<br>\n",
    "Isso ocorre porque ela usa uma estrutura de \"verbos\" que regem o que será feito com a base de dados.<br>\n",
    "Os verbos existentes na biblioteca são os seguintes:\n",
    "1. `mutate()` - que adiciona novas variáveis (colunas) ao dataset a partir de operações/ aplicação de funções nas variáveis existentes \n",
    "2. `select()` - seleciona as colunas com base em critérios de nome\n",
    "3. `filter()` - filtra os dados com base em valores.\n",
    "4. `summarise()` - reduz um grande número de valores para valores resumo (como média, contagem, desvio, etc). Para quem mexe com excel, aqui seria algo para criar uma tabela dinâmica (pivot table). Em geral é usado com `group_by()`\n",
    "5. `arrange()`- muda a ordenação das linhas com base em algum critério\n",
    "<br>\n",
    "<br>\n",
    "Todos esses verbos podem ser performados tendo como critério um grupo, usando o `group_by()` , mas é mais comum usar isso no `summarise()`. <br>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A estrutura de utilização dos verbos é bem simples: <br>\n",
    "`base de dados %>% verbo` <br>\n",
    "Podemos aplicar vários verbos em seguida também, com a seguinte estutura (a ordem de execução será a ordem desses verbos): <br>\n",
    "`base de dados %>% verbo1 %>% verbo2 %>% verbo3`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nesse Workshop, não usaremos todas essas funções, assim vamos explicar a que mais iremos usar e depois mostraremos um exemplo com todas as funções juntas para entender seu uso."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### `filter` - Filtrando nossa base de dados!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos supor que você quer analisar sua base de dados e segmentar essa análise com base em algum critério. Isso é só um dos cenários em que pode ser muito importante você usar filtros!<br>\n",
    "Vamos aqui filtrar a base para ver jogadores com idade acima de 30 anos."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "filtro_idade <- fifa %>% ...(age > ...)\n",
    "head(filtro_idade)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Usando vários verbos ao mesmo tempo\n",
    "\n",
    "Uma coisa legal do `dplyr` é que a gente pode usar vários verbos ao mesmo tempo"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Aqui vamos pegar uma base apenas com aqueles com **idade abaixo de 37 anos**, depois vamos avaliar as **combinações de nacionalidade e pé preferido** possíves, para cada uma dando sua **máxima idade**. Finalmente, vamos fazer com que os resultados sejam **ordenados da maior idade máxima para a menor**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "fifa %>%\n",
    "    filter(... < ...) %>%\n",
    "    group_by(... , ...) %>% \n",
    "    summarise(idade_maxima=max(...)) %>%\n",
    "    arrange(desc(...))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color: orange;\">  Parte 3 -  Estatística Básica em R </span>\n",
    "\n",
    "Agora que já vimos o básico de importação de dados em **R**, estamos prontos para entender como essa linguagem é utilizada efetivamente para fazer análises estatísticas!\n",
    "\n",
    "Mas não se preocupe, vamos explorando os diversos temas de estatística enquanto aprendemos mais sobre **R**."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Tipos de Dados\n",
    "\n",
    "Um dos pontos base da Estatística consiste em entender nossas informações e como elas elas são organizadas: os **dados**. Esses dados podem ser divididos em dois tipos diferentes: dados **qualitativos** e dados **quantitativos**.\n",
    "\n",
    "### Dados Qualitativos\n",
    "\n",
    "Esses dados representam **categorias** do nosso espaço, ou seja, eles dividem os indivíduos em diversas classes que não se intersectam. Por exemplo, a cor de uma flor é um tipo de dado qualitativo, já que as categoriza em classes como: *'amarelo'*, *'rosa'*, *'vermelho'*, *'azul'*, etc. Esses dados são bem úteis para representar características que não são facilmente descritas por números, como qualidades (daí vem o nome)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Montando um Dataframe de Cores de Flores\n",
    "\n",
    "Flor = c(\"Margarida\", \"Hortênsia\", \"Violeta\", \"Rosa\")\n",
    "Cor = c(\"Amarelo\", \"Azul\", \"Azul\", \"Vermelho\")\n",
    "flores = data.frame(Flor, Cor)\n",
    "flores"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mostrando as flores de cor Azul\n",
    "\n",
    "flores %>% filter(...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Dados Quantitativos\n",
    "\n",
    "São tipos de dados **numéricos**, ou seja, são mensuráveis e podem ser manipulados matematicamente. Essa categoria engloba os dados representáveis por números, como a altura de uma pessoa ou a área de um terreno. Esses dados são mais versáteis, já que conseguimos fazer comparações, médias e outros tipos de operações aritméticas que não são possíveis com os dados qualitativos."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Montando um Dataframe de Altura de Pessoas\n",
    "\n",
    "Nome = c(\"Marcela\", \"Alexandre\", \"Rafaela\", \"Mariana\", \"Victor\")\n",
    "Altura = c(161, 184, 172, 174, 169)\n",
    "alturas = data.frame(Nome, Altura)\n",
    "alturas"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Selecionando as pessoas com altura maior que 170 cm\n",
    "\n",
    "alturas %>% filter(...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Estatística Descritiva\n",
    "\n",
    "O tipo de análise estatística mais básico é a **Estatística Descritiva**, que busca simplesmente resumir e descrever os nossos dados da melhor maneira possível. Esse ramo utiliza de diversas medidas para expressar características diferentes dos nossos dados, como veremos a seguir."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Medidas de Tendência Central\n",
    "\n",
    "As **Medidas de Tendência Central** procuram representrar um valor central em torno do qual os dados se agrupam. Você provavelmente já ouviu falar de alguns exemplos desse tipo de medida, como a **média** e a **mediana**.\n",
    "\n",
    "#### Média\n",
    "\n",
    "A **Média** é a medida numérica que representa a posição central dos nossos dados. Seu valor é obtido ao dividir a soma de todos os nossos dados pela sua quantidade.\n",
    "\n",
    "$$\\large \\bar x ={\\frac {1}{N}}\\sum _{i=1}^{N}x_{i}$$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Média de salário dos jogadores\n",
    "\n",
    "mean(fifa$wage_eur)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Média de salário por pé utilizado\n",
    "\n",
    "fifa %>% group_by(preferred_foot) %>%\n",
    "     summarise(mean_wage = ...(wage_eur))\n",
    "\n",
    "# A média dos canhotos é maior que a dos destros\n",
    "# Isso significa que os canhotos ganham mais que os destros?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Não é possível calcular a média de dados qualitativos\n",
    "\n",
    "...(fifa$preferred_foot)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Mediana\n",
    "\n",
    "A **Mediana** é a medida numérica que representa o dado que se encontra na metade da nossa distribuição quanto esta se encontra ordenada. Ou seja, a mediana é o valor que divide os nossos dados de tal forma que metade deles sejam maiores que a mediana e a outra metade seja menor."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mediana da idade dos jogadores\n",
    "\n",
    "median(fifa$age)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Não é possível calcular a mediana de dados qualitativos nominais (não ordinais)\n",
    "\n",
    "...(fifa$nationality)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Percentil\n",
    "\n",
    "O **Percentil** não é uma medida de tendência central, mas se relaciona bastante com a Mediana. Os percentis são medidas que dividem as nossas amostras tal que **p%** delas sejam menores que o percentil. O **50º percentil**, portanto, é a nossa já conhecida mediana, enquanto o **25º percentil** é denominado primeiro quartil."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Obtendo os quartis do salário dos jogadores\n",
    "\n",
    "quartis = ...(fifa$wage_eur)\n",
    "\n",
    "# Transpondo o resultado para ficar mais visualizável\n",
    "t(quartis)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Obtendo os percentis 30%, 60% e 90% do salário dos jogadores\n",
    "\n",
    "percentis = ...(fifa$wage_eur, c(..., ..., ...))\n",
    "\n",
    "# Transpondo o resultado para ficar mais visualizável\n",
    "t(percentis)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Summary\n",
    "\n",
    "Uma maneira bem simples de mostrar vários dos valores que vimos até agora é utilizando a função ```summary()```. Ela nos apresenta o *mínimo*, o *1º quartil*, a *mediana*, a *média*, o *3º quartil* e o *máximo* da variável em questão, da seguinte forma:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Resumo do salário dos jogadores\n",
    "\n",
    "...(fifa$wage_eur)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Medidas de Variação\n",
    "\n",
    "As **Medidas de Variação** medem o *grau de afastamento* dos dados em torno de um valor central. Elas são importantes para medir a homogeneidade dos dados, indicando se nossas amostras estão próximas entre si ou muito afastadas.\n",
    "\n",
    "#### Amplitude\n",
    "\n",
    "A medida mais simples de variação é a **Amplitude**, que mede simplesmente a diferença entre a maior e a menor amostra. Entretanto, essa medida é bem sensível outliers em suas extremidades.\n",
    "\n",
    "$$ \\large A =  x_{max} - x_{min} $$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Calculando a amplitude do salário dos jogadores\n",
    "\n",
    "amplitude = ...(fifa$wage_eur) - ...(fifa$wage_eur)\n",
    "\n",
    "amplitude"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Amplitude Interquartil\n",
    "\n",
    "Uma outra medida de variação mais precisa é a **Amplitude Interquartil**, definida como a diferença entre o 3º e o 1º quartil. Por desprezar os valores mais extremos, essa medida é menos sujeita a flutuações que a amplitude normal."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Calculando a amplitude interquartil do salário dos jogadores\n",
    "\n",
    "...(fifa$wage_eur)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Variância\n",
    "\n",
    "A **Variância** é uma medida de variação que mensura a dispersão das amostras com relação à média.\n",
    "\n",
    "Seu valor é obtido a partir do cálculo da média do quadrado das diferenças entre os dados e a média, da seguinte forma:\n",
    "<br>\n",
    "<br>\n",
    "\n",
    "$$\\large s^2 = {\\frac{\\sum_{i=1}^{N}(x_{i} -\\bar{x})^2}{N-1}}$$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Calculando a variância do salário dos jogadores\n",
    "\n",
    "...(fifa$wage_eur)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Desvio Padrão\n",
    "\n",
    "O **Desvio Padrão** é uma outra medida de variação obtida simplesmente pela raiz quadrada da variância. Essa raiz é feita para que a unidade de medida seja a mesma dos nossos dados.\n",
    "<br>\n",
    "<br>\n",
    "\n",
    "$$\\large s = \\sqrt{\\frac{\\sum_{i=1}^{N}(x_{i} -\\bar{x})^2}{N-1}}$$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Calculando o desvio padrão do salário dos jogadores\n",
    "\n",
    "...(fifa$wage_eur)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Covariância\n",
    "\n",
    "A **Covariância** é a medida da *relação linear* entre duas variáveis: seu valor representa o quanto elas \"caminham juntas\". Se a covarância é positiva, significa que as duas crescem juntas; se a covariância é negativa, significa que conforme uma cresce, a outra decresce.\n",
    "\n",
    "Seu valor é obtido da seguinte forma:\n",
    "<br>\n",
    "\n",
    "$$\\large s_{x,y}=\\frac{\\sum_{i=1}^{N}(x_{i}-\\bar{x})(y_{i}-\\bar{y})}{N-1}$$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Calculando a covarância entre a idade e o salário dos jogadores\n",
    "# Unidade em anos euro\n",
    "\n",
    "...(fifa$age, fifa$wage_eur)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A covariância positiva significaria que quanto maior a idade do jogador, maior é a chance dele ganhar mais."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Coeficiente de Correlação\n",
    "\n",
    "O **Coeficiente de Correlação** também mede a relação linear entre duas variáveis, mas é obtida a partir da divisão da covariância pelos desvios padrões individuais de cada variável. Dessa forma, encontramos uma medida **normalizada** da relação entre as duas. \n",
    "<br>\n",
    "<br>\n",
    "\n",
    "$$\\large r_{x,y}= \\frac{s_{x,y}}{s_{x} s_{y}}$$\n",
    "\n",
    "Quanto mais próximo de 1, maior a _relação linear positiva_ entre as duas variáveis, e seu gráfico se aproxima de uma linha reta _crescente_. Quanto mais próximo de -1, maior a _relação linear negativa_ entre as duas variáveis, e seu gráfico se aproxima de uma linha reta _decrescente_. Quando seu valor é próximo de 0, não existe uma relação muito grande entre as duas variáveis."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Calculando o coeficiente de correlação entre a idade e o salário dos jogadores\n",
    "\n",
    "...(fifa$age, fifa$wage_eur)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A idade dos jogadores tem uma relação linear positiva pequena com seu salário."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color: orange;\"> Parte 4 - Visualização de dados em R com ggplot2 </span>\n",
    "\n",
    "## Introdução\n",
    "\n",
    "__ggplot2__ foi desenvolvido para apresentações gráficas de qualidade em segundos. \n",
    "\n",
    "Este pacote é baseado em **gramática de gráficos**, a ideia é que você possa construir qualquer gráfico combinando adequadamente elementos da gramática, do mesmo modo que é feito na língua portuguesa.\n",
    "\n",
    "### Vantagens\n",
    "\n",
    "- Baseado em __gramática de gráficos__;\n",
    "- Alto nível de abstração em plots;\n",
    "- Flexibilidade;\n",
    "- Sistema de temas para melhorar aparência de gráficos;\n",
    "- Muitos usuários ativos na comunidade open source;\n",
    "\n",
    "### O que não fazer com ggplot2?\n",
    "\n",
    "- Gráficos de 3 dimensões (vide biblioteca [rgl](https://www.rdocumentation.org/packages/rgl/versions/0.100.50));\n",
    "- Gráficos iterativos (vide biblioteca [ggvis](https://ggvis.rstudio.com/));\n",
    "- Gráficos de teoria dos grafos (vide biblioteca [igraph](https://igraph.org/r/));"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "...(...) # pacote que vamos usar em quase todas as análises de dados"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Esse warning mostra as funções do tidyverse que conflitam com as funções do R base. Se precisar explicitar de onde a função vem, basta usar a notação ```package::function()```:\n",
    "```R\n",
    "# exemplo\n",
    "\n",
    "ggplot2::ggplot()\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Relembrando os dados que vamos usar"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "fifa = read.csv(\"dados/fifa_sample_wsR.csv\", header=TRUE)\n",
    "head(fifa)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Entendendo a lógica do ggplot2\n",
    "\n",
    "\n",
    "### Códigos base\n",
    "\n",
    "#### [Inicializando objeto](https://ggplot2.tidyverse.org/reference/ggplot.html)\n",
    "\n",
    "```R\n",
    "# exemplo\n",
    "ggplot(data = fifa)\n",
    "```\n",
    "\n",
    "- dados\n",
    "- mapeamento estético (opcional)\n",
    "\n",
    "#### [Mapeamento Estético](https://ggplot2.tidyverse.org/reference/aes.html)\n",
    "\n",
    "```R\n",
    "# exemplos\n",
    "aes(x = age, y = wage_eur)\n",
    "aes(x = age)\n",
    "```\n",
    "\n",
    "- atribui variáveis aos eixos;\n",
    "- adicionar detalhes (cores, contorno, preenchimento, ...)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "ggplot(...)+ aes(...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### [Geometrias](https://ggplot2.tidyverse.org/reference/index.html#section-layer-geoms)\n",
    "\n",
    "- Gráfico de barras - geom_bar()\n",
    "- Histograma - geom_histogram()\n",
    "- Dispersão - geom_point() ou geom_jitter()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Gráficos de uma variável"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Histogramas"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Histograma da altura com 15 barras\n",
    "ggplot(...)+aes(...)+...(...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Ajustando detalhes do histograma"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## A componente que muda a cor dos histogramas se chama \"fill\" e o contorno de \"color\"."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "ggplot(fifa)+aes(height_cm)+geom_histogram(bins=15, ...,...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Possibilidades de cores: #d11141, darkgreen, #00b159, #00aedb"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#pacote que permite junçao de graficos ggplot\n",
    "require(gridExtra)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "grafico1=ggplot(fifa)+aes(height_cm)+geom_histogram(bins=15, ...,...)\n",
    "grafico2=ggplot(fifa)+aes(height_cm)+geom_histogram(bins=15, ...,...)\n",
    "grafico3=ggplot(fifa)+aes(height_cm)+geom_histogram(bins=15, ...,...)\n",
    "grafico4=ggplot(fifa)+aes(height_cm)+geom_histogram(bins=15, ...,...)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "grid.arrange(..., ..., ..., ...,nrow=2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## O fundo de qualquer gráfico pode ser alterado através do \"theme\"\n",
    "#### [Themes](https://ggplot2.tidyverse.org/reference/ggtheme.html)\n",
    "- theme_classic()\n",
    "- theme_light()\n",
    "- theme_bw()\n",
    "- theme_test()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "ggplot(fifa)+aes(height_cm)+geom_histogram(bins=15, fill=\"#00aedb\",color=\"black\")+..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### [O CheatSheet do ggplot2](https://github.com/rstudio/cheatsheets/blob/master/data-visualization-2.1.pdf)\n",
    "\n",
    "### Boas Práticas de Visualização de Dados\n",
    "\n",
    "- Títulos\n",
    "- Nome dos Eixos\n",
    "- Unidades dos eixos\n",
    "\n",
    "```R\n",
    "# inserindo textos nos graficos\n",
    "labs(\n",
    "    x = \"Idade\", y = \"Salário (Euros)\",\n",
    "    title = \"Idade X Salário\"\n",
    ")\n",
    "```\n",
    "\n",
    "- Cores\n",
    "\n",
    "```R\n",
    "aes(\n",
    "    #color = preferred_foot,\n",
    "    color = \"red\",\n",
    ")\n",
    "ou\n",
    "aes(\n",
    "    #color = preferred_foot,\n",
    "    fill = \"red\",\n",
    ")\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(ggplot(fifa)+aes(height_cm)+geom_histogram(bins=15, fill=\"#00aedb\",color=\"black\")\n",
    "+theme_test()+labs(..., ..., ...))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Box plot"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(ggplot(data = fifa2) + aes( age) +\n",
    " ...+\n",
    " theme_minimal() + coord_flip() +\n",
    " labs(y=\"\",  x=\"Idade\")\n",
    " )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Função densidade de probabilidade dos dados"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# Distribuição do salário dos jogadores\n",
    "ggplot(fifa) +aes( weight_kg) + \n",
    "    geom_histogram(aes(y =..density..),fill=\"#00AFBB\",color=\"black\")+\n",
    "  ...(...)+\n",
    "  theme_minimal() +\n",
    "  labs(y = \"Densidade de probabilidade\", x = \"Peso (kg)\", \n",
    "  title = \"Densidade de probabilidade da massa corporal dos jogadores\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Trabalhando com variáveis categóricas"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Gráfico de barras"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(ggplot(fifa)+aes(preferred_foot)\n",
    " +...\n",
    " +theme_bw()+ labs(y = \"Quantidade\", x = \"Pé Preferido\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Gráfico de pizza"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "df=data.frame(quant=..., grupo=...)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(ggplot(df, aes(x = \"\", y = quant, fill = grupo)) +\n",
    "  geom_col(color = \"black\") +\n",
    "  geom_label(aes(label = quant),\n",
    "             position = position_stack(vjust = 0.5),\n",
    "             show.legend = FALSE) +\n",
    "  coord_polar(theta = \"y\")+theme_bw())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Gráficos utilizando duas variáveis"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "fifa2 <- fifa %>% \n",
    "    mutate(player_positions = strsplit(as.character(player_positions), \", \")) %>% \n",
    "    unnest(player_positions)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "head(fifa2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "#Barras por pe preferido invertido\n",
    "(ggplot(data = fifa2) + aes(x = player_positions) +\n",
    " geom_bar(..., position = \"stack\") + ...\n",
    " theme_minimal() + \n",
    " labs(x = \"Posição do jogador\", y = \"Contagem\", fill = \"Pé preferencial\",\n",
    "     title = \"Contagem de Pessoas por Posição de Jogador e pé preferencial\")\n",
    " )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Box plot com variável categórica"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Box plot da idade por pe preferido\n",
    "(ggplot(data = fifa2) + aes(preferred_foot, age) +\n",
    " geom_boxplot(...)+\n",
    " theme_minimal() + coord_flip() +\n",
    " labs(\n",
    "     x = \"Pé preferencial\", y = \"Salário dos jogadores\", fill = \"Pé preferencial\")\n",
    " )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Gráfico de dispersão"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(ggplot(data = fifa) + aes(x = height_cm, y = weight_kg) + ...\n",
    "+labs(\"Peso\",\"Altura\")+theme_minimal())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Correlação entre as duas variaveis"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "...(...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Escrevendo texto no gráfico"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(ggplot(fifa)+ aes(x = height_cm, y = weight_kg) + geom_point()+labs(\"Peso\",\"Altura\")\n",
    "+...\n",
    "+theme_test()\n",
    "+labs(x=\"Altura\",y=\"Peso\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Ajuste de uma regressão linear\n",
    " #### [Visualização e ajuste de modelos estatísticos](https://ggplot2.tidyverse.org/reference/geom_smooth.html)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(ggplot(data = fifa) + aes(x = height_cm, y = weight_kg) + geom_point()+labs(\"Peso\",\"Altura\")\n",
    "+theme_test()\n",
    "+annotate(\"text\", x = 175, y = 95, label = paste(\"Correlação = \",round(cor(fifa$weight_kg, fifa$height_cm),2)))\n",
    "+labs(x=\"Altura\",y=\"Peso\")+ ..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Separando os dados pela cor dos pontos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "#Grafico de dispersão por pe preferido\n",
    "(ggplot(data = fifa)+  aes(x = age, y = wage_eur) + \n",
    "  geom_point(aes(...)) +\n",
    "  labs(\n",
    "    x = \"Idade\", y = \"Salário (euros))\",\n",
    "    title = \"Idade X Salário\", color = \"Pé preferencial\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Separando gráficos por alguma variável\n",
    "#### [Facetas](https://ggplot2.tidyverse.org/reference/facet_grid.html)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# exemplo teste com nomes dos eixos e cores\n",
    "ggplot(fifa)+  aes(x = age, y = wage_eur) + \n",
    "  geom_point(aes(color=preferred_foot)) +\n",
    "  labs(x = \"Idade\", y = \"Salário (euros)\",\n",
    "    title = \"Idade X Salário\", color = \"Pé preferencial\"\n",
    ")+..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color: orange;\"> Parte 5 - Inferência Estatística em R </span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Testes de Hipótese\n",
    "Muitas vezes, quando estamos fazendo alguma análise, queremos verificar se **duas médias são diferentes**. <br>\n",
    "Por exemplo, temos dois grupos de pessoas, um que tomou vacina da covid e outro que tomou um placebo, e queremos saber se existe diferença na prevenção/redução de sintomas para as pessoas que tomaram a vacina em comparação as pessoas que tomaram somente o placebo. \n",
    "<br>\n",
    "<br>\n",
    "Esse é o típico cenário em que devemos aplicar um **teste de hipótese**.\n",
    "<br>\n",
    "#### Amostra vs População\n",
    "![censovssample](img/census-vs-sample.jpg)\n",
    "Os testes de hipótese precisam ser feitos porque, muitas vezes, nós não temos a totalidade dos dados e sim uma **amostra**.\n",
    "<br> <br>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Hipóteses e p-valor\n",
    "\n",
    "Existem teoremas matemáticos que garantem que as médias tiradas de amostras aleatorias de uma população convergem para a própria média da população.\n",
    "Mas pode ser que, por acaso, vc tenha pegado uma amostra extrema que não representa essa população - **os testes de hipótese são uma forma de verificar qual é essa probabilidade e se ela é considerável**.\n",
    "Os **testes de hipóteses** têm uma estrutura comum. Eles assumem uma *hipótese nula* e uma *hipótese alternativa*.<br>\n",
    "Em geral: <br>\n",
    "$H_0 =$ (hipótese nula) As médias são iguais/Se determinada amostra segue alguma distribuição específica <br>\n",
    "$H_A =$ (hipótese alternativa) O oposto da hipótese nula\n",
    "<br>\n",
    "O que o teste de hipótese nos retorna é o **p-valor**, ele nos dá **a probabilidade de encontrar uma amostra igual ou mais extrema do que a que obtemos dada a hipótese nula** <br>\n",
    "Em geral, quando o $valor-p \\leq 0.05$ não rejeitamos $H_A$\n",
    "\n",
    "\\begin{equation}\n",
    "valor-p = \\mathbb{P}_{H_0}(estatistica-teste_{teorica} \\geq estatística-teste_{observada})\n",
    "\\end{equation}\n",
    "<br>\n",
    "\n",
    "![erros](img/pvalue.png)\n",
    "<br>\n",
    "Quando o nosso $p-valor \\leq \\alpha$ dizemos que há **significância estatística** para rejeitar a hipótese nula, em outras palavras: é pouco provável que o valor encontrado seja fruto apenas de variações aleatórias da amostra"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Testes paramétricos VS não-paramétricos\n",
    "![distribuicaonormal](img/normal.jpeg)\n",
    "Os testes de hipótese podem ser divididos entre paramétricos e não paramétricos.\n",
    "<br>\n",
    "Os testes **paramétricos** assumem a **alguma distribuição de probabilidades especificada**, enquanto os **não paramétricos** não possuem tal premissa.<br>\n",
    "\n",
    "## Imagine que estamos interessados em responder as seguintes perguntas:\n",
    "- Existe diferença entre a altura de pessoas destras e canhotas?\n",
    "- Existe diferença entre o salario de pessoas destras e canhotas?\n",
    "\n",
    "#### Kolgomorov-Smirnov\n",
    "Para saber se devemos ou não aplicar um teste paramétrico ou não paramétrico, precisamos saber se nossos dados seguem ou não uma distribuição normal. Para isso usamos o teste de *Kolgomorov-Smirnov* comparando a nossa amostra com uma distribuição normal.\n",
    "Nesse teste, as hipóteses são as seguintes:<br>\n",
    "$H_0 = $ a distribuição dos dados é igual da distribuição especificada <br>\n",
    "$H_A = $ a distribuição dos dados é diferente da distribuição especificada\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "destros = ... %>% ...\n",
    "canhotos = ... %>% ..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Vamos analisar a primeira pergunta de interesse: Existe diferença entre a altura de pessoas destras e canhotas?\n",
    "### Será que a distribuiçao de probabilidade da altura dos jogadores canhotos e destros pode ser considerada normal?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "...(...)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Distribuição do salário dos jogadores\n",
    "ggplot(destros) +aes( height_cm) + \n",
    "    geom_histogram(bins=15, aes(y =..density..),fill=\"#00AFBB\",color=\"black\")+\n",
    "  stat_function(fun = dnorm, args = list( mean(destros$height_cm), sd(destros$height_cm)),aes(fill=\"black\"),size=1.2)+\n",
    "  theme_minimal() +\n",
    "  labs(y = \"Densidade de probabilidade\", x = \"Peso (kg)\", \n",
    "  title = \"Densidade de probabilidade da massa corporal dos jogadores\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "...(...)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Distribuição do salário dos jogadores\n",
    "ggplot(canhotos) +aes( height_cm) + \n",
    "    geom_histogram(bins=15, aes(y =..density..),fill=\"#00AFBB\",color=\"black\")+\n",
    "  stat_function(fun = dnorm, args = list( mean(canhotos$height_cm), sd(canhotos$height_cm)),aes(fill=\"black\"),size=1.2)+\n",
    "  theme_minimal() +\n",
    "  labs(y = \"Densidade de probabilidade\", x = \"Peso (kg)\", \n",
    "  title = \"Densidade de probabilidade da massa corporal dos jogadores\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Temos evidências para acreditar que a altura dos jogadores canhotos e destros pode ser considerada com distribuição normal!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Teste T\n",
    "O teste T pode ser utilizado quando queremos verificar se a media teórica é igual/maior/menor a um determinado valor ou para verificar se a média de uma população é igual/maior/menor que a média de outra população.\n",
    "\n",
    "<br>\n",
    "Vamos aqui aplicar o teste T com o objetivo de comparar as médias de duas populações diferentes. A hipótese nula é de que as médias são iguais e a alternativa é de que são diferentes. <br>\n",
    "Esse teste precisa saber se as variâncias são iguais ou diferentes. Pra isso vamos aplicar um teste chamado teste F. <br>\n",
    "Para o teste  F, a hipótese nula é de que as variâncias são diferentes."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "...(...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Não rejeitamos que as variâncias são diferentes, vamos prosseguir assumindo homocedasticidade (variâncias iguais)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "...(...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Temos evidências estatisticas para considerar que as alturas são iguais entre os destros e os canhotos"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Vamos analisar a segunda pergunta de interesse: Existe diferença entre o salário de pessoas destras e canhotas?\n",
    "### Será que a distribuiçao de probabilidade do salário dos jogadores destros e canhotos pode ser considerada normal?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "...(...)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Distribuição do salário dos jogadores\n",
    "ggplot(canhotos) +aes( wage_eur) + \n",
    "    geom_histogram( aes(y =..density..),fill=\"#00AFBB\",color=\"black\")+\n",
    "  stat_function(fun = dnorm, args = list( mean(canhotos$wage_eur), sd(canhotos$wage_eur)),aes(fill=\"black\"),size=1.2)+\n",
    "  theme_minimal() +\n",
    "  labs(y = \"Densidade de probabilidade\", x = \"Peso (kg)\", \n",
    "  title = \"Densidade de probabilidade da massa corporal dos jogadores\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "...(...)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Distribuição do salário dos jogadores\n",
    "ggplot(destros) +aes( wage_eur) + \n",
    "    geom_histogram( aes(y =..density..),fill=\"#00AFBB\",color=\"black\")+\n",
    "  stat_function(fun = dnorm, args = list( mean(destros$wage_eur), sd(destros$wage_eur)),aes(fill=\"black\"),size=1.2)+\n",
    "  theme_minimal() +\n",
    "  labs(y = \"Densidade de probabilidade\", x = \"Peso (kg)\", \n",
    "  title = \"Densidade de probabilidade da massa corporal dos jogadores\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Não paramétricos - Wilcoxon-Mann-Whitney \n",
    "Técnicas não paramétricas fazem poucas suposições sobre as distribuições originais.\n",
    "#### Wilcoxon-Mann-Whitney\n",
    "O teste U de Mann-Whitney (também conhecido por teste da soma dos postos de Wilcoxon, teste de Wilcoxon-Mann-Whitney ou teste de Mann-Whitney) é a versão da rotina de teste não-paramétrico de t de Student."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "...(...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Temos evidências para acreditar que não que existe diferença entre ganho de capital entre destros e canhotos"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "R",
   "language": "R",
   "name": "ir"
  },
  "language_info": {
   "codemirror_mode": "r",
   "file_extension": ".r",
   "mimetype": "text/x-r-source",
   "name": "R",
   "pygments_lexer": "r",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}