CIEPS

Autor

Fernando Náufel

Data de Publicação

09/07/2025 10:53

Análise

Os sujeitos ($n = 74$) foram divididos em dois grupos:

O grupo AULA ($n_\text{aula} = 37$) recebeu uma aula expositiva.
O grupo JOGO ($n_\text{jogo} = 37$) participou de uma sessão do jogo.

Após a aula e o jogo, os sujeitos dos dois grupos responderam a um questionário e tiveram seus percentuais de acertos calculados.

Médias dos percentuais de acertos

As médias e os desvios-padrão dos percentuais de acertos dos grupos foram:

grupo	média	desvio-padrão
AULA	53,53	16,60
JOGO	66,22	16,16

A média do grupo JOGO foi quase $13$ pontos percentuais mais alta do que a média do grupo AULA.

Para cada grupo, computamos intervalos de confiança de $95\%$ para o percentual médio de acertos. Estes intervalos de confiança são estimativas dos percentuais médios de acertos na população em geral:

grupo	média	margem de erro	limite inferior	limite superior
AULA	53,53	±5,53	48,00	59,06
JOGO	66,22	±5,39	60,83	71,60

Graficamente:

Observe que os intervalos de confiança não se intersectam (isto é, não têm valores em comum).

Distribuições de frequência

As distribuições de frequência dos percentuais de acertos dos dois grupos são mostradas abaixo. Cada linha contém o número de sujeitos que obtiveram percentual de acertos entre o limite inferior (inclusive) e o limite superior (exclusive), Por exemplo, a linha [20, 30) contém a quantidade de sujeitos que obtiveram entre $20\%$ (inclusive) e $30\%$ (exclusive) de acertos.

Grupo AULA
% de acertos	sujeitos
[0,10)	0
[10,20)	1
[20,30)	3
[30,40)	4
[40,50)	5
[50,60)	12
[60,70)	6
[70,80)	2
[80,90)	4
[90,100)	0

Grupo JOGO
% de acertos	sujeitos
[0,10)	0
[10,20)	0
[20,30)	1
[30,40)	0
[40,50)	5
[50,60)	7
[60,70)	7
[70,80)	7
[80,90)	10
[90,100)	0

Os histogramas destas distribuições, mostrados abaixo, nos permitem notar diferenças importantes entre os grupos:

Observe que

No grupo AULA, $8$ sujeitos tiveram menos de $40\%$ de acertos.
No grupo JOGO, apenas $1$ sujeito teve menos de $40\%$ de acertos.

Além disso,

No grupo AULA, apenas $12$ sujeitos tiveram $60\%$ de acertos ou mais.
No grupo JOGO, $24$ sujeitos tiveram $60\%$ de acertos ou mais.

Finalmente,

No grupo AULA, a classe com mais sujeitos ($12$) foi a que teve entre $50\%$ e $60\%$ de acertos.
No grupo JOGO, a classe com mais sujeitos ($10$) foi a que teve entre $80\%$ e $90\%$ de acertos.

Teste de hipóteses

Para verificar se a diferença entre as médias dos percentuais de acertos é significativa, foi realizado um teste t com as seguintes hipóteses:

A hipótese de nulidade $H_0$ diz que a média dos percentuais de acertos no grupo JOGO ($\mu_\text{jogo}$) é igual à média dos percentuais de acertos no grupo AULA ($\mu_\text{aula}$):

\[ H_0 : \mu_\text{jogo} = \mu_\text{aula} \]
A hipótese alternativa $H_A$ diz que a média dos percentuais de acertos no grupo JOGO ($\mu_\text{jogo}$) é maior do que a média dos percentuais de acertos no grupo AULA ($\mu_\text{aula}$):

\[ H_A : \mu_\text{jogo} > \mu_\text{aula} \]

O teste t, com nível de significância $\alpha = 0{,}01$, rejeitou a hipótese de nulidade com um valor-$p$ igual a $0{,}00068$, mostrando que a diferença é significativa.

Em outras palavras:

Se o jogo não tivesse efeito sobre o desempenho dos sujeitos, então uma diferença igual ou maior que a observada no experimento teria uma probabilidade extremamente pequena (de cerca de $0{,}07$%) de ocorrer.

Engajamento

Uma diferença importante entre os grupos foi o nível de engajamento dos sujeitos. No grupo JOGO, todos os sujeitos participaram efetivamente das atividades. No grupo AULA, $4$ sujeitos deixaram de prestar atenção à exposição, preferindo manipular seus celulares ou mesmo fechar os olhos. Isto, por si só, já é um indício da natureza mais envolvente do jogo, em comparação com o caráter mais passivo (para o sujeito) da aula.

Os $4$ sujeitos “distraídos” do grupo AULA obtiveram os seguintes percentuais de acertos:

	% acertos
	22,58
	32,26
	54,84
	64,52
média	43,55

O jogo continua sendo superior à aula mesmo quando estes $4$ sujeitos distraídos são eliminados da análise, como mostra a tabela abaixo:

	JOGO	AULA (todos)	AULA (sem distraídos)
quantidade de sujeitos	37	37	33
% médio de acertos	66,22	53,53	54,74
desvio-padrão	16,16	16,60	16,14

Observe que, sem os sujeitos distraídos:

O percentual médio de acertos do grupo AULA aumenta cerca de $1$ ponto percentual, apenas.
O desvio-padrão diminui menos de $0{,}5$ ponto percentual.

No teste de hipóteses sem os alunos distraídos, o valor-$p$ continua sendo baixo o suficiente para mostrar que a diferença entre o jogo e a aula é estatisticamente significativa, com $\alpha = 0{,}01$:

	JOGO x AULA (todos)	JOGO x AULA (sem distraídos)
valor-p	0,00068	0,00207

--- title: CIEPS author: "Fernando Náufel" date: now date-format: "DD/MM/YYYY HH:mm" lang: pt execute: echo: false eval: true warning: true error: true include: true # bibliography: bibliography.bib # Português: # csl: universidade-do-porto-faculdade-de-engenharia-chicago-pt-crono.csl format: html: toc: true toc-depth: 3 number-depth: 3 theme: - journal - _custom.scss link-external-icon: false link-external-newwindow: true link-external-filter: ^(?:http:|https:)\/\/fnaufel\.github\.io df-print: paged code-link: true code-copy: true code-tools: true self-contained: true code-links: - text: Github icon: file-code href: https://github.com/fnaufel/analise-cieps --- {{< include _math.qmd >}} ```{r setup, include=FALSE} source('_setup.R') source('functions.R') library(gt) library(patchwork) ``` ```{r message=FALSE} df <- ler_dados() ``` ```{r} n_aula <- 37 n_jogo <- 37 df <- df %>% escolher_grupos(n_aula, n_jogo) df_jogo <- df %>% filter(grupo == 'JOGO') df_aula <- df %>% filter(grupo == 'AULA') ``` ```{r} histogramas <- df %>% gerar_histogramas() histograma_aula <- histogramas$aula histograma_jogo <- histogramas$jogo ``` ```{r} intervalos <- df %>% construir_intervalos() tabela <- intervalos %>% tabela_intervalos() ``` ```{r} plot_intervalos <- intervalos %>% construir_plot_intervalos() ``` # Análise Os sujeitos ($n = `r n_aula + n_jogo`$) foram divididos em dois grupos: - O grupo AULA ($n_\text{aula} = `r n_aula`$) recebeu uma aula expositiva. - O grupo JOGO ($n_\text{jogo} = `r n_jogo`$) participou de uma sessão do jogo. Após a aula e o jogo, os sujeitos dos dois grupos responderam a um questionário e tiveram seus **percentuais de acertos** calculados. ## Médias dos percentuais de acertos As **médias** e os **desvios-padrão** dos percentuais de acertos dos grupos foram: ```{r} df %>% group_by(grupo) %>% summarise( média = mean(pct) %>% round(2), `desvio-padrão` = sd(pct) %>% round(2) ) %>% gt() ``` A média do grupo JOGO foi quase $13$ pontos percentuais mais alta do que a média do grupo AULA. Para cada grupo, computamos **intervalos de confiança** de $95\%$ para o percentual médio de acertos. Estes intervalos de confiança são **estimativas dos percentuais médios de acertos na população em geral**: ```{r} t_aula <- t.test( df %>% filter(grupo == 'AULA') %>% pull(pct) ) media_aula <- t_aula$estimate inf_aula <- t_aula$conf.int[1] sup_aula <- t_aula$conf.int[2] t_jogo <- t.test( df %>% filter(grupo == 'JOGO') %>% pull(pct) ) media_jogo <- t_jogo$estimate inf_jogo <- t_jogo$conf.int[1] sup_jogo <- t_jogo$conf.int[2] dot_bars <- tibble( grupo = c('AULA', 'JOGO'), média = c(media_aula, media_jogo), inf = c(inf_aula, inf_jogo), sup = c(sup_aula, sup_jogo), `margem de erro` = média - inf ) %>% select(grupo, média, `margem de erro`, everything()) ``` ```{r} dot_bars %>% rename( `limite inferior` = inf, `limite superior` = sup ) %>% gt() %>% fmt_number( dec_mark = ',', sep_mark = '.' ) %>% fmt_number( `margem de erro`, dec_mark = ',', sep_mark = '.', pattern = '±{x}' ) ``` Graficamente: ```{r} dot_bars %>% ggplot() + geom_errorbar( aes(y = grupo, xmin = inf, xmax = sup, color = grupo), linewidth = .5, width = .2, show.legend = FALSE ) + geom_col( aes(y = grupo, x = média, fill = grupo), alpha = .5, show.legend = FALSE ) + scale_x_continuous( # limits = c(40, 80), breaks = seq(0, 100, 10) ) + scale_color_discrete( type = c('darkblue', 'darkred') ) + scale_fill_discrete( type = c('darkblue', 'darkred') ) + labs( y = NULL, x = '% acertos', color = NULL, title = 'Médias dos percentuais de acertos (AULA versus JOGO)', subtitle = 'com intervalos de confiança de 95%' ) + coord_flip() ``` Observe que os intervalos de confiança não se intersectam (isto é, não têm valores em comum). ## Distribuições de frequência As **distribuições de frequência** dos percentuais de acertos dos dois grupos são mostradas abaixo. Cada linha contém o número de sujeitos que obtiveram percentual de acertos entre o limite inferior (inclusive) e o limite superior (exclusive), Por exemplo, a linha [20, 30) contém a quantidade de sujeitos que obtiveram entre $20\%$ (inclusive) e $30\%$ (exclusive) de acertos. :::: {.columns} ::: {.column} ```{r} df %>% tab_frequencia('AULA') ``` ::: ::: {.column} ```{r} df %>% tab_frequencia('JOGO') ``` ::: :::: Os **histogramas** destas distribuições, mostrados abaixo, nos permitem notar diferenças importantes entre os grupos: ```{r} #| fig-height: 10 histograma_aula / histograma_jogo ``` Observe que - No grupo AULA, $8$ sujeitos tiveram menos de $40\%$ de acertos. - No grupo JOGO, apenas $1$ sujeito teve menos de $40\%$ de acertos. Além disso, - No grupo AULA, apenas $12$ sujeitos tiveram $60\%$ de acertos ou mais. - No grupo JOGO, $24$ sujeitos tiveram $60\%$ de acertos ou mais. Finalmente, - No grupo AULA, a classe com mais sujeitos ($12$) foi a que teve entre $50\%$ e $60\%$ de acertos. - No grupo JOGO, a classe com mais sujeitos ($10$) foi a que teve entre $80\%$ e $90\%$ de acertos. ## Teste de hipóteses Para verificar se a diferença entre as médias dos percentuais de acertos é significativa, foi realizado um **teste t** com as seguintes hipóteses: - A *hipótese de nulidade* $H_0$ diz que a média dos percentuais de acertos no grupo JOGO ($\mu_\text{jogo}$) é *igual* à média dos percentuais de acertos no grupo AULA ($\mu_\text{aula}$): $$ H_0 : \mu_\text{jogo} = \mu_\text{aula} $$ - A *hipótese alternativa* $H_A$ diz que a média dos percentuais de acertos no grupo JOGO ($\mu_\text{jogo}$) é *maior* do que a média dos percentuais de acertos no grupo AULA ($\mu_\text{aula}$): $$ H_A : \mu_\text{jogo} > \mu_\text{aula} $$ ```{r} t <- t.test( df %>% filter(grupo == 'JOGO') %>% pull(pct), df %>% filter(grupo == 'AULA') %>% pull(pct), alternative = 'greater', var.equal = TRUE ) ``` O teste t, com nível de significância $\alpha = 0{,}01$, **rejeitou a hipótese de nulidade** com um valor-$p$ igual a $`r t$p.value %>% fm(5)`$, mostrando que **a diferença é significativa**. Em outras palavras: **Se o jogo não tivesse efeito sobre o desempenho dos sujeitos, então uma diferença igual ou maior que a observada no experimento teria uma probabilidade extremamente pequena (de cerca de $`r t$p.value * 100`$%) de ocorrer.** ## Engajamento Uma diferença importante entre os grupos foi o nível de engajamento dos sujeitos. No grupo JOGO, todos os sujeitos participaram efetivamente das atividades. No grupo AULA, $4$ sujeitos deixaram de prestar atenção à exposição, preferindo manipular seus celulares ou mesmo fechar os olhos. Isto, por si só, já é um indício da natureza mais envolvente do jogo, em comparação com o caráter mais passivo (para o sujeito) da aula. Os $4$ sujeitos "distraídos" do grupo AULA obtiveram os seguintes percentuais de acertos: ```{r} df_aula %>% filter(distraido) %>% select(pct) %>% arrange(pct) %>% transmute( '% acertos' = pct %>% round(2) ) %>% gt() %>% grand_summary_rows( fns = média ~ mean(.) ) ``` O jogo continua sendo superior à aula mesmo quando estes $4$ sujeitos distraídos são eliminados da análise, como mostra a tabela abaixo: ```{r} df_aula_2 <- df_aula %>% filter(!distraido) nomes_linhas <- c( 'quantidade de sujeitos', '% médio de acertos', 'desvio-padrão' ) col_jogo <- c( nrow(df_jogo) %>% round(0), mean(df_jogo$pct) %>% round(2), sd(df_jogo$pct) %>% round(2) ) col_aula_1 <- c( nrow(df_aula), mean(df_aula$pct) %>% round(2), sd(df_aula$pct) %>% round(2) ) col_aula_2 <- c( nrow(df_aula_2), mean(df_aula_2$pct) %>% round(2), sd(df_aula_2$pct) %>% round(2) ) df_comparacao <- tibble( nomes_linhas, 'JOGO' = col_jogo, 'AULA (todos)' = col_aula_1, 'AULA (sem distraídos)' = col_aula_2 ) ``` ```{r} df_comparacao %>% gt() %>% cols_label(nomes_linhas ~ '') %>% fmt_integer(rows = 1) ``` Observe que, sem os sujeitos distraídos: - O percentual médio de acertos do grupo AULA aumenta cerca de $1$ ponto percentual, apenas. - O desvio-padrão diminui menos de $0{,}5$ ponto percentual. No teste de hipóteses sem os alunos distraídos, o valor-$p$ continua sendo baixo o suficiente para mostrar que a diferença entre o jogo e a aula é estatisticamente significativa, com $\alpha = 0{,}01$: ```{r} t2 <- t.test( df %>% filter(grupo == 'JOGO') %>% pull(pct), df %>% filter(grupo == 'AULA', !distraido) %>% pull(pct), alternative = 'greater', var.equal = TRUE ) ``` ```{r} df_t <- tibble( nomes_linhas = c( 'valor-p' ), 'JOGO x AULA (todos)' = t$p.value %>% round(5), 'JOGO x AULA (sem distraídos)' = t2$p.value %>% round(5) ) ``` ```{r} df_t %>% gt() %>% cols_label(nomes_linhas ~ '') ```