NOTÍCIAS

Relatório de Eficácia do NAME 2018

Relatório de Eficácia do NAME 2018

Conheça as principais conclusões do relatório de
Eficácia do NAME 2018!

Atingir os melhores resultados de alunos é um dos principais compromissos da Pearson Brasil. Conheça as principais conclusões do relatório de Eficácia do NAME 2018, que apresenta os resultados de um estudo comparativo que demonstra que os alunos que utilizam as soluções do sistema atingiram pontuação superior aos demais alunos na Prova Brasil 2015, com diferenças estatisticamente significativas.

Os nossos alunos são a razão pela qual nós existimos como empresa. É por isso que, em 2013, lançamos a iniciativa de Eficácia com o compromisso de reportar publicamente o impacto dos nossos produtos e serviços nos resultados dos alunos. O NAME é um dos produtos prioritários para essa iniciativa de Eficácia da Pearson. Em 2017, já começamos a divulgar o que sabemos sobre a eficácia do NAME publicando um relatório completo sobre os estudos e pesquisas que temos conduzido usando as metodologias mais robustas e confiáveis possíveis. Agora, em 2018, os resultados de eficácia serão publicados nos mercados financeiros de Londres e Nova York, junto com os resultados financeiros da Pearson. Queremos ser transparentes nesse processo de melhoria e compartilhar também o que estamos planejando fazer para entender cada vez melhor o impacto dos nossos produtos e serviços.

Introdução

Entre 2000 e 2008, o Brasil aumentou em 120% suas despesas de educação por alunos. De acordo com a Organização para a Cooperação e Desenvolvimento Econômico (OCDE), este foi o maior aumento entre 30 países com dados disponíveis. Apesar desses investimentos, os desafios continuam imensos. Na rede municipal, 51% dos estudantes da quinta série são adequadamente competentes em Português, de acordo com os dados do Índice de Desenvolvimento da Educação Básica 2015 (IDEB). No 9º ano, essa porcentagem cai para 29%.
 

As taxas em Matemática são ainda mais preocupantes para os especialistas em educação: apenas 39% dos alunos do 5º ano são proficientes em Matemática - um número que cai para 13% para alunos do 9º ano, de acordo com os mesmos dados.

O desempenho dos municípios no IDEB e dos alunos em Português e Matemática no exame nacional da Prova Brasil estão no centro dos objetivos de Eficácia do Sistema NAME.

A equipe de Eficácia da Pearson Brasil conduziu entre 2017 e 2018 um estudo comparativo que visou determinar se os alunos do 5º e do 9º ano do Ensino Fundamental do NAME tiveram maiores taxas de desempenho na Prova Brasil 2015 (em Matemática e Língua Portuguesa). Utilizando técnicas estatísticas que associam cada município parceiro do NAME com municípios similares que não implementaram o NAME, foi realizado um estudo quase experimental que levou em conta diversas variáveis de controle em nível de município, de escola e de aluno. Essas técnicas evitam ao máximo os vieses comuns em estudos comparativos e trazem um alto nível de confiabilidade.

Os resultados dessas análises indicaram que, em 2015, os alunos das escolas NAME obtiveram pontuação superior aos demais alunos no 5º e 9º ano. Essas diferenças foram estatisticamente significativas tanto para Português, como para Matemática, nos dois anos analisados.

Metodologia do Estudo

O estudo usou dados escolares dos indicadores educacionais de 2015 publicados pelo INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) para relacionar cada escola NAME exatamente com cinco escolas de comparação (exceto em um caso, onde apenas duas escolas de comparação foram encontradas). Os indicadores específicos utilizados para correspondência incluíram localização (rural, urbana), nível socioeconômico, complexidade escolar e pontuação anterior do Índice de Desenvolvimento da Educação Básica (IDEB), sendo utilizadas as pontuações de 2009 para o Fundamental I e as pontuações de 2011 para o Fundamental II.

Das 135 escolas de Fundamental I, 90 delas (ou 67%) tiveram uma exata correspondência de  IDEB com a escola NAME correspondente. Quando uma correspondência exata de pontuação do IDEB não existia, uma escola correspondente era selecionada aleatoriamente dos candidatos em 1 ponto. Embora a correspondência no IDEB não tenha sido exata em todos os casos, a diferença entre os grupos pareados foi de apenas 0,125 ponto.

Amostragem

A amostragem da análise é mostrada na tabela abaixo:

Seleção das escolas NAME

Vinte e três municípios foram elegíveis para inclusão no estudo. Todos eles implementaram NAME por pelo menos cinco anos antes da Prova Brasil 2015, de modo que os alunos que fizeram a Prova em 2015 tivessem estudado com o NAME durante todo o Fundamental I e II. Em média, os municípios incluídos neste estudo já tinham implementado o NAME por 8 anos antes de 2015. Entre as escolas selecionadas, 78% das do Fundamental I e 89% do Fundamental II eram de São Paulo. Todas as escolas do Fundamental II foram designadas como urbanas e apenas duas escolas do Fundamental I foram designadas como rurais, sendo uma de São Paulo e outra de Minas Gerais.

Seleção das escolas de comparação

Para cada escola do NAME foi feita a correspondência com cinco escolas de comparação. Para isso, o estudo usou os já mencionados dados do INEP de 2015 e a pontuação no IDEB (de 2009 para o Fundamental I e de 2011 para o Fundamental II). Das 135 escolas de comparação do Ensino Fundamental I, 67% tinham exatamente a mesma pontuação no IDEB das escolas do NAME correspondentes. Mesmo que a correspondência pelo IDEB não fosse exata em todos os casos do estudo, a diferença entre os grupos correspondentes foi de apenas 0.125.

Análise

Foram analisadas as pontuações dos alunos na Prova Brasil de 2015 em Matemática e em Português. O modelo linear geral foi utilizado para testar estatisticamente a diferença entre os grupos, ou seja, de maneira similar a amostras de um T-test independente. Além disso, o método bootstrap foi usado para se obter testes estatísticos precisos. Em outras palavras, a análise pode ser pensada como a comparação entre as escolas do NAME e as escolas de comparação, em que a contribuição de cada escola é pesada pelo número de pontuações disponíveis de alunos e como essas pontuações estão relacionadas umas com as outras.

Resultado

Os alunos das escolas NAME obtiveram pontuação superior aos demais alunos no 5º e 9º ano, tanto em Português como em Matemática, com diferenças estatisticamente significativas.

● No exame de Matemática do 5º ano, os alunos do NAME superaram significativamente os alunos de comparação em 11.07 pontos, enquanto os do 9º ano superaram em 6.08 pontos.

● No exame de Língua Portuguesa do 5º ano, os alunos de NAME superaram significativamente os alunos de comparação em 4.39 pontos e os do 9º superaram em 2.74 pontos.
 

Diante desses resultados, é possível afirmar, em relação à Eficácia do NAME, que alunos do 5º ano que estudaram com o sistema desde o 1º ano e os do 9º ano que estudaram com o sistema desde o 6º ano, superaram, na Prova Brasil 2015, os demais alunos que estudaram em escolas similares que não implementaram o NAME.

Pistas de melhorias e futuros estudos

Além dos ótimos resultados demonstrados, o estudo, pelas suas conclusões, pela metodologia usada e pelo conjunto de dados que forneceu, nos ajudou a identificar oportunidades de melhorias. Essas informações são extremamente úteis para melhorarmos o produto e os serviços associados ao Sistema de Ensino NAME.

Pesquisas futuras podem replicar este estudo com estudantes similares e / ou obter dados necessários para combinar grupos de alunos. Além disso, outros estudos que estão sendo desenvolvidos irão avaliar se existe uma relação entre a fidelidade de implementação do NAME e os resultados dos alunos, para identificar os aspectos da implementação que estão mais fortemente relacionados às conquistas dos alunos. Um dos objetivos desse futuro estudo é identificar se existem padrões de desempenho diferentes associados a essa fidelidade de implementação e a indicadores educacionais. Caso existam significativas diferenças na implementação entre as escolas do NAME, isso poderá trazer insights para a eficiência desse sistema de ensino.