NOTÍCIAS

Relatório de Eficácia do NAME 2017

Relatório de Eficácia do NAME 2017

Atingir os melhores resultados de alunos é um dos principais compromissos de Eficácia do NAME. Conheça as principais conclusões do relatório de Eficácia do NAME 2017, o qual apresenta os resultados de um estudo comparativo que demonstra que os alunos que utilizam as soluções do sistema atingiram até um nível de proficiência acima dos demais alunos na Prova Brasil 2015.

Os nossos alunos são a razão pela qual nós existimos como empresa. É por isso que, em 2013, lançamos a iniciativa de Eficácia com o compromisso de reportar publicamente o impacto dos nossos produtos e serviços nos resultados dos alunos. O NAME é um dos produtos prioritários para essa iniciativa de Eficácia da Pearson. Estamos no início da coleta de evidências e do ciclo de relatórios. Em 2017, começamos a divulgar o que sabemos sobre a Eficácia do NAME publicando um relatório completo sobre os estudos e pesquisas que temos conduzido usando as metodologias mais robustas e confiáveis possíveis. Queremos ser transparentes nesse processo de melhoria, e compartilharmos também o que estamos planejando fazer para entender cada vez melhor o impacto dos nossos produtos e serviços. (ver o relatório oficial)

Introdução

Entre 2000 e 2008, o Brasil aumentou em 120% suas despesas de educação por alunos. De acordo com a OCDE, este foi o maior aumento entre 30 países com dados disponíveis.Apesar desses investimentos, os desafios continuam imensos. Na rede municipal, 51% dos estudantes da quinta série são adequadamente competentes em português, de acordo com os dados do Índice de Desenvolvimento da Educação Básica 2015 (IDEB). No 9º ano, essa porcentagem cai para 29%.

As taxas em matemática são ainda mais preocupantes para os especialistas em educação: apenas 39% dos alunos do 5º ano são proficientes em matemática - um número que cai para 13% para alunos do 9º ano, de acordo com os mesmos dados.

O desempenho dos municípios no IDEB e dos alunos em Português e Matemática no exame nacional da Prova Brasil estão no centro dos objetivos de Eficácia do Sistema NAME.

A equipe de Eficácia da Pearson Brasil realizou em 2016 um estudo comparativo que visa determinar se os alunos do 5º e do 9º ano do Ensino Fundamental do NAME tiveram maiores taxas de desempenho na Prova Brasil 2015 (em Matemática e Língua Portuguesa). Utilizando técnicas estatísticas que associam cada município parceiro do NAME com municípios similares que não implementaram o NAME, foi realizado um estudo quase experimental que levou em conta diversas variáveis de controle em nível de município, de escola e de aluno. Essas técnicas evitam ao máximo os vieses comuns em estudos comparativos e trazem um alto nível de confiabilidade.

Os resultados dessas análises indicaram que, em 2015, os alunos das escolas NAME obtiveram pontuação superior aos demais alunos no 5º e 9º ano. Essas diferenças foram estatisticamente significativas para o 5º ano em Matemática e 9º ano em Língua Portuguesa, contextos onde os alunos usando os materiais do NAME tiveram até um nível de proficiência acima dos alunos aos quais foram comparados.

Metodologia do Estudo

Três conjuntos de dados disponíveis publicamente foram fundidos e analisados para este estudo:

  • O Índice de Desenvolvimento Humano Municipal (IDHM) leva em conta dados nacionais relacionados à educação, renda e longevidade. Ele foi usado para realizar uma correspondência entre os municípios parceiros do NAME e demais municípios com níveis semelhantes. (saiba mais)
  • Os Indicadores Educacionais 2015 publicados pelo INEP e calculados a partir do censo escolar e de outras fontes específicas foram usados para realizar a correspondência entre as escolas NAME e as escolas não-NAME. Foram utilizados os indicadores de localização, de complexidade da gestão escolar, de regularidade docente, de esforço docente, de adequação da formação docente, de percentual de professores com ensino superior e de nível sócio-econômico. (saiba mais)
  • Os Microdados SAEB 2015 divulgados pelo INEP que incluem as pontuações em Matemática e Língua Portuguesa e as respostas individuais ao questionário contextual da prova foram usados para realizar a correspondência entre alunos. (saiba mais)
Ao terminar o exame da Prova Brasil, os alunos completam uma pesquisa com 51 a 57 itens relacionados à:
  • demografia (idade, gênero, etnia...);
  • atividades não escolares (tempo diário gasto assistindo a TV e realizando tarefas domésticas...);
  • escolaridade (se o aluno repetiu uma série, se ele abandonou a escola, o tempo gasto nos deveres de casa, se ele frequentou a educação infantil);
  • status socioeconômico (quantidade de equipamentos eletrodomésticos, empregada doméstica...);
  • envolvimento dos pais nos estudos (se os pais incentivam os hábitos de estudo e a frequentar a escola, papel dos pais na alfabetização...).

Amostragem

A amostragem da análise é mostrada na tabela abaixo:

Seleção dos Municípios NAME

Um total de 22 municípios foram elegíveis para inclusão no estudo. Todos os municípios NAME incluídos neste estudo foram aqueles que implementaram NAME por pelo menos dois anos antes da Prova Brasil 2015. Isso permitiu pelo menos um ano para as escolas desenvolverem autonomia e conforto com o sistema e atingir a plena implementação no ano escolar testado. Em média, os municípios incluídos neste estudo implementaram o NAME por 8 anos. Em todos os municípios havia um total de 38 escolas do Ensino Fundamental 1 e 16 escolas do Ensino Fundamental 2. Nessas escolas havia um total de 1.642 alunos do NAME do 5º ano e 1.194 alunos do 9º ano.

Seleção dos Municípios de comparação

Utilizou-se um método que reduz o viés de seleção em estudos quase experimentais  (Nearest Neighbor Propensity Score Matching - Rosenbaum & Rubin, 1985) para selecionar um grupo de controle de municípios para comparação numa proporção de 2 a 1. A correspondência foi baseada em similaridades entre municípios no IDHM descrito anteriormente. Um total de 44 municípios de controle com 212 escolas do Fundamental 1 e 32 municípios com 49 escolas do Fundamental 2 foram incluídos no estudo. Nessas escolas, houve um total de 13.194 alunos do 5º ano e 3.099 alunos do 9º ano.

Resultados

Uma modelagem linear hierárquica (HLM) foi criada a fim de avaliar se os alunos das escolas NAME demonstraram maior desempenho em Língua Portuguesa e Matemática na Prova Brasil de 2015. O impacto do NAME sobre os desempenhos foi investigado após controlar as características dos alunos, levando em conta o agrupamento dos alunos nas escolas. Todas as variáveis do questionário descrito acima foram controladas no modelo. Adicionalmente, foram controladas no modelo cinco variáveis criadas a partir dos indicadores de educação do INEP. Em geral, os alunos do NAME superaram os demais alunos quando controlam-se os fatores do aluno e da escola (ver gráficos abaixo).

  • No exame de Matemática do 5º ano, os alunos do NAME superaram significativamente os alunos de comparação em 28 pontos, o que equivale a mais de um nível de proficiência mais alto na Prova.
  • No exame de Língua Portuguesa do 9º ano, os alunos de NAME superaram significativamente os alunos de comparação em 14 pontos, o que equivale a cerca de um nível de proficiência mais alto nessa prova.
  • No exame de Português do 5º ano e de Matemática do 9º ano, os alunos NAME também obtiveram uma performance maior do que os estudantes não-NAME, mas as diferenças não foram estatisticamente significativas.

Pistas de melhorias e futuros estudos

Além dos ótimos resultados demonstrados, o estudo, pelas suas conclusões, pela metodologia usada e pelo conjunto de dados que forneceu, nos ajudou a identificar oportunidades de melhorias. Essas informações são extremamente úteis para melhorarmos o produto e os serviços associados ao Sistema de Ensino NAME.

Foi identificado um desempenho menor em escolas de pouca complexidade de gestão escolar (escolas com porte inferior a 50 matrículas, operando em único turno e etapa e apresentando os Anos Iniciais como etapa mais elevada) e onde os professores tiveram a maior regularidade na mesma unidade escolar (tempo médio de permanência de 3,5 anos nos últimos 5 anos).Existem vários aspectos que podem explicar esses resultados, como por exemplo o fato das menores escolas dos municípios receberem menos atenção e investimentos, ou a não atualização do corpo docente mais experiente. De uma maneira geral, foi identificada a necessidade de adaptar a consultoria pedagógica a fim de ter uma abordagem específica nesses casos.

Em paralelo, a equipe de Eficácia da Pearson Brasil planeja realizar em 2018 um estudo de implementação para investigar a fundo esses elementos. Um dos objetivos desse futuro estudo é de identificar se existem padrões de desempenho diferentes associados à fidelidade de implementação do Sistema de Ensino e a indicadores educacionais.