Quando saem essas pesquisas estatísticas internacionais sobre educação, a primeira coisa que a mídia brasileira costuma fazer é povoar páginas com dados e gráficos demonstrando a péssima qualidade de nossas escolas, professores e alunos. Ficamos sempre em último ou em penúltimo em qualquer ranking. Pois bem, parece não ser diferente quando olhamos o real esforço de nossos governos em melhorar esta situação. Veja abaixo um dos diversos gráficos produzidos pela mais recente pesquisa da OECD, que mostra quanto cada país gasta com educação por aluno.

Antes de culpar professores, pais e alunos por preguiça, burrice ou incompetência, é melhor começar garantindo condições materiais básicas para um ensino de qualidade.

Segundo a jornalista Adriana Ferraz, o governo do Estado de São Paulo mudou o critério de classificação para elevar a média das escolas. Diz o início da reportagem Governo Serra altera classificação das notas para elevar médias (Agora, 27/02/2010)

"A gestão José Serra (PSDB) modificou a classificação do Saresp para elevar as médias dos alunos. Se o modelo utilizado no ano passado fosse mantido, nenhuma das séries avaliadas teria superado o conceito básico.

Pelo novo sistema, a Secretaria de Estado da Educação reduziu o número de notas dentro de uma escala que vai de zero a 500 pontos. Até 2008, o exame oferecia quatro conceitos: abaixo do básico, básico, adequado e avançado. Agora são apenas três. O básico e o adequado transformaram-se em suficiente, puxando a média para cima."

Para quem chutar as respostas, os acertos valerão menos. Isso é possível, segundo dizem, graças à Teoria de Resposta ao Item (TRI). Como sabemos, nem sempre a bela teoria tem uma prática à altura. Veremos se este ano a prova do ENEM será feita com mais cuidado do que no ano passado.

Já que qualquer um pode publicar rankings hoje em dia, vamos fazer o nosso, com todo o rigor, objetividade e transparência que o método científico impõe. Na verdade, resolvi fazer este “ranking” quando descobri que o google tem um comando para buscar as páginas que linkam para um site, e dá um número total. Depois de brincar um pouco com os dados, acabei percebendo que tudo isso poderia ter alguma finalidade didática para o chamado pensamento crítico em tempos de dogmas matemáticos. Acabei fazendo, então, uma espécie de "tutorial para não ser facilmente enganado por estatísticas".

Culpar a mãe virou moda desde Freud. Tudo que não conseguimos fazer direito, em especial nossos defeitos incorrigíveis, jogamos nas costas daqueles que nos deram a existência. Mas e quando o professor culpa os pais pela irresponsabilidade do filho na lição de casa? Será que ele tem razão? Dando uma rápida olhada nas últimas estatísticas educacionais, poderíamos nos deparar com isto:

"O contexto familiar responde por 70% do desempenho escolar, cabendo à escola 30%. A conclusão é de um estudo da Fundação Itaú Social. Renda familiar, escolaridade dos pais e moradia estão entre os fatores determinantes do rendimento do aluno." Estado de SP

Como você interpretaria estes números?

Educação pode ser mais complexa do que estatística

5/6/2007

A capa do caderno "Cotidiano" da Folha de S. Paulo (28/5/2007) deixa um pobre professor inquieto. Ele gosta de dar aulas, de aprender, duvida muitas vezes de seu ofício, de seu bolso, das instituições, mas ao menos uma certeza o move durante seu cotidiano quixotesco. Estudar é bom.

Mas então lê o subtítulo da capa:

"Estudo de economista da USP mostra que criança que sempre recebe ajuda dos pais nos estudos tem desempenho inferior".

Isto lhe soa estranho. Imagine uma mãe adicionando mais uma tarefa em seu atribulado cotidiano: fazer a lição de casa para o filho. Será que ela não sabe que estudar é bom? Ou será que deseja o mal ao sangue do seu sangue? Talvez seja uma questão de ignorância, de falta de educação... São muitas as possibilidades...

O economista é Naércio Menezes Filho, que fez o estudo, a pedido da Folha, com "regressões econométricas a partir do Saeb". As regressões são instrumentos matemáticos que nos permitem encontrar correlações sutis entre variáveis. Elas são úteis quando tentamos observar e quantificar coisas muito complicadas como ecossistemas ou relações humanas.

Uma estranha equação

Uma correlação, por sua vez, é algo do tipo "sempre que A muda, B tende a mudar também". Dito desta forma, parece que a mudança de A causou algo em B. Mas a idéia de correlação não diferencia A de B, a causa da conseqüência. Ou seja, pode ser que B tenha causado A. Ou que ambos sejam conseqüência de C etc. As correlações entre os fatos podem ser interpretadas de diversas formas...

Voltemos, então, à reportagem de Antonio Gois sobre as conclusões de Menezes:

"...o auxílio dos pais nem sempre é benéfico, pois alunos que sempre recebem essa ajuda têm médias menores que os demais".

Neste exemplo, quais seriam as duas variáveis correlacionadas?

A: ajuda dos pais

B: médias nos boletins

Assim, quando A aumenta, B diminui, ou seja:

Frase 1: quando os pais ajudam mais, as médias diminuem.

É realmente uma estranha equação. Para Menezes, ainda segundo a reportagem, "esses dados podem estar mostrando que os pais, em vez de orientar, estão fazendo a lição de casa pelo filho".

Esta é uma interpretação. Haveria outras dignas de menção?

Significados alternativos

Vamos, então inverter A e B, já que se trata de uma correlação.

A frase 2 seria: quando as médias diminuem, os pais ajudam mais.

Não sei para vocês, mas para mim soou bem melhor ao cérebro.

Parece algo mais próximo do que se entende por uma relação entre pais e filhos. Alguns poderiam contra-argumentar dizendo que nas condições precárias do Brasil as relações familiares estão desta ou daquela forma destruídas etc. Mas, segundo a reportagem, Menezes encontrou esta correlação mais intensa nas escolas particulares. É ali que os pais, mais escolarizados, estariam supostamente estudando para os filhos e, com isto, piorando suas médias...

São muitas as interpretações possíveis de um mesmo grupo de fatos. É preciso apontar os significados alternativos nos estudos estatísticos, visto que são tomados como algo "verdadeiro", "provado cientificamente".

O que pensaria uma mãe, afinal, ao ler o subtítulo daquela reportagem?

Informações limitadas

Um professor talvez se sentisse triste. Talvez chegasse a estas mesmas conclusões descritas acima. Ou, quem sabe, perceberia que as questões não são desse economista, desse jornal, ou daquele professor. Elas envolvem a todos nós. E ele escreveria alguma coisa aos seus amigos.

Observações metodológicas:

1. A análise feita aqui é simples como pareceu, e está sujeita a "detalhes da vida"... por isto, foram enviadas cópias a Menezes e à Folha.

2. Uma forma de detectar causa e efeito é inserir o tempo na equação. Talvez isto tenha sido feito. Seria o caso de perguntar a Menezes, então, o grau de consistência dos dados amostrais do Inep, para que pudessem ser decompostos em "fatias" ao longo do ano.

3. Chegamos, com isto, ao terceiro ponto. Os questionários distribuídos para os alunos no Saeb são realmente bastante detalhados, enfocando diversos aspectos familiares relacionados à educação. São questões de múltipla escolha, é bom lembrar. Não sabemos também, ao certo, como foram passados aos alunos.

Segundo o Inep, é recomendada a aplicação dirigida, até porque o analfabetismo funcional é grande:

"Os baixos níveis de desempenho em leitura revelados pelo levantamento anterior apontaram para a necessidade de se adotar a aplicação dirigida dos questionários."

Quanto poderíamos confiar nesses questionários? Ainda no site do INEP encontramos um texto que diz, no último parágrafo:

"Algumas informações sobre o núcleo familiar dos alunos são coletadas nos questionários por eles respondidos, e isso limita a qualidade e a quantidade das informações obtidas."

Aqui parece haver um curioso pressuposto:

Dados provenientes unicamente de questionários respondidos por alunos apresentam informações limitadas em qualidade e quantidade. Isto nos levaria a entender que os dados utilizados por Menezes são limitados. O grau deste limite permanece incerto, ao menos para leigos.