A formulação das notas do Exame Nacional do Ensino Médio (Enem), que será realizado nos dias 3 e 4 de novembro, tem como base a Teoria de Resposta ao Item (TRI), que influencia na correção e na elaboração do teste. O método foi adotado em 2009 e leva em consideração não apenas a quantidade de acertos dos candidatos, mas também o grau de dificuldade de cada item e o perfil do estudante em relação aos demais. Enquanto especialistas defendem que a metodologia permite uma avaliação mais precisa, muitos discentes ainda se sentem confusos em relação às notas produzidas pelo sistema, demonstrando preferência pelo modelo clássico, em que o maior número de itens corretos resultava em maior pontuação. Com este assunto, a Tribuna inicia a série "Enem 2012", que trará temas diversos relacionados à prova até sua realização.

Pela TRI, todas as questões do exame precisam ser pré-testadas em grupos reduzidos de estudantes e classificadas em patamares com diferentes graus de dificuldade (ver quadro). "O pré-teste também avalia a capacidade dos itens em termos de discriminação dos concorrentes, isto é, de separar aqueles que realmente dominam o conhecimento daqueles que conseguem acertos casuais, no ‘chute’", explica o pró-reitor de Graduação da UFJF, Eduardo Magrone. Para ele, uma das principais vantagens é o fato de o sistema permitir que os avaliadores tenham mais informações sobre a formação do candidato. " Pelo mapa de acertos e erros em questões fáceis, médias e difíceis, é possível traçar um perfil do avaliado, e a nota acaba sendo mais coerente com seu domínio de habilidades cognitivas." Ainda segundo o pró-reitor, as instituições que usam o Enem como porta de entrada para o ensino superior também saem ganhando. "Para a UFJF, por exemplo, é muito melhor ter um modelo de correção que dá mais certeza de que seus futuros alunos são os mais preparados."

 

Testes mais informativos

O professor do Departamento de Estatística da UFJF, Tufi Machado Soares, aponta que a TRI permite também a criação de testes mais informativos. "É possível fazer isso com outras metodologias, mas, como na TRI, cada item precisa, necessariamente, ser testado, selecionado e avaliado, é mais fácil criar exames que tenham um planejamento melhor para os objetivos a que se propõem, como é o caso do Enem e a avaliação de grupos de habilidades." Também como outro ponto positivo do método, Magrone destaca a possibilidade de elaborar exames com graus idênticos de dificuldade. "É só manter a mesma proporção de questões fáceis, médias e difíceis. Isso permitiria até a realização de duas edições do Enem por ano, uma das promessas do Ministério da Educação (MEC), sem risco de vantagem ou desvantagem para quem o fizer em uma ou outra."

 

Alunos se sentem prejudicados pelo sistema

Para a aluna do Cave Carolina van Keulen, 18 anos, a sensação é de que a Teoria de Resposta ao Item (TRI) acaba nivelando os candidatos por baixo. "Como o método não se baseia nos acertos, a impressão que fica é a de que pessoas que estudaram menos podem tirar notas maiores do que quem se dedicou mais." Também aluna do curso, Pâmela Goretti, 18, reclama que o método pode ser injusto por causa do tempo para a resolução da prova. "Com pontuações diferentes que não são reveladas, não sabemos que tipo de item devemos priorizar no tempo de exame. Com isso, podemos dar mais atenção a questões de menos peso e perder tempo com perguntas que valem menos." Também insatisfeita com o sistema, Patrícia Novaes, 26, acha que a TRI aumenta a ansiedade dos alunos. "Você sai da prova e não tem ideia de como foi seu desempenho. Isso aumenta a pressão sobre todos, principalmente porque o Enem agora é decisivo para a entrada em diversas universidades."

Na visão do professor do Departamento de Estatística da UFJF, Tufi Machado Soares, a única desvantagem na adoção da TRI está na apresentação das notas aos estudantes. "Apesar de a regra de pontuação ser matematicamente objetiva, o aluno não consegue chegar à sua nota sozinho. Na verdade, o sistema é tão complexo que o resultado só pode ser alcançado com o uso de softwares específicos." Para o coordenador do Cave, Alexander Gomes, este é o principal motivo de queixa entre os estudantes. "O programa faz inúmeros cálculos e comparações impossíveis de serem realizados pelos humanos, por isso o aluno não consegue visualizar como a nota foi produzida, e o processo fica realmente menos transparente, daí o questionamento. Mas a forma de avaliação é incontestavelmente mais precisa e, por isso, acaba sendo mais justa."

 

Banco de questões deve ser numeroso

A doutora em educação Maria Inês Fini, que compôs a equipe de criação do Enem e participou da elaboração da prova até 2002, também defende a TRI como sistema que propicia a medida mais exata da proficiência do estudante. Ela pondera, entretanto, que o principal problema em relação ao exame nacional é o fato de não haver um banco de questões numeroso o suficiente para evitar que os itens do pré-teste coincidam com questões de provas e simulados das escolas no mesmo ano. "Por essa deficiência no banco é que houve vazamento de questões nas últimas três edições do Enem, o que acaba desqualificando o exame."

Magrone também acredita que a pouca quantidade e variedade de itens no banco do MEC seja responsável pelas principais falhas do Enem. "A distância temporal entre o pré-teste e a prova propriamente dita tem que ser de algo em torno de cinco anos, senão há um risco enorme de vazamento de informações. Para que haja um mínimo de segurança, milhares de questões precisam ser testadas todos os anos." Para o professor Tufi Machado Soares, esta limitação tende a ser contornada. "O Instituto Nacional de Estudos e Pesquisas (Inep) tem investido maciçamente na elaboração e nos pré-testes de itens, o que deve corrigir eventuais problemas observados em outras edições."

 

Debate na UFJF

Buscando esclarecer o estudo da TRI, a UFJF realizará uma sessão temática sobre o assunto de amanhã, dia 15, até o próximo dia 18 de outubro, durante a Semana de Estatística da instituição. Segundo o coordenador do evento e professor da universidade Clécio da Silva Ferreira, o tema foi escolhido devido à amplitude do Enem como forma de ingresso no ensino superior, após sua adoção por diversas instituições brasileiras, inclusive a UFJF. Além de Tufi Machado Soares e Maria Inês Fini, participa da discussão a coordenadora-geral do Centro de Políticas Públicas e Avaliação da Educação (Caed), Lina Kátia Mesquita de Oliveira.

 

Discrepância entreo método e o ensino no país

Segundo o pró-reitor de Graduação da UFJF, Eduardo Magrone, a dificuldade na compreensão da Teoria de Resposta ao Item (TRI) está na discrepância entre o que o método propõe e o que é praticado no ensino médio brasileiro. "Desde a educação fundamental, os alunos estão treinados pela correção de modelo clássico, e isso perdura no ensino médio. Mesmo os professores da geração atual tiveram sua formação neste modelo. Com isso, a adoção da TRI em um exame tão determinante, como o Enem, tende naturalmente a causar um estranhamento." Magrone acredita, entretanto, que há uma inclinação para que a metodologia se popularize nas escolas. "Se realmente o método ’emplacar’ no Enem, como parece que está acontecendo, a tendência é que ele seja incorporado amplamente como prática de avaliação do ensino, mas este é um processo a muito longo prazo."

‘Vestibularização’

Mesmo defendendo a adoção da TRI como método de correção, a doutora em educação Maria Inês Fini aponta contradições do sistema em relação ao exame. "O Enem atualmente está muito próximo do vestibular tradicional, que precisa eliminar o candidato com artifícios, como ‘pegadinhas’, por exemplo. Isso contradiz a proposta da TRI, que busca traçar um perfil de respostas do candidato para então permitir uma avaliação de sua proficiência." Magrone também manifesta preocupação em relação à ‘vestibularização’ do exame nacional. "O Enem deveria ser mantido como um exame de avaliação de competências e habilidades. A adoção de questões no modelo "certo e errado" é antitética à TRI, que avalia o todo, isto é, as respostas uma em função da outra e em relação aos outros candidatos."

Para Maria Inês, a adoção massiva do exame como porta de entrada para o ensino superior foi uma atitude precipitada. "Por isso, não adianta usar de técnicas avançadas de medição de proficiência, como a TRI. Também por isso há falhas, como o vazamento de questões. Antes que se lançasse a cobiça que há no exame atualmente – porque ele é a principal forma para ingressar nas universidades – era preciso, por exemplo, ter um banco de questões amplo e confiável."