A fraude dos "rankings"
JOÃO CÉSAR DAS NEVES
DN 2014-2-10
Saíram os rankings (listas ordenadas) internacionais das universidades de gestão, e as escolas portuguesas subiram posições e estão em lugares honrosos. Por isso é altura de dizer, sem ser suspeito, que isso é um disparate. Cada vez que lhe mostram um ranking pode ter a certeza de que é enganado.
Primeiro porque nunca se pode ter a certeza, sequer próxima, da justeza da ordenação. É possível assegurar as posições relativas num tema objectivo, nunca numa questão conceptual. Pode dizer-se a ordem de chegada numa corrida, não a qualidade relativa dos atletas; é possível saber quem ganhou o campeonato, nunca se essa é a melhor equipa. Todos naturalmente deduzem a segunda conclusão da primeira, mas os conhecedores sentem sempre a injustiça. Estes casos ainda são relativamente lineares, mas tentar identificar a melhor escola, o melhor artista, a posição relativa dos sites, restaurantes ou países é impossível.
Quem se dedica a esses estudos faz um trabalho aturado de recolha de informação objectiva e avaliações pessoais. Em geral, essa entidade costuma ser séria na obtenção de um quadro informativo vasto e relevante. Mas depois vê-se obrigada a condensar tudo numa ordenação numérica simples, e começa o abuso. Os dados são derretidos, misturados, moldados e metidos à força no tal ranking. Por muito sofisticado que seja o tratamento, a perda de informação é fenomenal. Todo o esforço de investigação fica desperdiçado pela imposição da forma banal de numeração.
Aqui surge o segundo problema do ranking. Numa ordem, a diferença entre o primeiro e o segundo é a mesma do nono ao décimo. São números naturais, sequenciais. Como nada garante que a ordem das entidades seja regular, a lista esconde diferenças que podem ser abissais. Se, por exemplo, há três elementos excelentes e os outros não prestam, por muito bom que seja o estudo, o ranking é altamente lisonjeiro para a quarta posição e seguintes.
Assim, que significa então ser o melhor da lista? O 25.º na Europa? O 52.º no mundo? Dá emoção, chama a atenção, mas alguém que queira realmente conhecer a questão só o pode considerar espúrio. O estudo é científico e rigoroso, a informação fidedigna e sólida, o resultado arbitrário.
Mas, querendo um indicador resumo da questão, não será o ranking a melhor alternativa? Claro que não. Existe outra forma muito mais séria e sólida de obter o mesmo. Esse, aliás, é o meio que as escolas, que estão nos rankings, usam na sua própria actividade: o rating que, em vez de impor uma ordenação estrita, dá uma nota absoluta.
Esta é a diferença entre um concurso e um exame. No primeiro, que impõe um ranking, temos um vencedor e uma ordem; no segundo cada elemento recebe uma avaliação que apenas depende da sua prestação pessoal. Olhar para a pauta de uma classe, apesar de todos os problemas acima referidos de uma estimativa uniforme, é muito mais informativo do que a simples posição relativa dos estudantes. Isso vê-se na possibilidade de transformar um rating num ranking, quando o aluno diz ser o terceiro da turma, mas não o inverso. Notar que há 10% de notas negativas é algo que um ranking nunca consegue. Podem usar-se escalas de 1 a 20, percentagens, estrelas como nos hotéis ou as alfa-numerações ridículas das agências de rating financeiro, mas esta forma de informação simples é muito mais sólida e esclarecedora do que o banal ranking.
Se é assim, porque se insiste tanto na ordenação, até no rigoroso meio académico? Por razões emotivas. Um campeão é sempre apaixonante. É mais excitante dizer-se que foi 5.º do que indicar a nota. Por isso mudamos tantos ratings em rankings. Não basta ter cinco estrelas; é preciso ser o hotel melhor da cidade. É significativo que a entidade que emite o ranking das universidades não seja uma academia, mas um jornal, o Financial Times. O assunto é emoção, mais que informação.
Há ainda um problema dos rankings face aos ratings: na competição do primeiro, um único é feliz e todos os outros perdem. Por isso, numa época neurasténica, é normal usar rankings.
DN 2014-2-10
Saíram os rankings (listas ordenadas) internacionais das universidades de gestão, e as escolas portuguesas subiram posições e estão em lugares honrosos. Por isso é altura de dizer, sem ser suspeito, que isso é um disparate. Cada vez que lhe mostram um ranking pode ter a certeza de que é enganado.
Primeiro porque nunca se pode ter a certeza, sequer próxima, da justeza da ordenação. É possível assegurar as posições relativas num tema objectivo, nunca numa questão conceptual. Pode dizer-se a ordem de chegada numa corrida, não a qualidade relativa dos atletas; é possível saber quem ganhou o campeonato, nunca se essa é a melhor equipa. Todos naturalmente deduzem a segunda conclusão da primeira, mas os conhecedores sentem sempre a injustiça. Estes casos ainda são relativamente lineares, mas tentar identificar a melhor escola, o melhor artista, a posição relativa dos sites, restaurantes ou países é impossível.
Quem se dedica a esses estudos faz um trabalho aturado de recolha de informação objectiva e avaliações pessoais. Em geral, essa entidade costuma ser séria na obtenção de um quadro informativo vasto e relevante. Mas depois vê-se obrigada a condensar tudo numa ordenação numérica simples, e começa o abuso. Os dados são derretidos, misturados, moldados e metidos à força no tal ranking. Por muito sofisticado que seja o tratamento, a perda de informação é fenomenal. Todo o esforço de investigação fica desperdiçado pela imposição da forma banal de numeração.
Aqui surge o segundo problema do ranking. Numa ordem, a diferença entre o primeiro e o segundo é a mesma do nono ao décimo. São números naturais, sequenciais. Como nada garante que a ordem das entidades seja regular, a lista esconde diferenças que podem ser abissais. Se, por exemplo, há três elementos excelentes e os outros não prestam, por muito bom que seja o estudo, o ranking é altamente lisonjeiro para a quarta posição e seguintes.
Assim, que significa então ser o melhor da lista? O 25.º na Europa? O 52.º no mundo? Dá emoção, chama a atenção, mas alguém que queira realmente conhecer a questão só o pode considerar espúrio. O estudo é científico e rigoroso, a informação fidedigna e sólida, o resultado arbitrário.
Mas, querendo um indicador resumo da questão, não será o ranking a melhor alternativa? Claro que não. Existe outra forma muito mais séria e sólida de obter o mesmo. Esse, aliás, é o meio que as escolas, que estão nos rankings, usam na sua própria actividade: o rating que, em vez de impor uma ordenação estrita, dá uma nota absoluta.
Esta é a diferença entre um concurso e um exame. No primeiro, que impõe um ranking, temos um vencedor e uma ordem; no segundo cada elemento recebe uma avaliação que apenas depende da sua prestação pessoal. Olhar para a pauta de uma classe, apesar de todos os problemas acima referidos de uma estimativa uniforme, é muito mais informativo do que a simples posição relativa dos estudantes. Isso vê-se na possibilidade de transformar um rating num ranking, quando o aluno diz ser o terceiro da turma, mas não o inverso. Notar que há 10% de notas negativas é algo que um ranking nunca consegue. Podem usar-se escalas de 1 a 20, percentagens, estrelas como nos hotéis ou as alfa-numerações ridículas das agências de rating financeiro, mas esta forma de informação simples é muito mais sólida e esclarecedora do que o banal ranking.
Se é assim, porque se insiste tanto na ordenação, até no rigoroso meio académico? Por razões emotivas. Um campeão é sempre apaixonante. É mais excitante dizer-se que foi 5.º do que indicar a nota. Por isso mudamos tantos ratings em rankings. Não basta ter cinco estrelas; é preciso ser o hotel melhor da cidade. É significativo que a entidade que emite o ranking das universidades não seja uma academia, mas um jornal, o Financial Times. O assunto é emoção, mais que informação.
Há ainda um problema dos rankings face aos ratings: na competição do primeiro, um único é feliz e todos os outros perdem. Por isso, numa época neurasténica, é normal usar rankings.
Comentários