Para Que Servem as Métricas Nas Ciências?

O primeiro episódio da terceira temporada da série britânica Black Mirror retrata um mundo fictício onde a reputação das pessoas é quantificada em pontos gerados por avaliações alheias produzidas por um aplicativo de celular. Realisticamente, vivemos em um mundo onde a reputação abre portas, gera privilégios e até dinheiro. Assim como nos campos político e econômico, o mundo da ciência também utiliza diversos indicadores métricos para avaliar o impacto das suas produções, uma vez que de seus resultados dependem a obtenção ou manutenção do capital científico do pesquisador. 

Você seria capaz de viver em um mundo onde a sua reputação fosse quantificável em pontos, gerados através de avaliações alheias, e esses pontos pudessem ser utilizados em descontos de aluguéis, filas preferenciais de aeroportos e outros privilégios que hoje só podem ser adquiridos através do consumo? Além disso, quanto mais pontos você possuir, mais fácil será o seu acesso a alta sociedade? Essa é a proposta de Nosedive, primeiro episódio da terceira temporada de Black Mirror, traduzido para o português como Queda Livre.
Na ficção, Lacie, a protagonista da história, busca cativar as pessoas ao seu redor para alcançar ao menos a pontuação de 4,5 (onde 5,0 é a pontuação máxima) com o objetivo de obter um desconto no aluguel da casa de seus sonhos. A dinâmica do jogo da reputação inclui que cativar pessoas com rankings melhores tem um efeito dominó positivo, ao mesmo tempo que andar com pessoas com pontuação menor pode fazer a impopularidade da pessoa respingar em você. 
O fato é que nós já vivemos em um mundo onde a reputação abre portas, gera privilégios e até dinheiro. Conseguir bons contatos é um meio de garantir uma carreira profissional bem-sucedida, aumentando a sua riqueza. Nesse processo, existem atitudes bastante artificiais como a bajulação ou a postura padrão do bom profissional. Guardadas as proporções, por incrível que pareça, no meio acadêmico a coisa funciona mais ou menos assim.
Assim como nos campos político e econômico, o mundo da ciência também conhece relações de força, de concentração e disputas de poder, relações sociais que implicam na apropriação dos meios de produção e dominação. E aqui entra um conceito salutar na obra do sociólogo francês Pierre Bourdieu (1930-2002): o de capital científico. Este capital é simbólico e, assim como na série,  depende do reconhecimento de outros cientistas. O capital científico também pode ser acumulado e disputado. Bourdieu diferencia dois tipos de capital científico, que são, em última análise, duas formas de poder. O autor fala em capital político (ou temporal/institucional), que diz respeito à ocupação de posições de destaque em instituições científicas, direção de laboratórios, departamentos e conselhos, pertencimento a comitês de avaliação e a posições que dão poder sobre os meios de produção (créditos, financiamentos, empregos etc.). Paralelo a esse, temos um outro tipo de capital, associado ao prestígio, mais ou menos independente do primeiro capital. Este segundo capital diz respeito às contribuições do cientista ao progresso da ciência (progresso esse que só se dá na disputa por capitais), à avaliação dos pares e às disposições do cientista. Também pode ser chamado de autoridade científica.
A avaliação de impacto da produção científica é tema de constante discussão na comunidade acadêmica, uma vez que de seus resultados dependem a obtenção ou manutenção do capital científico do pesquisador. O grande público não percebe o caráter burocrático da produção científica e acredita que os cientistas e pesquisadores estão à margem de um sistema sofisticado de produção que incorpora interesses, recursos financeiros e tecnológicos, metodologias de análise ou medição. Poucos suspeitam que existe uma hierarquização no campo científico representado pelo sistema de revisão por pares e pela prática da referenciação, além de outros elementos criados para reforçar o capital científico dos pesquisadores e conferir prestígio no meio acadêmico.
A avaliação da ciência utiliza uma variedade de indicadores bibliométricos, em sua maioria baseados em citações, a despeito de não existir uma relação nítida entre citações e mérito ou qualidade científica. Estes indicadores, no entanto, abrangem mais do que uma indicação de visibilidade, relevância e impacto dos artigos e podem representar na carreira de um pesquisador prestígio, contratações, promoções na carreira, premiações, obtenção de auxílio a pesquisa e outras recompensas. 
Os meios tradicionais normalmente utilizados como informação acerca do valor do trabalho científico produzido e como filtro para os trabalhos mais significativos, são a revisão pelos pares, a contagem de citações e o Fator de Impacto (FI). Os três maiores fornecedores de métricas são a Web of Science (WoS da ISI Thomson Reuters), a Scopus (Elsevier ) e a Google. Algumas destas métricas estão voltadas para as revistas e outras apontam para os autores ou ainda para os artigos.
Desde 1973, o Journal Citation Reports (JCR) fornece uma avaliação da posição de uma revista científica no campo da produção acadêmica através de uma avaliação objetiva de dados estatísticos fornecidas pela Clarivate Analytics , uma empresa e editora independente. A análise abrange métricas de influência e impacto, itens de dados de citação, e milhões de dados de citações e revistas científicas citadas da Web of Science, base de dados de indexação de citações que é líder no setor para ciências, ciências sociais e artes e humanidades.
No sistema de revisão por pares (peer review), os cientistas revisores atuam como controladores de quais artigos científicos serão aprovados e, posteriormente, legitimados no campo. A aprovação de artigos pelos periódicos científicos torna-se um dos principais objetivos dos cientistas, posto que a construção da ciência apenas consolida-se a partir da comunicação dos resultados de pesquisa e da sua validação pela comunidade científica. São os revisores que estabelecem, ao longo da sua experiência profissional, quais as problemáticas e metodologias estão conformadas ao paradigma dominante de ciência. 
Além da avaliação por pares, a hierarquia entre os cientistas é expressa também no sistema de referenciação. Geralmente, as pesquisas consideradas mais importantes são as mais citadas nos artigos de uma determinada área de pesquisa. A relação entre a posição do cientista no campo científico e o quanto ele é citado ocorre de maneira dialética, já que a quantidade de citações, numericamente calculada pelo Índice h (Índice de Hirsch), indica o impacto que os cientistas possuem na comunidade científica. O Índice foi proposto em 2005 por Jorge Hirsh como uma alternativa para quantificar a produtividade científica individual de um cientista. Este índice é calculado conforme o número de artigos publicados pelo cientista e a frequência com que estes artigos são citados por outros cientistas. Ao avaliar a frequência de citações, o índice aponta a qualidade das publicações e a visibilidade destas nas comunidades científicas e, por isso, contrapõe-se à avaliação tradicional que levava em conta apenas o número de trabalhos publicados.
No que se refere ao Fator de Impacto (FI), podemos dizer que foi um dos primeiros e mais utilizados índices já criados (o FI data de 1975), quando Eugene Garfield (1925-2017), fundador do então Institute for Scientific Information (ISI), o introduziu para apoiar na seleção de periódicos por assinatura em bibliotecas. Este índice é calculado, exclusivamente, para as revistas que estão indexadas na Web of Science. O FI possui uma fórmula simples sendo, por este motivo, sujeito facilmente a manipulações de todos os tipos. Outro indicador utilizado é o SCImago Journal Rank (SJR – que usa como fonte de dados a Scopus), que se difere do FI, principalmente devido às diferenças nas bases de dados de onde são recolhidas as informações sobre as citações, para a sua avaliação e, também, nas metodologias utilizadas nos cálculos desses indicadores. As principais vantagens do SJR sobre o FI são a não inclusão de autocitações no cálculo do prestígio de uma revista, as suas bases de dados cobrirem um grande quantidade de revistas e em diferentes línguas e estar disponível em acesso aberto (o acesso ao FI requer assinatura).
Os artigos e citações foram, durante décadas, quase exclusivamente a fonte dos estudos sobre a comunicação acadêmica, mas agora apareceram novas fontes de evidência, renovando o interesse da comunidade que estuda os indicadores científicos. A citação sempre foi o cerne da Cientometria, mas o surgimento das mídias sociais digitais tornou possível o acesso a muitos outros canais que registram o impacto das pesquisas científicas, conhecidas atualmente pelo termo altmetrias ( ou métricas alternativas). Esta nova métrica possui aspectos interessantes, na medida em que possibilitou novos olhares sobre o impacto da pesquisa científica junto do grande público, em vez de apenas na comunidade acadêmica.
A comunicação científica sofreu uma evolução significativa, como o Acesso Aberto, a publicação acadêmica baseada na Web e o movimento de dados abertos, fazendo com que as métricas alternativas tomassem impulso, ajudando os acadêmicos e as instituições a encontrar novas formas de medir o valor e o impacto dos seus trabalhos. Neste contexto, novos meios, formais e informais, de disseminação e comunicação da ciência emergiram e desfocaram as fronteiras que existiam entre revistas, artigos e ciência. Hoje em dia, qualquer pessoa com acesso à web pode obter novos conhecimentos e competências em rede e plataformas de mídia sociais, ao interagir com fontes e conteúdos, contribuindo e influenciando o seu conhecimento e a sua prática. 
Assim, os índices tradicionais de aferição de impacto de publicações e artigos científicos, junto a um cenário da produção acadêmica cada vez mais vinculada aos meios eletrônicos, levaram a comunidade acadêmica a buscar e desenvolver maneiras alternativas de medir, avaliar e legitimar essa produção científica.
Para saber mais, clique nos links acima

Comentários

Postagens mais visitadas deste blog

A Mariposa da Morte

A Importância Ecológica das Baratas

Sensibilidade e Especificidade