Stoa :: Alexandre Hannud Abdo :: Blog :: Mais uma pedra no caixão do fator de impacto, mas quando as instituições aprenderão?!

julho 26, 2009

default user icon

Ni!

No início deste mês o PLoS ONE, importante periódico científico de acesso aberto, publicou uma investigação ampla de dezenas de métodos para calcular a relevância de publicações e trabalhos científicos:

A Principal Component Analysis of 39 Scientific Impact Measures

Há vários detalhes interessantes, mas uma das conclusões centrais é que o Fator de Impacto (JIF), utilizado por diversas instituições brasileiras para atribuir relevância a trabalhos científicos, é uma medida periférica de reação lenta da popularidade.

Ou seja, não entra em acordo com outras medidas, mede o quanto os artigos são populares e não prestigiosos, e reflete tendências da  rede de citações apenas a longo prazo.

Outro mérito desse artigo é justamente conseguir derivar uma classificação semântica das medidas, nessas linhas "periférica/central", "popularidade/prestígio" e "reação lenta/rápida".

 

Já passou da hora da comunidade científica cobrar o abandono definitivo de medidas como o JIF. Há alternativas superiores e provas inequívocas de que o JIF privilegia as pesquisas erradas.

Mas não se deve perder de vista o passo adiante. Abandonar o JIF seria apenas um paliativo. O que é necessário é caminha na direção e uma avaliação participativa e transparente da ciência, que preveja uma multiplicidade de prioridades e use adequadamente essas medidas de impacto, ao invés de abusá-las para instalar uma numerocracia que só interessa a burocratas preguiçosos e interesses privados.

Abreijos,

abdo

~~

Palavras-chave: cnpq, fapesp, fator de impacto, impacto científico, instituições científicas, numerocracia, Open Access, plos one, usp

Postado por Alexandre Hannud Abdo | 3 usuários votaram. 3 votos

Comentários

  1. Leonardo de Oliveira Martins escreveu:

    Olá Abdo!

     Correndo o risco de querer ensinar o pai-nosso ao vigário, ofereço a leitura desse editorial que saiu no final de 2007 no J. Experimental Medicine (e outros). Nele é comentada a ironia de os cientistas avaliarem e serem avaliados por um índice - o fator de impacto - cujo dado primário não é acessível e portanto não pode ser avaliado. Os dados brutos a que os autores tiveram acesso não batiam com os índices publicados.

    abraços,

    Leo

    Leonardo de Oliveira MartinsLeonardo de Oliveira Martins ‒ segunda, 27 julho 2009, 00:18 BRT # Link |

  2. Alexandre Hannud Abdo escreveu:

    Ni Leo!!

    Puxa não conhecia este outro artigo, muito legal, gostei do encerramento:

    "an ill-defined and manifestly unscientific number"

    O triste é que, como o texto deixa claro, não se trata de exagero.

    ~~

    Alexandre Hannud AbdoAlexandre Hannud Abdo ‒ segunda, 27 julho 2009, 02:54 BRT # Link |

  3. Alexandre Hannud Abdo escreveu:

    Ni!

    Acabei de bater de frente com outro artigo expondo um problema seríssimo: a transformação de mentiras em fatos científicos através de viés, amplificação e invenção no uso de citações:

    How citation distortions create unfounded authority: analysis of a citation network

    Esse artigo descreve como um fato biomédico comprovadamente falso há mais de dez anos persiste até hoje em pesquisas e na literatura através de autoridades emergentes da rede de citações.

    Quantos casos disso permanecem ocultos? Não há como saber! Recentemente venho me questionando se a unidade "artigo científico" não merece ser repensada. Se etivesse com mais tempo escrevia um post só sobre isso.

    Abraços!

    abdo

    ~~

    Alexandre Hannud AbdoAlexandre Hannud Abdo ‒ segunda, 27 julho 2009, 18:22 BRT # Link |

  4. Daniel Doro Ferrante escreveu:

    Abadão, Falando sobre a "unidade artigo científico"… e correndo o risco de citar o Demônio como "autor de benfeitorias" no Paraíso… a Elsevier tem dois projetos bastante interessantes: • http://article20.elsevier.com/contest/home.htmlhttp://beta.cell.com/ (Vc pode ler mais no seguinte link, http://network.nature.com/people/mfenner/blog/2009/07/26/how-does ) Pra ser bem honesto, depois de tantos anos the Free Software/GNU/FSF, W3C, e tantos(as) outros(as), eu acho todas essas sugestões (descritas no link imediatamente acima) absolutamente triviais: num final-de-semana, se a gente sentar juntos (nós, uma galera do CCM e uma outra galera animada ;-), sai tudo que está lá e mais um pouco! O fato dessa "galera" só agora estar descobrindo o quê realmente significa "metadata"… é trágico, é peristalticamente trágico! :-( Só como "food for thought", deixo os seguintes links, que é bem capaz que vcs já tenham visto, • "If Digg (or Reddit) ran the arXiv", http://fliptomato.wordpress.com/2007/11/18/if-digg-or-reddit-ran-the-ar • "If Amazon ran the arXiv", http://fliptomato.wordpress.com/2007/11/26/if-amazon-ran-the-arxiv/ • "If Google ran the arXiv: prospects of data mining in academia", http://fliptomato.wordpress.com/2007/12/26/if-google-ran-the-arxiv-pros []'s!

    Daniel Doro FerranteDaniel Doro Ferrante ‒ segunda, 27 julho 2009, 19:48 BRT # Link |

  5. Daniel Doro Ferrante escreveu:

    [Agora, em off: vou dizer uma coisa, esse editorzinho do STOA é um lixo: ruim com ele, pior sem ele! Vou dizer… :-P Não sei porque não se usa o Markdown+SmartyPants com mais freqüência… :-( ]

    Daniel Doro FerranteDaniel Doro Ferrante ‒ segunda, 27 julho 2009, 19:58 BRT # Link |

  6. Alexandre Hannud Abdo escreveu:

    Legal daniel!

    Até bacana essa iniciativa do Demônio Elsevier hehe (especialmente se contrastada ao recente caso El Naschie pelo mesmo bicho)

    Mas eu vou dizer, estava pensando numa outra semântica do que escrevi.

    Não pensando em alterar a unidade artigo científico, que certamente pode ser muito melhorada; mas questionar a própria proposta do "artigo científico" ser a unidade.

    Bem, isso é uma outra e loooonga discussão, na qual um dia chegaremos =D

    Abraços!

    abdo

    ~~

    Alexandre Hannud AbdoAlexandre Hannud Abdo ‒ terça, 28 julho 2009, 20:23 BRT # Link |

  7. Ewout ter Haar escreveu:

    Sempre achei que o arxiv devia funcionar somente como repositório, e deixar a função credenciamento e revisão por pares para uma camada de software acima dele. Mais ou menos como o Ed Felten diz que o governo deve disponibilizar os seus dados: em formatos abertos, dados brutos, e deixar para o mercado o trabalho de criar aplicações que apresentam, indexam, criam valor agragado, etc. É isto também o que o van de Sompel (um dos autores do artigo que o Abdo discutiu) diz, já em 2004.

    Sobre o formato e unidade de uma comunicação científica, já há uma grande variabilidade: nas ciências humanas, livros ou capítulos é onde tudo acontece, em outras áreas quase toda comunicação é feita via conferências. O limite inferior é 140 caracteres, claro. De qq maneira, o formato não é fundamental. É o processo que deve ser o alvo de reformulação.

    Hoje falei com uma amiga que acabou voltando de uma conferência "meio fechada", onde cientistas na área de climatologia interagiram num ambiente "não-público". Isto queria dizer que assinaram um espécie de NDA, dizendo que não íam divulgar oficialmente  ou usar formalmente os resultados que ouviram. Segunda a minha amiga, houve gente já dando apresentações (resultados de simulações, algo assim) dizendo algo do tipo "claro que não falaria isto em público ou numa publicação, mas na verdade penso assim,,,". O cara já sabe que pode falar somente certas coisas para poder ser publicado!

    @daniel, nunca entendi qual a difuculdade que as pessoas tem de apertar "enter" e fazer um parágrafo... Mas não discordo que Markdown seria uma boa. "Patches welcome"!

     

     

     

    Ewout ter HaarEwout ter Haar ‒ terça, 28 julho 2009, 22:02 BRT # Link |

  8. Daniel Doro Ferrante escreveu:

    @ Ewout,

    Excelente comentários — eu já vi várias conferências "fechadas", do mesmo tipo que vc descreve. Parece que a coisa realmente "floresceu" depois que a turma do WMAP deu uma palestra e os dados 'leaked' *antes* de terem sido publicados — porque alguém da platéia tomou nota e os postou online.

    Eu acho isso tudo tão absolutamente surreal… que nem cubista é mais: já é dadaísta! :-(

    Como se pode ter Ciência sem "abertura"?! Não é uma questão de "Open Science", mas sim de "Free Science" (no melhor sentido RMS ;-)! Se não houver colaboração *aberta* (open) e *livre* (free), simplesmente não há Ciência… Eu imaginei que exemplos como as Wikis (Wikipedia, Scholarmedia, etc — mesmo essa segunda não sendo uma reflexão exata dos valores que eu estou expondo aqui), ou como o "Polymath Project", do Gowers, Tao e cia; eu achei que projetos assim seriam 'slum dunks' contra esse tipo de argumento… mas a lógica é tão absolutamente cíclica e tautológica, que essas pessoas não enxergam absolutamente nada… :-( É trágico…

    Faz tempo, muUuito tempo, que eu venho dizendo que a coisa toda virou "groupthink"…

    Anyway, concordo com essa visão, Ewout, de que os dados devem ser disponibilizados em formato "raw", bruto (?), pra que *qualquer* pessoa possa fazer o que bem entender com eles… senão, os dados já vêm "maquiados", com algum viés (bias) que a gente pode, eventualmente, nem saber como remover… ou não poder remover os efeitos estatísticos desse viés inicial.

     

    Off-topic: não tenho nada contra apertar 'enter' pra fazer parágrafo novo… são os links que me incomodam profundamente: pra fazer qualquer link eu tenho que escrever, selecionar, apertar botão, colar links, URLs, e finalizar toda a operação. Eu sei que é só meu lado geek falando mais alto… mas, quando eu fui fazer o post acima, havia vários links que eu queria postar… e esse processo todo alertou meu "[geek] spider sense". ;-) Se for só pra escrever linearmente, como agora, o editor é muito bom, pois tira a formatação da cabeça do escritor — basta escrever, a "mágica HTML" é feita no background. Eu apoio isso… aposto que a imensa e esmagadora maioria dos usuários do STOA seja muito melhor atendida dessa maneira.

    Mas, se vc me permite sonhar… algo nas linhas do que o Jacques Distler fez no blog dele (onde vc pode selecionar o tipo de 'input' que quer fazer) é o objetivo que eu sempre tenho em mente. ;-)

    Me desculpe se acabei soando como um crítico bossal… não foi essa a intenção… só estava frustrado na hora… :-)

    []'s!

    Daniel Doro FerranteDaniel Doro Ferrante ‒ quarta, 29 julho 2009, 08:43 BRT # Link |

  9. Alexandre Hannud Abdo escreveu:

    Oi Ewout!

     É acho que vc colcou melhor a questão, quando eu disse aquilo sobre a "unidade artigo científico" referia-me mesmo ao processo social que o formato induz. Se pudéssemos corrigir o processo social sem mexer no formato, está de bom tamanho. Mas enfatizei a questão técnica justamente porque acho isso difícil, pelo tipo de incentivo que o formato gera e até pela estrutura da sua produção, que no fundo é a mesma para capítulos ou artigos de periódicos e congressos. Mas, com razão, o foco deva ser no processo social. :)

     Abração,

    abdo

    ~Ni!~

    Alexandre Hannud AbdoAlexandre Hannud Abdo ‒ quarta, 29 julho 2009, 18:03 BRT # Link |

  10. Daniel Doro Ferrante escreveu:

    Só pra deixar um link que acabou de sair e ainda está quentinho...

    "Die Internet-Kultur sickert in die Wissenschaft ein".

    Se alguém souber alemão... ou, quiser usar o Google Translate... Piscar

     

    []'s! 

    Daniel Doro FerranteDaniel Doro Ferrante ‒ sexta, 31 julho 2009, 12:43 BRT # Link |

  11. Daniel Doro Ferrante escreveu:

    Abadao,

    Mais um link bem legal,

    • "First Monday — Vol14, N8, 2009-Aug-03", http://www.uic.edu/htbin/cgiwrap/bin/ojs/index.php/fm/issu

    Olha so os 2 primeiros artigos… ;-)

     

    []'s! 

    Daniel Doro FerranteDaniel Doro Ferrante ‒ sábado, 01 agosto 2009, 10:07 BRT # Link |

  12. Leonardo de Oliveira Martins escreveu:

    Mais alguns links:

    It is time to find a better way to assess the scientific literature. The PLoS Medicine Editors (2006) The Impact Factor Game. PLoS Med 3(6): e291. doi:10.1371/journal.pmed.0030291 http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0

    Reclaiming Responsibility for Setting Standards. Genetics, Vol. 181, 355-356, February 2009 doi:10.1534/genetics.109.100818 http://www.genetics.org/cgi/content/full/181/2/355

    Why Current Publication Practices May Distort Science. Young NS, Ioannidis JPA, Al-Ubaydli O (2008) Why Current Publication Practices May Distort Science. PLoS Med 5(10): e201. doi:10.1371/journal.pmed.0050201 http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0

    O primeiro comenta sobre a incapacidade do Fator de Impacto de efetivamente medir o impacto de uma pesquisa (é uma medida de impacto da revista apenas, e dentro da comunidade científica), e sobre como é fácil haver um conluio para enganar esse fator. O segundo artigo é sobre a necessidade (ou suposição) de sabedoria salomônica dos editores, que só é possível quando os editores são cientistas "na ativa" e da área, e que não se importem com o impacto da pesquisa sendo avaliada. O terceiro é uma interessante analogia da avaliação científica com "falhas de mercado" monopolistas - onde é criada uma escassez artificial. Ou seja, tenta-se mudar a curva oferta-demanda para determinado produto - rent seeking - ao invés de se posicionar otimamente na curva através do preço ou mudar de produto através de inovação - profit seeking (Against Intellectual Monopoly, Boldrin and Levine 2008, chap 7).

     

    []'s

    Leonardo de Oliveira MartinsLeonardo de Oliveira Martins ‒ domingo, 02 agosto 2009, 19:59 BRT # Link |

  13. Francisco M Neto escreveu:

    Confesso logo de cara que não li nenhum dos links que foram postos aqui até agora, mas queria adicionar meus dois centavos assim mesmo.

    Acho que, independentemente da maneira de avaliação de mérito, o grande problema do mundo acadêmico tem nome e todos o conhecemos bem: publish or perish. Especialmente em lugares onde o acesso ao financiamento de pesquisas científicas é mais restritivo (como é o caso do Brasil). Enquanto os responsáveis pela "grana" (sejam eles indústrias, agências privadas ou o governo) continuarem a privilegiar a quantidade sobre a qualidade das publicações, a idéia de "open science" terá pouco espaço para crescer.

    Não estou dizendo que quem publica muito necessariamente publica um monte de lixo, nem que quem publica pouco só publica obras-primas. Mas a qualidade de um trabalho científico fica relegada a um segundo plano nesse estado de coisas, pois afinal de contas o que realmente importa é publicar-publicar-publicar. Esse "modus operandi" que prevalece hoje em dia é o maior inimigo da evolução da pesquisa científica, e honestamente acredito que em breve chegaremos a um ponto onde publicar será mais importante que a pesquisa em si. Publish or perish.

    Francisco M NetoFrancisco M Neto ‒ quarta, 02 setembro 2009, 17:23 BRT # Link |

  14. Alexandre Hannud Abdo escreveu:

    Ni!

    Só pra complementar com mais um link interessante, recentemente um grupo de pesquisadores franceses escreveu um texto bastante pertinente no Reflets de la Physique, que foi traduzido ao português por um grupo de pesquisadores brasileiros.

    O texto em português foi divulgado no boletim da SBF com o título "Avaliação Bibliométrica de Pesquisadores: não é correta . . . nem mesmo errada"

    Para quem sabe ler, pode baixar também o original em francês: "L’évaluation bibliométrique des chercheurs: même pas juste... même pas fausse!"

    ~~

    Alexandre Hannud AbdoAlexandre Hannud Abdo ‒ domingo, 06 dezembro 2009, 14:15 BRST # Link |

Você deve entrar no sistema para escrever um comentário.

Termo de Responsabilidade

Todo o conteúdo desta página é de inteira responsabilidade do usuário. O Stoa, assim como a Universidade de São Paulo, não necessariamente corroboram as opiniões aqui contidas.