Estive no último final de semana em uma reunião dos organizadores de áreas de uma conferência importante sobre visão computacional. O processo de avaliação desses eventos é interessante, dadas as restrições. Em primeiro lugar, tem um número muito grande de artigos submetidos: em torno de 1600. A organização para seleção dos artigos começa pelos chairs da conferência no topo (3 chairs). Abaixo deles existe um grupo de Area Chairs, cobrindo as diferentes áreas (em torno de 34). Finalmente, cada artigo passa por 3 revisores externos (total de quase 4800 revisões...). Aproximadamente 1/3 dos artigos são aceitos.
O processo é bastante delicado e todo cuidado é pouco. Trata-se de artigos do mundo todo. Todas as pessoas, de lugares e culturas diferentes, querem obviamente ver seu artigo aceito. Todo tipo de drama e jogo de emoções está em jogo, desde vaidades de professores e líderes de grupo até a angústia de doutorandos querendo ver seu trabalho passar.
O processo de avaliação é mais ou menos assim: em primeiro lugar, a conferência adota o sistema double-blind review, o que quer dizer que os revisores e os Area Chairs (AC) não sabem que são os autores e vice-versa. O intuito é, obviamente, tornar o processo menos dependente das pessoas e mais do conteúdo do artigo em si (nem sempre, isso é possível, mas em geral, funciona bem). Os únicos que conhecem tudo (autores, revisores, area chairs) são os 3 Chairs da conferência. Esses chairs designam um grupo de artigos para cada AC. Cada AC indica 3 revisores para cada artigo (eu recebi 43 artigos). Uma vez tendo as revisões, as enviamos aos autores, que podem rebater as críticas levantadas.
Ocorre, então, uma reunião em que todos os AC se encontram (este ano, foi na University of Central Florida, em Orlando). Vem gente do mundo todo, quase 50 pessoas. Os ACs são divididos em dois níveis: pares de ACs são criados, ie cada AC ganha um "buddy" (chapa, companheiro, bro :). Grupos de buddies são reunidos em painéis (6 a 8 pessoas). O processo então é: cada AC verifica a documentação (artigo, avaliações, resposta-aos-revisores) e sugere uma decisão (aceita/rejeita). Tendo feito isso, as decisões de cada AC são mostradas e discutidas com o buddy (e vice-versa). Questões conceituais ou casos espinhosos (eg submissão duplicada, situações limite, problemas éticos) são discutidos com todos do painel. No final de dois dias de trabalho, todos os artigos têm suas decisões sugeridas e justificadas.
A etapa final consiste nas decisões finais dadas pelos Chairs, que observam as decisões sugeridas pelos ACs para detectar anomalias ou casos mal justificados. As decisões finais são, então, anunciadas.
Palavras-chave: avaliação por pares, conferências, processo de divulgação científica, publicações
Esta mensagem está sob a licença CreativeCommons Atribuição.
2 votos
) e "eu não procuro bolar provas fáceis, procuro sempre criar provas justas".

