Roberto Marcondes Cesar Junior : Blog

Processo de avaliação em uma conferência competitiva

Sat, 08 Mar 2008 15:24:50 GMT

Estive no último final de semana em uma reunião dos organizadores de áreas de uma conferência importante sobre visão computacional. O processo de avaliação desses eventos é interessante, dadas as restrições. Em primeiro lugar, tem um número muito grande de artigos submetidos: em torno de 1600. A organização para seleção dos artigos começa pelos chairs da conferência no topo (3 chairs). Abaixo deles existe um grupo de Area Chairs, cobrindo as diferentes áreas (em torno de 34). Finalmente, cada artigo passa por 3 revisores externos (total de quase 4800 revisões...). Aproximadamente 1/3 dos artigos são aceitos.

O processo é bastante delicado e todo cuidado é pouco. Trata-se de artigos do mundo todo. Todas as pessoas, de lugares e culturas diferentes, querem obviamente ver seu artigo aceito. Todo tipo de drama e jogo de emoções está em jogo, desde vaidades de professores e líderes de grupo até a angústia de doutorandos querendo ver seu trabalho passar.

O processo de avaliação é mais ou menos assim: em primeiro lugar, a conferência adota o sistema double-blind review, o que quer dizer que os revisores e os Area Chairs (AC) não sabem que são os autores e vice-versa. O intuito é, obviamente, tornar o processo menos dependente das pessoas e mais do conteúdo do artigo em si (nem sempre, isso é possível, mas em geral, funciona bem). Os únicos que conhecem tudo (autores, revisores, area chairs) são os 3 Chairs da conferência. Esses chairs designam um grupo de artigos para cada AC. Cada AC indica 3 revisores para cada artigo (eu recebi 43 artigos). Uma vez tendo as revisões, as enviamos aos autores, que podem rebater as críticas levantadas.

Ocorre, então, uma reunião em que todos os AC se encontram (este ano, foi na University of Central Florida, em Orlando). Vem gente do mundo todo, quase 50 pessoas. Os ACs são divididos em dois níveis: pares de ACs são criados, ie cada AC ganha um "buddy" (chapa, companheiro, bro :). Grupos de buddies são reunidos em painéis (6 a 8 pessoas). O processo então é: cada AC verifica a documentação (artigo, avaliações, resposta-aos-revisores) e sugere uma decisão (aceita/rejeita). Tendo feito isso, as decisões de cada AC são mostradas e discutidas com o buddy (e vice-versa). Questões conceituais ou casos espinhosos (eg submissão duplicada, situações limite, problemas éticos) são discutidos com todos do painel. No final de dois dias de trabalho, todos os artigos têm suas decisões sugeridas e justificadas.

A etapa final consiste nas decisões finais dadas pelos Chairs, que observam as decisões sugeridas pelos ACs para detectar anomalias ou casos mal justificados. As decisões finais são, então, anunciadas.

tenho amigos...

Sat, 18 Aug 2007 14:32:12 GMT

que de tempos em tempos conversam sobre como a evolução da ciência e da tecnologia está destruindo a cultura humana, as relações sociais, as crianças, a humanidade. De minha parte, em relação à evolução da cultura humana (incluindo aí, tudo,
inclusive tecnologia), sempre fico com a impressão que não conseguimos
capturar tudo que vai acontecendo com o mundo, e isso acaba por nos angustiar
um pouco. As crianças e os mais jovens, que vão crescendo imersos em estágios
diferentes dessa cultura (quer queiramos ou não, é impossível evitar),
conseguem apreender mais efetivamente as novidades. Olhando para trás, vejo
que muita gente se angustiou no passado, mas que o ser humano achou muitas
vezes caminhos alternativos que não levaram à catástrofe prevista. Por outro
lado, é verdade que algumas vezes a catástrofe chegou, como o final de
civilizações que se auto-destruíram, como o povo da Ilha de Páscoa, os Maias
ou os anasazis no Novo México. Na minha opinião, a ciência e a razão (e não
sua negação) são nossas melhores armas para detectar problemas, compreendê-los
e propor soluções.

Pensei em angústias passadas e me lembrei do Bunuel, que nasceu e cresceu em
Calanda na primeira metade do século XX. Ele uma vez disse que uma coisa ruim
que inventaram foi o registro fonográfico (ie discos). A razão é que, na
pequena cidade onde ele morava, uma vez por ano, passava uma orquestra para
fazer um concerto, e aquele dia era aguardado o ano todo. Era uma sensação
fantástica, pois eles só podiam escutar a orquestra 1 vez por ano e tinham que
aguardar o resto do ano! A tecnologia destruiu aquela sensação, pois as
pessoas passaram a poder ouvir aquela orquestra (e outras...) qualquer dia do
ano.

Lembrei-me, também, de outra angústia mais antiga ainda: existe um mito
egípcio que dizia que a escrita tinha sido um presente dos demônios para a
humanidade. A razão é que, antes da invenção da escrita, as pessoas tinham que
exercitar o cérebro para memorizar as coisas importantes. Os demônios tinham
presenteado a humanidade com a escrita para que o ser humano se tornasse
preguiçoso, ao não precisar mais memorizar as coisas escritas, e assim seu
cérebro atrofiasse.

ps: conto essas história de cabeça, pois já faz mto tempo que as li. Perdoem-me as imprecisões históricas, mas a essência, acho, está aí.

Brasil melhora...

Fri, 17 Aug 2007 11:04:18 GMT

...em ranking mundial de produção científica: http://jc.uol.com.br/tvjornal/2007/08/14/not_132979.php

De vez em quando vem alguma notícia mais animadora... Esses rankings costumam refletir um fato importante em relação ao sistema universitário brasileiro: temos apenas algumas poucas universidades com bom padrão de pesquisa (mas, ainda precisamos caminhar muito para chegar a um excelente padrão de pesquisa em termos internacionais). Temos dois desafios importantes: melhorar ainda (muito) mais a pesquisa realizada nessas melhores universidades e criar condições para que outras possam aparecer.

Infelizmente, o típico no Brasil é pensar o contrário: dar um jeito de piorar o que está funcionando melhor.

o que fazer quando aparece...

Fri, 10 Aug 2007 19:58:34 GMT

um caso sério de doença na família? Tais situações são sempre delicadas, o momento que se descobre, como cada pessoa reage, as implicações, os desdobramentos. Dentre as diferentes coisas que pode-se fazer para ajudar a todos (o doente e o resto da família), sempre me pareceu importante que pessoas com treino científico, que conhecem a importância do racional, possam agir de maneira positiva, estudando o que puder sobre a doença, suas causas, gravidade, tratamento, etc e contando, com jeitinho, tudo isso. Isso pode parecer insensibilidade para muitos, mas eu às vezes percebo como isso ajuda. Quando conversado de maneira amiga, isso auxilia na compreensão da situação, pode tranqüilizar, pode unir. O ponto de vista científico é extremamente natural no sentido de nos ver como parte da natureza. Um vírus ou bactéria agindo são também parte da mesma natureza, e estão apenas fazendo o que sabem fazer, programados por milhares de anos de evolução. Existe uma engrenagem em movimento, somos parte natural dessa engrenagem. E, ao compreender essa engrenagem, podemos, inclusive, muitas vezes, alterar seu funcionamento, curando, diminuindo o sofrimento, fazendo o que está ao nosso alcance. Quando a cura está fora do alcance, essa abordagem ajuda a compreender o porquê, e ajuda a aceitar a ordem natural.

Colóquio Brasileiro de Matemática

Fri, 03 Aug 2007 22:49:46 GMT

Bom, este post vem atrasado, devia ter anunciado *antes* do evento, para dar chance de mais gente ir ("Who wants yesterdays papers", já perguntavam Jagger & Richards :). Bom, mas já que não deu antes, vai atrasado mesmo. Hj terminou o 26 Coloquio Brasileiro de Matematica no IMPA (http://www.impa.br/opencms/pt/eventos/extra/2007_coloquio/). Eita, festa bonita! Esses colóquios são muito 10, chance ótima de encontrar gente e conversar. O colóquio sempre tem um clima ameno diferente de conferências em gera, não sei dizer exatamente por que. Tem algo de velhos e novos amigos se encontrando e discutindo coisa interessante, sempre achei isso. O fato de sempre atrair muitos estudantes provavelmente ajuda muito nesse clima. Eu e meu amigo Alejandro, da UFAL, organizamos a sessão de Computação Gráfica desta vez ( eis a programação). O colóquio este ano comemorou 50 anos, o que não é pouca coisa!

centro de linux IBM-UNICAMP

Tue, 24 Jul 2007 11:13:44 GMT

Notícia recente sobre o Centro de Tecnologia Linux (LTC) IBM - UNICAMP

http://www.estadao.com.br/tecnologia/not_tec23558,0.htm

Um aspecto positivo que sempre me chama atenção em tais notícias é que parcerias como essa representam uma boa oportunidade de atrair pessoas brilhantes para a pesquisa e para o desenvolvimento de tecnologia. Boas universidades são feitas de sua matéria prima mais fundamental: pessoas pesquisando, ensinando e aprendendo. Quando a universidade perde a capacidade de recrutar gente capaz de realizar essas atividades de maneira competente, começa a cavar o próprio declínio. No Brasil, perdemos freqüentemente a chance de recrutar pessoas boas nessas atividades por várias razões (isso não vale só para Ciência da Computação, embora seja especialmente verdade nessa área). Esse tipo de parceria representa um modo concreto pelo qual pode-se atrair jovens brilhantes para a pesquisa em parceria com a universidade mas que não possuem interesse, em princípio, de seguir uma carreira acadêmica.

qual foi sua aventura nas férias?

Tue, 24 Jul 2007 10:46:31 GMT

A minha foi escalar o Pico das Agulhas Negras, no Parque Nacional do Itatiaia:

Texto sobre irracionalismo e riscos para a universidade

Wed, 04 Jul 2007 17:41:57 GMT

"[...] A busca pela verdade científica em contraposição à cultura do irracional sempre esteve presente na história humana. No caso das ciências há demonstrações claras dessa luta intestina nos dois últimos séculos. As conseqüências da universidade moderna na Alemanha se fizeram ver de maneira absolutamente clara no século 19. Era uma universidade baseada sobre o mérito. Seu sucesso foi tal que a Alemanha ultrapassou, em técnica, a própria Inglaterra, venceu a França nos campos de batalha e a cultura científica alemã teve em seus estertores, no início do século 20, a representação maior da ciência moderna. A língua teutônica passou a ser a língua da ciência na época. A química alemã era a primeira. [...]" O texto do prof. Elcio Abdalla pode ser lido http://www.usp.br/jorusp/arquivo/2007/jusp801/pag02.htm

avaliação e mérito acadêmico

Sat, 23 Jun 2007 21:47:38 GMT

Semana passada foi a última antes do início das provas finais em uma das disciplinas que estou ministrando (MAC115, Introdução à Ciência da Computação para a Licenciatura em Física, este semestre). Como sempre, ouvi muitas perguntas tipo "isso cai na prova?" e pedidos tipo "a prova vai se fácil?" Eu já tenho respostas prontas para essas perguntas que se repetem: "sim, isso cai na prova" (para qq coisa que perguntarem ) e "eu não procuro bolar provas fáceis, procuro sempre criar provas justas".

O dia que abrirmos mão de procurar avaliação acadêmica na USP, estaremos colocando a universidade rumo à sua ruína, ou seja, perda de credibilidade. Se seu pai ou sua mãe estiverem seriamente doentes, você gostaria que um médico que estudou em uma universidade com provas fáceis cuidasse deles? Se um dia você tiver filhos (se ainda não tem), gostaria que eles estudassem com professores que se formaram em faculdades com provas fáceis? A avaliação de mérito acadêmico na universidade torna as atividades de alunos e de docentes diferentes da maioria das outras atividades no mundo, é isso que diferencia um ambiente de excelência. Ah, não estou colocando alunos e docentes em campos opostos (avaliados e avaliadores, respectivamente), muito pelo contrário. Estou dizendo que ambos devem ser continuamente avaliados: alunos em relação ao conhecimento que aprendem e docentes em relação ao conhecimento de qualidade que criam, mantém e transmitem.

Melhores universidades

Tue, 19 Jun 2007 17:08:44 GMT

Outro dia, mencionei a importância de a universidade discutir e definir objetivos para tentarmos nos colocar entre as melhores universidades do mundo. Eu tenho algum material colecionado sobre critérios de avaliação, formas de atuação e planos traçados por algumas grandes universidades mundiais. Vou disponibilizar, de tempos em tempos, o material aqui, na medida que for encontrando. Recomendo sua leitura, é bastante instigante! Por outro lado, mostra que as grandes universidades internacionais não estão paradas, nos esperando chegar, mas muito pelo contrário, estão se mexendo rapidamente. Nosso desafio não é dos mais fáceis!

Um material interessante é o ranking do Times Higher Education. A USP era a única universidade brasileira nesse ranking em 2005, mas caímos fora em 2006 (a variância na borderline deve ser grande, o que explica tais flutuações. Eis a versão de 2006: http://oglobo.globo.com/educacao/arquivos/melhoresuniversidades

Tem uma cópia do ranking de 2005 aqui: http://www.alnaja7.org/success/Education/times_world_ranking_2

Este aqui é interessante, trata-se das universidades ibero-americanas: http://investigacion.universia.net/html_inv/ri3/ri3/jsp/params/pais/baa.ht

Uma experiência interessante é a iniciativa alemã para identificação aprimoramento de centros de excelência: http://www.bmbf.de/en/1321.php