Stoa :: Desenvolvimento do Stoa :: Blog :: Impacto na Web da USP: o papel do Stoa

abril 22, 2009

user icon

Resumo Executivo

A presença na Web de universidades tem papel cada vez mais importante na disseminação do conhecimento e nas atividades de extensão em geral. Em rankings como a do Webometrics a quantidade e visibilidade do conteúdo tem o maior peso. O projeto Stoa é responsável por entre 12% e 26% de todas as páginas na Web do domínio usp.br. Segundo o ranking Alexa o domínio stoa.usp.br é o décimo domínio mais visitado da USP, acima dos domínios do por exemplo a FFLCH e IME e empatado com todo sub-domínio de São Carlos. Nestas métricas, o Stoa dá um grande valor para a USP considerando o seu baixíssimo custo em recursos humanos e investimento financeiro. Da ordem de 2 mil páginas na Web apontam para páginas do Stoa, o que é pouco e aponta uma área onde melhorias devem ser feitas.

É importante não exagerar o valor absoluto destes indicadores. A real relevância de conteúdo na Web é difícil ser avaliada por meio de métricas agregadas que tentem resumir num único número um quadro que na realidade é complexo. Porém, é claro que o uso de tecnologia da Web moderna tem um importante papel da divulgação da produção acadêmica da USP. Como toda tecnologia nova, não é claro como melhor usá-la. Projetos experimentais como o Stoa tem papel importante em descobrir as suas vantagens e dificuldades.

Gestão de Conhecimento

Tecnologia da Web moderna proporciona possibilidades inéditas para a universidade exercer as suas funções duais de construção e disseminação de conhecimento. Diferente do que tecnológicas de comunicação tradicionais, a Web consegue combinar numa única plataforma as funcionalidades de comunicação no sentido de difusão, onde informação centralizada é distribuída para muitas receptores, e a construção de ambientes colaborativos e participativos. Para uma instituição como a universidade, especialista em gestão de conhecimento, a Web moderna pode dar enormes benefícios.

Neste sentido, é louvável qualquer esforço no sentido de ampliar o uso destas novas tecnologias no contexto acadêmico. Uma estratégia de gestão amplamente adotada é usar indicadores e métricas quantitativas que tem uma correlação com o comportamento desejado. A USP por exemplo adotou o ranking "Webometrics" como um dos instrumentos de avaliação da sua projeção internacional.

Medir o impacto na Web

O ranking webometrics tem como objetivo declarado promover a publicação na Web de recursos acadêmicos. Assim, se alinha muito bem com os objetivos do projeto Stoa que oferece à comunidade USP as ferramentas Web moderna para a disseminação de conhecimento e a construção de ambientes colaborativos. A métrica do ranking webometrics dá um peso maior (50%) para a "visibilidade na Web" (número de links que apontam para a instituição), seguido do "tamanho" (a quantidade de páginas na Web, com um peso de 20% no índice). O resto do índice leva em conta a quantidade de arquivos de mídia tradicional (.pdf, .ppt, etc.) e a quantidade de artigos no Google Scholar.

Podemos estimar o impacto do projeto Stoa na presença na Web da USP e na métrica como definido pelo Webometrics.

  1. Tamanho: Nos principais índices da Web o subdomínio stoa.usp.br é responsável por respectivamente 380 mil / 1600 mil = 24% (Google), 190 mil / 1500 mil = 12% (Yahoo) e 37 mil / 250 mil = 15% (Microsoft) do total de todas as páginas indexadas da USP. Como um projeto de um mero dois anos de existência pode representar um peso tão grande na presença na Web da USP? É simples. Primeiro, a maioria das páginas no Stoa é gerada automaticamente. Informação digital pode ser classificada, apresentada e re-usada em outros contextos de diversas maneiras. Certamente a maioria dos sites da USP ainda usam a tecnologia Web estática de alguns anos atrás. Segundo, o Stoa é de fato um sistema distribuído, com grande quantidade de autores e baixa barreira de entrada. A quantidade de conteúdo gerada inevitavelmente é maior daqueles que tem que passar pelos filtros tradicionais de editores e webmasters [Nota 1].
  2. Visitantes: Segundo o ranking de alexa o domínio stoa.usp.br é o décimo domínio mais visitado da USP, acima dos domínios do por exemplo a FFLCH e IME e empatado com todo sub-domínio de São Carlos. Neste ranking de visitantes o domínio webmail.usp.br e sistemas.usp.br estão em primeiro e segundo lugar, mas não podem ser considerados fazer parte da "visibilidade" da USP, já que são sistemas de comunicação interna. É difícil de acreditar, mas segundo esta ranking o Stoa recebe um pouco mais do que um terço dos visitantes de www.usp.br/* [Nota 2]. Segundo Google Analytics, dos 6 até 8 mil visitas por dia do Stoa, 80% vem via máquinas de busca como Google e 13% via links externos. É difícil tirar conclusões firmes sem saber mais sobre os visitantes e suas motivações, mas acredito ser razoável afirmar que o Stoa dá um grande valor para a USP para o seu custo em recursos humanos e investimento financeiro.
  3. Links: No Yahoo constam 1600 links para o Stoa a partir de domínios de fora da USP e o Google Analytics acusa 3000 domínios através do qual visitas chegam. Somente tenho acesso ao total de links para a USP do Yahoo (340 mil). Comparado com a quantidade de páginas e número de visitantes o impacto do Stoa é pequeno e claramente temos aqui a melhor oportunidade de melhorar o sistema. Uma coisa que devemos fazer é melhorar as maneiras de achar conteúdo relevante. Pode ser feito por meio de melhores meta-dados embutidos nas nossas páginas e melhores URLs (indexadores não aproveitam os números em endereços do tipo http://stoa.usp.br/ewout/weblog/48086.html). Mas não podemos depender somente do Google para indexar o nosso conteúdo, devemos aproveitar as informações sociais (a rede de contatos), acadêmicos (as filiações) e outros tipos de informações que contextualizam o conteúdo. Assim, poderíamos apresentar o conteúdo em formas diferente para cada indivíduo .

Pela métrica, o Stoa ainda tem um papel relativamente pequena para o impacto na Web da USP. O indicador do Webometrics somente avalia um dos finalidades do Stoa, a parte de disseminação, deixando de lado o seu papel como ambiente colaborativo e de construção de ambientes de aprendizagem. Mesmo assim, a métrica pode dar incentivos para melhorar a visibilidade do nosso conteúdo.

Ressalvas

Um ranking que avalie 15 mil instituições não pode ser muito sofisticado, porque não há a possibilidade de fazer uma avaliação criteriosa de todos os instituições. Um problema é o uso de somente o número de links. Um indicador que leva em conta a relevância da orígem do link (como PageRank faz) seria uma melhoria óbvia (mas talvez difícil de implementar). O problema com indicadores em geral é quando são substitutos por um suposto valor intrínseco que queremos estimular. Se há alguma correlação com o valor em questão, pode valer a pena acompanhar o indicador, desde que não confundimos o indicador com o verdadeiro "valor", uma questão em geral multi-dimensional e complexo [Nota 3]. Gestão por avaliações dos resultados pode dar incentivos perversos e deve ser sempre complementada por outros métodos de acompanhamento como avaliações qualitativas.

Mesmo com estas ressalvas, o Webometrics é uma métrica interessante, por ampliar e diversificar os indicadores que guiam as políticas de gestão da USP. É um indicador que não leva muito em conta a natureza personalizavel da Web moderna, mas tem o grande mérito de incentivar a instituição pensar seriamente como usar a Web para interagir com a sociedade em que está inserido.

Participe

Onde errei? Como posso melhorar o texto? Como posso melhorar os dados? Este post na verdade é uma mistura de fatos (alguns difícil de medir direito), interpretações e opiniões. Todos as partes se beneficiariam das suas críticas.

Notas

1. A baixa barreira de participação e a abundância de informação resultante podem ter efeitos desconcertantes. Neste tipo de ambiente os filtros de qualidade na entrada como editores, revisores etc., são substituídos por filtros na saída como indicações dos seus contatos ou algoritmos de recomendação. A grande maioria do conteúdo tem um público alvo (ou melhor, parceiros de conversa) muito restrito. Nestes ambientes é comum ver publicações, acessível para todos, mas que não fazem o menor sentido fora do contexto e para quem não participe da conversa.

2. O ranking do Alexa não pode ser considerado muito preciso. Depende da instalação de um plugin no navegador por parte dos usuários e deve ter um bias para certas regiões geográficas ou demográficas. Mesmo assim, os valores relativas devem servir como indicadores, pelo menos. Preciso usar esta medida indireta, porque não tenho acesso aos dados de outros domínios da USP. Do ponto de vista de gestão de TI seria interessante acompanhar estes dados.

3. Um exemplo do uso indevido de um indicador é o número de citações de papers científicos para julgar o valor do conteúdo do paper. Mark Newman mostrou que em certas áreas do conhecimento o número de citações da grande maioria dos papers é essencialmente independente do conteúdo e depende somente do instante do tempo em que foi publicado. Neste caso, o mérito real do paper (e, podemos inferir?, do autor) não é refletido pelo indicador numérico.

Palavras-chave: extensão universitária, meta, stoa, web, webometrics

Esta mensagem está sob a licença CreativeCommons Atribuição.

Postado por Ewout ter Haar em Desenvolvimento do Stoa | 8 usuários votaram. 8 votos

Comentários

  1. George Campos Azevedo escreveu:

    Olá Ewout, tudo bem?

    Por acaso acabei encontrando esse seu artigo, não estava a procura de nada do tipo, pura coincidência se é que isso existe.

    Adorei o seu artigo, achei ele muito bom mesmo. Trabalho aqui na usp na CCS, e cuido da parte de tecnologia e design do portal da usp. E desde o ínicio do ano comecei a fazer uma pesquisa pessoal sobre indexação de contéudo e seus relacionamentos de SEO, dentro do conteúdo da universidade.

    Assim como você só tenho acesso a parte das informações, e vou tentando descobrir as demais. Fiz um post mostrando parte do que descobri no meu blog pessoal

    http://www.geoweb.blog.br/2009/08/28/usp-e-a-38%C2%BA-no-webometr

    Penso em poder transformar essa trabalho de indexação em um mestrado, ou uma pesquisa, ainda não sei bem... mas a sua análise me abriu outros pontos que ainda não havia pensado.

    Gostei muito,

    abs

    George Campos

     

    George Campos AzevedoGeorge Campos Azevedo ‒ sexta, 04 dezembro 2009, 10:55 -02 # Link |

  2. Ewout ter Haar escreveu:

    Oi George, muito interessante esta sua pesquisa, a USP devia mesmo monitorar este tipo de informação, como parte de uma estratégia de disseminação de conhecimento.

    Está obtendo estes dados fazendo buscas do tipo site:ime.usp.br? Realmente variam muito. Neste instante, por exemplo, o Google diz ter 130 mil páginas do stoa.usp.br quando um ano atrás era 380 mil. Uma razão pode ser que coloquei páginas dinâmicas como /calendar/ e /search/ no robots.txt

    Mas o ponto maior continua  válido: "conteúdo gerado pelo usuário" (que termo feio, não?) vai ficar cada vez mais importante. Universidades, que nem instituições como Jornais, Editoras, Governos, Empresas, etc. vão ter que se dar conta que não são mais os únicos controladores dos fluxos de informação.

    [fiz este comentário no blog do George mas acho que teve um problema como a submissão.] 

    Ewout ter HaarEwout ter Haar ‒ sexta, 26 março 2010, 08:48 -03 # Link |

Você deve entrar no sistema para escrever um comentário.

Termo de Responsabilidade

Todo o conteúdo desta página é de inteira responsabilidade do usuário. O Stoa, assim como a Universidade de São Paulo, não necessariamente corroboram as opiniões aqui contidas.