Stoa :: Ewout ter Haar :: Blog :: Estudos de eficácia de ensino em rede ou: como discutir ensino a distância

julho 02, 2009

default user icon
Postado por Ewout ter Haar

Agora que ensino a distância e Univesp viraram assunto político, fica cada vez mais difícil discutir tecnologia educacional de forma racional. E isto é uma pena, porque políticas públicas e gestão universitário devem se basear em debates e argumentações ricas em detalhes, ressalvas, incertezas e não em slogans e idéias uni-dimensionais.

Assim, a apresentação recente de um relatório sobre ensino em rede (online) vem numa hora boa. O estudo "Evaluation of Evidence-Based Practices in Online Learning: A Meta-Analysis and Review of Online Learning Studies" faz parte de uma grande quantidade de relatórios publicados pelo ministério de educação dos EUA e é uma ótima introdução para quem se interessa discutir o uso de tecnologia de rede no ensino.

Para mim, uma das contribuições do relatório mais úteis é a estrutura conceitual apresentada para situar vários tipos de ensino apoiado por tecnologia de rede. Nesta estrutura conceitual o uso de uma determinada tecnologia pode se situar num espaço definido por três eixos:

  1. Completamente a distância versus complementar ao ensino presencial. Um exemplo do primeiro seria um curso dado por meio de vídeo-aulas e um exemplo do segundo a disponibilização via Web de notas de aulas de um curso presencial.
  2. Ensino expositivo versus aprendizagem ativa versus colaborativa. Como é o processo pedagógico? Informação pode ser transferido a um aluno passivo (por meio de um vídeo-aula, um livro, um professor), ou o aluno pode aprender algo ativamente interagindo com algum artefato digital (uma animação interativa) ou uma rede de alunos podem construir conhecimento colaborativamente (tecnologia de rede que facilita interações entre alunos e professores).
  3. Síncrone versus a-síncrone. As interações entre educadores e alunos pode ocorrer em tempo real (simultaneamente) ou após um intervalo de tempo, controlado pelo aluno. Vale lembrar que com a multitude de meios de comunicação modernas (email, chat, twitter, voip, video-conferência, etc.) isto é um verdadeiro espéctro contínuo hoje em dia.

Esta estrutura, por mais simplificado que seja, é uma melhoria imensa a dicotomia simplória "educação a distância" vs "ensino presencial". Em debates sobre "ensino a distância" é preciso deixar claro do o que estamos criticando ou apoiando.

Agora podemos formular uma pergunta, dentro do contexto desta estrutura conceitual: dado um determinado uso de tecnologia educacional (digamos, um curso completamente dado a distância, usando vídeo somente de forma expositiva e a-síncrone), então como os resultados educacionais se comparem com um grupo de controle que é submetido a um ensino tradicional?

Vejam as dificuldades extremas deste tipo de pesquisa: é difícil manter a condição ceteris paribus no grupo de controle, tem as dificuldades das avaliações quantitativas: como medir um eventual melhora de "resultado educacional", os efeitos estudados tem que ser forte suficiente para se destacar em cima das variações normais entre alunos, os grupos tem que ser grandes suficientes para ter estatística razoável, etc. etc.

O relatório faz uma meta-análise de 99 estudos quantitativas, a maioria feitos após 2004. Se limita a estudos  que avaliaram os efeitos de tecnologia educacional de rede (baseada na Web, na sua grande maioria). Foram extraídos dos estudos os resultados de dois tipos de comparação: primeiro, entre ensino preseencial e online e segundo, entre ensino presencial e blended learning (incorporando elementos online, de forma complementar). 

Resumindo os resultados: na primeira categoria, um melhora muito pequeno, quase imperceptível foi observado (effect size de 0.14), na segunda categoria, observou-se uma melhora (effect size de em média 0.34) pequena. Ou seja, segundo estes estudos, ensino incorporando componentes de tecnologia de rede não piora e até melhora um pouco o desempenho acadêmico dos grupos estudados.

Uma ressalva que o relatório deixa muito claro é que não podemos concluir que "a Web" ou a mídia em que o proceso pedagógico ocorre foi a causa dos pequenos melhorias (ou até mesmo está correlacionado com elas), porque o tempo de estudo e outras oportunidades não foi mantido igual nos grupos estudados. Na verdade, é sugerido que as classes onde tecnologia educacional era empregado também variavam nas outros dimensões da estrutura conceitual discutido acima, em particular o processo pedagógico e o tempo de estudo: os alunos podem ter sido simplesmente mais bem motivado ou ter estudado por mais tempo ou de formas alternativas.

Finalmente, é impressionante, para quem não está acostumado com este tipo de pesquisas (como eu), como os efeitos observados são pequenos. Um "effect size" de 0.34 quer dizer que a média dos resultados do segundo grupo é deslocado 0.34 desvio padrão para cima comparado com a média do primeiro grupo. Para visualizar isto, veja estas duas gaussianas:

Isto significa que um aluno aleatório do segundo grupo tem uma chance de uns 60 em 100 de fazer melhor do que um aluno aleatório do primeiro grupo. É um pouco melhor do que 50 em 100, mais não muito. O fato, óbvio na verdade, é que não existe uma maneira mágica de melhorar o ensino magicamente por um fato 2 ou 3. Tem tanto inércia, tantos fatores envolvidos, que é irrealista esperar por grandes efeitos.

Mas estudos deste tipo pelo menos apontam a direção em que precisamos ir, mesmo com passos pequenos. Seria irresponsável não introduzir o uso de tecnologia de rede nas nossas salas de aula.

Esta mensagem está sob a licença CreativeCommons Atribuição.

Postado por Ewout ter Haar | 1 usuário votou. 1 voto

Links para este post

  1. Tentando entender a Enade (Ewout ter Haar)

Comentários

  1. Clarice Alegre Petramale escreveu:

    Se os resultados são semelhantes quando se aplica as varias metodologias de ensino disponíveis, o acesso passa a ser várias vezes maior quando se usa as novas tecnologias da informação. E o custo fica proporcionalmente menor por aluno atendido quando se entra definitivamente em larga escala.

    No caso da saúde em que a educação continuada é fundamental o ensino a distancia pode ser uma grande ferramenta. Permite reciclagens sem retirar profissionais de seus locais de trabalho e já está sendo usada amplamente no mundo e também no Brasil.

    A Anvisa e o Hospital Sirio Libanes tem uma parceria de EAD que atende cerca de 3000 alunos de todo o país para forma-los justamente a lidar com as evidências científicas. Vamos ver os resultados!

    Clarice Alegre PetramaleClarice Alegre Petramale ‒ quarta, 01 julho 2009, 23:34 -03 # Link |

  2. Benedito Ubirata da Silva escreveu:

    O problema será sempre mesmo. Os numeros são além do normal, qdo se fala de um país onde distância é uma variável importante em qualquer analise. Pois isto demanda também tempo. E depois vai se formando uma filinha de variáveis que se aglutinam na análise, repetindo, observando o fator região de grandes distancias.

    Logo o acesso, deve ser encarado de duas maneiras, e cada uma acompanhada por si só com variáveis particularizadas. Podem até ser as mesmas para legitimar a análise. Porém Acesso, não será só uma coisa só.

    E aí se percebe o quanto segurar a possibilidade de novas tecnologias em Educação, seja ela superior, ou não de fato pode estar incorrendo de egoismo. Pura e simplesmente emoção. Pois sem emoção na decisão, será mais do que necessário a implantação de novas tecnologias.

    Se existe, poucos núcleos de formação, e informação. Com uma demanda excepcional como tem o BRasil, carente destes formandos inclusive para se melhorar a construção de novos formandos.

    E os possíveis candidatos componentes dessa demanda, invariavelmente estiverem do lado do núcleo de informação. O problema só será fazer mais vagas.

    Porém, essa invariabilidade cai no momento em que se pensa no nome Brasil. E a dificuldade de desejosos a avançar seus estudos, por falta de opções, próximas, ou a longa distância.

    Os vestibulares com candidatos na casa das dezenas de milhares já denunciam isso.

    Logo, a nova tecnologia deve ser aprimorada, sim, se esta ainda estiver em fases de baixa capacidade didática e metodológica.

    Ou então, que se façam um plano B para as tecnologias tradicionais de ensino, para atender essa população de 195 milhões de habitantes. Donde, muitissimo pouco conseguiu atingir o grau superior. Com que dinheiro?

    E o pior, destes 195 milhões os que atingiram um grau seja superior ou técnico, logo terão que voltar a universidade para fazer reciclagem, em face das crescentes novidades em Ciência e Tecnologia, e não se sabe se até estes terão uma vaga garantida para esse reciclar.

    Existe momentos, em que as tradições devem ser repensadas e levado em consideração, se a manutenção destas não são apenas um viés de análise do problema que exige uma inovação, e nunca isso acontece.

    default user iconBenedito Ubirata da Silva ‒ quinta, 02 julho 2009, 08:06 -03 # Link |

  3. Pedro Aladar Tonelli escreveu:

    Caro Ewout,

     Acho que os aspectos tecnológicos, políticos e filosóficos fazem parte da discussão  da Educação em rede (também sou leigo no assunto mas gostei mais da sua terminologia), por isso discordo um pouco de sua primeira frase do post. Mas talvez você esteja se referindo à politização precipitada que acho ocorre nestes dias. Claro que pode haver discussões independentes dos três aspectos, o que eu duvido e forneço como exemplo as discussões e implementação da tecnologia de TV digital no Brasil. De fato, mesmo na comparação de desempenhos citada (se é que entendi pois li muito rápido), acho que é possível se controlar os parâmetros de medição de qualidade de modo a se privilegiar uma tecnologia à outra (independente de critérios politicos ou filosóficos). Bom, não tenho um exemplo:), o que já demonstra um aprendizado sofrível do seu post. Vou ler mais... O meu comentário principal é político mesmo. Eu acho que a adoção do ensino em rede como política pública contribui para a apropriação das tecnologias pela sociedade como um todo e evitaria o inferno das tecnologias proprietárias num ramo altamente estratégico. Obrigado pelo post

    Pedro Aladar TonelliPedro Aladar Tonelli ‒ quinta, 02 julho 2009, 13:55 -03 # Link |

  4. Claudio Geraldo Schon escreveu:

    O Ewout tem razão, há um grau de politização nesta história da UNIVESP que dificulta qualquer tipo de discussão sensata sobre este assunto. O que eu entendi do documento que o Ewout disponibilizou é que a questão não é se ensino à distância (ou em rede) é melhor, pior ou se fica na mesma em comparação com o ensino presencial. Para mim a discussão vai mais na linha de que temos que usar tudo o que temos à disposição para incentivar o aprendizado. Não usar EAD hoje é que é a idiossincrasia. Eu engatinho nisto, uso o CoL principalmente na categoria "complementar ao ensino presencial", mas vou ganhando experiência semestre a semestre. Por exemplo, uma das minhas disciplinas de graduação já tem parte da avaliação completamente feita pelo CoL. Ainda reluto em dar passos mais ousados e aqui eu falo só por mim, me falta treinamento no uso destas técnicas.

    Quanto à questão do acesso, esta discussão me lembra outro assunto igualmente polêmico: o PROUNI. Vejam bem, eu não gosto do PROUNI, tenho certeza de que muita faculdade particular usa o programa para se capitalizar às custas do erário público, mantendo um ensino de péssima qualidade. Só que eu entendo a razão por trás dele. Não há como incluir boa parte da população no ensino superior com Universidades Pública, o que deveria ser uma cobrança de contrapartida da parte das universidades particulares, vira simplesmente uma condenação unilateral de todo o PROUNI e plataforma política para os mesmos grupos que hoje criticam o UNIVESP.

     

    Claudio Geraldo SchonClaudio Geraldo Schon ‒ quinta, 02 julho 2009, 20:00 -03 # Link |

  5. Ewout ter Haar escreveu:

    Pedro, concordo plenamente que "aspectos tecnológicos, políticos e filosóficos [devem] faze[r] parte da discussão  da Educação". São os três aspectos juntos que devíamos levar em conta e seria um grande erro prestar atenção somente no lado técnico, digamos, ou somente no tipo de resultado quantitativo discutido no relatório.

    Em inglês tem as palavras politics e policy para diferenciar a questão mais pessoal e partidário de questões de como melhor organizar a coisa pública. Em português uso política e políticas públicas respectivamente, não sei se está certo.

    E a Clarice lembrou bem que a área de saúde é tem uma grande tradição e experiência no uso de tecnologia educacional. Queria saber como vão fazer a avaliação da iniciativa com o Sírio Libanes.

    E sim, mesmo se não houvesse os resultados positivos observados pelos estudos recentes, e somente o efeito nulo observado anteriormente, seria o caso implementar algum tipo de estrutura de EAD, para ampliar o acesso à educação. É um argumento forte.

    Mas acho que os críticos de EAD estão preocupados com a qualidade do ensino, que há uma percepção que o ensino apoiado com tecnologia de rede necessariamente leva a um ensino mais mecanizado, massificado e de um maneira geral, pior. É um argumento legítimo também, porque se EAD não for aplicado corretamente e meramente com o objetivo de aumentar "eficiência", (medido por índices e números sem relação com a qualidade verdadeira do ensino), então pode ter efeitos muito ruins mesmo. 

    Neste sentido, política e políticas públicas tem um grande papel nas discussões.

    Ewout ter HaarEwout ter Haar ‒ quinta, 02 julho 2009, 21:42 -03 # Link |

  6. Benedito Ubirata da Silva escreveu:

    Professores

    Eu tenho que informar, que vcs são professores por excelência ao fato de terem inteligência, boa mesmo, e essa dignifica sempre os que tem sempre uma intuição sobre uma parcela, ou um tópico falho em algum projeto. Portanto bonito de vcs, não baterem o pé simplesmente na colocação de algo, e por sensatez "sentar" para discutir aonde está "o falho" para que se melhore.

    Porém, o discurso negativo ao EAD já é estudado pelos que pesquisam e estudam educação. Posso adiantar inclusive, que a tecla repetitivamente acionada não é o fator, de que se aplicar essa tecnologia será a baixa contratação de professores, e por consequencia sua desvalorização. Acho que alguém usou (por favor, nesse paragrafo do texto, essa informação deve ser vista de maneira informal. Cafézinho ao cair da tarde!) Voltando, alguém deve ter usado esse argumento, e por algum contraargumento isso caiu a muito tempo atrás. E depois disso não se usou mais esse, não tem força, porém ainda nos corredores escuros da Acadêmia, e das escolas de nível médio e fundamental, os ventos de que professor será inutilizado pela EAD é forte e insistente.

    Mas a acadêmia na Área de Educação consegue se restabelecer ditando hoje argumentos muito mais fortes do que este, mesmo este sendo a ênfase das preocupações.

    E qdo estudei na Educação, o que percebi é que o problema que eles veem na EAD, se estabelece na Metodologia de Ensino. Ou seja, todos os que defenderam a EAD, buscaram mostrar propósitos positivos em diversos tópicos pertinentes a Educação, Pedagogia. Então coisas, como filosofia, sociologia, didática, ordem jurídica e outras áreas pertinentes a Educação foram intensamente discutidas, e estão, pode acreditar, dentro da própria Educação, e em forma não de corredores escuros, mas em forma de dissertações, e teses, debates em concressos e afins. E nestes, tem infindáveis trabalhos que podem ajudar o projetista a somar sua capacidade técnica em fazer sistemas, com um forte teor cuidado ao Pedagógico, PsicoPedagógico, e SócioPedagógico e outros tópicos.

    Porém observei que qdo chega em Metodologia isso cai em um discurso de 20 minutos apresentando as dificuldades que um educador deve encontrar no ato de Educar, e depois o educando, com estas dificuldades sempre terá o amparo da instituição e o que vem por detrás dela. Mas o educador, sempre será o melhor meio para este amparo. Não a instituição. Será que dá pra entender? Por mais que exista, uma proteção ao educando qto ao educador, sempre só será o educador o melhor caminho a educação. 

    E simplifiquei isso demais em 4 linhas, mas me  lembro que foi umas duas aulas de 4 horas de forma expositiva e depois em forma de discussão, para que no final ficasse a convergência de que em Metodologia, seguramente o aluno ou aluna, está protegido dentro dos detalhes observados pelo resto das áreas de Educação. 

    A questão é o Método. Eles os cientistas de Educação, contrários a EAD, se apoiam na premissa da Métodologia. 

    Agora, se por detrás disso esconde apenas a preocupação de desvalorização do professor, parece que sim, e boatos confirmam isso. Mas não se apegue nesse discurso, porque cientificamente, eu repito, eles não usam esse argumento contra a EAD. O mais forte deles é a Metodologia. O interessante é que os defensores desavisados, se preocupam em demonstrar EAD postiva no quesito contratar e gastar com professores, e eles derrubam não nesse aspecto. Sempre no método. 

    Vou ver se lembro a referência bibliográfica sobre, e vcs poderão sentir. Se não mandar, é porque, como sempre, no final da aula, mesmo estando boquiaberto com as informações, se esquece de pedir referência. As vezes acontece, principalmente qdo a aula é a noite, e vc temque atravessar a cidade pra cehgar em casa. Abraços.

    default user iconBenedito Ubirata da Silva ‒ sexta, 03 julho 2009, 05:33 -03 # Link |

  7. Clarice Alegre Petramale escreveu:

    Ewout,

    Como o assunto do curso é muito novo para profissionais de saúde no Brasil: o conhecimento, interpretação e uso das evidências na prática clinica, estamos fazendo uma avaliação pré-curso e  outra de pós-curso e comparamos os resultados. Depois há as provas (5 durante o ano de curso), tutorias e o TCC. Nada de novo...

    Acho que o que faz a diferença em qualquer curso é o foco ( a quem se destina) e mais ainda como criar oportunidades para os egressos, para que esse conhecimento gere idéias e ações que modifiquem a prática.

    Assim nós entendemos que o curso de SBE é um meio, não um fim.

    Cuidamos portanto da seleção de participantes ( gestores e profissionais de saúde na ativa nos hospitais sentinela) e queremos que eles se instruam porque temos planos para seus hospitais e para eles: a criação e o funcionamento de núcleos locais de avaliação de tecnologias em saúde- NATS ( com base em evidências) que serão responsáveis formais, por delegação da diretoria, por analisar e produzir pareceres embasados cientificamente  sobre a eficácia, segurança e efetividade das novas tecnologias em saúde.

    Talvez vc ache que isso já existe nos hospitais brasileiros, mas náo é isso que se verifica na maioria dos serviços.

    O Edital para fomento dos primeiros 20 NATS em hospitais universitários brasileiros fechou ontem com 54 propostas. Os aprovados trabalharão localmente, mas se reunirão para projetos colaborativos com a tutoria do Centro Cochrane do Brasil (UNIFESP)

    Estamos no começo do caminho, mas conseguimos ver os desdobramentos que pretendemos ter.

    O segredo na educação é a motivação: aprender para quê? Vai mudar o quê?

    A tal "sede de conhecimentos" que se diz que o aluno deva ter, para mim é mais exceção do que a regra!

    Bjs

    Clarice

    Clarice Alegre PetramaleClarice Alegre Petramale ‒ sexta, 03 julho 2009, 09:15 -03 # Link |

  8. Hugo dos Santos Gomes escreveu:

    Acredito que o uso da internet pode ser benéfico à educação como complemento, e não como substituto. Mas ainda tenho opinião a ser formada, por isso postei aquele texto e fico feliz te você ter me mandado o link do seu, que realmente me deu uma luz maior sobre minhas idéias.

    Dado todo o contexto de discussão do momento, sinto-me compelido a buscar mais informações que ainda não eonctrei direito.

    Sobre a minha re-publicação, obrigado pela dica, não sabia mesmo disso.

     

    abraços,

     

    Hugo

    Hugo dos Santos GomesHugo dos Santos Gomes ‒ sexta, 23 outubro 2009, 07:53 -02 # Link |

Você deve entrar no sistema para escrever um comentário.

Termo de Responsabilidade

Todo o conteúdo desta página é de inteira responsabilidade do usuário. O Stoa, assim como a Universidade de São Paulo, não necessariamente corroboram as opiniões aqui contidas.