Heteroavaliação de trabalhos académicos teóricos de pesquisa por estudantes universitários durante um workshop online

Fátima Leal 1

1 Centro de Investigação em Educação e Psicologia da Universidade de Évora fhleal@uevora.pt Resumo

Este trabalho teve por objetivo a avaliação de um workshop online acerca da construção de trabalhos académicos teóricos de pesquisa, destinado a estudantes de 3ºano de Ciências do Desporto, de uma universidade portuguesa. Os estudantes leram e avaliaram um trabalho anónimo realizado por um dos grupos de colegas da turma. Utilizaram uma rubrica de avaliação construída para o efeito. No final do workshop, os estudantes responderam a um questionário online, através do google forms, com respostas fechadas e abertas. Obtiveram-se 26 respostas. A análise das respostas permitiu verificar a importância da dinamização do workshop dado que as respostas variaram entre 4 e 5 (muito e muitíssimo importante). Estes resultados revelam-se úteis para a prática docente e também para o desenvolvimento académico dos estudantes de ensino superior, preparando-os não apenas para o seu presente, mas também para o seu futuro, seja em termos académicos ou profissionais. É importante uma reflexão sobre como este tipo de atividade poderá ser adaptada e utilizada em várias unidades curriculares de outros domínios científicos.

Palavras-Chave: Workshop online, Hetero-avaliação, Trabalhos académicos teóricos pesquisa, Estudantes universitários.

1. Contextualização

Solicitar aos estudantes de ensino superior que desenvolvam um trabalho de pesquisa teórica, em grupo, pode ser uma tarefa frustrante na hora do docente ler e avaliar os produtos finais. Ainda que os estudantes sejam atempadamente informados acerca dos critérios, informados e reforçadamente relembrados sobre as componentes que devem existir num trabalho de pesquisa, acerca dos cuidados a ter, de aspetos que devem ser evitados, entre outras recomendações; surgem sempre, nos trabalhos académicos, erros comuns e frequentes. Desde a estrutura do trabalho, ao tipo de fontes bibliográficas pesquisadas e utilizadas, à sequenciação lógica dos tópicos, à pertinência, coerência e fundamentação dos conteúdos, até às normas de referenciação quer ao longo do texto quer na lista de referências finais, passando pela chamada de atenção à importância da originalidade dos textos, à relevância das figuras, imagens e tabelas e até mesmo aos erros de escrita, quer ortográficos quer de síntaxe, até aos cuidados com a formatação e a apresentação dos mesmos. Nas situações em que os trabalhos são desenvolvidos em grupos com vários elementos, não raras vezes, o professor (leitor e avaliador) apercebe-se facilmente de que está perante uma “manta de retalhos”, uma vez que, através do próprio discurso escrito torna-se evidente que os tópicos foram simplesmente divididos pelos vários elementos (um estudante fez a introdução, outro o desenvolvimento, outro a conclusão e outro, as referências).

Este discurso provavelmente será bastante familiar para inúmeros professores de educação superior, e, ainda assim, as surpresas finais, aquando da receção dos trabalhos submetidos pelos estudantes, conseguem ser grandes. Provavelmente, em alguns casos, chega a surgir a questão (mental e de forma silenciosa) sobre que diferenças existirão entre aqueles trabalhos, e os trabalhos entregues, pelos mesmos estudantes, em anos anteriores.

Certamente que haverá motivos lógicos e racionais que justificam tal fato. Por um lado, a típica e tão frequente dificuldade para gerir, de forma realista e eficaz, as tarefas a realizar consoante o tempo disponível para tal; a falta de realismo para com a dimensão temporal desde a solicitação até à data de submissão; a dificuldade em compreender a tarefa como um todo primeiramente, para, posteriormente, conseguir dividir o trabalho em partes e ou em fases mais pequenas; a falta de realismo acerca do tempo necessário para fazer cada uma dessas partes, serão algumas das explicações possíveis. Por outro lado, questões mais ligadas às próprias dinâmicas dentro dos grupos de trabalho, as (in)disponibilidades horárias, a falta de ligação entre os elementos do grupo e ainda, possíveis incompatibilidades interpessoais entre elementos, também poderão estar na origem de trabalhos feitos de forma menos cuidada. Perante tais cenários, o professor pode adoptar por permanecer do seu lado (perspetiva do professor), ou dar um salto até à outra margem, no sentido de compreender o que se passa do lado dos estudantes. Desta forma, permanecendo no seu próprio ponto de vista, o docente facilmente pode cair na tentação da crítica e da maledicência, o que, inevitavelmente levam à desmotivação, não favorecendo assim, nem o trabalho com os estudantes nem o seu próprio trabalho. Isto pode encaminhar para um “não quero saber, as negativas existem para serem dadas e os exames de recurso existem para alguma coisa” ou então “dar negativas implica mais recursos e mais trabalho e com um “bocadinho de água benta” esticando de várias pontas, um 8 é quase um 9 e 9 é a nota mínima para passar naquele elemento de avaliação”. Colocarse no outro lado da margem, procurando compreender a situação a partir da perspetiva dos interlocutores, é uma estratégia que também pode ser arriscada pois, se não houver algum discernimento, a prática pode derivar para riachos diferentes: o facilitismo.

No ensino superior, espera-se que os estudantes já sejam autónomos e autoregulados, e, fácilmente caimos no erro cognitivo de que, os estudantes “já deveriam saber fazer trabalhos de forma independente” (e de preferência, correspondendo exatamente à estrutura que nós, enquanto professores “repetentes” e “estudiosos” dos mesmos temas há vários anos (sim, porque ali somos muito mais “repetentes” do que eles), temos bem “gravada” na nossa mente).

Por outro ponto de vista, a verdade é que muitas vezes os estudantes desenvolvem os seus trabalhos, mas, nem sempre são frequentes e constantes os processos de automonitorização, de acompanhamento, e de feedback à forma como aquele trabalho está a decorrer ou sobre como os estudantes estão a desempenhar. Normalmente quando os trabalhos não correspondem aos critérios previamente colocados pelos professores (de forma mais ou menos explícita), é meio caminho para uma nota negativa ou baixa. Estes fatos deixam em aberto a oportunidade dos estudantes se consciencializarem para cuidados a ter e sobre de que formas podem melhorar o seu desempenho naquela tarefa.

Na pretensão de querer contribuir mais para a mudança do que para aumentar a crítica (que sabemos já existente, mas, por si mesma, não nos remete para sítio melhor algum), torna-se necessário refletir para as práticas pedagógicas que antecedem esta solicitação de trabalhos para com os estudantes.

A auto-avaliação e a avaliação por pares revelam-se abordagens à avaliação que se tornam eficazes para o processo de aprendizagem dos estudantes trazendo quer benefícios como desafios. Enquanto na auto-avaliação os estudantes fazem julgamentos e decisões acerca do seu próprio trabalho de acordo com criterios especificos; na avaliação por pares os estudantes fazem julgamentos e decisões acerca do trabalho dos seus colegas, tendo por base critérios específicos. Apesar de independentes, estes processos são interrelacionados (Adachi et al., 2018).

2. Descrição da prática pedagógica

A intervenção consistiu na realização de um workshop online que decorreu no primeiro semestre do ano letivo 2021/2022, com atividades específicas para o atingimento dos objetivos propostos. No final do evento, os estudantes responderam a um questionário construído para o efeito.

2.1. Objetivos e público-alvo

Este trabalho teve por objetivo auxiliar estudantes de ensino superior a conhecer critérios importantes para a avaliação os trabalhos académicos e convidar à leitura e avaliaçáo de trabalhos feitos por outros colegas (avaliação por pares).

O público-alvo foram estudantes de licenciatura de ensino superior do 3º ano do curso de ciencias do desporto, de uma Universidade portuguesa. Esta amostra de conveniência contou com 36 estudantes, homens e mulheres, com idades entre os 20 e os 23 anos.

2.2. Metodologia

A turma estava dividida em grupos de 3-4 elementos. Cada grupo desenvolveu um trabalho teórico de pesquisa acerca de um dos temas do programa. Os trabalhos foram avaliados pelo professor e as notas não foram divulgadas antes da realização da atividade. Os trabalhos foram formatados em word, de forma idêntica, sem nomes ou quaisquer outros elementos que pudessem identificar os autores. Uma aula extra foi administrada sob o formato de workshop online. Uma parte inicial foi teórica. Aqui constou a explicitação das várias partes de um trabalho académico e os critérios de avaliação foram esmiuçados, explicando particularizadamente, em que consistiu cada um deles. Os grupos de trabalho reuniram-se e cada um recebeu três ficheiros-documentos: o primeiro, tratava-se de um dos trabalhos desenvolvidos por um dos outros grupos de trabalho; a rubrica de avaliação que foi utilizada pelo professor (e que já tinha sido divulgada no início do semestre) e também uma grelha em branco onde os grupos deveriam colocar os números de um a cinco, avaliando cada critério e calculando, no final, a nota expectável para o trabalho lido. Para além disso, uma coluna em branco, relativa às observações deveria ser preenchida em termos qualitativos, onde os estuantes deveriam colocar por extenso quais os critérios que estavam a ser cumpridos, e quais os que não estavam a ser cumpridos. No final do documento, cada grupo de trabalho deveria colocar algumas sugestões de melhorias daquele trabalho que leram.

Cuidados particulares na realização desta atividade passaram pelo anonimato e não identificação dos autores; cada grupo de trabalho não poderia ficar com o seu próprio trabalho; ter em atenção para que os grupos de cada “nível de resultado” não ficasse com outro do seu nível, ou ficasse com um bem melhor, ou muito pior. A ideia subjacente a este último ponto teve que ver com a importância da diversidade e da diferença partindo do pressuposto de que quanto mais “distante” e “diferente” aquilo que o estudante faz, maior a probabilidade de se aperceber de alternativas e possibilidades de mudança.

2.3. Avaliação

Instrumento

A Rubrica para avaliação cruza os vários critérios: estrutura formal do trabalho (ex: capa, índice, introdução, desenvolvimento, conclusão, reflexão, referências bibliográficas, anexos); organização e coerência do texto escrito; clareza na exposição das ideias; linguagem escrita, ortografica e sintática; qualidade dos conteúdos da conclusão, da reflexão e implicações práticas para a intervenção psicológica; cumprimento de normas (APA) na referenciação bibliográfica quer ao longo do texto quer finais) com os níveis de desempenho (de 1 a 5 em que 1 corresponde a um nível muito baixo e 5 corresponde a um nível muito elevado).

3. Resultados

36 estudantes participaram no Workshop. No final, responderam a um breve questionário, construído para o efeito, através do google forms. O questionário era anónimo e tinha duas seções: a primeira com dados socio-demográficos (idade, sexo e ano de frequência académica) e a segunda com três questões: uma de resposta escala likert e duas respostas abertas e parágrafo.

Na primeira questão, foi utilizada uma escala de likert com 5 pontos: 1 (nada importante), 2 (pouco importante), 3 (razoavelmente importante), 4 (muito importante), e 5 (muitíssimo importante). À questão “Para mim, enquanto estudante, a informação recebida neste workshop foi”, 56,3% das respostas estiveram no ponto 4 e 43,8% das respostas estiveram no ponto 5.

Nas duas questões abertas, de cariz opcional, foram colocadas: “gostarias de explicar a tua opção?” (relativamente à escala de resposta anterior) e “que acrescentarias a este workshop?”

Aquando das respostas breves em formato parágrafo breves, 6 estudantes responderam à primeira e 3 responderam à segunda. Ainda que tenham sido poucas as respostas a estas questões abertas, foram importantes dado o seu conteúdo. Assim, à primeira questão, “gostarias de explicar a tua opção?” são salientadas algumas respostas dada a sua relevância “com este trabalho aprendi que vou ter cuidado com os grupos que escolho, que preciso de mais tempo para me preparar”(S13F19) “nunca tinha pensado nesta perspetiva sobre como ter que avaliar um trabalho e penso que me ajuda quando tiver que fazer um novo trabalho”(S18F20); “gostei do workshop por ter sido muito prático e porque nos obrigou a pensar de uma forma diferente daquela à qual estamos habituados”(S24M21); “o workshop permitiu-me pensar nas várias partes de um trabalho coisa que eu nunca tinha aprendido em nenhuma disciplina”(S26M21).

Relativamente à questão “que acrescentarias a este workshop?” uma resposta salientou-se “eu acrescentaria que cada grupo de trabalho pudesse ler dois trabalhos diferentes, um melhor e outro pior do que o seu” (S17F21).

4. Conclusões

A análise das respostas dos estudantes permitiu verificar sucesso na dinamização do workshop e atividade uma vez que, na sua avaliação acerca da importância do mesmo, as respostas variaram todas entre 4 (muito importante) e 5 (muitíssimo importante), não havendo nenhuma resposta nos pontos 1, 2 e 3 da escala.

As respostas dadas pelos estudantes para justificar estes valores, encontram fundamento nas ideias de Fernandes e Fialho (2012) quando consideram que a heteroavaliação possibilita a melhoria de capacidades de estudantes em termos da criação de juízos sobre o mérito e o valor de determinados objetos; e permite que sejam os próprios estudantes a regular o seu percurso de aprendizagem.

Estes resultados fazem refletir sobre como estes resultados poderão ser úteis para as prática docente mas, sobretudo, para o desenvolvimento académico dos estudantes de ensino superior, preparando-os não apenas para o seu presente mas também para o seu futuro, seja em termos académicos ou profissionais.

Espera-se assim que este tipo de atividade possa contribuir para o desenvolvimento académico dos estudantes do sentido de que: esta tarefa possa auxiliá-los a conhecerem critérios importantes para a avaliação de trabalhos académicos; convidá-los à leitura de trabalhos feitos por outros colegas, e a partir dessa perspetiva, conseguir voltar a olhar para o seu trabalho e consciencializar para aspetos positivos e menos positivos do mesmo; alargar horizontes mentais e alargar o leque de possibilidades de trabalhos diferentes; para possíveis estruturas e formas de escrita diversificadas; levar os estudantes a reconhecer a complexidade e a objetividade de transformar um trabalho qualitativo em números dentro de uma escala; levá-los a pensar sobre os critérios de avaliação presentes e ausentes e em nível de desempenho; levá-los a criar feedback escrito para o trabalho que receberam, leram e avaliaram; conhecer as suas sugestões de melhoria dos trabalhos de pesquisa teórica dos seus colegas.

Este tipo de atividade poderá ser adaptada e utilizada em várias unidades curriculares de outros domínios científicos. Em termos futuros e para melhoria da atividade em si, o tempo de duração do workshop poderia ser aumentado e a adaptação para o sistema presencial é perfeitamente possível. Cada professor poderá selecionar os trabalhos pretendidos e criar as rubricas de avaliação que considere adequadas à atividade. Relembra-se a importância do cuidado com o anonimato nos trabalhos quando eles são desenvolvidos por colegas da mesma turma.

Concordando com uma das respostas qualitativas de um dos participantes, poderá ser interessante permitir aos estudantes lerem e avaliarem não apenas um trabalho mas sim dois (de níveis de desempenho diferentes do seu) ampliando assim a prática de heteroavaliação. Em termos pedagógicos, e caso houvesse tempo útil para o efeito, poderia ser considerada a possibilidade de cada grupo de trabalho poder melhorar o seu próprio produto após a realização desta atividade. Assim se cumpriria, a componente formativa contínua (Adachi, 2018) do processo pedagógico que tantas vezes é anunciado, mas tão poucas vezes concretizado.

5. Referências Bibliográficas

Adachi, C., Tai, J. H.-M., & Dawson, P. (2018). Academics’ perceptions of the benefits and challenges of self and peer assessment in higher education. Assessment & Evaluation in Higher Education, 43(2), 294–306. https://doi.org/10.1080/02602938.2017.1339775

Brito, H., Alves, E., Cruz, E., Carneiro, S., Bezerra, M., Carvalho, M., & Câmara, C., Vidal, A. (2021). Extensão universitária e ensino em saúde: Impactos na formação discente e na comunidade. Brazilian Journal of Development, 7(3), 29895-29918. https://doi.org/10.34117/bjdv7n3-622

Fernandes, D., & Fialho, N. (2012). Dez anos de práticas de avaliação das aprendizagens no Ensino Superior: Uma síntese da literatura (2000-2009). In C. Leite & M. Zabalza (cords.), Ensino superior: Inovação e qualidade na docência (pp. 3693–3707). Centro de Investigação e Intervenção Educativas da Faculdade de Psicologia e de Ciências da Educação da Universidade do Porto.

Marques, J. B., & Freitas, D. (2018). Método DELPHI: Caracterização e potencialidades na pesquisa em Educação. Pro-Posições, 29(2), 389–415. https://doi.org/10.1590/1980-6248-2015-0140

Rico-Juan, J. R., Cachero, C., & Macià, H. (2022). Influence of individual versus collaborative peer assessment on score accuracy and learning outcomes in higher education: An empirical study. Assessment & Evaluation in Higher Education, 47(4), 570–587. https://doi.org/10.1080/0260 2938.2021.1955090

Silva, A. R. (2020). Oportunidades para extensão universitária nos tempos de pandemia-COVID-19. Revista Práticas Em Extensão, 4(1), 40-41. https://ppg.revistas.uema.br/index.php/ praticasemextensao/article/view/2181/1603