recorrendo a metodologia observacional

Avaliação da usabilidade das TIC na comunidade sénior: uma experiência em living lab recorrendo a metodologia observacional

João Silva*, Mariana Carvalho** , Mário Basto*** & Ricardo Simoes****

*Mestrado; Professor Convidado; Instituto Politécnico do Cávado e do Ave, CAMPUS DO IPCA 4750-810 Barcelos, Portugal. E-mail: joao.silva@ipca.pt **Doutoramento; Professora Adjunta; Instituto Politécnico do Cávado e do Ave, CAMPUS DO IPCA 4750-810 Barcelos, Portugal. E-mail: mcarvalho@ipca.pt ***Doutoramento; Professor Adjunto; Instituto Politécnico do Cávado e do Ave, CAMPUS DO IPCA 4750-810 Barcelos, Portugal. E-mail: mbasto@ipca.pt ****Doutoramento; Professor Coordenador; Instituto Politécnico do Cávado e do Ave, CAMPUS DO IPCA 4750-810 Barcelos, Portugal. E-mail: rsimoes@ipca.pt

RESUMO

CONTEXTO: Teste de usabilidade de um dispositivo médico de reabilitação física integrando TIC, realizado com pacientes idosos em ambiente real e monitorizado por profissionais de cuidados de saúde. OBJETIVO(S): Analisar a usabilidade dos produtos em ambiente real, avaliando a recetividade dos utentes. MÉTODOS:Introdução da utilização dos dispositivos na rotina. Observação e classificação de comportamentos durante a utilização. RESULTADOS: Foram sistematizados dois parâmetros, aptidão e empenho, partindo de cinco inicialmente identificados, para classificar padrões de comportamento na utilização pelos seniores do produto em estudo. CONCLUSÕES: O ensaio e a metodologia permitem obter indicadores relevantes, aptidão e empenho, relativos à facilidade de utilização da tecnologia pelos idosos. Palavras-Chave: Comportamento de idosos; Living Lab; Teste de usabilidade; TIC.

ABSTRACT

BACKGROUND: Usability testing of a physical rehabilitation medical device integrating ICT, performed with elderly patients in a living lab and monitored by healthcare professionals. AIM: To analyze the usability of products in real environment, evaluating the receptivity of users. METHODS: Establishment of device use in the routine. Observation and classification of behaviors during use.

RESULTS:

Starting from five parameters initially identified, two parameters were systematized, ability and persistence, to classify behavior patterns of the elderly in the use of the product under study. CONCLUSIONS: The test and methodology provide relevant indicators, aptitude and persistence, regarding the ease of use of technology by the elderly. Keywords: Behaviour of the elderly; ICT; Living lab; Usability test.

RESUMEN

CONTEXTO: Pruebas de usabilidad de un dispositivo médico de rehabilitación física que integra las TIC, realizado con pacientes mayores en un entorno real y supervisado por profesionales de la salud. OBJETIVO(S): Analizar la usabilidad de los productos en un escenario real, evaluando la receptividad de los usuarios. METODOLOGÍA: Introducción del uso del dispositivo en la rutina. Observación y clasificación de comportamientos durante el uso. RESULTADOS: Se sistematizaron dos parámetros, aptitud y empeño, a partir de cinco inicialmente identificados, para clasificar los patrones de comportamiento en el uso por parte de los ancianos del producto en estudio. CONCLUSIONES: La prueba y la metodología proporcionan indicadores relevantes, aptitud y empeño, con respecto a la facilidad de uso de la tecnología por parte de los ancianos. Palabras Clave: Comportamiento de los ancianos; Living Lab; Pruebas de usabilidad; TIC.

INTRODUÇÃO

I.

Enquadramento No contexto do projeto ICT4SILVER (financiado pelo programa Interreg Sudoe, cujo objetivo é acompanhar as PMEs do sudoeste europeu que produzem soluções digitais para a Silver Economy), foram realizadas avaliações de usabilidade de várias soluções tecnológicas com relevância no bem-estar sénior, em ambiente real. Estas avaliações pretenderam auscultar o consumidor partindo de uma experiência em ambiente real (Gaskin, Griffin, Hauser, Katz, & Klein, 2009), recolhendo o seu testemunho e observando indicadores comportamentais durante a utilização, quer de pacientes quer de profissionais. Em particular, a plataforma Physiosensing, desenvolvida pela empresa portuguesa Sensing Future Technologies, foi submetida a um estudo de utilização junto de potenciais utilizadores, pretendendo avaliar quer a facilidade de utilização por utentes e profissionais, quer a utilidade da solução na avaliação e terapias. Esta ação decorreu em França, em Espanha e em Portugal, tendo sido selecionada a Santa Casa da Misericórdia de Barcelos (SCMB), para os estudos em Portugal, dada a pluralidade dos seus serviços, pacientes e profissionais. O PhysioSensing é uma plataforma portátil de balança e pressão, com tecnologia de biofeedback visual (Figura 1), associada a um software que permite aceder a exercícios práticos (Figura 2), e faz parte de uma nova geração de produtos para a reabilitação física. A tecnologia subjacente integra um dispositivo médico indicado para as atividades de fisioterapia e reabilitação física, com as seguintes funções principais: avaliação do equilíbrio postural e da repartição da carga natural; avaliação da pressão plantar; objetivação da prática clínica; e treino pessoal baseado na estabilidade e na correção da postura.

Figura 1- Plataforma portátil PhysioSensing e biofeedback visual Figura 2- Exemplos de exercícios práticos para o utilizador

O PhysioSensing é, assim, indicado para auxiliar atividades de fisioterapia, reabilitação física e vestibular e neuro-reabilitação, especialmente na reabilitação precoce de AVC e condições neuromúsculo-esqueléticas associadas a reabilitação de membros inferiores e de marcha. Os objetivos deste estudo consistem, por um lado, em apresentar uma metodologia de ensaio de avaliação de usabilidade de produtos em ambiente real com recolha de informação de forma direta e indireta (por observação) e, por outro, em avaliar a recetividade dos utentes, em contexto real e quotidiano, aos exercícios propostos no seu caso em particular, assim como à plataforma no seu todo, aferindo então acerca da utilidade da solução.

II. Ambiente de acolhimento dos testes - Santa Casa da Misericórdia de Barcelos

A SCMB, instituição parceira para acolher estes ensaios, tem como missão promover o desenvolvimento de respostas sociais direcionadas para a Terceira Idade, Infância, Saúde, Social e Religião, privilegiando os grupos mais vulneráveis. A resposta Terceira idade conta com um conjunto de infraestruturas e serviços, tais como 5 lares residenciais com capacidade para 248 utentes, 2 centros de dia e apoio domiciliário. A resposta Saúde conta com o Centro de Medicina Física e de Reabilitação (CMFR) com capacidade para 800 utentes, e com a Unidade de Cuidados Continuados (UCC). As competências e necessidades da atividade do CMFR beneficiam das funcionalidades oferecidas pelo Physiosensing, além disso, o Centro de Dia proporciona o contacto diário com utentes idosos ativos, possibilitando o conhecimento das suas dificuldades e patologias, que poderão reconhecer benefícios na utilização do Physiosensing. Assim, o ensaio foi conduzido por fisioterapeutas do CMFR com utentes do Centro de Dia, estando a caracterização deste apresentada na Tabela 1.

Tabela 1 - Caracterização do Centro de Dia da SCMB

Centro de Dia Capacidade Utentes atuais Idade Utente mais antigo no CD Utentes 35 26 Homens

9 Mulheres

17 Idade min

37 Idade Max

92 18

III.Exercícios Physiosensing em teste

Os exercícios disponíveis no Physiosensing são destinados à avaliação e ao treino do equilíbrio, sendo alguns orientados para o controlo de equilíbrio numa posição específica, e outros orientados para o deslocamento do centro de pressão para pontos pré-definidos nas interfaces, com recurso a biofeedback visual. Durante o treino dos profissionais, na fase de preparação do piloto, o conjunto de exercícios foi revisto e foram selecionados aqueles que, na opinião dos profissionais, melhor se adequam aos pacientes, tendo em vista a melhoria da condição e bem-estar dos utentes conhecimento do estado relacionado com as patologias mais comuns nos idosos. e o

Acredita-se, por isso, que esta ferramenta possa constituir especial vantagem quando utilizada com idosos.

Métodos

I.

Piloto Um piloto (Thabane et al., 2010) é um teste de utilização de um produto com a pretensão de verificar a usabilidade do produto, assim como identificar melhorias que o fabricante deverá considerar na conceção de futuras versões do produto (Wright, 2018). Este estudo adota uma metodologia sistematizada que se define como Modelo do Piloto.

I.1

Modelo do piloto A organização do modelo conceptual de piloto contempla três fases: Fase 1 - Preparação - que considera: a) a apresentação do produto e os objetivos do piloto; b) o convite e treino dos profissionais; c) e o convite, seleção e entrevistas aos utentes da instituição que irão testar o produto; Fase 2 - Execução do piloto - a equipa de profissionais utiliza os equipamentos no ambiente real com os pacientes. Os dados de observação e equipamentos são recolhidos para processamento futuro; e Fase 3 - Conclusão - esta fase encerra o piloto e inclui duas etapas: a) a captura das impressões dos utilizadores e dos profissionais no final da experiência, através de entrevista individual e reunião do grupo; e b) a análise e compilação das informações capturadas e produção do Relatório do Piloto, incluindo sentimentos e recomendações ao fabricante do produto. O presente documento sobre a experiência irá focar-se na análise dos efeitos observados que cada exercício do Physiosensing provocou em cada utilizador, assim como na possível relevância que os sentimentos do utilizador possam ter nesses efeitos. II. Experiência A experiência foi realizada em contexto real na SCMB, durante um mês. O estudo utilizou uma metodologia observacional, atendendo a que não existiu manipulação de intervenções diretas

sobre os participantes, limitando-se à sua observação e às suas características (Cunha, Martins, Sousa, & Oliveira, 2007). II.1 Ética, privacidade e proteção de dados Os princípios éticos e as normas regulamentares vigentes foram considerados na redação do protocolo de parceria firmado entre o consórcio ICT4Silver, a SCMB e o IPCA. Assim, este estudo respeita o direito à não participação, ao anonimato e à confidencialidade, garantindo aos participantes que os seus dados de identificação pessoal não figurem em qualquer parte acessível dos documentos resultantes de processos de investigação (Freixo, 2010, p.180), utilizando-se uma codificação especificamente criada para o efeito. II.2 Definição da amostra Os testes foram implementados numa amostra, que foi definida tendo por base o universo de todos os utentes do Centro de Dia, no período de 6 de julho a 2 de agosto de 2018. O Centro de Dia tinha, à data, 26 utentes, sendo que 17 eram mulheres e 9 homens, com idades compreendidas entre 37 e 92 anos. Foi recolhida de forma não aleatória uma amostra constituída por nove utentes, com idades entre os 65 e os 85 anos, utilizando o método da amostragem por conveniência, por motivos de ordem prática e de acessibilidade aos utentes, uma vez que existiam condicionantes, nomeadamente a indisponibilidade do utente em participar na experiência. A realização dos testes teve o acompanhamento sistemático de dois profissionais de saúde (fisioterapeutas) da instituição. II.3 Exercícios e testes Na totalidade, os nove utentes realizaram 27 exercícios repetidos um número variado de vezes, num total 262 execuções. O Gráfico 1 apresenta a distribuição do número de testes efetuados em cada um dos exercícios propostos.

Weight Bearing Squat Unilateral Stance Transferencia de carga- Antero-Posterior Segue-me Sagital Dinamico Sagital Risco de Queda Rhythmic Weight Shift Quadrado Pong Percurso Quadrado Percurso Expiral Percurso Barras Oscilação do Centro de Pressão Oito Mapa de pressão – Distribuiçao de Pressão Limites de Estabilidade Global Distribuição de Carga - Global CTSIB Circulo Bart Ball Balance Armadilhas Antero-Posterior Dinamico Antero-Posterior 2D

0 5 10 15

Gráfico 1- Distribuição do número de testes pelos exercícios

20 25 30 35 40

Em todos os testes, foram quantificados cinco parâmetros - compreensão, facilidade, conforto, satisfação e empenho - que se acredita avaliarem o grau de recetividade de cada um dos utentes a cada um dos exercícios. A Tabela 1 mostra a escala dessa parametrização.

Tabela 1- Escala para medição dos parâmetros

Compreensão Muita Alguma

Nenhuma Facilidade Muita Alguma Nenhuma Conforto Muito Algum Nenhum Satisfação Muita Alguma Nenhuma Empenho Muito Algum Nenhum Escala 1 0,5 0

Deste modo, a cada utente e exercício foi atribuída uma pontuação, respeitante a cada parâmetro sob avaliação. Por forma a garantir a independência da amostra, a cada parâmetro foi atribuída uma pontuação média a partir das pontuações dos indivíduos que executaram essa tarefa pelo menos uma vez. Assim, cada sujeito e cada exercício têm uma pontuação atribuída. No entanto, neste estudo só são considerados os exercícios que foram executados por, pelo menos, quatro dos indivíduos da amostra.

RESULTADOS Tendo como princípio a metodologia descrita no capítulo anterior, foi construída uma base de dados de 16 exercícios com uma pontuação atribuída para cada um dos cinco parâmetros (compreensão, facilidade, conforto, satisfação e empenho). Todos os parâmetros foram

medidos no sentido mais positivo (maior compreensão, maior facilidade, maior conforto, maior satisfação e maior empenho). A Tabela 2 apresenta os resultados dessa avaliação.

Tabela 2- Pontuações atribuídas por exercício

Exercício 2D Antero-Posterior Armadilhas Ball Balance Circulo CTSIB Global Limites de estabilidade Distribuição de Pressão Oito Pong Quadrado Risco de Queda Sagital Segue-me Weight Bearing Squat Compreensão 0,69 0,86 0,63 0,65 0,85 0,88 0,85 0,63 0,94 0,82 0,43 0,94 0,94 0,9 0,73 0,68 Pontuação Facilidade Conforto 0,56 0,5 0,73 0,67 0,38 0,63 0,55 0,78 0,56 0,89 0,88 1 0,63 0,67 0,25 0,88 0,85 0,81 0,63 0,89 0,3 0,45 0,38 0,88 0,69 0,69 0,79 0,72 0,45 0,72 0,54 0,71 Satisfação 0,88 0,93 0,96 0,89 0,97 1 1 1 1 1 0,84 1 1 0,92 0,95 0,93 Empenho 0,75 0,6 0,66 0,55 0,56 0,5 0,57 0,38 0,53 0,61 0,67 0,63 0,63 0,63 0,66 0,57

DISCUSSÃO

Uma avaliação inicial aponta para uma correlação negativa do empenho com as outras variáveis de avaliação, resultado este que, de alguma forma, indicia que o empenho tende a ser maior para os exercícios que mais obstáculos apresentam (isto é, cuja compreensão, facilidade, conforto e satisfação são menores). No sentido de estudar a possibilidade de as avaliações serem o reflexo de uma estrutura latente de menor dimensão, efetuou-se uma análise fatorial exploratória. Para tal recorreu-se ao software IBM SPSS Statistics e ao menu o SPSS R-Menu (Basto & Pereira, 2012). Para determinar a dimensionalidade dos dados recorreu-se à análise paralela e ao critério de Velicer, atendendo a que são os que mais frequentemente são descritos na literatura como os melhores critérios para este fim (Ruscio & Roche, 2012; Wood, Tataryn, & Gorsuch, 1996; Zwick & Velicer, 1986). O critério do Mínimo Parcial Médio de Velicer consiste em determinar o passo k, cujo valor varia de zero até um valor máximo igual ao número de variáveis menos um, em que o valor mínimo das médias dos quadrados ou da quarta potência das correlações parciais ajustadas sucessivamente à extração das primeiras k componentes principais, se verifica (Velicer, 1976; Velicer, Eaton, & Fava, 2000). A análise paralela utiliza dados simulados ou permutação dos dados originais e compara os valores próprios dos fatores obtidos a partir dos dados, com alguma medida de localização dos valores próprios dos dados simulados ou permutados, retendo-se unicamente os fatores cujos valores próprios são superiores aos obtidos desta forma (Horn, 1965; Ruscio & Roche, 2012). No caso presente, a medida de localização usada foi o percentil 90.

Os valores obtidos apontam para a retenção de um único fator. A extração desse fator conduz a um peso fatorial (loading) da variável “Empenho” com sinal contrário a todos os outros quatro pesos fatoriais. Este resultado era expectável face à correlação negativa do empenho com as outras variáveis. Eliminando a variável empenho os critérios usados apontam de igual modo para um fator e todos os pesos fatoriais apresentam o mesmo sinal. Assim, por esta razão, optou-se por resumir as quatro avaliações (compreensão, facilidade, conforto e satisfação) num único fator a que se atribuiu uma pontuação média, e que se denominou de Aptidão. A outra pontuação representa o Empenho. A Tabela 3 faz o resumo das pontuações obtidas nestes dois parâmetros. O Gráfico 4 apresenta o diagrama de dispersão e reta de regressão dos parâmetros aptidão e empenho, evidenciando a correlação negativa existente.

Tabela 3- Catalogação e Pontuações atribuídas por exercício nos parâmetros Aptidão e Empenho

Objetivo Avaliação

Treino Exercício CTSIB Distribuiçao de Pressão Risco de Queda Weight Bearing Squat Limites de estabilidade Oito Sagital Circulo Quadrado Antero-Posterior Global Ball Balance Segue-me 2D Armadilhas Pong

Pontuação Empenho Aptidão 0,5 0,94 0,53 0,9 0,63 0,83 0,57 0,72 0,38 0,69 0,61 0,84 0,63 0,83 0,56 0,82 0,63 0,8 0,6 0,8 0,57 0,79 0,55 0,72 0,66 0,71 0,75 0,66 0,66 0,65 0,67 0,51

Aptidão 1

0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,3 0,4 0,5 0,6 Empenho 0,7 0,8

Gráfico 4-

Diagrama de dispersão e reta de regressão da aptidão e do empenho

Dos 16 exercícios em análise, e atendendo à sua finalidade, sabe-se que cinco deles são exercícios para avaliação de desempenho do doente, enquanto os restantes são exercícios para treino, conforme especificado na Tabela 3. O Gráfico 5 mostra o diagrama de dispersão das pontuações dos parâmetros para os exercícios de treino. A análise do gráfico manifesta a mesma tendência decrescente entre os parâmetros aptidão e empenho. No que concerne aos exercícios para avaliação de desempenho, o cenário aparenta ser diferente, atendendo a que as pontuações dos parâmetros aptidão e empenho tendem a variar no mesmo sentido, indiciando que em exercícios de avaliação os doentes tendem a empenhar-se mais, conforme apresentado no Gráfico 6. Embora a análise dos gráficos 5 e 6 indiciem que os utentes assumem diferentes comportamentos, consoante a finalidade - treino ou avaliação - do exercício, não foi possível

fazer uma análise fatorial para cada um desses subconjuntos, uma vez que a dimensão das amostras em cada caso é reduzida. Assim, os resultados obtidos só podem ser considerados para as amostras em causa, não sendo possível generalizar os resultados.

Aptidão

0,9 0,85 0,8 0,75 0,7 0,65 0,6 0,55 0,5 0,5 0,55 0,6

0,65 0,7 0,75 0,8

Gráfico 5- Diagrama de dispersão e reta de regressão da aptidão e do empenho para os exercícios de treino.

Aptidão

1 0,95 0,9 0,85 0,8 0,75 0,7 0,65 0,6 Empenho

0,55 0,5 0,3 0,35 0,4 0,45 0,5

Empenho 0,55 0,6 0,65

Gráfico 6- Diagrama de dispersão e reta de regressão da aptidão vs avaliação. empenho para os exercícios de

CONCLUSÕES

Neste artigo foi descrito o ensaio do Physiosensing, com o objetivo de avaliar a adesão de seniores à utilização do equipamento. Com esta missão, foram analisados os comportamentos e foi proposta uma classificação com a agregação das reações observadas. Uma avaliação inicial apontava para uma correlação negativa do Empenho com as outras variáveis de avaliação (compreensão, facilidade, conforto e satisfação), resultando, desta forma, que o empenho tende a ser maior para os exercícios que mais obstáculos apresentam (isto é, cuja compreensão, facilidade, conforto e satisfação são menores). Assim, com suporte estatístico, resultou a agregação das quatro avaliações (compreensão, facilidade, conforto e satisfação) num único fator, que se denominou de Aptidão. No entanto, a análise dos exercícios consoante a finalidade (treino ou avaliação) indiciou que, nos exercícios para avaliação de desempenho, o cenário aparenta ser diferente, atendendo a que as pontuações dos parâmetros aptidão e empenho tendem a variar no mesmo sentido, indicando que, em exercícios de avaliação, os utentes tendem a empenhar-se mais. Estes indícios de uma eventual diferença de resposta comportamental dos pacientes, consoante o objetivo dos exercícios, constituirão a base de um trabalho futuro, considerando um ensaio num contexto estatisticamente mais representativo e significativo, dada a relevância destes indicadores para o fabricante.

IMPLICAÇÕES PARA A PRÁTICA CLÍNICA

Esta metodologia para avaliação da usabilidade produz uma orientação relevante para suporte da decisão da utilização dos equipamentos em ambiente real, o que pode estimular ou desaconselhar a adoção de um equipamento num cenário real.

Por outro lado, a mesma metodologia pode ser utilizada para obter uma avaliação de novos equipamentos ou de equipamentos já em utilização, permitindo refinar a interface com o utilizador, paciente ou profissional, procurando a melhor experiência na utilização das tecnologias e promovendo as melhores práticas das equipas de profissionais.

REFERÊNCIAS BIBLIOGRÁFICAS

Basto, M., & Pereira, J. M. (2012). An SPSS R-menu for ordinal factor analysis. Journal of Statistical Software, 46(4). https://doi.org/10.18637/jss.v046.i04 Cunha, G., Martins, M. R., Sousa, R., & Oliveira, F. F. (2007). Estatística Aplicada às Ciências e Tecnologias da Saúde. Lisboa: Lidel – Edições Técnicas, Lda. Freixo, M. J. V. (2010). Metodologia científica – fundamentos, métodos e técnicas. Lisboa: Instituto Piaget. Gaskin, S. P., Griffin, A., Hauser, J. R., Katz, G. M., & Klein, R. L. (2009). The Voice of the Customer (Vol. 8). Horn, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30(2), 179–185. https://doi.org/10.1007/BF02289447 Ruscio, J., & Roche, B. (2012). Determining the number of factors to retain in an exploratory factor analysis using comparison data of known factorial structure. Psychological Assessment, 24(2), 282–292. https://doi.org/10.1037/a0025697 Thabane, L., Ma, J., Chu, R., Cheng, J., Ismaila, A., Rios, L. P., … Goldsmith, C. H. (2010). A tutorial on pilot studies: the what, why and how. BMC Medical Research Methodology, 10, 1. https://doi.org/10.1186/1471-2288-10-1 Velicer, W. F. (1976). Determining the number of components from the matrix of partial correlations. Psychometrika, 41(3), 321–327. https://doi.org/10.1007/BF02293557 Velicer, W. F., Eaton, C. A., & Fava, J. L. (2000). Construct Explication through Factor or Component Analysis: A Review and Evaluation of Alternative Procedures for Determining the Number of Factors or Components. In Problems and Solutions in Human Assessment (pp. 41–71). Boston, MA: Springer US. https://doi.org/10.1007/978-1-4615-4397-8_3 Wood, J. M., Tataryn, D. J., & Gorsuch, R. L. (1996). Effects of under- and overextraction on principal axis factor analysis with varimax rotation. Psychological Methods, 1(4), 354–365. https://doi.org/10.1037/1082-989X.1.4.354 Wright, M. (2018). How pilot testing can dramatically improve your user research. Wider Funnel Blog. Retrieved from https://www.widerfunnel.com/pilot-testing-user-research/ Zwick, W. R., & Velicer, W. F. (1986). Comparison of Five Rules for Determining the Number of Components to Retain. Psychological Bulletin, 99(3), 432–442.