RELATÓRIO de AVALIAÇÃO de IMPACTO SOCIAL – SROI # 2 Palcos para a Inclusão Espaço t – Associação para Apoio à Integração Social e Comunitária
Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Relatório de Avaliação de Impacto Social SROI # 2 Projeto Palcos para Inclusão Preparado para Espaço t – Associação para Apoio à Integração Social e Comunitária por Stone Soup Consulting Dezembro, 2019
© Stone Soup Consulting, (2019) A Stone Soup Consulting é uma empresa que tem por missão proporcionar serviços de consultoria para apoiar o fortalecimento institucional das organizações e iniciativas do Terceiro Sector. Atuando como um aliado das entidades do terceiro Sector, a Stone Soup Consulting tem como objetivo ajudar a fortalecer a sua gestão operacional, assim como identificar os possíveis caminhos de desenvolvimento futuro, mediante processos compartilhados de formulação e execução estratégica. www.stone-soup.net Sede: Rua Manuel Viegas Guerreiro, 1, r/c Esq., 2770-193 • Paço de Arcos • Portugal E-mail: stone-soup@stone-soup.net
Disclaimer A equipa de consultores da Stone Soup Consulting, associada a este projeto, trabalhou com profissionalismo e rigor na elaboração dos materiais relacionados com este relatório. A Stone Soup Consulting e os seus consultores associados não se responsabilizam pelo uso que a entidade cliente dará da informação inserida neste documento, mas recomenda-se – para otimizar o seu impacto – que esta informação complemente/ seja complementada por políticas e procedimentos adequados.
2 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Índice
INTRODUÇÃO
4
1. GLOSSÁRIO
5
2. ENQUADRAMENTO DO PROGRAMA DE AVALIAÇÃO
7
3. ESTRATÉGIA DE IMPACTO PLANEADA
9
4. ATIVIDADES E CARACTERIZAÇÃO DOS PARTICIPANTES
12
5. SISTEMA DE AVALIAÇÃO IMPLEMENTADO
16
5.1. METODOLOGIA 5.2. INSTRUMENTOS DE AVALIAÇÃO
16 18
6. ANÁLISE DOS DADOS
24
6.1. ANÁLISE LINHA DE BASE BENEFICIÁRIOS PRINCIPAIS 6.2. ANÁLISE SROI INPUTS CÁLCULO DO SROI PRESSUPOSTOS METODOLÓGICOS LISTA DE PROXIES 6.3. ANÁLISE INICIATIVA CORPO EVENTO
24 25 26 26 28 29 34
7. SÍNTESE, CONCLUSÕES E RECOMENDAÇÕES
37
8. BIBLIOGRAFIA
39
3 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Introdução
A Stone Soup Consulting, enquanto responsável pela realização da avaliação externa do projeto ‘Palcos para Inclusão’, dinamizado pelo Espaço t – Associação para Apoio à Integração Social e Comunitária, apresenta o relatório intermédio de progresso deste projeto que teve início em julho de 2017.
Este relatório é elaborado em fase intermédia de forma a auxiliar na monitorização do desempenho da iniciativa. O sistema de avaliação utilizado tem por base um processo participativo que tem como eixo de trabalho a teoria da mudança e os parâmetros internacionalmente acordados no âmbito do Social Return On Investment (SROI), que afere o retorno social de um projeto, comparando o valor dos recursos investidos, com o valor do impacto social que é gerado.
“O SROI mede mudanças relevantes para as pessoas ou organizações que experimentam ou contribuem para um projeto. Conta a história de como a mudança está a ser criada pela medição de resultados sociais, ambientais e económicos e usa valores monetários para representar esta mudança. O que permite calcular uma proporção de benefícios para os custos. O SROI é sobre valor e não sobre dinheiro. O dinheiro é simplesmente uma unidade comum e, como tal, é uma maneira útil e amplamente aceita de transmitir valores.” The SROI Network 2012 (“A Guide to Social Return on Investment”)
4 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
1. Glossário Atribuição, percentagem de cada mudança que não é atribuível à gestão da organização. Deslocamento, que consiste em perceber qual a percentagem de mudança que deu origem a outras mudanças. Drop-off, é a deterioração da uma mudança ao longo do tempo, que pode acontecer em mudanças que duram mais de um ano. Duração: Duração do efeito de um resultado após a intervenção inicial. Inputs: os recursos que são usados para criar a intervenção para cada grupo de stakeholders. Mapa de Impactos: tabela que faz parte de qualquer relatório de SROI e que contém toda a informação e cálculos que resultaram na avaliação final SROI. Materialidade: num SROI se a informação é material isso significa que a sua inclusão vai afetar a avaliação final e, portanto, afetar a valorização financeira final. Se a informação de um grupo de stakeholders terá efeito sobre o SROI, essa informação é material e deve ser incluída no processo. Outcomes: as mudanças que ocorrem como resultado da intervenção. Num SROI os impactos incluem o planeado e o não planeado, bem como as alterações positivas e negativas. Outputs: a quantidade dos resultados diretos da atividade em unidades numéricas. Peso morto, reflete as mudanças que poderiam ter sido alcançadas se a organização não tivesse realizado as suas atividades. Proxy financeira: é a estimativa do valor financeiro de uma mudança quando não existe valor real de mercado de transação dessa mudança. 5 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Stakeholders: Pessoas e organizações que são afetadas pelas atividades e mudanças. Teoria da Mudança: A teoria da mudança é uma representação simples, lógica, do impacto social estimado ou efetivamente medido de uma organização. Corresponde ao que chamamos de cadeia de valor social que traduz as relações causais entre as dimensões mais macro de uma organização - as mais difíceis de medir que são os impactos sociais e económicos em sistemas ou setores, de médio/longo prazo, à escala regional, nacional, global - e as dimensões micro, as atividades concretas e seus resultados de transformação social, decorrentes de recursos financeiros e logísticos, de conhecimento e sobretudo, de pessoas e capital humano.
6 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
2. Enquadramento do programa de avaliação
O Espaço t surge em 1994, num contexto social que exigia novos instrumentos no combate à exclusão. O Espaço t, onde o “t” significa todos, é um espaço aberto que não se restringe a um grupo delimitado, mas se dedica inteiramente ao ser humano. O Espaço t procura o combate à exclusão social adotando a arte e a criatividade como uma linguagem comum de comunicação, como um instrumento de vivência das emoções, que fomenta nos seus (suas) alunos(as) uma participação social ativa, consciente e livre. Diariamente através da sua atividade a instituição pretende ser um meio de promoção para o desenvolvimento positivo da autoestima e do autoconceito. O Espaço t apresentou uma candidatura, com sucesso, ao Aviso POISE-39-2016-06, através do POISE – Programa Operacional para a Inclusão Social e Emprego do Portugal
2020,
com
vista
à
implementação
da
Iniciativa
de
Inovação
e
Empreendedorismo Social (IIES) ‘Palcos para a Inclusão’. A iniciativa ‘Palcos para a Inclusão’, consiste na apresentação do trabalho artístico desenvolvido pelos alunos do Espaço t, junto de crianças, jovens e adultos em diversas situações de vulnerabilidade social nos territórios do Porto, Trofa e Maia, residentes em bairros sociais, habitações sociais ou territórios vulneráveis, através do envolvimento em manifestações culturais e artísticos que reforcem a coesão social, o diálogo entre diferentes e estimulem o desenvolvimento pessoal e interpessoal, promovendo assim a mudança social.
A Stone Soup Consulting foi contratada para realização da avaliação de impacto social (pela metodologia SROI) da iniciativa ‘Palcos para a Inclusão’. Sendo que os objetivos do programa de avaliação contratado incluem:
7 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Medir os resultados da iniciativa ‘Palcos para a Inclusão’ de forma participativa, em estreita colaboração e articulação com a equipa do Espaço t e com os restantes parceiros do projeto, fomentando oportunidades de aprendizagem pela formação contínua;
Rever e acompanhar a teoria da mudança e os principais indicadores de realização e resultado mantendo as metas contratualizadas no POISE;
Construir e implementar um sistema de avaliação e medição dos impactos sociais de forma imparcial, transparente e clara, por uma equipa externa, experiente e independente;
Contribuir através do desenvolvimento de um relatório de progresso, para a monitorização intermédia do desempenho e do impacto do projeto, ao facilitar o acompanhamento, a tomada de decisões e a gestão da iniciativa;
Desenvolver um sistema que possibilite a verificação e a monitorização do impacto social do projeto no futuro, identificando os principais indicadores e referenciando as recomendações para a geração de maior impacto;
Consolidar os resultados da avaliação e medição dos impactos sociais de forma a serem transformados em processos de comunicação, que facilitem o reconhecimento e interesse público da inciativa e do impacto gerado na sociedade.
8 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
3. Estratégia de impacto planeada
Para a elaboração do sistema de avaliação de impacto, nomeadamente dos indicadores de impacto, foi desenvolvida a teoria da mudança do projeto – uma ferramenta que possibilita uma compreensão aprofundada das mudanças que o projeto pretende gerar na sociedade e posteriormente que guia um processo sólido de avaliação. A teoria da mudança explica como o projeto impacta os seus beneficiários, delineando os resultados indiretos que contribuem para os impactos e as atividades e os resultados diretos necessários para os atingir. Em suma, elabora uma estratégia de impacto pela identificação do impacto desejado e de como chegar a ele. Os principais beneficiários do projeto são – os Alunos do Espaço t, os Moradores dos territórios que acolhem as ações, as Crianças das escolas onde são realizadas atividades e os Dinamizadores das ações. A construção da Teoria da Mudança do projeto contou com três etapas:
workshop com a equipa core do projeto no Espaço t para elaboração do mapa de atores chave e co-construção da teoria da mudança;
realização de um grupo focal, que reuniu os principais stakeholders para validação da teoria da mudança pré-alinhada, bem como um questionário que foi preenchido pelos dinamizadores das atividades;
realização de uma sessão dinâmica com os alunos do Espaço t (através de cartas visuais que representavam os resultados e impactos do projeto) para validar as mudanças identificadas. Uma dinâmica semelhante foi promovida numa escola do Porto (parceira do projeto) para validar as mudanças identificadas para as crianças que participam no projeto.
A iniciativa Corpo Evento – Ciclo de Espetáculos em Teatro e Dança, incluída no programa do ‘Palcos para a Inclusão’ foi identificada posteriormente como uma atividade geradora de mudança para o público a assistir ao espetáculo; tendo sido criados instrumentos de avaliação e monitorização desta atividade e seus públicos. 9 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Imagem 1: Workshop com os alunos do Espaço t
Imagem 2: Workshop com as crianças da escola
10 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Apresenta-se de seguida a teoria da mudança com os principais beneficiários e respetivos resultados indiretos/outcomes e impactos identificados. Tabela 1: Teoria da Mudança do Palcos para Inclusão
C/P- curto-prazo; M/P- médio-prazo; L/P- longo-prazo; M- mudança; I- impacto
Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
4. Atividades e caracterização dos participantes
Começamos por sumariar as atividades realizadas, até fim de novembro de 2019, no âmbito deste projeto e a caracterização dos respetivos participantes (informação obtida através dos relatórios mensais do projeto e dos questionários aplicados).
Imagem 3: Logótipo do Palcos para Inclusão
Apesar do projeto ‘Palcos para a Inclusão’ ter arrancado em julho de 2017, as apresentações públicas, após um período de preparação, tiveram início em outubro desse ano. Gráfico 1: Distribuição geográfica dos bairros visitados
Nos 24 meses já decorridos no terreno, nos bairros, em associações, centros sociais, centros
77%
de
estudo
e
escolas
foram
apresentadas um total de 232 ações (faltando realizar 68 ações nos 6 meses 24% 10%
restantes do projeto) Das 232 ações realizadas, 77% decorreram
Porto
Maia
Trofa
na cidade do Porto, 24% na Maia e 10% na Trofa.
12 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
No âmbito das ações realizadas (gráfico em baixo), há uma predominância das atividades de Dança e Experimentação musical, Tai chi, Pintura e Expressão Plástica, Teatro e Dança Inclusiva. A Fotografia é tipologia de atividade com menos frequência de realização. Gráfico 2: Percentagem de ações por tipologia Pintura/Expressão Plástica 9%
Dança/Experimentação Musical
17%
Tai Chi 11% Grupo de Teatro Aneco de Acenar Fotografia 8% 21%
Teatro Terapêutico Canto e Drama
8% 0%
Teatro 7% Dança Inclusiva 19%
O gráfico seguinte apresenta a distribuição dos participantes envolvidos em cada atividade por tipologia de ação, diferenciando entre alunos do Espaço t e público. As atividades de Dança/Experimentação Musical, Tai Chi, Teatro, Canto e Drama e Pintura/Expressão plástica são as que envolveram até ao momento (dado o número de ações realizadas), mais público. Os alunos do Espaço t estão mais presentes em atividades de Dança/Experimentação Musical, Teatro e Tai Chi ao contrário de atividades como a Pintura e a Fotografia, onde a sua participação, dado o tipo de dinâmica desenvolvida, não é necessária.
13 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Gráfico 3: Distribuição dos participantes por tipo de atividade 2559
1837
862 313 10
144
138
971
907
761
732
664 30 0
109
109
155
119
Público Alunos
A 6 meses do término do projeto este apresenta taxas de execução elevadas, tendo já sido alcançada a meta prevista para o número de participantes e entidades a envolver, tal como demonstrado na tabela seguinte. Tabela 2: Taxas de execução do projeto
EXECUTADO Dimensões
META Número
Percentagem
Ações realizadas
300
232
77%
Entidades envolvidas
60
68
113%
Número participantes
9000
9437
105%
14 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
De seguida apresenta-se o número de participantes envolvidos e abrangidos pelas ações por tipologia de participante, sendo que 73% do público são crianças e jovens. Número de participantes por tipologia (total 7655) De outubro 2017 a novembro 2019
CRIANÇAS e JOVENS – 6921 (73%)
IDOSOS – 1467 (16%)
PESSOAS com DEFICIÊNCIA – 630 (7%)
ADULTOS MORADORES – 384 (3,6%)
TOXICODEPENDENTES – 35 (0,4%)
15 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
5. Sistema de avaliação implementado 5.1. Metodologia Conforme já introduzido o sistema de avaliação implementado segue a metodologia do Social Return On Investment (SROI), que afere o retorno social de um projeto, comparando o valor dos recursos investidos com o valor do impacto social gerado. Pretende-se com esta avaliação:
Aferir as mudanças causadas nos alunos do Espaço t, nas crianças, jovens e adultos em diversas situações de vulnerabilidade social nos territórios onde decorrem as ações artísticas, Porto, Trofa e Maia.
Avaliar a eficiência do projeto no desenvolvimento de impacto social através do cálculo de um rácio do valor social gerado por cada 1€ investido.
Identificar e propor estratégias que permitam maximizar o impacto social gerado.
Imagem 4: Ilustração do cálculo do SROI
O rácio SROI é obtido dividindo o valor do impacto económico e social, pelo valor líquido dos investimentos efetuados. O valor do impacto social gerado pelo projeto é obtido 16 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
através da valorização de mudanças intangíveis e de difícil contabilização ou transação em resultados monetários com recurso a aproximações financeiras (proxys) Por exemplo, um rácio de 2:1 indica que por cada 1€ investido no projeto, o retorno social é de 2€.
A metodologia SROI compreende um conjunto de 7 princípios que permitem trazer maior segurança ao processo de cálculo do rácio final (Roux, 2010). 1. Envolver os stakeholders nos processos de aferição e quantificação do valor social dado que são estes quem influencia os resultados e os impactos das atividades efetuadas pela organização, pelo que é essencial envolvê-los em todo o processo de construção do valor social. 2. Compreender as mudanças geradas, reconhecendo tanto as mudanças positivas e intencionais como os efeitos negativos e não intencionais da atividade, entendendo o real valor que é criado por cada um dos diferentes stakeholders pela organização, identificando as mudanças positivas e as negativas, as previstas e as imprevistas e o processo pelo qual se chega a essas mudanças. 3. Valorizar apenas o que importa, identificando aspetos que terão um impacto significativo para a análise pretendida, utilizando proxies financeiras para monetizar o valor de benefícios/prejuízos. 4. Apenas incluir aquilo que é relevante, por forma a apresentar uma imagem verdadeira das atividades realizadas, contendo a informação essencial a partir da qual os stakeholders podem retirar conclusões. 5. Apenas reivindicar o valor criado pelas atividades que efetuou, contabilizando unicamente o valor que criou. Por esta razão, são introduzidos outros quatro conceitos na análise que permitem aferir estes valores: Deslocamento, consiste em perceber qual a percentagem de mudança que deu origem a outras mudanças.
17 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Peso morto, reflete as mudanças que poderiam ter sido alcançadas se a organização não tivesse realizado as suas atividades. Atribuição, percentagem de cada mudança que não é atribuível à gestão da organização Drop-off, é a deterioração da uma mudança ao longo do tempo, que pode acontecer em mudanças que duram mais de um ano. 6. Efetuar uma análise transparente, precisa e honesta para divulgar com transparência os resultados aos stakeholders. 7. Verificar os resultados através da certificação independente de uma terceira parte.
5.2. Instrumentos de avaliação Partindo do Mapa de Impacto do projeto foram elaborados os indicadores e identificados os instrumentos de avaliação a aplicar a cada beneficiário para obtenção da informação. Foram criados quatros instrumentos, um para cada um dos beneficiários do projeto beneficiários - Alunos do Espaço t, os Moradores, as Crianças e os Dinamizadores.
Neste caso os questionários semiestruturados foram o principal método para a recolha de dados quantitativos e qualitativos das atividades do ‘Palcos para a Inclusão’. Os questionários incluíram escalas (muito baixo, baixo, razoável, alto e muito alto) e a utilização de emojis. O questionário é um dos instrumentos de recolha mais utilizado para obter informação dadas as vantagens de possibilitar criar dados comparáveis a partir dos quais se podem extrapolar as mudanças, facilitar a distribuição geográfica da execução. Posteriormente foi selecionada uma amostra de cada grupo de beneficiários do projeto. Globalmente foram aplicados 1385 questionários.
18 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
A tabela em baixo identifica o(s) instrumento(s) de avaliação utilizado(s) para cada beneficiário. Tabela 3: Instrumento de avaliação por tipo de beneficiário
Beneficiário
Alunos do Espaço t
Moradores
Crianças
Dinamizadores
Instrumento de avaliação Questionário exante Questionário expost Questionário exante Questionário expost Questionário exante Questionário expost Questionário exante Questionário expost
Meta de beneficiários a inquirir (amostra)
Amostra já inquirida
% cobertura
91
112%
118
146%
99
30%
99
30%
81
331
480 364
132% 479 10
100%
9
90%
9
De seguida é feita uma breve caraterização da amostra inquirida de cada grupo de beneficiários.
ALUNOS - Amostra
45% dos alunos inquiridos são do género Feminino
25% dos inquiridos estão a participar pela primeira vez no Palcos para Inclusão (dos restantes 11% ingressaram em 2015 no projeto, 76% em 2017 e 13% em 2018)
5% dos alunos inquiridos concluiu o Ensino Secundário
19 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
MORADORES - Amostra
77% dos moradores inquiridos são do género Feminino
75 anos é a idade média dos moradores (exclui questionários aplicados ao Centro de Dia e Jardim Infantil de Pedrouços)
17% dos inquiridos estavam a assistir pela primeira vez a uma iniciativa do Palcos para Inclusão (39% participaram nas atividades de experimentação musical, 31% de teatro terapêutico, 15% de dança inclusiva 2 e 14% de pintura)
3% dos inquiridos tem um familiar com deficiência no seu agregado
59% dos moradores inquiridos concluiu o 1º ciclo
CRIANÇAS - Amostra
40% das crianças inquiridos são do género Feminino
Apenas 34% dos inquiridos estão a participar pela primeira vez no Palcos para Inclusão (38% participaram nas atividades de Tai-Chi, 29% de experimentação musical, 16% de teatro, 15% de dança inclusiva e 3% de pintura)
14% das crianças inquiridas tem um familiar com deficiência no seu agregado; 2% das crianças inquiridas tem um familiar têm um familiar a atuar no espetáculo
20 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
4% das crianças inquiridas estão a frequentar o pré-escolar e as restantes o 1º ciclo
DINAMIZADORES - Amostra
50% dos dinamizadores inquiridos são do género Feminino
38 anos é a idade média dos dinamizadores
20% dos dinamizadores inquiridos estão a participar pela primeira vez no Palcos para Inclusão
20% dos dinamizadores inquiridos tem um familiar com deficiência no seu agregado
70% dos dinamizadores inquiridos têm licenciatura
Para além dos instrumentos de avaliação aplicados aos principais beneficiários do projeto foi desenvolvido um instrumento de avaliação especifico para avaliar o impacto da iniciativa Corpo Evento – Ciclo de Espetáculos em Teatro e Dança. Este ciclo de espetáculos que está incluído no programa do ‘Palcos para a Inclusão’ foi também identificado como uma atividade geradora de mudança. O instrumento de avaliação é composto por dois questionários, um a ser respondido antes do espetáculo começar e outro imediatamente após o fim deste evento. Na edição de junho de 2018 foram inquiridos 247 espetadores do público. Na edição de outubro de 2019 foram inquiridos 181 espetadores durante os sete dias de espetáculo que contou com cerca de 1000 pessoas a assistir às peças.
21 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
No questionário ex-post de 2019 foi acrescentada uma questão que inquiria os espectadores sobre a sua disponibilidade para pagar (“Quanto estaria disposto a pagar para assistir a este espetáculo ou similares (em Euros)?”). Este tipo de técnica de monetização de bens não transacionados no mercado, neste caso de um ativo cultural, recorre ao método da valoração contingente para aferir o valor económico de um bem (willingness-to-pay). Público em geral do Corpo Evento 2018 - Amostra
65% dos espetadores inquiridos são do género Feminino
51 anos é a idade média dos espetadores 55% dos espetadores inquiridos assistiram pela primeira vez à iniciativa ‘Corpo Evento: Ciclo de Espetáculos em Teatro e Dança’
26% dos espetadores inquiridos tem um familiar com deficiência no seu agregado e 38% tem um familiar a atuar no espetáculo
21% dos espetadores inquiridos têm licenciatura, 22% o ensino secundário e 21% concluíram o 1º ciclo
43% dos espetadores ouviram falar do espetáculo através de um familiar e/ou amigo e 29% através do Espaço t, 25% teve conhecimento através de outros meios geralmente instituições parceiras
Público em geral do Corpo Evento 2019- Amostra
71% dos espetadores inquiridos são do género Feminino
61 anos é a idade média dos espetadores 22 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
53% dos espetadores inquiridos assistiram pela primeira vez à iniciativa ‘Corpo Evento: Ciclo de Espetáculos em Teatro e Dança’
27% dos espetadores inquiridos tem um familiar com deficiência no seu agregado e 50% tem um familiar a atuar no espetáculo
21% dos espetadores inquiridos têm licenciatura, 22% o ensino secundário e 21% concluíram o 1º ciclo
43% dos espetadores ouviram falar do espetáculo através de um familiar e/ou amigo e 29% através do Espaço t, 25% teve conhecimento através de outros meios geralmente instituições parceiras
23 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
6. Análise dos dados 6.1. Análise linha de base beneficiários principais
Os alunos do Espaço t são os principais beneficiários e ao simultaneamente promotores de atividades do projeto, determinou-se relevante analisar o seu contexto de partida no início do projeto, linha de base, no que concerne as dimensões identificadas para aferição de mudança. Tal como a tabela seguinte indica a amostra de alunos, inquirida, apresenta valores de partida de uma forma geral ‘razoável’ e ‘alto’ para cada uma das dimensões identificadas na Teoria da Mudança - sendo as dimensões mais frágeis a ansiedade e o sentimento de isolamento e as mais fortes, o sentimento de aceitação e a empatia em relação a pessoas com deficiência. É de ressalvar que, tal como indicado na caracterização da amostra, 11% dos alunos inquiridos integraram o projeto do Palcos na sua primeira edição, em 2015. Este envolvimento a médio-prazo com o projeto, ainda que com algumas valências distintas nesta nova edição, poderá ser responsável pelos níveis elevados (de partida) nas dimensões identificadas para mudança. Tabela 4: Dados da linha de base para a amostra dos alunos Muito baixo(a)
Baixo(a)
Razoável
Alto(a)
Muito alto(a)
A sua autoestima
1%
13%
45%
23%
18%
O seu Bem-estar emocional
1%
13%
33%
36%
17%
O seu sentimento de isolamento
18%
33%
33%
12%
4%
A sua ansiedade
10%
40%
30%
13%
7%
A sua Auto motivação O seu sentimento de ter uma rede de pessoas que o apoiam no dia-a-dia A sua capacidade de comunicação A sua relação com outras pessoas A sua vontade de perseguir novos desafios O seu sentimento de pertença a um grupo
5%
15%
45%
22%
14%
2%
10%
35%
38%
14%
5%
8%
40%
27%
20%
1%
16%
24%
41%
18%
1%
16%
35%
27%
21%
1%
7%
33%
46%
13%
24 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
O seu sentimento de aceitação da diferença das pessoas com deficiência A sua empatia (em relação a pessoas com deficiências físicas, psíquicas e sociais) O seu sentimento de utilidade (à sociedade)
0%
3%
14%
44%
39%
1%
3%
14%
44%
38%
3%
18%
47%
28%
4%
6.2. Análise SROI A análise SROI constrói-se, fundamentalmente, a partir do olhar das partes interessadas na intervenção – os stakeholders. Estas pessoas ou instituições, que são afetadas positiva ou negativamente, são selecionadas consoante a sua relevância e depois envolvidos na seleção das mudanças mais importantes. O quadro seguinte apresenta o racional de inclusão e exclusão do mapa de stakeholders. Tabela 5: Racional para inclusão dos stakeholders
Lista de stakeholders
Inclusão
Alunos do Espaço t
Sim
Moradores Bairros sociais
Sim
dos
Crianças das escolas
Sim
Associações bairros
dos
Sim
Familiares utentes
dos
Familiares moradores bairros sociais
dos dos
Não
Não
Racional para a inclusão Sim, porque é o principal interveniente. São um público ávido de novas experiências, procuram a aceitação e o relacionamento com novos públicos. Os alunos do espaço t são por isso stakeholders centrais no estudo. São promotores das mudanças e auto beneficiários das mesmas. Sim, porque são beneficiários diretos do projeto. São muitas vezes também alvo de exclusão social. Fechados sobre os “limites” geográficos e simbólicos do bairro onde habitam. Vão ter oportunidade de experienciar novas realidades e estar com “outros”, muitas vezes considerados como “incapazes”. Sim, porque é efetuado trabalho direto com as crianças que frequentam as escolas da Maia, Trofa e Porto As associações/entidades dos diferentes bairros são os mediadores entre o Espaço t e os habitantes de cada um dos bairros; apoiam o Espaço t na dinamização das diferentes atividades, e serão diretamente beneficiadas pelas mudanças sentidas na população residentes nos bairros onde se inserem. São beneficiários indiretos que sentirão as mudanças dos alunos durante o projeto. No entanto são excluídos porque a maioria dos utentes do espaço t não tem um vínculo de dependência com os familiares e tal forma que as mudanças nos alunos possa alterar a vida dos familiares.. São beneficiários indiretos que sentirão as mudanças dos familiares durante o projeto, no entanto são pelo facto de as mudanças serem muito residuais.
25 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Colaboradores Espaço t
do
Não
Os colaboradores estão envolvidos na missão da instituição, que desenvolve projetos sociais diversos, sendo alocado a cada projeto uma equipa distinta. Por falta de recursos não são incluídos. São beneficiários diretos, pois promovem as suas criações, através dos espetáculos, desenvolvendo-os nos ateliês artísticos que ministram semanalmente.. O Estado Português beneficia com as mudanças promovidas com o projeto, pois reduz despesas com custos associados a medicação, acompanhamento psicológico, bens culturais, entre outros. No entanto, as mudanças não são relevantes nem significativas no contexto nacional.
Dinamizadores artísticos do projeto
Sim
Estado
Não
Juntas de Freguesia
Não
Beneficiário indireto sem mudanças relevantes e significativas.
Meios de Não Comunicação social
Beneficiário indireto sem mudanças relevantes e significativas
Direção Espaço t
Beneficiário direto que usufruirá da análise SROI na medida em que poderá melhorar o seu desempenho e eficácia, numa perspetiva de melhoria contínua, podendo ainda otimizar a obtenção de financiamento. Por condicionalismos temporais, e logísticos não será incluído nesta análise.
Não
Inputs Entende-se por inputs todos os recursos necessários (investimento) para realizar uma dada atividade. Na presente análise SROI Inputs referem-se ao valor financeiro de todos os recursos utilizados no decurso do projeto. O valor total dos inputs ascendeu a 298.469€.
Cálculo do SROI Esta etapa consiste na soma de todas as mudanças implementadas, subtraindo quaisquer impactos negativos que possam existir, comparando o resultado com o investimento. A monetização dos benefícios revela a sua importância relativa no contexto da atividade estudada e torna possível a comparação, segundo a mesma unidade de medida (Euro), entre o valor social criado e o valor investido. O rácio SROI é obtido através da divisão do valor do impacto social, traduzido em termos monetários, e o valor atual líquido (VAL) dos investimentos realizados. Segundo Nicholls (Nicholls, Cupitt, & Durie, 2009), dependendo de quando é feita a análise SROI, existem dois tipos de análise possíveis:
26 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Retrospetiva: que é realizada com dados históricos e resultados que já tenham sido obtidos, somando todos os impactos do projeto, que serão divididos pelos investimentos. Através deste cálculo é possível percecionar o impacto alcançado em determinado momento. Prospetiva: prevê que valor será criado no futuro se as atividades da organização produzirem os resultados desejados, somando todos os impactos do projeto, que serão divididos pelos investimentos. Será também necessário atualizar os impactos através do método do Valor Atual Líquido. Para a aplicação do método do Valor Atual Líquido, é necessário estimar a Taxa de Desconto do projeto que é definida como o custo de oportunidade de capital investido num determinado projeto; para ser aceitável, o projeto deve gerar um retorno pelo menos igual ao adquirido num outro investimento, nunca menor. Quanto maior for a Taxa de Desconto, mais serão descriminados os benefícios e custos obtidos a longo prazo comparando com um projeto cujos benefícios sejam gerados no curto prazo (Ryan & Lyne, 2008). Para o cálculo do SROI do projeto usámos uma Taxa de Desconto sem risco de 1,2%, que equivale à taxa de rendibilidade das obrigações do tesouro a 10 anos que refletem a remuneração de ativos isentos de risco. Como este projeto é de âmbito social, logo, não pretende gerar uma taxa de lucro ao investidor, considerou-se a taxa de desconto sem risco sem qualquer prémio de risco. A unidade de medida utilizada para calcular o retorno social do investimento é o Euro, sendo assim uma forma simples e eficiente de traduzir a utilidade subjetiva de um benefício para um beneficiário.
O valor do SROI obtido, no momento de análise, para a amostra (valor não-extrapolado) é de 1,18 e para a população-alvo (valor extrapolado) do projeto é de 1,54
.
27 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Pressupostos metodológicos O quadro seguinte evidencia a quantidade total de alunos que o projeto vai beneficiar, a amostra recomendada, a quantidade de inquéritos trabalhados e o valor considerado para a extrapolação. Tabela 6: Amostra, inquéritos trabalhados e valor para extrapolação de cada stakeholder
Variável
Nº alunos Nº crianças Nº Dinamizadores Nº Moradores Nº público em geral
Quantidade Total
Amostra recomendada
102 6660 9 2340 600
Quantidade de inquéritos trabalhados (exante mapeado com ex-post)
81 364 9 331 235
100 451 9 99 401
Valor para extrapolação
%
123% 124% 100% 30% 171%
1,0 14,8 1,0 23,6 1,5
* a quantidade de inquéritos trabalhados não é necessariamente igual à amostra já inquirida, anteriormente apresentada, pois alguns questionários foram descartados por se encontrarem incompletos o que impossibilita o macthing (ex-ante/expost)
O quadro seguinte apresenta os valores provisórios de peso morto, atribuição, deslocamento e redução. Esta informação pretende-se que seja revista após os resultados de um estudo Delphi a efetuar com técnicos/especialistas na área. Tabela 7: Peso Morto, Atribuição, Deslocamento e Redução, valores para de cada stakeholder
Variável Nº alunos Nº crianças Nº Dinamizadores Nº Moradores Nº público em geral
Peso Morto (%)
Atribuição a Deslocamento outros (%) (%)
Redução (%)
10% 10% 50% 10%
10% 10% 20% 10%
0% 0% 0% 0%
0% 0% 0% 0%
10%
10%
0%
0%
28 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Lista de proxies De seguida apresentam-se os proxies que foram identificados, permitindo obter um valor financeiro aproximado para cada mudança. Tabela 8: Proxies relativos ao stakeholder ‘alunos’
Aproximações Financeiras (Proxys)
Explicação
As atividades são Valor de cada consulta de semanais logo psicologia 50€ (Valor médio de considerou-se mercado de uma consulta de uma consulta por psicologia) 44 consultas/ano semana Valor de uma 1 sessão coaching 75€ (Valor médio de mercado de Sessões coaching (a dividir por dois uma sessão de indicadores) coaching) 4sessões/mês - (a dividir por dois indicadores)
Fonte
Valor unitário
https://www.imp actosocial.pt/is_d ata/
€
2.200
Associação Empresarial Minho
do
€
1.650
Valor de ateliês de teatro 40€ mês (Valor médio de mercado de uma 11 meses mensalidade de atelier de teatro Chapitô ou Ballet Teatro)
https://www.imp actosocial.pt/is_d ata/
€
440
Workshop de gestão de ansiedade
https://www.viral agenda.com/pt/e vents/644979/ge stao-de-stress-eansiedadesessao-deconsultadoria
€
40
29 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Valor de uma 1 sessão coaching 75€ (Valor médio de de mercado Sessões coaching (a dividir por dois de uma sessão de indicadores) coaching) 4sessões/mês - (a dividir por dois indicadores) Valor de um cuidador por mês 2h/dia*20 (2h/dia). dias*11 meses
Curso de interpessoal
comunicação
Associação Empresarial Minho
do
http://www.corp oealma.pt/ https://www.dar mais.pt/formacao /e-learning/26desenvolvimentopessoal/formacao -continua/149curso-deformacao-emcomunicacaointerpessoal#pag amento
€
1.650
€
2.640
€
100
Valor de um jantar convívio em que conheçam pessoas novas, 6 jantares/ano bimensal Valor de uma tarde de https://www.imp 1 tarde por voluntariado (4 horas* valor hora actosocial.pt/is_d Mês*11 meses do ordenado mínimo) ata/ http://www.cont Curso de iniciação ao teatro 11 meses agiarte.pt/teatro. html
€
100
€
1.200
€
385
Valor de Dinâmicas de grupo 40€ mês (Valor médio de mercado de 11 meses uma mensalidade de atelier de teatro - Chapitô ou Ballet Teatro)
https://www.imp actosocial.pt/is_d ata/
€
440
serintegral.pt
€
75
serintegral.pt
€
75
Valor de curso de introdução ao Mindfulness (a dividir por dois 150 € indicadores) Valor de curso de introdução ao Mindfulness (a dividir por dois 150 € indicadores)
30 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Tabela 9: Proxies relativos ao stakeholder ‘crianças’
Aproximações Financeiras (Proxys)
Explicação
Fonte
Valor de uma 1 sessão Associação Sessão coaching (a dividir coaching 75€ - (a dividir Empresarial por dois indicadores) por dois indicadores) Minho
Valor unitário
do
€
38
Valor de curso de Curso de introdução ao introdução ao serintegral.pt Mindfulness Mindfulness ( a dividir por 3 indicadores)
€
50
Valor de curso de Curso de introdução ao introdução ao serintegral.pt Mindfulness Mindfulness ( a dividir por 3 indicadores)
€
50
Valor de curso de Curso de introdução ao introdução ao serintegral.pt Mindfulness Mindfulness ( a dividir por 3 indicadores)
€
50
Tabela 10: Proxies relativos ao stakeholder ‘dinamizadores’
Aproximações Financeiras (Proxys)
Explicação
Fonte
Valor de uma 1 sessão coaching 75€ (Valor médio de de mercado Associação Sessões coaching (a dividir de uma sessão de Empresarial por dois indicadores) coaching) 11 meses, 2 Minho sessões - (a dividir por dois indicadores)
Valor unitário
do
€
825
31 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Valor de uma 1 sessão coaching 75€ (Valor médio de de mercado Associação Sessões coaching (a dividir de uma sessão de Empresarial por dois indicadores) coaching) 11 meses, 2 Minho sessões - (a dividir por dois indicadores)
do
€
825
(Valor médio de https://www.imp Valor de cada consulta de mercado de uma actosocial.pt/is_d psicologia consulta de psicologia) ata/ 1 ano. 20 consultas
€
1.000
€
40
€
190
€
160
€
79,9
https://www.viral agenda.com/pt/e vents/644979/ge Workshop de gestão de stao-de-stress-eansiedade ansiedadesessao-deconsultadoria 1 curso: 150€ +40€ Associação Curso de arteterapia entrevista de admissão Portuguesa de Arte Terapia = 190€ Valor de curso de Curso de introdução ao introdução ao www.atec.pt Mindfulness Mindfulness Curso de Desenvolvimento 1 curso em elearning de Evolui.com de Competências 12horas=79,90€
Tabela 11: Proxies relativos ao stakeholder ‘moradores’
Aproximações Financeiras (Proxys)
Explicação
Fonte
Valor de uma 1 sessão Associação Sessão coaching (a dividir coaching 75€ - (a Empresarial por dois indicadores) dividir por dois Minho indicadores)
Valor unitário
do
€
38
32 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Valor de curso de Curso de introdução ao introdução ao Mindfulness (a dividir serintegral.pt Mindfulness ( a dividir por três indicadores) por 3 indicadores)
€
50
Valor de curso de Curso de introdução ao introdução ao Mindfulness (a dividir serintegral.pt Mindfulness ( a dividir por três indicadores) por 3 indicadores)
€
50
Valor de curso de Curso de introdução ao introdução ao Mindfulness (a dividir serintegral.pt Mindfulness ( a dividir por três indicadores) por 3 indicadores)
€
50
€
38
Valor de uma 1 sessão Sessões coaching (a Associação coaching 75€ - (a dividir por dois Empresarial dividir por dois indicadores) Minho indicadores)
do
Tabela 12: Proxies relativos ao stakeholder ‘público em geral’ do Corpo Evento
Aproximações Financeiras (Proxys)
Explicação
Fonte
Valor de uma 1 sessão Associação Sessão coaching (a dividir coaching 75€ - (a dividir Empresarial por dois indicadores) por dois indicadores) Minho
Valor unitário
do
€
38
33 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Valor de curso de Curso de introdução ao introdução ao Mindfulness serintegral.pt Mindfulness ( a dividir por 3 indicadores)
€
50
Valor de curso de Curso de introdução ao introdução ao Mindfulness serintegral.pt Mindfulness ( a dividir por 3 indicadores)
€
50
Valor de curso de Curso de introdução ao introdução ao Mindfulness serintegral.pt Mindfulness (a dividir por 3 indicadores)
€
50
€
38
Sessões coaching (a Valor de uma 1 sessão Associação dividir por dois coaching 75€ - (a dividir Empresarial indicadores) por dois indicadores) Minho
do
6.3. Análise Iniciativa Corpo Evento
Durante a avaliação do ciclo de espetáculos Corpo Evento, também identificado como uma atividade geradora de mudança, foi possível analisar aspetos relativos ao desempenho e qualidade da atividade. Apresentamos os dados nas tabelas seguintes para o ciclo de 2018 (n=238) e 2019 (n=180) (sendo a amostra de dados trabalhada ligeiramente inferior à amostra inquirida, dado terem sido descartados questionários incompletos). Corpo Evento 2018 A avaliação demonstra que o público avaliou de forma muito positiva a iniciativa. 34 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Tabela 13: Avaliação do Corpo Evento pela amostra de espetadores 2018
Muito Má
Má
Boa
Muito boa
Não sei
Qualidade artística do espetáculo
1%
1%
26%
71%
0%
Duração global do espetáculo
0%
1%
44%
54%
1%
Organização do evento
1%
1%
32%
66%
0%
Divulgação do evento
0%
7%
50%
36%
6%
Cerca de 80% da amostra inquirida concorda totalmente com a afirmação ‘A qualidade do espetáculo surpreendeu-me positivamente’ Cerca de 86% da amostra inquirida concorda totalmente com a afirmação ‘O desempenho dos protagonistas no espetáculo foi muito bom’ 31% da amostra de espetadores referiu que ver o espetáculo lhe despertou vontade de praticar uma atividade artística, nomeadamente, teatro, dança e taichi. Corpo Evento 2019 A avaliação demonstra que o público avaliou de forma muito positiva a iniciativa. Contudo, a percentagem de inquiridos em 2019 que, comparativamente com 2018, classificou o evento como “muito bom” em termos de qualidade artística, duração, organização e divulgação, diminuiu ligeiramente. Tabela 14: Avaliação do Corpo Evento pela amostra de espetadores 2019
Qualidade artística do espetáculo Duração global do espetáculo Organização do evento
Muito Má
Má
Boa
Muito boa
Não sei
0%
1%
37%
61%
1%
0%
3%
49%
48%
1%
0%
1%
40%
57%
2%
35 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
Divulgação do evento
1%
6%
56%
31%
6%
Cerca de 66% da amostra inquirida concorda totalmente com a afirmação ‘A qualidade do espetáculo surpreendeu-me positivamente’ Cerca de 81% da amostra inquirida concorda totalmente com a afirmação ‘O desempenho dos protagonistas no espetáculo foi muito bom’ 40% da amostra de espetadores referiu que ver o espetáculo lhe despertou vontade de praticar uma atividade artística, nomeadamente, teatro, dança, canto e tai-chi. Em média, o público inquirido estaria disposto a pagar 8,5€ para assistir a este espetáculo ou similares
36 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
7. Síntese, conclusões e recomendações
Síntese Este relatório, conforme indicado, é elaborado em fase intermédia de forma a avaliar o desempenho da iniciativa e auxiliar na maximização do seu impacto. Apresenta-se de seguida a síntese dos trabalhos desenvolvidos, até ao momento:
Construída e validada a Teoria da Mudança do projeto, identificando os principais beneficiários
Elaborada uma síntese das atividades desenvolvidas, com a tipologia de ações, a distribuição das ações pelos bairros (concentração na cidade do Porto) e a taxa de execução do projeto (a 6 meses do término já foram atingidas as metas para as entidades e número de participantes a envolver)
Efetuada uma caracterização da amostra de alunos, moradores, crianças, dinamizadores e público em geral
Apresentada e discutida a metodologia SROI com a equipa do Espaço t
Elaborados e validados, com a equipa do Espaço t, os indicadores e proxies financeiros para avaliar as mudanças
Identificados e validados com a equipa do Espaço t os valores provisórios de peso morto, atribuição, deslocamento e redução, para cada um dos beneficiários
Analisada a avaliação da qualidade do ciclo de espetáculos Corpo Evento, pelos seus espetadores, nos anos de 2018 e 2019
Conclusões
A 6 meses do término do projeto este apresenta taxas de execução elevadas, tendo já sido alcançada a meta prevista para o número de participantes e entidades a envolver
73% do público do projeto são crianças e jovens
O valor do SROI obtido, no momento de análise, para a amostra (valor não-extrapolado) é de 1,18 e para a população-alvo (valor extrapolado) do projeto é de 1,54
37 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
A análise dos dados já coletados para os beneficiários principais, os alunos, aponta para um cenário onde o impacto, traduzido pelo meio de verificação criado, poderá não ser tão forte quanto o esperado devido a uma percentagem razoável de alunos que anteriormente ao projeto já estavam integrados de alguma forma na instituição. É de ressalvar ainda que, embora com uma estrutura diferente, alguns dos alunos (11%) já terão participado na primeira edição do Palcos para a inclusão realizada pelo Espaço t em 2015
A qualidade do ciclo de espetáculos Corpo Evento, foi avaliada pelos seus espetadores, nos anos de 2018 e 2019, de forma positiva
Recomendações
É necessário a obtenção de todos os dados, nomeadamente, os dados de controlo, que permitem efetuar o matching de cada individuo entre o momento ex-ante e ex-post e assim evitar a eliminação de questionários.
Será necessária a aplicação dos questionários ex-post finais, aos alunos e dinamizadores, em março de 2020
Identifica-se como pertinente a realização de um estudo Delphi a efetuar com técnicos/especialistas na área (através de questionário online, já construído), para revisão dos valores de peso morto, atribuição, deslocamento e redução
É fundamental complementar a avaliação quantitativa, proveniente da metodologia do SROI, com uma nova componente qualitativa que será assegurada para criação e aplicação de dois novos instrumentos de avaliação: o
Entrevistas telefónicas a aplicar a uma amostra de 10-15% das entidades parceiras, a realizar em janeiro/fevereiro de 2020, para aferir mudanças nas instituições, técnicos e utentes resultantes da iniciativa
o
Grupo focal a realizar a uma amostra dos alunos do Espaço t, no término do projeto (março 2020), para identificar mudanças (positivas e/ou negativas)
resultantes
da
iniciativa,
bem
como
refletir
sobre
necessidades dos beneficiários após a conclusão das atividades
38 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)
8. Bibliografia
Nicholls, J., Cupitt, S., & Durie, S. 2009. A guide to social return on investment: Cabinet Office, Office of the Third Sector. Roux, H. (2010), “El SROI (Social Return On Investment): Un método para medir el impacto social de las inversiones”, Análisis Financeiro, 113, pp. 34-43 Ryan, P. W. & Lyne, I. 2008. Social enterprise and the measurement of social value: methodological issues with the calculation and application of the social return on investment. Education, Knowledge & Economy, 2(3): 223-37.
39 Relatório de avaliação Espaço t @ Stone Soup Consulting (2019)