Avaliação de impacto do projeto academia educar 2016 da fundação educar dpaschoal

Avaliação de impacto do Projeto Academia Educar 2016 da Fundação Educar DPaschoal1 Felipe Resende Oliveira2 Elaine Toldo Pazello3 Tatiane Almeida de Menezes4 Resumo As implementações de políticas públicas executada pelos Governos dos Estados e Organizações Não Governamentais (ONG’s) necessitam fazer uso da avaliação com o objetivo de utilizar seus recursos de modo mais eficiente. Dada a escassa evidência dessas políticas para o Brasil, este artigo avalia o impacto do projeto Academia Educar no ano de 2016 sobre aspectos relativos às habilidades socioemocionais e participação política dos estudantes utilizando os métodos de Propensity Score Matching e Diferenças em Diferenças. Foram encontrados efeitos positivos e significativos sobre Sociabilidade (12% do valor inicial), Assertividade (16% do valor inicial) e Participação Política (dobrou a porcentagem inicial de tratados interessados em participar da política do país). Já os resultados para as variáveis Locus de Controle e Imaginativo foram significativos e na direção esperada somente em parte das especificações; para Volatilidade, os resultados não sugerem impacto. Diversas análises de robustez são realizadas para validar os resultados encontrados Abstract Public policy implementations implemented by State Governments and NonGovernmental Organizations (NGOs) need to make use of the evaluation in order to use their resources more efficiently. Given the scarce evidence of these policies for Brazil, this paper seeks to evaluate the impact of the Academia Educar Project in 2016 on aspects related to socioemotional skills and political participation of students using the methods of Propensity Score Matching and Differences in Differences. Positive and significant effects were found on Sociability (12% of initial value), Assertiveness (16% of initial value) and Political Participation (double the initial percentage of treaties interested in participating in the country's policy). The results for Locus Control and Imaginative variables were significant and in the direction expected only in part of the specifications; for Volatility, the results do not suggest impact. Several robustness analyzes are performed to validate the results found.

1 Somos profundamente gratos pela Equipe da Academia Educar que compartilhou generosamente sua experiência e conhecimento detalhado da pesquisa; Camila Cheibub, Cristiane Annunciato e Rafaela Negretti por comentários úteis durante a realização deste trabalho. Este artigo beneficiou de sugestões feitas por Guilherme Irffi, Guilherme Resende, Giuseppe Trevisan, Dieison Lenon e Lucas Emanuel.

Gostaríamos de agradecer a todos que forneceram comentários úteis, individualmente ou durante seminários na UFPE, UFRPE, UFG. 2 Doutorando em Economia pelo PIMES/UFPE. E-mail: Universitária, 50670901 - Recife, PE – Brasil.

felipexresende@gmail.com. Endereço: Cidade

3 Departamento de Economia — FEA-RP/USP. E-mail: elaine.pazello@gmail.com 4 Professor da Universidade Federal de Pernambuco (UFPE-PIMES). tatianedemenezes@gmail.com. Endereço: Cidade universitária, 50670901 - Recife, PE - Brasil.

E-mail:

1 Introdução As implementações de políticas públicas executadas pelos Governos dos Estados e Organizações Não Governamentais necessitam fazer uso da avaliação com objetivo de utilizar seus recursos de modo mais eficiente. Apesar da sua importância, esta prática pouco utilizada no Brasil, vem se estruturando ao longo dos últimos anos, (MENEZESFILHO, 2010).

A Academia Educar é o primeiro projeto desenvolvido pela Fundação Educar DPaschoal e começou a ser idealizada em 1989 5. O projeto promove a formação de jovens líderes em escolas públicas, criando oportunidades para que jovens de 13 a 16 anos descubram o seu potencial, tornando-os capazes de transformar a sua realidade, de suas escolas e comunidades. O projeto tem como base os 4 pilares da educação estabelecidos pela UNESCO: Aprender a Ser, Aprender a Conviver, Aprender a Aprender e Aprender a Fazer.

Este trabalho apresenta os resultados finais da avaliação de impacto da Academia Educar 2016 sobre diferentes indicadores de impacto de interesse, que estão relacionados ao protagonismo e a cidadania dos estudantes. Antes de iniciarmos o trabalho propriamente dito, apresentamos o resumo do desenho da presente avaliação.

Tabela 1 – Resumo do desenho de intervenção da Academia Educar Antes do Programa Ocorrência do Programa Pós Programa Março de 2016 Intervenção do Programa Academia Educar Seleção e aplicação do questionário de Acompanhamento pela Academia Educar linha de base (para tratados e controles) Fonte: Academia Educar

Novembro de 2016 Aplicação do questionário Final (para tratados e controles)

Para realização da avaliação foram realizadas duas pesquisas de campo.

Primeiramente, foi feita a aplicação do questionário diagnóstico para todos os estudantes do grupo de tratamento e controle. Essa pesquisa inicial, realizada em Março de 2016, tinha o objetivo de conhecer as características socioeconômicas de cada estudante e suas competências cognitivas e socioemocionais antes do tratamento. A segunda aplicação foi realizada em Novembro do mesmo ano para coletar apenas informações referentes às competências socioemocionais e cognitivas dos estudantes.

Nas duas ocasiões os estudantes foram responsáveis pelo preenchimento dos questionários aplicados.

De acordo com Carneiro et al. (2007) os economistas muitas vezes têm uma visão simplificada sobre como as habilidades socioemocionais atuam como os determinantes dos resultados econômicos e sociais. Isto ocorre porque essas habilidades são intrinsecamente multidimensionais. O estudo identifica como as habilidades não cognitivas afetam a possibilidade de jovens fumarem aos 16 anos, condição de saúde aos 42 anos, situação de emprego aos 42 anos. O trabalho sugere que as habilidades não cognitivas parecem ser mais maleáveis do que habilidades cognitivas. Se isso for verdade, uma política de educação que visa habilidades não-cognitivas pode ser mais eficaz para gerar aumento nos resultados sociais e econômicos do que uma que visa apenas habilidades cognitivas. Almlund et al. (2011) também consideram traços de 5 Desde sua criação, o programa capacitou mais de 4.000 jovens. Para maiores informações, consultar o site (http://www.educardpaschoal.org.br/)

personalidade mais maleáveis ao longo do ciclo de vida do que a habilidade cognitiva, que se torna altamente estável em torno dos 10 anos de idade. Seu trabalho sugere que as intervenções são capazes de mudar os traços de personalidade são caminhos promissores para abordar pobreza e desvantagem.

Heckman et al. (2006) usam dados do National Longitudinal Survey of Youth para verificar que as habilidades não-cognitivas são, pelo menos, tão importantes como habilidades cognitivas para explicar alguns desempenhos sociais na vida. Por exemplo, as habilidades não cognitivas parecem ter uma forte influência na tomada de decisões sobre a escolha da escola, trabalho e ocupação. Os autores apontam a importância de incluir também essas habilidades ao explicar a chance de alguém se envolver em comportamentos de risco.

Existe uma quantidade escassa de análises de impacto e programas que buscam promover o sucesso individual e coletivo desenvolvendo habilidades socioemocionais.

Várias pesquisas examinam os efeitos da habilidade cognitiva, como Farkas et al (1997), Murnane et al. (2000), Kerckhoff et al. (2001), Farkas (2003), Riani e Rios-Neto (2008). Recentemente, pesquisadores começaram a investigar o papel das habilidades não cognitivas e suas aplicações, Sarzosa and Urzúa (2015) e Oliveira et al. (2017) investigam como as habilidades socioemocionais ajudam a mitigar o efeito do bullying.

Cunha et al. (2010) mostram que indivíduos com mais talentos não cognitivos na infância possuem maior facilidade de aumentar seus indicadores cognitivos, Gensowski (2012) mostra como os ganhos financeiros ao longo da vida são influenciados pela educação e os traços de personalidade.

Muitos pesquisadores tentaram entender como o desempenho acadêmico e a capacidade cognitiva determinaram o desempenho social e a escolaridade. Alguns dos primeiros pesquisadores apontam a importância das habilidades não cognitivas, como bons preditores de sucesso na vida foram Bowles e Gintis (1976).

Uma pesquisa realizada pelo Centro Nacional de Educação do Local de Trabalho (NCEQW) em 1995 pediu aos empregadores que classificassem algumas características ou atributos em relação à sua criticidade na decisão de contratação de pessoas. Os empregadores tendem a minimizar os fatores baseados na escola ao tomar suas decisões.

As características e atributos, como a atitude do candidato, as habilidades de comunicação, a experiência de trabalho anterior e as recomendações dos empregadores atuais, pareciam ser mais importantes do que os anos de escolaridade completa, pontuação em testes, desempenho acadêmico e recomendações de professores Stasz (2001). Em 1997, a NCEQW obteve o mesmo resultado, o que sugere que a visão sobre as habilidades persiste ao longo do tempo, mesmo quando as condições econômicas e as demandas gerais de mão-de-obra flutuam conforme Shapiro e Goertz (1998) argumentam.

Santos e Primi (2014) investigaram a descrição do perfil socioemocional dos estudantes no Rio de Janeiro no Brasil e Soto et al. (2011) investigaram o perfil dos alunos em vários lugares ao redor do mundo e os resultados foram similares. Nos estudos acima mencionados, os dados refletem que as meninas tendem a ser mais conscientes, extravasadas e agradáveis. Por outro lado, as meninas tinham menos estabilidade emocional. O modelo dos Big Five6 foram sugeridos como relevantes para medir os traços da personalidade no contexto da educação por Kyllonen et al. (2008).

Lleras (2008) mostra que os comportamentos não cognitivos medidos no ensino médio têm efeitos significativos na obtenção educacional posterior e maiores 6 Em português “cinco grandes”, se refere aos cinco fatores de personalidades. Para mais detalhes, ver McCrae e John (1992).

rendimento. Esses efeitos parecem ser tão importantes e talvez mais importantes do que habilidades cognitivas na determinação desses resultados. No entanto, os benefícios de habilidades e comportamentos são diferentes dos grupos. Por exemplo, os comportamentos não cognitivos parecem ter um papel mais importante na explicação da vantagem feminina e asiática na obtenção educacional, em comparação com a capacidade cognitiva.

Existem diferentes opções ao tentar medir os traços de personalidade de um indivíduo. Mischel et al. (1989) usaram um experimento chamado "Teste Marshmallow", que mostrou que as crianças de 4 anos de idade com maior capacidade de postergar as recompensas tendem a ser mais inteligentes, mais propensas a ter maior responsabilidade social e que o tempo de postergação é significativamente relacionado com maiores notas no SAT7. Esses resultados sugerem que a relação entre o maior tempo de atraso ao adiar a recompensa e a capacidade de lidar com uma série de problemas sociais e pessoais não é completamente atribuível à escola.

Conforme o desenho proposto, estamos avaliando os impactos para os tratados que participaram do programa Academia Educar em 2016. Para estimar o efeito causal, são considerados dois grupos de controle, visando mitigar possíveis vieses de estimação. O primeiro grupo de controle é formado pelos alunos da Escola Estadual (EE) Profª. Maria Julieta de Godoi Cartezani, a qual não teve nenhum aluno selecionado para participar do projeto da Academia Educar em 2016. Neste caso, foram selecionados 186 alunos para o grupo de controle. Utilizar um grupo de controle de alunos de outra escola tem a vantagem de evitar o transbordamento ocasionado pelos estudantes do grupo de tratamento.

Para o segundo grupo de controle foram selecionados 41 estudantes da EMEF8 Odila Maia Rocha Brito, escola que tem alunos participando do projeto. Existe toda uma preocupação do projeto com a multiplicação do que foi ensinado para os demais alunos da escola, uma vez que a multiplicação do que foi aprendido com os demais colegas é parte do projeto. Assim, deve-se ter em mente que a escolha de um grupo de controle dentro da escola pode levar a uma subestimação dos impactos de interesse.

Devido à baixa quantidade de estudantes selecionados neste grupo de controle, utilizamos estes estudantes com o grupo de controle citado anteriormente para uma checagem de validação dos resultados.

Para investigar o efeito do programa da Academia Educar nos indicadores de impacto, comparam-se os alunos selecionados para receber a intervenção em 2016 (tradados) com os alunos que não receberam a intervenção (controle). Para isso, utilizase uma combinação do método de pareamento com Diferenças em Diferenças9. Diversas análises de robustez são realizadas para validar os resultados encontrados. De forma geral, os resultados indicam impactos positivos e significativos sobre a Sociabilidade, Assertividade dos estudantes e sobre o interesse em participar da política do país. Para as variáveis Locus de Controle e Imaginativo os resultados não foram conclusivos. Já para a variável Volatilidade, em todas as estimativas, os resultados não indicaram que o programa tenha tido impacto.

Além dessa introdução, em seguida é apresentada uma breve descrição do projeto Academia Educar. Na terceira seção são descritas a pesquisa de campo final e a 7 SAT (Scholastic Assessment Test) é um teste padronizado amplamente utilizado para admissões da faculdade nos Estados Unidos.

8 Escola Municipal de Ensino Fundamental.

9 O pareamento e o método de diferenças em diferenças foram propostos por Heckman, Ichumura e Todd (1997, 1998).

análise de atrito correspondente (trata-se do fato de que parte dos estudantes que respondeu a 1ª pesquisa de campo não respondeu a 2ª pesquisa de campo). A seção 4 faz a análise descritiva dos dados da Academia Educar. A seção 5 apresenta a estratégia de identificação utilizada e a seção 6 os resultados obtidos. Por fim, a última seção reúne as considerações finais do trabalho.

2 Descrição da Academia Educar O projeto atua em parceria com 20 escolas (10 municipais e 10 estaduais) e possui apoio das Diretorias de Ensino Leste e Oeste e Secretaria Municipal de Educação de Campinas-SP, recebendo cerca de 100 participantes diretos, sendo 5 alunos de cada uma das escolas.

Na Academia Educar, o jovem exercita a mente em oficinas que acontecem duas vezes por semana no contra turno ao período escolar (uma turma no período da manhã e outra no da tarde). Eles desenvolvem também, uma vez por semana, as multiplicações, ou seja, oficinas de 1h a 2h para os demais alunos das escolas participantes do projeto.

Essas oficinas contam com um educador responsável que ajuda na atuação dos alunos.

Além disso, existem alguns desafios desenvolvidos ao longo do ano que contribuem para o desenvolvimento do conhecimento técnico e das habilidades socioemocionais. O projeto Academia Educar quer fomentar o Protagonismo Juvenil, quer fazê-los conhecer seus direitos e deveres como cidadão. O objetivo é que o jovem seja capaz de transformar sua realidade, começando pela sua escola até chegar a sua comunidade. O público-alvo do programa são justamente os alunos das escolas públicas de Campinas, com idade entre 13 e 16 anos que estejam cursando do 9º ano do Ensino Fundamental II ao 2º ano do Ensino Médio.

São realizadas diversas oficinas com esses jovens com o objetivo de desenvolver o protagonismo dos estudantes. A ideia é que os jovens sejam capazes de elaborar e executar propostas/ações em prol da comunidade onde vivem. Além da formação, os jovens participantes se comprometem a realizar 8 projetos-desafios engajando toda a comunidade e replicando ao longo do ano para os demais alunos da escola, todo o conhecimento adquirido. Com relação a esses projetos na escola, a ideia é que o jovem identifique necessidades dentro da sua escola e, então, proponha projetos para lidar/resolver tais necessidades. Por exemplo, se há um problema de dificuldade de leitura na escola, o jovem pode propor projetos de Leitura, de Contação de Histórias.

O projeto tem duração de um ano (ano escolar). São 250 horas sendo 102 horas de capacitações (que ocorrem na DPK 10 Campinas, duas vezes por semana – as terças e quintas, no período de 3 horas) e 148h , 148 horas dedicadas à produção dos 8 projetos desafios: Multiplicação na escola; Estação Vivência; Oasis Educar; Catavento de Letras; Catavento de Números; Conhecendo o mundo; Projeto na Escola e Espetáculo de Encerramento.

A Secretaria Estadual de Educação delega às Diretorias Oeste e Leste as indicações das escolas procurando contemplar os vários bairros de cada região acomodando também a indicação de desejo de renovação manifestado pela Fundação Educar DPaschoal das escolas que já participaram de anos anteriores. Já a Secretaria Municipal envia uma comunicação via e-mail às escolas municipais e as que manifestam interesse são contempladas por ordem de chegada.

10 Empresa do Grupo DPaschoal especializada na distribuição de autopeças para todo o território nacional.

Depois de definidas as escolas participantes, as mesmas devem indicar quem será o professor padrinho da escola no projeto Academia Educar. Sempre um educador da escola que atua de forma voluntária. Na Academia Educar, os educadores das escolas são fundamentais no processo de desenvolvimento do protagonismo juvenil. Cada escola conta com um educador para acompanhar o projeto. As escolas participantes devem compartilhar com os valores da Academia Educar.

Na Academia Educar, a ideia é formar protagonistas e líderes juvenis que sejam capazes de gerar transformações e uma das chaves para que o projeto obtenha sucesso está na presença dos monitores juvenis11. Estes jovens, após passarem pelo período de desenvolvimento como alunos, são convidados para se tornarem monitores das atividades e passam a ser a referência para os alunos do ano seguinte. Os monitores fazem encontros semanais para criarem as oficinas de acordo com o tema proposto.

Além disso, cada monitor "apadrinha" algumas escolas para acompanhar as multiplicações junto aos alunos, dando dicas e potencializando o desenvolvimento dos iniciantes e os resultados obtidos no projeto.

Outro ponto importante nesse processo é a escolha dos alunos que irão participar do programa. Primeiramente, o pessoal da equipe da Academia Educar DPaschoal divulga o programa para os seus alunos. Depois, os jovens interessados participam de uma dinâmica de grupo, conduzida pela equipe técnica da Academia Educar, que tem de três a quatro horas de duração e que acontece na escola. A partir dessa dinâmica de grupo a equipe da Fundação Educar DPaschoal e os monitores juvenis selecionam quais alunos integrarão a Academia Educar do ano.

Os critérios de elegibilidade são: estar matriculado entre o 9ª ano do EF e 2ª ano do EM em escolas públicas que aderiram ao projeto no ano corrente e ter entre 13 e 16 anos. No entanto, durante a dinâmica de grupo, a equipe técnica da Academia Educar observa principalmente o interesse e disposição do aluno para participar.

Secundariamente, é observado também a postura sob pressão, iniciativa, cooperação/trabalho em equipe, comprometimento, flexibilidade, entre outros. É com base nessas habilidades que a equipe decide quem serão os selecionados. Em resumo, critérios como o comprometimento e a vontade do jovem em participar são grandes fatores decisivos.

3. Análise Descritiva Nessa seção descrevemos os dados utilizados para a avaliação de impacto do projeto Academia Educar edição 2016. Apresentamos as informações referentes ao grupo de tratamento e, em seguida, as do grupo de controle. Além disso, uma análise de atrito é realizada. Por fim, uma subseção apresenta uma comparação simples dos grupos de tratamento e controle no período pré-intervenção e pós-intervenção.

Uma análise importante a ser feita é a de atrito dos estudantes do grupo de tratamento e controle. Atrito é a perda de observações (relativamente ao desenho inicial) que ocorre em uma pesquisa de campo. Todo programa possui o objetivo de tratar todos seus candidatos, porém, uma parte dos candidatos abandona o tratamento por diversas razões. Dessa forma, quando voltamos ao campo para entrevistar os estudantes depois do tratamento, uma parte da amostra inicial acaba sendo perdida. O mesmo pode ocorrer para o grupo de controle. No caso, tivemos um atrito de 25% no grupo de tratamento e de 21,14% para o grupo de controle – esses números são, justamente, a diferença entre a taxa de resposta ideal (sem atrito) e a taxa de resposta observada.

11 São 10 jovens que participaram como monitores na turma de 2016.

As inferências podem ter problemas caso esse atrito não seja aleatório, ou seja, quando os indivíduos que não responderam à (segunda) pesquisa são diferentes do grupo como um todo. Para certificar que o atrito do campo não descaracterizou a amostra inicial, gerando uma seletividade amostral, comparamos os grupos de tratamento12 e controle13 iniciais com a amostra que não respondeu a pesquisa de campo final utilizando as variáveis coletadas no momento inicial da pesquisa da Academia Educar.

No período pré-tratamento os participantes do projeto da Academia Educar são os estudantes do 9º ano do Ensino Fundamental II, 1º e 2º ano do Ensino Médio, respectivamente 47%, 49% e 4% em um total de 100 alunos. Os alunos no grupo de tratamento são compostos por 37% de meninos e 63% de meninas. A média de idade dos meninos é em torno de 14 anos, com mínimo de 13 e máximo de 16 anos, já as meninas possuem uma média em torno de 14 anos, como mínimo de 13 e máximo de 15 anos14.

A respeito da escolaridade dos pais desses alunos, observa-se na tabela 3 que 59% dos pais dos estudantes apresentam um nível de escolaridade até o 5º ano do Ensino Fundamental, 25% dos pais apresentam o Ensino Médio completo e 12% não especificaram. Em relação ao nível de escolaridade da mãe, 61% apresentam um nível de escolaridade até o 5º ano do Ensino Fundamental, 35% possuem Ensino Médio completo, 4% não especificaram. Em relação à renda familiar, 91% possuem uma renda entre R$ 0,00 e R$ 3.000,00. A renda reportada por 9% dos tratados é maior que R$ 3.000,00.

A Tabela 3 por sua vez, de forma similar à tabela 2, apresenta as informações para todo o grupo de controle (antes do atrito), ou seja, para os 227 alunos. De acordo com esses dados, 5,7% dos jovens do grupo de controle são estudantes do 8º ano do Ensino Fundamental II, 47,1% são do 9º ano do Ensino Fundamental II e 47,1% dos estudantes estão cursando o 1º ano do Ensino Médio. O grupo de controle é formado por 48,0% meninas e 51,9% de meninos. A média da idade das meninas é em torno de 15 anos, com mínimo de 14 e máximo de 17 anos. Os meninos possuem em média 15 anos, com mínimo de 13 e máximo de 17 anos15.

A escolaridade dos pais é composta por 88,9% até o 5º ano do Ensino Fundamental e 11,00% apresentam o Ensino Médio completo. O nível de escolaridade da mãe até o 5º ano do Ensino Fundamental é 86,3% e com Ensino Médio é 13,6%. A renda familiar é formada por 81,3% com renda entre R$ 0,00 a R$3.000,00, e com renda superior a R$3.000,00 é 18,6%.

3.1 Análise descritiva dos grupos de tratamento e de controle pré-intervenção e pós-intervenção

12 Os tratados que deixaram o Programa não diferem da amostra inicial total. Em termos de suas características observáveis eles não apresentaram nenhuma divergência significativa.

13 Apenas a variável Volatilidade foi estatisticamente significante (10% de significância quando o grupo de controle é formado pelos estudantes da escola em que não houve nenhum tratado e 5% de significância quando agrupamos os jovens das duas escolas para compor o grupo de controle total).

14 Para o grupo de tratamento, as médias de idade de meninos e meninas não apresentam diferenças significativas, com pelo menos 95%.

15 Para o grupo de controle, as médias de idade de meninos e meninas não apresentam diferenças significativas, com pelo menos 95%.

Como já explicado anteriormente, a coleta de dados para a avaliação ocorreu em duas fases. No primeiro momento (linha de base), os estudantes responderam a um questionário sobre suas características socioeconômicas e competências socioemocionais. Após a intervenção do programa, os estudantes do grupo de tratamento e controle responderam novamente o questionário sobre suas habilidades socioemocionais. A Tabela 2 apresenta as informações referentes aos grupos de tratamento e controle no período pré-intervenção. A diferença da Tabela 2 relativamente às tabelas 2 e 3, é que naquela estão apenas os alunos dos grupos de tratamento e controle que responderam às duas pesquisas de campo.

Tabela 2: Estatística descritiva do grupo de tratamento e controle pré-intervenção Tratado Controle Média Desvio padrão Estatística T Média Desvio padrão Indicadores de impacto Locus de Controle 2.561 0.065 -2.276** 2.375 0.046 Obs 53 113 Sociabilidade 3.127 0.063 1.808* 3.295 0.056 Obs 52 109 Assertividade 2.920 0.115 0.869 3.040 0.076 Obs 69 160 Volatilidade 3.147 0.095 1.391 3.309 0.065 Obs 62 131 Imaginativo 3.166 0.106 0.361 3.213 0.072 Obs 57 122 Participação Política 0.466 0.057 -1.455 0.368 0.036 Obs 75 179 Características e habilidades dos estudantes Idade 14.440 0.076 6.211*** 15.057 0.056 Obs 75 174 Menino 0.360 0.055 2.422** 0.525 0.037 Obs 75 179 8º Ano 0 0 2.312** 0.067 0.018 Obs 75 179 9º Ano 0.493 0.058 -0.674 0.446 0.037 Obs 75 179 1º Ano do E. M. 0.466 0.057 0.280 0.486 0.037 Obs 75 179 2º Ano do E. M. 0.040 0.022 -2.720*** 0 0 Obs 75 179 Escolaridade Pai Fu. Bas. 0.613 0.056 5.490*** 0.893 0.023 Obs 75 179 Escolaridade Pai Ens. M. 0.280 0.052 -3.541*** 0.106 0.023 Obs 75 179 Escolaridade Pai Citado 0.106 0.035 -4.604*** 0 0 Obs 75 179 Escolaridae Mãe Fu. Bas 0.626 0.056 4.174*** 0.854 0.026 Obs 75 179 Escolaridade Mãe Ens. M. 0.346 0.055 -3.712*** 0.145 0.026 Obs 75 179 Escolaridade Mãe Citado 0.026 0.018 -2.205** 0 0 Obs 75 179 Renda até R$3.000,00 0.933 0.028 -2.626** 0.798 0.034 Obs 75 134 Renda Maior R$3.000,00 0.066 0.028 2.626** 0.201 0.034 Obs 75 134 Habilidade Cognitiva 0.413 0.072 -7.150*** 0.072 0.019 Obs 75 179 Livros 0 até 3 0.513 0.058 1.356 0.603 0.036 Obs 74 179 Livros Mais de 3 0.486 0.058 -1.315 0.396 0.036 Obs 74 179 Acesso a Bens Culturais 1 0.106 0.035 2.268** 0.229 0.031 Obs 75 179

Acesso a Bens Culturais 2 Obs Acesso a Bens Culturais 3 Obs Gramática Mas e Mais Obs Gramática Plural Obs

0.546 75 0.346 75 0.733 75 0.520 75

0.057

-1.369

0.055

-0.436

0.051

-2. 466**

0.058

-2.878***

0.452 179 0.318 179 0. 569 179 0.329 179

0.037 0.034 0. 031 0.035

Fonte: Elaboração própria a partir dos dados da Academia Educar 2016. *90%, ** 95% e *** 99% de confiança.

De acordo com a Tabela 2, nota-se que as variáveis: Idade, Gênero, 8º Ano, 2º Ano do E. M., Escolaridade Pai Fu. Bas., Escolaridade Pai Ens. M., Escolaridade Pai Citado, Escolaridade Mãe Fu. Bas., Escolaridade Mãe Ens. M., Renda até R$3.000,00, Renda Maior R$3.000,00, Habilidade Cognitiva, Acesso a Bens Culturais 1, Gramática Mas e Mais, Gramática Plural, Locus de Controle e Sociabilidade são estatisticamente diferentes entre os grupos de tratamento e controle, com pelo menos 90% de confiança.

Este resultado é esperado devido ao caráter não aleatório de seleção dos estudantes para participar da Academia Educar.

De acordo com a Tabela 2, os grupos de tratamento e controle são estatisticamente diferentes nas habilidades Lócus de Controle16 e Sociabilidade. O grupo de tratado apresenta estudantes com maior instabilidade emocional (Lócus de controle) e apresentam um grau de sociabilidade menor. Para as demais habilidades não cognitivas, os estudantes do grupo de tratamento e controle são estatisticamente semelhantes.

A Tabela 3 a seguir apresenta as informações referente ao grupo de tratamento e controle no período no período pós intervenção.

Tabela 3: Estatística descritiva do grupo de tratamento e controle pós-intervenção Tratado Média Indicadores de impacto Locus de Controle Obs Sociabilidade Obs Assertividade Obs Volatilidade Obs Imaginativo Obs Participação Política Obs Características e habilidades do aluno Habilidade Cognitiva Obs Livros 0 até 3 Obs Livros Mais de 3 Obs Acesso a Bens Culturais 1 Obs Acesso a Bens Culturais 2 Obs

Controle Média

Desvio padrão

4.074*** 113 -3.508*** 109 -4.307*** 160 -1.498 131 -3.536*** 122 -9.100*** 179

2.457

0.043

3.345

0.049

3.050

0.077

3.213

0.071

3.196

0.062

0.391

0.036

0.028

-15.938***

0.028

0.057

2.654***

0.057

-2.654***

0

4.776***

0.056

-1.940*

0.173 179 0.586 179 0.413 179 0.234 179 0.480 179

Desvio padrão

Estatística T

2.154 53 3.663 52 3.623 69 3.400 62 3.583 57 0.933 75

0.054

0.933 75 0.405 74 0.594 74 0 75 0.613 75

0.080 0.095 0.098 0.087 0.028

0.036 0.036 0.031 0.037

16 Quanto maior o valor do Lócus de controle, mais (não seria menos?) instável é o aluno em termos de sua estabilidade emocional.

Acesso a Bens Culturais 3 Obs Gramática Mas e Mais Obs Gramática Plural Obs

0.386 75 0.893 75 0.800 75

0.056

-1.594

0.035

-6.256***

0.046

-8.157***

0.284 179 0.502 179 0.301 179

0.033 0.037 0.034

Fonte: Elaboração própria a partir dos dados da Academia Educar 2016. *90%, ** 95% e *** 99% de confiança.

A Tabela 3 revela que os grupos de tratamento e controle são diferentes em quase todas as características observadas no período pós-intervenção, exceto Acesso a Bens Culturais 2, Acesso a Bens Culturais 3 e Volatilidade. Como o intervalo de tempo entre as duas coletas foi relativamente pequeno para alterações socioeconômicas dos alunos (9 meses), optou-se por não coletar novamente tais características na pesquisa de campo final.

Nota-se que após a intervenção do programa, os grupos de tratamento e controle são estatisticamente diferentes em termos de suas habilidades socioemocionais. No período, pré-intervenção, os alunos do grupo de tratamento eram mais instáveis emocionalmente e menos sociáveis, porém, após a intervenção os estudantes no grupo de tratamento são mais estáveis emocionalmente e apresentam maior sociabilidade. As outras características socioemocionais não eram estatisticamente diferentes, porém, após a intervenção, os estudantes do grupo de tratamento são considerados mais assertivos, controlam a volatilidade emocional com mais facilidade e são mais imaginativos, quando comparados aos estudantes no grupo de controle. A Tabela 4 apresenta as informações referente ao grupo de tratamento e controle antes e após intervenção do programa.

Tabela 4: Estatística descritiva dos grupos de tratamento e controle antes e depois do programa Tratado antes Tratado depois Desvio Desvio Média Padrão Estatística T Média padrão Indicadores de impacto Lócus de Controle 2.561 0.065 4.767*** 2.154 0.054 Obs 53 53 Sociabilidade 3.127 0.063 -5.225*** 3.663 0.080 Obs 52 52 Assertividade 2.920 0.115 -4.687*** 3.623 0.095 Obs 69 69 Volatilidade 3.147 0.095 -1.838* 3.400 0.098 Obs 62 62 Imaginativo 3.166 0.106 -3.021*** 3.583 0.087 Obs 57 57 Participação Política 0.466 0.057 -7.197*** 0.933 0.028 Obs 75 75 Controle antes Controle depois Indicadores de impacto Lócus de Controle 2.375 0.046 -1.278 2.457 0.043 Obs 113 113 Sociabilidade 3.295 0.056 -0.654 3.345 0.049 Obs 109 109 Assertividade 3.040 0.076 -0.086 3.050 0.077 Obs 160 160 Volatilidade 3.309 0.065 0.979 3.213 0.071

Obs 131 131 Imaginativo 3.213 0.072 0.171 3.196 0.062 Obs 122 122 Participação Política 0.368 0.036 -0.434 0.391 0.036 Obs 179 179 Fonte: Elaboração própria a partir dos dados da Academia Educar 2016. *90%, ** 95% e *** 99% de confiança.

É possível perceber que após a intervenção os estudantes são estatisticamente diferentes em todas as habilidades socioemocionais e a participação política. A única variável que o valor diminuiu se refere a lócus de controle, em que valores mais baixos significam estudantes mais estáveis emocionalmente. As demais características, os valores aumentam, revelando que após a intervenção os estudantes melhoram as suas habilidades não cognitivas e a participação política.

Nota-se também que o grupo de controle antes e após intervenção são semelhantes em termos de suas características socioemocionais e a participação política.

Este resultado é um bom indicativo, uma vez que os estudantes não participaram do programa da Academia Educar, reforçando ainda mais os resultados encontrados para os estudantes tratados.

4 Estratégia empírica 4.1 Hipótese de identificação O projeto Academia Educar tem como um dos seus objetivos proporcionar aos jovens estudantes o desenvolvimento em suas competências socioemocionais através do protagonismo e pelo conhecimento de seus direitos e deveres como cidadão, de forma que sejam capazes de transformar sua realidade e da sua comunidade.

Para investigar a relação causal desses fatores diversas técnicas experimentais e não experimentais são utilizadas pela literatura de avaliação de impacto. Entre elas, o método de diferenças em diferenças é amplamente utilizado pelos pesquisadores, seja de forma isolada ou em combinação com outros métodos 17. Nossa investigação utiliza técnicas quase-experimentais para identificar a relação causal do programa com os indicadores de interesses.

Para estimar o efeito causal, são considerados dois grupos de controle, visando mitigar possíveis vieses de estimação. O primeiro grupo de controle é formado por estudantes de uma escola que não possui alunos pertencentes ao programa, 186 indivíduos. Este grupo de controle tem a vantagem de evitar o transbordamento ocasionado pelos estudantes do grupo de tratamento, conforme discutido na seção 2. O segundo grupo de controle é formado por estudantes de uma das escolas participantes do programa, 41 indivíduos; totalizando 227 estudantes. Este segundo grupo de controle é utilizado como uma forma de testar a robustez dos resultados.

A escola não participante do programa escolhida para grupo de controle é semelhante às escolas que participam e também é de mais fácil acesso à equipe gestora do projeto. As turmas que responderam ao questionário foram das mesmas séries que participam do projeto e todos os alunos presentes no dia responderam ao questionário.

No final do ano, a equipe Educar voltou nessas mesmas turmas.

Quando a seleção para a participação em um programa ocorre de forma aleatória, este mecanismo fornece o balanceamento necessário das características 17 O pareamento e o método de diferenças em diferenças foram propostos por Heckman, Ichumura e Todd (1997, 1998).

observadas quanto das não observadas das unidades que compõem os dois grupos, Angrist e Pische (2008). A aleatorização permite criar uma situação na qual não existe correlação entre ser ou não tratado e os atributos das unidades de observação (participantes). Se a exposição à política for aleatória, pode-se comparar dois grupos: um que recebeu o programa (grupo de tratamento) e outro que não (grupo de controle).

Em seguida, calcula-se a diferença de desempenho dos alunos nas duas situações (tratado e controle) para avaliar o impacto do programa. Todavia, devido ao caráter não aleatório de seleção ao programa da Academia Educar, este procedimento não é o correto de ser aplicado. Conforme apresentado na Tabela 2 da seção 3, nota-se que os grupos de tratamento e controle são distintos em termos de suas características observáveis antes da intervenção.

Devido às diferenças significativas entre os grupos de tratamento e controle, o método do pareamento é utilizado. Esse método permite encontrar jovens do controle que sejam o mais parecido possível com os tratados. As informações prévias ao projeto em relação às características demográficas dos estudantes, background socioeconômico (escolaridade dos pais, renda familiar, etc) como de sua capacidade cognitiva (questões de lógicas aplicadas no questionário) serão utilizadas para tornar esses estudantes parecidos18.

Além disso, como foram coletadas informações sobre nossos indicadores de impacto de interesse no início da avaliação, utilizaremos também o método de diferenças em diferenças. Esse método permite que consigamos eliminar diferenças não observáveis que sejam fixas no tempo. Este método permite identificar a causalidade e medir o impacto da intervenção. Pode-se encontrar estatisticamente o efeito causal do programa. Para validação do efeito causal, serão realizados vários testes de robustez, uma vez que o método de utilizado não está isento de problemas.

Essa estratégia permite estimar o efeito do tratamento, ou seja, o impacto da intervenção da Academia Educar sobre as habilidades socioemocionais dos participantes das escolas públicas estaduais e municipais de Campinas/SP. A hipótese principal do método diferenças em diferenças é que a trajetória temporal da variável de resultado para o grupo de controle represente o que ocorreria com o grupo de tratado, na ausência da intervenção Menezes-Filho et al. (2012). Em nosso caso, é necessário que a média das habilidades socioemocionais tenham trajetória pré-tratamento19 paralela àquela dos participantes do grupo de controle.

O efeito do programa sobre os tratados pode ser representado formalmente como: Dt , t =E [ Y 1i t −Y 0i t |T i=1, X i ¿−E [ Y 1i t −Y 0i t |T i =0, X i ¿ Em que

0

1

Y 1i t

1

1

0

1

0

representa uma característica socioemocional no tempo

(posterior à adoção do programa) para o participante i. Note que

[ Y |T =0, X ¿ 1 i t1

i

i

t1 é

impossível de ser observado e representa uma habilidade socioemocional dos participantes do grupo de controle, após o tratamento, caso fossem tratadas. Para que 18 As variáveis utilizadas no pareamento são: Menino, Idade, Habilidade Cognitiva Escolaridade Pai Ens. M. Escolaridade Mãe Ens. M. Escolaridade do Aluno 2 Escolaridade do Aluno 3 Renda Maior R$3.000,00 Livros Mais de 3 Acesso a Bens Culturais 2 Acesso a Bens Culturais 3.

19 Embora não seja um teste para esta hipótese, uma maneira intuitiva de verificar é testar se a trajetória da variável de resultado para os dois grupos possui a mesma tendência temporal.

esse parâmetro corresponda ao efeito médio do tratamento sobre os tratados, precisamos da seguinte hipótese: E [ Y 0i t −Y 0it |T i=1, X i ¿=E [ Y 0i t −Y 0i t |T i=0, X i ¿ 1

0

1

0

Ou seja, a evolução temporal dos grupos de tratados e controles, na ausência do tratamento, seja exatamente a mesma.

Socioemocional it =β 0 + β 2 X it + β1 AE it + β3 t t + β 4 ( AE it t t )+ ε it , em que

Socioemocional it

i no tempo t;

X it

refere-se à uma característica socioemocional do estudante são variáveis de controle participante; AE it =1 , se o participante

i for tratado, ou seja, participa do projeto da Academia Educar, e 0, caso contrário;

tt

é uma dummy de tempo que assume o valor 1 no período pós programa e 0 no período pré-programa e ε it é ao termo de erro do modelo.

Em suma, a hipótese de identificação para avaliação causal do programa Academia Educar sobre os indicadores de interesse utiliza: i) as variáveis observadas pré-tratamento que permite selecionar do grupo de controle aqueles mais parecidos com os tratados; ii) os dados de antes da intervenção, que permite eliminar diferenças nãoobservadas fixas no tempo. A combinação desses dois métodos – pareamento e diferenças em diferenças - permite identificar a causalidade e medir o impacto da intervenção. Para a validação dos resultados serão realizados vários testes de robustez.

5.2 Indicadores de impacto de interesse Como colocado na seção 2, o objetivo do projeto Academia Educar é de “promover a formação de lideranças juvenis em escolas públicas, criando oportunidades para que o jovem descubra o seu potencial e transforme a sua realidade”. Em resumo, duas medidas contemplariam de forma satisfatória tal objetivo: protagonismo juvenil e cidadania20. No entanto, não encontramos na literatura algo tão específico. Sendo assim, buscamos medidas correlacionadas com esses dois aspectos. A ideia foi utilizar itens do SENNA. O SENNA (Social and Emotional or Non-cognitive Nationwide Assessment) é um instrumento desenvolvido pelo Instituto Ayrton Senna, em parceria com a OCDE, que consiste em mensurar as competências socioemocionais de alunos do 5º ano do Ensino Fundamental ao 3º ano do Ensino Médio. As questões que compõem o instrumento dizem respeito às atitudes, sentimentos ou percepções dos alunos em relação a si mesmos. Ele tem itens para medir os Cinco Grandes Fatores de Personalidade, os chamados “Big Five”: Abertura a Novas Experiências; Extroversão; Amabilidade; Conscienciosidade; e Neuroticismo (Estabilidade Emocional). Os itens variam em uma escala progressiva do tipo Likert que vai de 1 a 5, indo do “discordo totalmente” ao “concordo totalmente”, de acordo com a crença da pessoa em possuir

20 O aprendizado escolar também pode ser um indicador a ser considerado. Mas, a opção foi de focar em indicadores relacionados a protagonismo e cidadania.

determinado traço ou característica de personalidade. Além disso, o instrumento também tem itens para medir Locus de Controle.

Para a presente avaliação escolhemos alguns itens do SENNA. Especificamente, selecionamos os itens que contemplam as seguintes facetas: Sociabilidade e Assertividade, do construto Extroversão; Volatilidade, do construto Neuroticismo; Imaginativo, do construto de Abertura ao Novo; e os itens referentes a mensuração de locus de controle.

Extroversão é definida como a orientação de interesses e energia em direção ao mundo externo, pessoas e coisas. O indivíduo extrovertido caracteriza-se por sua capacidade de comunicação, assertividade, sociabilidade e tendência a chamar atenção para si mesmo dentro de um grupo. Dentre as facetas estão a sociabilidade ou capacidade de comunicação com seus pares e a assertividade ou capacidade de saber colocar sua opinião. A Socialização refere-se a traços que levam a atitudes e a comportamentos prossociais, cujos sujeitos são agradáveis, calorosos, dóceis, generosos e leais. Assertividade (Assertiveness) é a habilidade social de fazer afirmação dos próprios direitos e expressar pensamentos, sentimentos e crenças de maneira direta, clara, honesta e apropriada ao contexto, de modo a não violar o direito das outras pessoas. Ser assertivo é dizer "sim" e "não" quando for preciso.

Já Neuroticismo diz respeito à instabilidade/estabilidade emocional de um sujeito, tratando-se de emoções negativas, como ansiedade, desamparo, irritabilidade e pessimismo. A volatilidade, a faceta escolhida, significa ter autos e baixos, baixa resiliência (ou seja, a pessoa não tem uma boa capacidade de recuperação após passar por dificuldades). Pessoas com alto escore nessa faceta têm justamente o contrário.

Abertura ao Novo é um traço de pessoas que aceitam com facilidade participar de novas experiências. Aquele que se caracteriza como "aberto ao novo" tende a ser imaginativo, criativo e intelectualmente curioso. Desse construto selecionamos os itens relacionados a ser imaginativo.

Locus de controle é uma medida psicológica da crença de uma pessoa sobre a relação causal entre o seu próprio comportamento e os resultados alcançados. O locus de controle é definido em um contínuo entre dois espectros antagônicos: locus externo e locus interno. Os indivíduos com locus de controle externo acreditam não possuir controle sobre o resultado dos acontecimentos de suas vidas, creditando-os a fatores externos, mesmo quando se deparam com muitas oportunidades. Os indivíduos que têm um locus de controle interno sentem que os acontecimentos e realizações de sua vida são fruto mais das suas ações do que resultado de ações e fatos exteriores a ela.

Esses itens foram escolhidos porque eles estão relacionados com as habilidades que a equipe da Academia Educar busca devolver nos jovens. Protagonismo está relacionado a ter iniciativa – propor ideias; a ter capacidade para mobilizar, incentivar a cooperação ou trabalho equipe; a ter comprometimento com os objetivos; ter liderança.

Cidadania está relacionada a conhecer seus direitos e deveres – algo não contemplado nos itens, é verdade – mas, também, à ideia de que ‘o fazer acontecer’ depende do jovem, ou seja, ele deve fazer valer seus direitos, algo captado em locus de controle, por exemplo.

Sendo assim, os indicadores de impacto de interesse escolhidos são: Y 1=Locus de Controle Y 2=Sociabilidade Y 3= Assertividade Y 4 =Volatilidade

Y 5=Imaginativo Y 6=Participação Política Importante esclarecer que além dos itens do SENNA, foram também incluídos itens ‘avulsos’ no instrumento proposto para captar os indicadores de impacto da Academia Educar. Esses itens foram desenvolvidos pela própria equipe da Academia Educar e estão em linha com as dimensões priorizadas pelo projeto. Uma das questões incluídas aborda o interesse do estudante em participar da política do país. Essa questão transformou-se em um dos indicadores da avaliação.

“Você acredita que deve participar da política em seu país?” ( ) Não ( ) Sim

Os indicadores de 1 a 5 foram construídos, portanto, a partir de um conjunto específico de itens do SENNA21. Para tal investigação, foram utilizados 3 propostas de construção desses indicadores. A variável Locus de controle é construída a partir de 14 itens pertencentes ao questionário SENNA, já a característica Sociabilidade é construída a partir de 8 itens do SENNA. A variável Volatilidade é baseada em 6 itens do questionário, já a característica Imaginativo é construído em função de 4 itens e Assertividade é construída a partir de 2 itens do questionário SENNA 22. Por fim, a variável dependente Participação Política é uma variável binária que assume o valor 1, caso o estudante acredite que deve participar da política em seu país e 0, caso contrário.

A proposta 1 utiliza 34 itens, a proposta 2 utiliza todos os itens presentes no questionário, ou seja, 49 itens e a proposta 3 é construída a partir dos itens indicados pela análise fatorial. O questionário possui cinco níveis de respostas, dessa forma, para cada competência foi somado o valor dado para cada resposta e depois dividido pelo número de itens correspondente a cada característica socioemocional. Dessa forma, cada característica possui um valor numérico entre 1 e 5.

Para medir a consistência interna desses indicadores, o Quadro 1 reporta o Alpha de Cronbach, cujo objetivo é avaliar a magnitude em que os itens de um instrumento estão correlacionados. A consistência interna será melhor quanto mais próximo de 1 for este valor. É por esta razão que utilizamos 3 propostas de construção das habilidades socioemocionais. Embora, não exista uma regra precisa sobre os valores de alfa, alguns autores consideram a consistência interna pequena para alfas menores que 0,21. Para alfa entre 0,40 e 0,21, a consistência é dita ser razoável. Valores entre 0,60 e 0,41 são considerados moderados. Se o alfa estiver entre 0,80 e 0,61, a consistência é considerada substancial e para valores maiores que 0,80, o instrumento é quase perfeito.

Hab. Socioemocionais Locus de Controle Sociabilidade Assertividade Volatilidade Imaginativo Fonte: Academia Educar

Quadro 1: Valores do Alpha de Cronbach Proposta 1 Proposta 2 0.702 0.715 0.446 0.473 0.517 0.444 0.625 0.578 0.563 0.562

Proposta 3 0.782 0.642 0.515 0.642 0.531

De acordo com o Quadro 2, as diferentes propostas apresentam resultados moderados e substanciais, Landis e Koch 23 (1977). O questionário diagnóstico aplicado consegue construir de forma satisfatória os indicadores socioemocionais propostos.

21 A escala likert é utilizada no questionário SENNA. 22 O questionário SENNA pode ser visualizado no apêndice deste trabalho.

5.3 As variáveis de controle Para estimar o impacto da Academia Educar sobre os indicadores de interesse, considera-se um conjunto grande de características dos alunos que incluem idade, gênero, habilidades cognitivas, características socioeconômicas e características familiares, como descrito no Quadro 2. Essas variáveis são utilizadas para definir se os grupos de tratamento e controle são parecidos – ao controlar por essas variáveis observadas estamos diminuindo o potencial viés oriundo de fontes não observáveis, ou seja, busca-se encontrar o efeito “limpo” do tratamento.

A escolha dessas características deriva da literatura empírica e também da base de dados informada pela Academia Educar. As variáveis de controle podem ser encontradas no Quadro 2.

Quadro 2: Descrição das Variáveis de Controle Descrição Idade em anos.

Assume 1 se o aluno se declara do sexo masculino e 0 se declara feminino.

Assume 1 se é do 8º ano do Ensino Fundamental e 0 caso contrário.

Assume 1 se é do 9º ano do Ensino Fundamental e 0 caso contrário.

Assume 1 se é do 1º ano do Ensino Médio e 0 caso contrário.

Assume 1 se é do 2º ano do Ensino Médio e 0 caso contrário.

Assume 1 se o pai possui até o 5º ano do Ensino Fundamental e 0 caso Escolaridade Pai Fu. Bas. contrário.

Escolaridade Pai Ens. M. Assume 1 se o pai possui Ensino Médio e 0 caso contrário.

Escolaridade Pai Citado Assume 1 se não foi citado a escolaridade do pai e 0 caso contrário.

Assume 1 se a mãe possui até o 5º ano do Ensino Fundamental e 0 caso Escolaridade Mãe Fu. Bas. contrário.

Escolaridade Mãe Ens. M. Assume 1 se a mãe possui Ensino Médio e 0 caso contrário.

Escolaridade Mãe Citado Assume 1 se não foi citado a escolaridade do mãe e 0 caso contrário.

Assume 1 se a renda familiar está entre R$0,00 até R$ 3.000,00 e 0 caso Renda até R$3.000,00 contrário.

Renda Maior R$3.000,00 Assume 1 se a renda familiar é superior a R$ 3.000,00 e 0 caso contrário.

Assume 1 se o aluno acertou pelo menos uma das duas questões de lógica e Habilidade Cognitiva 0 caso contrário.

Livros 0 até 3 Assume 1 se o aluno lê de 0 até 3 livros por ano e 0 caso contrário.

Livros Mais de 3 Assume 1 se o aluno lê mais de 3 livros por 0 e 0 caso contrário Acesso a Bens Culturais 1 Assume 1 se a frequência a bens culturais é “nunca” e 0 caso contrário.

Assume 1 se a frequência a bens culturais é “1 até 6 vezes ao ano” e 0 caso Acesso a Bens Culturais 2 contrário.

Assume 1 se a frequência a bens culturais é “mensalmente” e 0 caso Acesso a Bens Culturais 3 contrário.

Gramática Mas e Mais Assume 1 se o aluno acertou duas questões de gramática e 0 caso contrário.

Gramática Plural Assume 1 se o aluno acertou a questão de gramática e 0 caso contrário.

Fonte: Elaborado pelos autores com base na fonte de dados da Academia Educar.

Variável Idade Menino 8º Ano 9º Ano 1º Ano do E. M. 2º Ano do E. M.

6 Resultados Nesta seção apresentamos os resultados das estimativas de impacto para os indicadores de interesse. Na primeira subseção os resultados apresentados são baseados no modelo de diferenças em diferenças. A subseção posterior apresenta os resultados a 23 Os autores consideram valores maiores que 0,80 uma consistência interna quase perfeita, valores de 0,61 a 0,80 são considerados substanciais, já os valores de 0,41 a 0,60 são moderados, de 0,21 a 0,40 é razoável e menos de 0,21 é considerado pequeno.

partir de uma combinação de métodos, utilizando o pareamento e o modelo de diferenças em diferenças, que são os resultados preferidos em virtude das diferenças anteriores ao tratamento já observadas entre os estudantes dos dois grupos.

6.1 Estimativas de impacto da avaliação da Academia Educar sobre os indicadores de interesse – estimativa a partir do modelo diferenças e diferenças Esta seção apresenta os resultados do modelo diferenças em diferenças. A Tabela 5 apresenta os resultados com dois grupos de controle distintos. O grupo de controle 1 é formado pelos estudantes da escola E.E. Maria Julieta de Godoi Cartezani e EMEF Prof.

Odila Maia Rocha Brito. O grupo de controle 2 é formado por estudantes da escola E.E. Maria Julieta de Godoi Cartezani, ou seja, por estudantes que estão em uma escola que não participa do projeto da Academia Educar. Apresentar os resultados com diferentes grupos de controle é uma maneira de mostrar a robustez dos resultados.

Tabela 5: Impacto do Programa AE sobre diversas variáveis de interesse (1) (2) (3) (4) (5) (6) Locus de Variáveis controle Sociabilidade Assertividade Volatilidade Imaginativo Part. Política Grupo de controle 1 – Estudantes das duas escolas Impacto do Programa -0.415*** 0.509*** 0.406* 0.270 0.335* 0.444*** (0.133) (0.140) (0.217) (0.195) (0.190) (0.095) Efeito fixo do aluno Sim Sim Sim Sim Sim Sim Efeito Fixo de Tempo Sim Sim Sim Sim Sim Sim Controles do aluno Sim Sim Sim Sim Sim Sim Observações 332 322 458 386 358 506 Número de “id” 166 161 229 193 179 253 R-quadrado 0.155 0.200 0.179 0.094 0.101 0.196 Grupo de controle 2 – Estudantes apenas da escola que não tem tratados Impacto do Programa -0.412*** 0.503*** 0.375 0.236 0.293 0.448*** (0.138) (0.143) (0.227) (0.201) (0.196) (0.095) Efeito fixo do aluno Sim Sim Sim Sim Sim Sim Efeito Fixo de Tempo Sim Sim Sim Sim Sim Sim Controles do aluno Sim Sim Sim Sim Sim Sim Observações 298 292 404 350 330 440 Número de “id” 149 146 202 175 165 220 R-quadrado 0.159 0.208 0.189 0.091 0.108 0.237 Fonte: Elaboração própria a partir dos dados da Academia Educar 2016. *90%, ** 95% e *** 99% de confiança.

A Tabela 5 revela que o programa da Academia Educar obteve impacto nas competências Locus de controle, Sociabilidade e Participação Política. O sinal negativo de Locus de controle significa que os estudantes que participaram do programa melhoraram esta competência, ou seja, os alunos se sentem mais no controle de sua própria vida, exigindo mais de si mesmo e se concentrando no que podem fazer por conta própria para lidar com seus respectivos problemas. O impacto sobre Sociabilidade e participação política também são no sentido esperado, ou seja, os alunos que

participaram do projeto apresentaram maiores variações nos indicadores de sociabilidade e participação política do que os alunos que não participaram do projeto.Os resultados para as variáveis Assertividade e Imaginativo foram positivos, mas só foram significativos para o grupo de controle 1; para o grupo de controle 2, os resultados de impacto diminuem em magnitude e deixam de ser significativos.

Para a variável de interesse Volatilidade, os resultados não se mostraram estatisticamente significantes para nenhum dos grupos de controle.

6.2 Estimativas de impacto da avaliação da Academia Educar sobre os indicadores de interesse – estimativa via pareamento e diferenças e diferenças Esta subseção apresenta os resultados a partir de uma combinação de métodos, utilizando o pareamento e o modelo de diferenças em diferenças. Este método permite buscar indivíduos no grupo de controle mais próximos 24 e usa os resultados desses indivíduos para obter o que seria o resultado do indivíduo do grupo de tratamento, caso ele não fosse tratado.

Primeiramente, tendo por base o vetor X descrito no Quadro 3 estimamos uma equação para a probabilidade de o indivíduo participar do tratamento. Este procedimento foi realizado separadamente para cada variável dependente analisada, bem como, para cada grupo de controle. Na sequência as estimativas via pareamento (kernel matching25) foram obtidas. No apêndice A estão apresentados os modelos logits para a probabilidade de o indivíduo ser tratado (Tabela A1), bem como, uma análise de balanceamento do pareamento (Tabela A2 e Tabela A3). A Tabela 6 apresenta os resultados do programa.

Tabela 6: Impacto do Programa AE sobre diversas variáveis de interesse – resultados via pareamento (1) (2) (3) (4) (5) (6) Variáveis Locus de controle Sociabilidade Assertividade Volatilidade Imaginativo Part. Política Grupo de controle 1 – Estudantes das duas escolas Impacto do Programa -0.275** 0.389*** 0.428** 0.126 0.081 0.533*** (0.136) (0.138) (0.195) (0.235) (0.224) (0.102) Efeito fixo do aluno Sim Sim Sim Sim Sim Sim Efeito Fixo de Tempo Sim Sim Sim Sim Sim Sim Controles do aluno Sim Sim Sim Sim Sim Sim Observações 254 246 348 284 276 380 Número de “id” 127 123 174 142 138 190 R-quadrado 0.165 0.278 0.220 0.385 0.225 0.430 Grupo de controle 2 – Estudantes apenas da escola que não tem tratados Impacto do Programa -0.090 0.396*** 0.463** -0.028 -0.568** 0.420*** (0.149) (0.141) (0.207) (0.233) (0.272) (0.086) Efeito fixo do aluno Sim Sim Sim Sim Sim Sim Efeito Fixo de Tempo Sim Sim Sim Sim Sim Sim Controles do aluno Sim Sim Sim Sim Sim Sim Observações 236 222 314 272 242 344 Número de “id” 118 111 157 136 121 172 R-quadrado 0.156 0.316 0.254 0.317 0.240 0.384 24 Seleção em termos do seu vetor de características observáveis Rosenbaum e Rubim (1983).

25 Cada estudante tratado é pareado com um peso para cada estudante não tratado, de forma que o peso declina conforme a distância do score de propensão entre os alunos tratados e não tratados aumente.

Fonte: Elaboração própria a partir dos dados da Academia Educar 2016. *90%, ** 95% e *** 99% de confiança.

De acordo com a Tabela 6, a participação no projeto da Academia Educar apresenta impacto nas variáveis de interesse Sociabilidade, Assertividade e Participação Política. Para Locus de controle o resultado só foi significativo para o grupo de controle 1. Comparativamente aos resultados da Tabela 5, permaneceram os resultados positivos para Sociabilidade e Participação Política.

Novamente não se observou impacto sobre a variável ‘Volatilidade’. Já para a variável Imaginativo, os resultados indicam impacto nulo para o Grupo de Controle 1 e negativo quando consideramos o Grupo de Controle 2. O resultado negativo para Imaginativo não é encontrado em outras especificações, na maior parte das vezes os modelos sugerem um impacto positivo, porém estatisticamente insignificante.

A tabela A4, no apêndice A, apresenta estimativas para os mesmos modelos da Tabela 6, mas utilizando outros algoritmos de pareamento – especificamente, pareamento pelo vizinho mais próximo. Trabalhou-se com 1 e 2 vizinhos, sempre com reposição, ou seja, uma mesma observação do grupo de controle pôde ser combinada com mais de uma unidade tratada. Como pode ser observado, os resultados da Tabela 6 são confirmados: impactos positivos e significativos para Sociabilidade, Assertividade e Participação Política. Nessas especificações, no entanto, Imaginativo aparece com sinal positivo e significativo para o grupo de controle 1 e não significativo para o grupo de controle 2. Não são estimados impactos significativos e consistentes para Locus de Controle e nem para Volatilidade, resultados também já apontados na Tabela 6.

Como colocado anteriormente, uma das ideias foi explorar diferentes formas de construir as medidas socioemocionais utilizadas nessa avaliação. Assim, nas tabelas A5 e A6 do apêndice A são apresentados os mesmos resultados da Tabela 6 e tabela A4 do apêndice, mas agora utilizando essas propostas alternativas para as medidas dos indicadores socioemocionais. A tabela A5 apresenta os resultados para a proposta 2 e a tabela A6 para a proposta 3.

Nessas tabelas do apêndice não são apresentados resultados para a variável de participação política visto que a mesma é derivada de uma única questão do questionário, não havendo, portanto, diferentes possibilidades de mensuração para essa variável.

Os resultados das tabelas A5 e A6 confirmam o impacto do Programa sobre a medida de Sociabilidade – em todas as especificações os resultados são positivos e significativos, indicando que o Educar contribui para uma maior sociabilidade de seus participantes. Para as demais medidas, os resultados são mais frágeis. As variáveis Locus de Controle, Imaginativo e Assertividade apresentam resultados positivos e significativos em algumas especificações, mas de forma geral não nos parece que os resultados sejam robustos. Já para a variável Volatilidade, como na primeira especificação, os resultados sugerem que não exista impacto.

Em termos de magnitude, conforme os dados da Tabela 2, a média da variável Sociabilidade para os tratados antes da intervenção era de 3,127 – isso significa que um impacto de 0,396 (conforme os resultados da Tabela 6 – grupo de controle 2) representa 12% do valor da variável na linha de base. O mesmo raciocínio para a variável Assertividade implica num impacto de 16% do valor da variável na linha de base (média antes do tratamento era 2,92 com impacto de 0,463). Para a variável de interesse em participar da política do país, o impacto é bastante grande: impacto de 42 pontos percentuais. Na linha de base 47% dos alunos disseram ter interesse em participar da política do país; devido à participação no Projeto Academia Educar, ao final, 90% dos alunos disseram estar interessado em participar da política do país.

7 Considerações finais O objetivo desse estudo foi apresentar uma avaliação de impacto do Projeto da Academia Educar da Fundação DPaschoal, especificamente, os resultados finais da avaliação de impacto sobre aspectos relativos às habilidades socioemocionais e participação política dos estudantes. Para a realização da avaliação foram feitas duas pesquisas de campo. Uma primeira pesquisa cadastral de cada estudante no início de 2016; e uma segunda pesquisa ao final do mesmo ano. As duas pesquisas coletaram os indicadores de impacto de interesse, referentes às características socioemocionais.

A avaliação teve por base os tratados que participaram do programa em 2016. O grupo de controle escolhido foi formado por estudantes que não participaram do projeto da Academia Educar. São dois grupos de controles distintos, o primeiro grupo é formado por estudantes de duas escolas parceiras da Fundação DPaschoal, porém uma das escolas apresentam jovens que participam do projeto. O segundo grupo de controle é formado apenas por jovens da escola que não possuem nenhum estudante participante do projeto. A hipótese de identificação para a avaliação causal do programa da Academia Educar sobre os indicadores sociemocionais e participação política utiliza as variáveis observadas pré-tratamento, bem como, o método de diferenças em diferenças para lidar com variáveis não observadas que sejam fixas no tempo.

Utilizamos diferentes indicadores de impacto associados às habilidades socioemocionais dos beneficiários do projeto. De acordo com os resultados obtidos, o programa tem impacto positivo e estatisticamente significativo sobre Sociabilidade e Participação Política. Para assertividade também defendemos que haja impacto. Os resultados obtidos para essa variável a proposta 1 são positivos e significativos para todas as especificações que usam a combinação do pareamento e diferenças em diferenças. Sendo assim, entendemos que também para essa variável haja impacto. Já os resultados para as variáveis Locus de Controle e Imaginativo foram significativos e na direção correta em parte das especificações; para Volatilidade, os resultados não sugerem impacto.

Os resultados dessa avaliação devem ser lidos com toda a cautela necessária quando pensamos que não temos os instrumentos perfeitos para medir as habilidades sociais, bem como, quando lembramos que não tivemos um sorteio para definir os tratados, mas sim um processo de seleção que busca escolher os mais motivados/interessados para participar. No entanto, também importante enfatizar, a avaliação contou com dados de baseline e com vários exercícios de robustez, o que nos deixa mais confiantes em termos da credibilidade dos resultados. Uma sugestão seria fazer um acompanhamento dos estudantes, desse modo, efeitos de longo prazo poderiam ser mensurados e seria possível conhecer a efetividade da Academia Educar, isto é, a duração do impacto.

Referências ALMLUND, M., DUCKWORTH, A. L., HECKMAN, J. J., KAUTZ, T. D. Personality psychology and economics. (No. w16822). National Bureau of Economic Research. 2011.

BOWLES, S; GINTIS, H. Schooling in capitalist America revisited. Sociology of education, p. 1-18, 2002.

ANGRIST, J. D., PISCHKE, J. S. Mostly harmless econometrics: An empiricist's companion. Princeton university press, 2008.

CARNEIRO, P.; CRAWFORD, C.; GOODMAN, A. The Impact of Early Cognitive and Non-Cognitive Skills on Later Outcomes. CEE Discussion Papers 0092, Centre for the Economics of Education. 2007.

CUNHA, F., J. HECKMAN, SCHENNACH S. Estimating the Technology of Cognitive and Noncognitive Skill Formation. Econometrica, 78(3), 883–931. 2010.

LLERAS, Christy. Do skills and behaviors in high school matter? The contribution of noncognitive factors in explaining differences in educational attainment and earnings. Social Science Research, v. 37, n. 3, p. 888-902, 2008.

FARKAS, G. Cognitive skills and noncognitive traits and behaviors in stratification processes. Annual Review of Sociology, 29, 541–562. 2003.

FARKAS, G., ENGLAND, P., VICKNAIR, K., Kilbourne, B., 1997. Cognitive skill, skill demands of jobs, and earnings among young European American, African- American, and Mexican-American workers. Social Forces 75, 913–940.

GENSOWSKI, M., 2012. Personality, IQ, and lifetime earnings. Unpublished manuscript, University of Chicago, Department of Economics.

HECKMAN, J. J.; Stixrud, J.; Urzua, S. The Effects of Cognitive and Noncognitive Abilities on Labor Market Outcomes and Social Behavior. Journal of Labor Economics, University of Chicago Press, vol. 24(3), pages 411-482, July, 2006.

HECKMAN, J J.; JACOBS, B. Policies to create and destroy human capital in Europe. National Bureau of Economic Research, 2010.

HECKMAN, J; ICHIMURA, H.; TODD, P. Matching as an econometric evaluation estimator: evidence from a job training program. Review of Economic Studies. v. 64, n 4, p. 605-54, 1997.

HECKMAN, J.; ICHIMURA, H.; TODD, P. Matching as an econometric evaluation estimator. Review of Economic Studies. v. 65, p. 261-294, 1998.

Kerckhoff, A., Raudenbush, S., Glennie, E., 2001. Education, cognitive skill, and labor force outcomes. Sociology of Education 74, 1–24.

KYLLONEN, P. K.; LIPNEVICH, A. A. ; BURRUS, J.; ROBERTS, R. D. Personality, Motivation, and College Readiness: A Prospectus for Assessment and Development.

Educational Testing Service (ETS). Princeton, New Jersey. 2008.

LANDIS, J. R., KOCH, G. G. The measurement of observer agreement for categorical data. biometrics, p. 159-174. 1977.

MENEZES-FILHO, N. Avaliação econômica de projetos sociais. Fundação Itaú.

Dinâmica Gráfica e Editora. São Paulo, 2012.

MISCHEL, W.; SHODA, Y.; RODRIGUEZ, M. L. Delay of gratification in children.

Science 244 (4907), 933-938. 1989.

MCCRAE, R R.; JOHN, O P. An introduction to the five‐factor model and its applications. Journal of personality, v. 60, n. 2, p. 175-215, 1992 Murnane, Richard J. et al. How important are the cognitive skills of teenagers in predicting subsequent earnings?. Journal of Policy Analysis and Management, v. 19, n. 4, p. 547-568, 2000.

OLIVEIRA, F. R.; MENEZES, T. A.; IRFFI, G. D.; OLIVEIRA, G. R. Bullying Effect on School Performance. Associação Nacional dos Centros de Pós-Graduação em Economia. ANPEC Nordeste. 2017.

RAPOSO, I. P, A,; MENEZES, T. A. Impacto do efeito de pares sobre o desempenho escolar dentro da rede direta de amizades na turma. Working in progress. July, 2014.

RIANI, J. L. R.; RIOS-NETO, E. L. G. Background familiar versus perfil escolar do município: qual possui maior impacto no resultado educacional dos alunos brasileiros?

Revista Brasileira de Estudos Populacionais, v. 25, n. 2, p. 251-269, 2008.

ROSENBAUM, P. R., RUBIN, D. B. The central role of the propensity score in observational studies for causal effects. Biometrika, v. 70, n. 1, p. 41–55, 1983.

SANTOS, D., PRIMI, R. Desenvolvimento socioemocional e aprendizado escolar: uma proposta de mensuração para apoiar políticas públicas. Relatório sobre resultados preliminares do projeto de medição de competências socioemocionais no Rio de Janeiro. São Paulo: OCDE, SEEDUC, Instituto Ayrton Senna, 2014.

SHAPIRO, D; GOERTZ, M. Connecting work and school: Findings from the 1997 national employer survey. In: Unpublished paper presented at the annual meeting of the American Educational Research Association, San Diego, California. 1998.

SARZOSA, M., URZÚA, S. Bullying in Teenagers: The Role of Cognitive and NonCognitive Skills. 2015.

SOTO, C.; JOHN, O.; GOSLING, S.; POTTER, J. Age differences in personality traits from 10 to 65: Big Five domains and facets in a large cross-sectional sample. Journal of personality and social psychology 100 (2), p. 330. 2011.

STASZ, C., 2001. Assessing skills for work: two perspectives. Oxford Economic Papers 53, 385–405.

Apêndice A – Estimativa do propensity-score, análise do balanceamento dopareamento e resultados adicionais A1: Probabilidade de ser tratado – efeitos marginais para um indivíduo de características médias Locus de Part.

Variáveis Sociabilidade Assertividade Volatilidade Imaginativo Controle Política Locus de Controle 0.110 0.021 -0.094 0.022 -0.105 0.072 [0.328] [0.841] [0.044] [0.717] [0.137] [0.377] Menino -0.110 -0.168 -0.190 -0.134 -0.153 -0.174 [0.351] [0.114] [0.026] [0.190] [0.133] [0.030] Idade -0.632 -0.688 -0.548 -0.627 -0.668 -0.544 [0.000] [0.000] [0.000] [0.000] [0.000] [0.000] Habilidade Cognitiva 0.526 0.589 0.527 0.538 0.547 0.473 [0.000] [0.000] [0.000] [0.000] [0.000] [0.000] Escolaridade Pai Ens. M. 0.285 0.249 0.291 0.198 0.309 0.243 [0.231] [0.309] [0.152] [0.365] [0.175] [0.187] Escolaridade Mãe Ens. M. 0.049 0.117 0.111 0.159 0.054 0.134 [0.793] [0.566] [0.494] [0.391] [0.764] [0.375] 9º Ano 0.007 0.128 0.137 0.201 0.044 0.155 [0.975] [0.622] [0.443] [0.393] [0.852] [0.375]

1º Ano do E. M.

0.411 0.459 0.462 0.545 0.445 [0.035] [0.016] [0.005] [0.002] [0.014] Renda Maior R$3.000,00 -0.236 -0.315 -0.261 -0.292 -0.263 [0.018] [0.000] [0.000] [0.000] [0.002] Livros Mais de 3 0.045 0.060 0.072 0.090 0.083 [0.673] [0.592] [0.407] [0.391] [0.443] Acesso a Bens Culturais 2 0.022 -0.059 -0.039 -0.032 -0.027 [0.880] [0.708] [0.737] [0.823] [0.847] Acesso a Bens Culturais 3 0.067 0.028 -0.045 -0.021 0.073 [0.664] [0.859] [0.695] [0.880] [0.623] N Obs 137 133 189 160 149 LR Chi2(k) 79.38 86.60 113.43 97.27 94.49 Prob > chi2 0.0000 0.0000 0.0000 0.0000 0.0000 Pseudo R2 0.4341 0.4865 0.4572 0.4553 0.4766 Fonte: Academia Educar. Obs: Realce de azul – efeitos marginais são estatisticamente diferentes de com até 95% de confiança. Valor entre colchetes é o P-Valor.

0.514 [0.001] -0.212 [0.002] 0.031 [0.699] 0.028 [0.801] -0.033 [0.773] 208 119.64 0.0000 0.4418 zero

A2: Qualidade do Balanceamento - kernel matching, com suporte comum Antes do Matching Depois do Matching Control Tratado Controle P-valor Tratado P-valor e Variáveis do aluno Locus de Controle Locus de Controle 2.358 2.416 0.30 2.505 2.426 0.36 Menino 0.358 0.469 0.05 0.372 0.460 0.40 Idade 14.47 15.17 0.00 14.698 14.724 0.81 Habilidade Cognitiva 0.650 0.115 0.00 0.325 0.439 0.28 Escolaridade Pai Ens. M. 0.245 0.097 0.00 0.209 0.118 0.25 Escolaridade Mãe Ens. M. 0.283 0.106 0.00 0.255 0.133 0.15 9º Ano 0.433 0.415 0.75 0.325 0.335 0.92 1º Ano do E. M. 0.509 0.546 0.50 0.604 0.624 0.84 Renda Maior R$3.000,00 0.075 0.142 0.09 0.069 0.042 0.58 Livros Mais de 3 0.518 0.407 0.05 0.395 0.519 0.25 Acesso a Bens Culturais 2 0.566 0.486 0.17 0.465 0.499 0.75 Acesso a Bens Culturais 3 0.377 0.318 0.29 0.395 0.362 0.75 Variáveis do aluno Sociabilidade

Sociabilidade 3.395 3.320 0.26 3.196 3.277 0.43 Menino 0.326 0.458 0.02 0.333 0.367 0.74 Idade 14.62 15.171 0.00 14.690 14.643 0.68 Habilidade Cognitiva 0.682 0.114 0.00 0.357 0.445 0.41 Escolaridade Pai Ens. M. 0.288 0.091 0.00 0.261 0.090 0.03 Escolaridade Mãe Ens. M. 0.326 0.119 0.00 0.309 0.104 0.02 9º Ano 0.442 0.403 0.51 0.333 0.375 0.69 1º Ano do E. M. 0.500 0.559 0.31 0.595 0.562 0.76 Renda Maior R$3.000,00 0.057 0.148 0.02 0.047 0.026 0.61 Livros Mais de 3 0.519 0.417 0.08 0.404 0.491 0.42 Acesso a Bens Culturais 2 0.567 0.458 0.06 0.500 0.548 0.65 Acesso a Bens Culturais 3 0.384 0.316 0.22 0.380 0.333 0.65 Variáveis do aluno Assertividade Assertividade 3.271 3.045 0.02 2.953 2.970 0.91 Menino 0.347 0.506 0.00 0.351 0.362 0.91 Idade 14.406 15.077 0.00 14.556 14.618 0.57 Habilidade Cognitiva 0.666 0.103 0.00 0.314 0.418 0.27 Escolaridade Pai Ens. M. 0.275 0.100 0.00 0.185 0.121 0.35 Escolaridade Mãe Ens. M. 0.333 0.11 0.00 0.240 0.131 0.14 9º Ano 0.521 0.431 0.07 0.444 0.474 0.75 1º Ano do E. M. 0.434 0.506 0.16 0.500 0.494 0.95 Renda Maior R$3.000,00 0.057 0.183 0.00 0.055 0.038 0.67 Livros Mais de 3 0.543 0.400 0.00 0.444 0.503 0.54 Acesso a Bens Culturais 2 0.550 0.426 0.08 0.555 0.504 0.59 Acesso a Bens Culturais 3 0.391 0.318 0.13 0.314 0.349 0.70 Fonte: Academia Educar. Obs: Realce de azul – as diferenças de médias são estatisticamente diferentes de zero com até 95% de confiança.

A3: Qualidade do Balanceamento - kernel matching, com suporte comum Antes do Matching Depois do Matching Control Tratado Controle P-valor Tratado P-valor e Variáveis do aluno Volatilidade Volatilidade 3.274 3.261 0.88 3.113 2.995 0.56 Menino 0.354 0.488 0.01 0.363 0.533 0.11 Idade 14.435 15.150 0.00 14.682 14.681 0.99 Habilidade Cognitiva 0.661 0.114 0.00 0.295 0.330 0.72 Escolaridade Pai Ens. M. 0.290 0.106 0.00 0.181 0.183 0.98 Escolaridade Mãe Ens. M. 0.338 0.114 0.00 0.250 0.210 0.66 9º Ano 0.483 0.419 0.23 0.363 0.409 0.66 1º Ano do E. M. 0.483 0.541 0.28 0.590 0.560 0.77 Renda Maior R$3.000,00 0.064 0.183 0.00 0.068 0.044 0.63 Livros Mais de 3 0.556 0.419 0.01 0.409 0.478 0.51 Acesso a Bens Culturais 2 0.556 0.465 0.09 0.500 0.529 0.78

Acesso a Bens Culturais 3 0.387 0.301 0.09 0.363 0.359 0.96 Variáveis do aluno Imaginativo Imaginativo 3.375 3.204 0.04 3.163 3.122 0.80 Menino 0.350 0.516 0.00 0.350 0.435 0.39 Idade 14.474 15.197 0.00 14.674 14.615 0.60 Habilidade Cognitiva 0.666 0.114 0.00 0.304 0.399 0.34 Escolaridade Pai Ens. M. 0.280 0.090 0.00 0.260 0.098 0.04 Escolaridade Mãe Ens. M. 0.315 0.131 0.00 0.304 0.119 0.30 9º Ano 0.438 0.393 0.41 0.447 0.442 0.35 1º Ano do E. M. 0.508 0.573 0.25 0.586 0.527 0.56 Renda Maior R$3.000,00 0.070 0.173 0.01 0.065 0.038 0.56 Livros Mais de 3 0.517 0.405 0.04 0.434 0.463 0.78 Acesso a Bens Culturais 2 0.570 0.454 0.04 0.478 0.534 0.59 Acesso a Bens Culturais 3 0.377 0.327 0.36 0.391 0.342 0.63 Variáveis do aluno Participação Política Participação Política 0.700 0.378 0.00 0.464 0.544 0.24 Menino 0.360 0.525 0.00 0.339 0.512 0.06 Idade 14.44 15.057 0.00 14.643 14.524 0.25 Habilidade Cognitiva 0.673 0.122 0.00 0.321 0.320 0.99 Escolaridade Pai Ens. M. 0.280 0.106 0.00 0.232 0.205 0.73 Escolaridade Mãe Ens. M. 0.346 0.145 0.00 0.285 0.234 0.54 9º Ano 0.493 0.446 0.33 0.392 0.542 0.11 1º Ano do E. M. 0.466 0.486 0.69 0.553 0.425 0.17 Renda Maior R$3.000,00 0.066 0.201 0.00 0.071 0.04 0.57 Livros Mais de 3 0.536 0.405 0.00 0.446 0.512 0.48 Acesso a Bens Culturais 2 0.580 0.466 0.02 0.535 0.411 0.19 Acesso a Bens Culturais 3 0.366 0.301 0.15 0.321 0.397 0.40 Fonte: Academia Educar. Obs: Realce de azul – as diferenças de médias são estatisticamente diferentes de zero com até 95% de confiança.

Tabela A4: Resultados com outros algoritmos de pareamento (proposta 1) (1) (2) (3) (4) (5) (6) Locus de Método Variáveis Sociabilidade Assertividade Volatilidade Imaginativo Part. Pol. controle Grupo de controle 1 Impacto 1 viz. c/ Rep. -0.275 0.581*** 0.828** 0.162 0.591* 0.470*** (0.237) (0.177) (0.329) (0.364) (0.340) 0.148 obs 120 114 148 126 120 164 Impacto 2 viz c/ rep -0.351 0.390** 0.754*** -0.151 0.184 0.450*** (0.203) (0.200) (0.285) (0.304) (0.300) 0.144 obs 142 132 182 148 144 198 Grupo de controle 2 Impacto 1 viz. c/ Rep. -0.184 0.698*** 0.578* 0.224 0.504 0.496*** (0.233) (0.183) (0.317) (0.375) (0.363) (0.145) obs 116 106 142 120 114 154 Impacto 2 viz c/ rep -0.278 0.400* 0.604*** -0.215 0.258 0.428*** (0.204) (0.213) (0.280) (0.299) (0.315) (0.139) obs 134 124 170 140 136 182 Fonte: Elaboração própria a partir dos dados da Academia Educar 2016. *90%, ** 95% e *** 99% de confiança.

Tabela A5: Resultados com outros algoritmos de pareamento (proposta 2) (1) (2) (3) (4) (5) Loc. de Método Variáveis Sociabilidade Assertividade Volatilidade Imaginativo cont.

Grupo de controle 1 Kernel Impacto -0.440*** 0.325** 0.122 0.302* 0.250* (0.071) (0.148) (0.094) (0.175) (0.133) obs 352 394 362 336 338 1 viz. c/ Rep. Impacto -0.225 0.537*** -0.128 0.001 0.273 (0.238) (0.152) (0.183) (0.307) (0.300) obs 120 110 120 116 118 2 viz c/ rep Impacto -0.322* 0.367** -0.068 0.067 -0.113 (0.198) (0.161) (0.166) (0.274) (0.261) obs 142 126 152 136 144 Grupo de controle 2 Kernel Impacto -0.431*** 0.328** 0.099 0.253 0.266* (0.147) (0.154) (0.096) (0.182) (0.139) obs 320 350 326 310 308 1 viz. c/ Rep. Impacto -0.116 0.611*** -0.183 -0.057 0.268 (0.229) (0.154) (0.193) (0.300) (0.306) obs 116 106 114 114 114 2 viz c/ rep Impacto -0.233 0.367** -0.197 0.082 -0.031 (0.195) (0.161) (0.181) (0.272) (0.266) obs 134 126 140 132 136 Fonte: Elaboração própria a partir dos dados da Academia Educar 2016. *90%, ** 95% e *** 99% de confiança.

Tabela A6: Resultados com outros algoritmos de pareamento (proposta 3) (1) (2) (3) (4) (5) Locus de Método Variáveis Sociabilidade Assertividade Volatilidade Imaginativo controle Grupo de controle 1 Kernel Impacto -0.074 0.256* 0.066 0.151 0.118 (0.152) (0.144) (0.133) (0.180) (0.142) obs 268 298 276 262 250 1 viz. c/ Rep. Impacto -0.267 0.691*** 0.405** 0.187 0.583*** (0.243) (0.213) (0.201) (0.291) (0.220) obs 124 134 120 114 108 2 viz c/ rep Impacto -0.397* 0.569*** 0.076 0.187 0.382* (0.228) (0.193) (0.192) (0.269) (0.223) obs 144 158 144 134 128 Grupo de controle 2 Kernel Impacto 0.222 0.380*** 0.082 -0.076 0.170 (0.168) (0.143) (0.126) (0.187) (0.141) obs 242 274 250 246 240 1 viz. c/ Rep. Impacto -0.216 0.691*** 0.441** 0.023 0.602*** (0.247) (0.224) (0.190) (0.297) (0.221) obs 118 128 116 108 106 2 viz c/ rep Impacto -0.259 0.576*** 0.216 0.039 0.466** (0.230) (0.207) (0.173) (0.272) (0.230) obs 138 146 138 126 122 Fonte: Elaboração própria a partir dos dados da Academia Educar 2016. *90%, ** 95% e *** 99% de confiança.