말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량 강화 사업 성과보고서

말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량 강화 사업

성과보고서

목차 Part 0 들어가며 0.

성과보고서의 목적

03

Part 1 사업소개 1.1.

사업배경

05

1.2. 기아대책 전문성

06

1.3. 사업개요

06

Part 2 변화이론 2.1. 변화이론 소개

09

2.2. 논리모형(PDM)

10

Part 3 평가 기준 3.1. 평가 목적 및 범위

12

3.2. 평가 방법 및 평가 기준

12

Part 4 평가 결과 4.1. 적절성

14

4.2. 일관성

18

4.3. 효과성/영향력

19

4.4. 효율성

33

4.5. 지속가능성

35

Part 5 시사점 및 결론 5.1. 제언

36

5.2. 성공 요인

37

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

Part 0

PART 0 들어가며

03

들어가며 희망친구 기아대책은 교육, 보건, 생계, 인도적지원 분야에서의 총체적, 통합적 접근을 통해 다면적 빈곤을 해결하려는 비전을 가지고 있다. 교육 분야에서는 아동, 청소년 및 성인 교육을 통한 생산성 및 회복 탄력성 증진을 목표로 사업을 수행 한다. 구체적으로는, '영유아 조기 발달 및 입학준비도 향상' · '조기학년 학업 성과 확보' · '청소년 역량 개발' · '공동체 역량강 화'를 주요 성과로 설정하고 주요 활동과 산출물을 정렬하려 노력하고 있다.

VISION 총체적, 통합적 접근을 통해

희망친구 기아대책

섬기는 공동체의 다면적 빈곤을

해외사업

해결한다.

교육 분야 목표 아동, 청소년 및 성인 교육을 통한 생산성 및 회복탄력성 증진 성과 1

주요 활동

영유아 조기 발달 및 입학준비도 향상 (Early Child Development and School Readiness)

– 양육자의 영유아 조기 발달을 위한 양육 역량 강화 – 지역사회 내 영유아 조기학습 기회 증진 – 양육자의 아동 학습지원을 위한 교육 역량 강화

2

조기학년 학업 성과 확보

– 공교육 품질 강화를 위한 교사 훈련 및 학교 환경 조성

(Early grade success)

– 지역사회 내 학교 밖 교육기회 증진 – 아동의 전인적 개발을 위한 교육 제공

3

청소년 역량 개발 (Formal/Informal Education through late adolescence)

4

– 고등교육 및 직업훈련 기회 제공 – 청소년 그룹 조직 및 교육 – 공동체 주도 지역 개발을 위한 공동체 지도자 및 구성원 역량강화

공동체 역량강화 (Community empowerment)

표 1. 기아대책 해외사업 프레임워크 - 교육 분야

이에 따라, 희망친구 기아대책은 2021년~2023년 3개년 동안 '말라위 데자 지역 라디오 교육 방송 구축을 통한 중등교 육 역량 강화 사업'을 실시하였다. 본 사업은 기아대책과 한국국제협력단(KOICA)이 함께하는 민관협력 사업으로, 말라위에 서 가장 대중적 매체인 라디오를 활용해 8개 시범학교(Community Day Secondary School, CDSS)를 대상으로 중등교 육 방송을 제공하였다. 말라위 데자 지역 청소년들의 중등교육 접근성 향상 및 질적 제고를 위해 △인프라 구축, △교육 콘 텐츠 개발, △시범학교 운영에 집중하였다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 0 들어가며

04

이번 보고서는 말라위 데자지역 라디오 교육 사업 평가를 통하여 전문적인 사업을 위한 기아대책의 노력과 그 열매로 서의 성과를 나누고자 기획되었다. 구체적인 성과뿐만 아니라, 개선점 및 제언이 포함된 평가 내용을 공유하여 국제개발협 력 분야의 공동 성장을 도모하고자 한다. 성과 보고서의 내용은 객관적인 사업의 임팩트 측정을 위해 연세대학교 글로벌사 회공헌원(신재은 연구교수)과 함께한 '말라위 데자 지역 라디오 교육 방송 구축을 통한 중등교육 역량 강화 사업 종료평가' 를 기반으로 하였다.

본 성과 보고서의 핵심 내용은 다음과 같다.

1) 사업소개 - 말라위 데자 지역은 중등 자격 시험 합격률이 3.7%로, 중등교육에 취약한 지역이다.

- 기아대책은 말라위 내 정식 NGO로 등록되어, 다년간 아동 교육 사업을 수행한 이력이 있다.

- 기아대책은 데자 지역 내 라디오 교육 시스템 구축 및 프로그램 개발, 교사 대상 역량 강화 등을 통해 학생들의 학업 접근성, 학업 성취도 및 중등교육의 질을 향상시키고자 하였다.

2) 변화이론 - 본 사업에서는 변화이론을 구축하고 검증하여, 사업의 평가 틀로써 기능할 수 있도록 하였다.

- 사업 기획 단계부터 PDM을 설계하여, 학업성취도 향상의 임팩트를 달성하고자 하였다.

3) 평가 기준 - 연세대학교 글로벌사회공헌원(신재은 연구교수)을 통해 '변화이론 기반 평가' 방법론을 핵심 분석 방법으로 채택하였다.

- 사업 종료 평가를 통해 성과를 측정하고, 향후 사업의 지속과 확장을 위한 시사점을 도출하였다.

4) 평가 결과 - 적절성: 본 사업으로 발생한 효과가 정부 정책 및 수원국 우선순위와 부합하는지 평가하였다.

- 일관성: 타 사업 간 연계 등을 고려하여 조화롭게, 일관적으로 기획된 것을 확인하였다.

- 효과성/영향력: 계획 대비 성과의 달성 정도와 변화이론의 구현 정도를 확인하였다.

- 효율성: 기한 내 실현 가능한 타 방식과 비교하여 효과적으로 운영되었음을 확인하였다.

- 지속가능성: 사업 종료 후 결과 유지 및 확산 가능성과, 현지화 가능성을 확인하였다.

5) 시사점 및 결론 - 더 효과적인 성과 창출을 위하여, 라디오 유지관리 방안 등을 포함한 제언을 제시하였다.

- 전반적으로, 성과 목표를 효과적으로 달성하고 지속가능성을 확보한 사업으로 평가되었다.

성과 보고서를 통해 기아대책의 해외 교육 사업의 구체적인 효과성을 알리고, 향후 개선 방향을 함께 논의하고자 한다. 나아가, 사업 관련 제언과 성공요인을 나눔으로써 국제개발협력 분야 발전에 기여하기를 바란다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

Part 1

PART 1 사업소개

05

사업소개 1.1. 사업배경 말라위 데자 지역은 말라위 수도 릴롱궤에서 남쪽으로 약 85km 떨어진 중부지역으로, 해발 1,590m에 위치한 곳이다. 이 지역은 다수의 학교 밖 청소 년 인구, 낮은 문해율 · 학교 등록률 · 학업 성취율, 높은 중퇴율 등 교육 측면에 서 말라위 내에서도 취약한 지역이다. 지역 인구 중 약 43.2%가 문맹이며, 중 등학교 졸업 및 대학교 입학 · 취업을 위한 필수 시험인 '말라위 중등 자격시험 (Malawi School Certificate of Education, MSCE)'에 합격한 지역 인구는 3.7%에 불과하다.1) 항목

내용

전국 순위

인구수

830,512명

7위 / 28개 지역

문맹률

43.2%

2위 / 28개 지역

전력공급율

3.7%

26위 / 28개 지역

상수도 보급율

7%

12위 / 28개 지역

표 2. 말라위 데자 지역 개요2)

데자 지역 내 중등학교 수는 2021년 기준 59개이며, 공립학교는 야간학교를 포함하여 46개이다. 이 중 25개가 교육 시설이 미비하고 교사 수가 부족하며, 중등 자격시험(MSCE) 통과율도 타 학교 형태 대비 낮은 CDSS3) 학교이다. CDSS 학교에는 자격을 갖추지 않은 교사들의 비율이 높고 교육자로서의 동기 및 인식도 부족하여, 다수의 학생들이 열악한 중등 교육 환경에서 학습하고 있다.4) 실제로 데자 지역 학교의 교사 481명 중 적합한 교수법 훈련을 받지 못한 교사는 45.2% 에 달하며, 초 · 중등학교 졸업 자격만 갖추고 학생들을 지도하는 교사는 44.3%에 이른다.5) 또한 데자 지역의 중등학생들의 중퇴율은 3.9%로 매년 1,000명 이상의 학생이 졸업을 못하고 중도 탈락을 하고 있었 다. 데자 지역 내 8개 학교에서 학생들의 중도 탈락 원인을 조사한 결과, 학비 부담, 학교까지 이동의 어려움, 장거리 통학 중 성범죄 노출 위험, 조기 임신 및 결혼, 진로 계획이 없는 문제 등이 제기되었다. 물리적으로도, 이 지역은 산으로 이루어 져 있어서 학교까지의 거리가 멀고 마을에서 시내로 나오기 힘든 환경이다. 이에 더하여 코로나19 팬데믹으로 인한 전국적 휴교와 데자 지역의 온라인 학습 플랫폼 접근성의 저조로 학생들의 학습 여건 조성이 필요한 상황이었다.

1) National Statistical Office of Government of Malawi (2020) 2) Government of Malawi, National Statistical Office (2019) 3) 말라위 내 중등학교는 공립학교(지역사회 중등학교(Community Day Secondary School, CDSS), 기존 중등학교(CSS, Conventional Secondary School)) / 사립학교 / 야간 과정(Open School, 학비 부담으로 졸업하지 못한 청소년 및 성인 대상 방과후 2-3시간 교육)으로 분류된다.

4) University of Sussex Centre for International Educadtion (2018) 5) Ministry of Education, Department of Education Planning, Education Management Information System(EMIS) (2014)

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 1 사업소개

06

데자 지역 중등교육 질적 저하

데자 중등교육의 낮은 접근성

중등교사의 낮은 역량

COVID-19 대응

지역사회 중등학교(CDSS)

교사 교육(프로그램)

학습관리 및

원격 교육 미흡

인프라 및 역량 부족

부족

상담매뉴얼 부재

그림 1. 문제나무

1.2. 기아대책 전문성 이러한 배경 하에, 기아대책은 라디오 교육과 교사 교육을 통해 데자 지역 청소년들의 학업 성취도 및 중등교육의 질 을 향상하기 위하여 '말라위 데자 지역 라디오 교육 방송 구축을 통한 중등교육 역량 강화 사업'을 기획하였다. 희망친구 기아대책은 국내 최초의 국제구호개발 NGO로, 1989년부터 국내외 빈곤 문제 해결에 앞장서 왔다. 유엔경제사회이사회 (UN ECOSOC) 특별협의 지위를 인증받아 전 세계 50여 개국에 기대봉사단을 파견하여 긴급구호 및 해외, 국내, 북한 사 업을 수행하고 있다. 기아대책 말라위 사무소인 'Hope for People Empowerment Ministry'는 말라위 내 도시 빈민 지역 중심으로 취약 계층을 위한 교육, 보건의료, 긴급구호 등 다양한 사업을 수행한 이력이 있다. 2013년 1월, 말라위 정부에 정식 NGO로 등 록되었으며, 수도인 릴롱궤(Lilongwe)뿐만 아니라 데자(Dedza), 말리와(Maliwa), 나텐제(Nathenje) 지역으로 확장하 여 수년간 아동 교육 사업을 수행해 왔다. 따라서 사업 지역 내 풍부한 사업 경험과 네트워크를 바탕으로 보다 확장된 사업 을 수행하고자 본 사업을 기획하였다.

1.3. 사업개요 본 사업은 데자 지역 중등교육의 접근성 향상과 중등교사 역량 강화를 통한 데자 지역 중등교육의 질적 제고를 목표로 하였다. 특히 코로나19 감염병의 영향으로 인해 심화된 말라위 데자 지역 중등학교 청소년의 교육 공백에 대응하고, 8개의 시범학교 학생의 학업 성취도 향상을 달성하고자 하였다. 이를 위해 첫째, 라디오 교육 방송을 위한 송신소와 라디오 스튜 디오를 건축하였다. 둘째, 라디오 교육 방송을 위한 중등학교 라디오 교육 콘텐츠 개발과 이를 지도하는 교사들을 위한 가 이드라인을 제작하였다. 마지막으로, 시범학교 교사들이 학생들의 학업 및 진로지도를 체계적으로 할 수 있도록 역량 강화 워크숍을 개최하고 매뉴얼을 배포하였다. 사업 대상은 학교 접근성, 교내 학업성취도, 학교의 협력 의지 등을 기준으로 모든 학교를 평가하여, 데자 지역 내 총 8개의 시범학교를 선정하였다. 사업의 구성은 크게 '라디오 송출 환경 구축' · '라디오 교육 프로그램 제작' · '시범학교 대상 라디오 교육' · '교사 대상 역량개발 활동' 네 가지로 분류되었다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

07

PART 1 사업소개

데자 지역 중등교육 질적 제고

데자 중등교육의 접근성 향상

중등교사의 역량 강화

라디오 방송

중등교육 원격

중등교육 원격

인프라 구축

콘텐츠 개발/보급

시범학교 운영

라디오 방송국 신축

라디오 교육채널 신규 오픈

중등교육 라디오 교육 콘텐츠 제작

중등교육 라디오 교육 콘텐츠 송출

라디오/ 학생 관리 시스템 운영

교사 원격교육

원격 학업 상담/

소규모 연수 프로그램

성적관리 매뉴얼

(워크숍) 진행

개발 및 보급

학습 기자재 학생/학부모 (교과서, 대상 교육 라디오) 보급

교사들의 라디오 사용법 교육 이수

교사들의 원격 학업상담/ 성적관리 교육 이수

매뉴얼 제작

매뉴얼 책자 배포

그림 2. 목표나무

라디오를 비롯한 미디어 매체들은 교육환경이 열악한 국가들에서 학교 학습을 보완하는 보편적인 수단이며, 전 세계 40여 개국에서 라디오를 활용한 교육을 진행하고 있다.6) 라디오 교육은 특히 교육 분야 개발 협력 사업에서 취약계층의 교 육 접근성을 높여줄 수 있는 좋은 도구로 활용되고 있다.7) 마찬가지로, 라디오는 말라위에서 가장 보편적으로 사용되는 원 격 교육 수단이기도 하다. 따라서 말라위 내 가장 대중적인 매체인 라디오를 활용하여 중등교육 방송을 기획하고, 라디오 방송 인프라 및 신규 채널을 수립하였다. 또한 학생들에게 양질의 중등교육을 제공하기 위해 말라위 교사를 양성하는 교육 대학의 교수진과 협력하여 중등교육 원격 콘텐츠를 개발하고 송출하였다. 시범학교에 필요한 학습 기자재로 교과서와 라디오를 교사 및 학생에게 배포하는 활동도 진행하였다. 학생이 가정에 서도 공부할 수 있는 가정환경과 여건을 만들어주고자 시범학교 8개에 학생당 1대의 라디오, 교사당 1대의 라디오를 지원 하고 교육을 진행하였다. 이때 학생에게 배분하는 라디오는 무상 지원이나, 예치금을 받고 일정 기간 후에 돌려주는 형태 로 관리 및 유지보수가 원활히 이루어지게 하였다. 학생 및 양육자가 라디오를 수령할 때 라디오 단가의 약 30%를 예치금 으로 교육 스태프에게 납부하여, 라디오 유지 · 보수 비용으로 쓰도록 하였다.8) 라디오 교육에 잘 참여하고, 라디오를 잘 보 유할 시 예치금을 환급하여 주고 해당 학생이 라디오를 계속 사용하도록 하였다. 나아가, 태양광 에너지를 활용하여 사업의 지속가능한 요소를 확보하였다. 학생들에게 배분할 라디오로 태양광 라디 오를 구매하여, 장기간 태양광 에너지를 활용하여 사용할 수 있도록 하였다. 또한, 라디오 스튜디오 건축 시 태양광 판넬을 설치하여, 지속가능한 방식으로 에너지를 사용할 수 있게 하였다.

6) UNESCO (2023) 7) Bosch, A. (1997) 8) 라디오 예치금은 학생들의 중등교육과정을 이수하는 동안 라디오를 판매하지 않고 가정에서 교육을 목적으로 사용할 수 있도록 설정하였다. 이는 라디오의 유지보수를 위해 사용될 금액이며, 라디오를 팔지 않고 학업용으로 잘 사용할 시, 예치금을 전액 돌려준다는 것을 양육자(학부모)에게 교육하였다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 1 사업소개

08

중등교사의 역량 강화를 위해, 시범학교 교 사를 대상으로 원격교육에 관한 워크숍을 진행 하였다. 워크숍을 통하여 교사에게 교육자로서 의 동기를 부여하고, 학생들을 관리하며 학습을 촉진할 방법을 교육하였다. 또한, 워크숍 내용과 가이드를 학교에서 꾸준히 실천하도록 원격 학업 상담 및 성적관리 매뉴얼을 개발하여 학교에 보 급하였다. 이를 통해 교사가 워크숍 이외의 시간 에도 참고할 수 있도록 하며, 쉽고 명확한 가이드 를 제공하여 각 학교가 통일되고 검증된 교수법 사진 1. 태양광 에너지 라디오를 수령한 데자 지역 학생들

으로 학생을 관리할 수 있도록 하였다.

본 사업을 통해 데자 지역 내 중등교육 학습 수단으로 라디오 교육 시스템을 구축하고, 교육 콘텐츠를 제작하여 학생 들에게 양질의 학습 환경을 제공하였다. 또한 교사들을 대상으로 인식개선과 역량강화 세미나를 실시하여 학생들의 전인 적인 성장을 도모하고 학생들을 효과적으로 관리할 수 있게 하였다.

한눈에 보는 '말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량강화 사업'

목적

목표

대상

활동

데자 지역 시범학교 학생들의 학업 성취도 향상

라디오 교육 시스템 구축을 통한 학생들의 학업 접근성 확대

말라위 데자(Dedza) 지역 8개 시범학교 학생 총 2,613명 및 학부모, 교직원

라디오 교육 환경 구축 - 라디오 스튜디오 건물 건축 - 신규 라디오 채널 구축 (MACRA 허가) - 라디오 교육 프로그램 송출 안정화작업

기간/ 예산

시범학교 학생 관리 프로그램을 사용하는 교사들의 증가

라디오 교육 프로그램 콘텐츠 개발 - 교육 방송 커리큘럼 및 편성표 개발 - 라디오 교육 컨텐츠 제작 (영문학, 영문법, 화학, 물리)

2021년 ~ 2023년 (3개년)

라디오 교육 프로그램 실시

교사 라디오 교육 및 학생관리 역량강화 훈련

- 시범학교 라디오 및 교과서 배포

- 교사 대상 라디오 사용법 교육

- 학부모/학생 대상 라디오 사용법 교육 실시

- 교사 대상 원격 학업상담/ 성적관리 교육 실시

- 라디오 교육 프로그램 송출

- 교사용 라디오 교육, 학업상담/ 성적관리 매뉴얼 제작

총 예산 1,380,000,000원

그림 3. 한눈에 보는 '말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량강화 사업'

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

Part 2

09

PART 2 변화이론

변화이론 2.1. 변화이론 소개 '변화이론(Theory of Change)'이란 '어떻게, 그리고 왜 특정 사업이 작동하는지에 대한 이론'이다.9) 변화이론은 활동 과 성과의 관계를 분석하는 방식으로 정의된다. 즉, 장기 성과를 도출하는 활동들의 인과관계를 분석하는 방식을 의미한다. 본 사업에서는 사업 과정을 포함하여 이 같은 변화이론을 도출하였다. 변화이론 내 개별 활동과 성과의 인과적 관계 성립을 위한 가정을 식별하기 위해, 구체적 활동별 관련 사업 보고서 및 학 술논문 등을 검토하고 증거를 수집하였다. 또한, 사업 관계자 인터뷰를 통해 변화이론상 식별되어야 하는 추가적 인과관계 경로, 가정, 맥락 요인 등을 확인하였다. 이처럼 사업에 대한 이해, 관련 선행연구를 통한 증거 수집, 관계자 인터뷰의 과정을 거쳐 아래와 같이 사업의 변화이론을 구축하였다. · 안정적 기자재 작동(Bosch, 2004) · 인허가(Sarma, 2013) · 안정적 방송 송수신(Akinyi et al., 2019)

라디오방송 인프라 구축 완료 교육 프로그램 콘텐츠 개발 완료 라디오 청취방법 교육 완료

라디오 송출/청취 학생의 라디오 보유

양질의 학습 참여 기회 확대(보장)

· 학생의 학업태도 변화(Wang et al.,

(Rahiem, 2020)

커리큘럼 품질관리

(McDonald& Van Der Horst, 2007)

· Follow-up 활동

2013)

· 학생의 학업태도 변화

· 학생 자기효능감 증진(마예원 &

(Chandar & Sharma., 2003)

·학 생의 의지

(Esra & Sevilen, 2021) (Neupane, 2017)

·아 동 학습 독려

·부 모의 지지 및 관심

(Kelo et al., 2013)

(Mansour&Martin, 2009)

· 학생과 교사 신뢰구축 (Salgong et al., 2016)

라디오 배급 완료 라디오 유지보수 (Rahiem, 2017)

체계적 라디오 학습 지원 및 관리

교사 훈련완료 라디오 관련 교육 지식 향상 (Bosch, 1997)

이은주, 2017)

(Wang et al., 2013)

·방 과후 학업시간 보장

· 교사

동기부여(Iloabuchi et al., 2016) · 교사

학생관리 역량 / 자기효능감 증진

학생 학업 성취도 증진 성공사례 공유 및 환류를 통한 정부 동기부여

(Boice et al., 2021)

(Richter et al., 2017)

교육 프로그램 품질 검증

정부의 남부 지역 라디오 송출

기아대책 사업의 성공적 이관

· 관계부처와 협력관계 유지 (Hartmann & Linn, 2008) · 말라위 교육 정책과의 정합성

(McDonald & Van Der Horst, 2007)

말라위 정부 전국 단위 라디오 방송 교육 확대

기아대책이 의도한 성과는 아니나 말라위 정부차원의 변화에 기여

말라위 교육 정책: 라디오교육 확대 계획

경제적 요인: 가구별 경제 상황 등

(Klingner & Boardman, 2013)

최종성과(Final Outcome) 중간성과(Intermediate Outcome) 가정(Assumption) 활동(Activity) / 산출(Output) 맥락요인 인과적 연결 기대하지 않았던 산출 및 성과

인프라 구축 및 방송 송출 관련 제도

말라위 기후 등 환경적 요인

코로나 등의 상황으로 인한 교육 니즈 증가

그림 4. 변화이론

9) Weiss (1995)

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 2 변화이론

10

본 사업 성과평가에서는 신뢰할 수 있는 선행연구를 분석하여 변화 이론상의 인과관계를 사전에 검증하였고, 변화이 론이 사업의 평가 틀로서 기능할 수 있도록 하였다. 이러한 변화이론의 구축과 검증을 통해 사업 설계의 적절성, 효과성 및 효율성, 사업 성과의 지속가능성을 위한 조치 여부 등을 평가하였다. 나아가 사업의 과정과 결과에 영향을 미치는 환경, 문 화 및 사회경제학적 요인과 같은 외부요인과의 관계를 파악하여 분석하였다.

2.2. 논리 모형(PDM) PDM(Project Design Matrix)은 대표적인 논리 모형 중 하나로, 프로젝트의 설계, 실행 및 평가를 위해 사용되는 도 구이다. PDM은 사업을 '투입-활동-산출물-성과-영향'의 선형적 논리 관계로 요약한 표를 뜻한다. 각 단계를 확인하기 위 한 객관적 지표 및 이에 대한 증명 수단, 그리고 각 단계에서 충족되어야 할 가정들이 하나의 표에 포함되어 도식화된다. 기아대책은 본 사업을 진행하는 데 있어 사업 기획 단계부터 PDM을 설계하여 사업 추진 계획을 수립하였다. PDM에 따르면 '데자 지역 시범학교 학생들의 학업 성취도 향상' 영향(Impact) 달성을 목표로 기획되었다. 이와 관련한 기대 성과 (Outcome)로는 '라디오 교육 시스템 구축을 통한 학생들의 학업 접근성 확대' · '시범학교 학생 관리 프로그램을 사용하는 교사들의 증가'가 있으며, 개별활동들을 통하여 이를 달성하고자 하였다.

사진 2. 시범학교 학생 대상 라디오 배급

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

프로젝트 요약

영향 (Impacts)

성과 (Outcomes)

지표

PART 2 변화이론

지표 증명수단

가정

데자 지역 시범학교 학생들의 학업 성취도 향상

- 지역사회 중등학교 (CDSS) 3개 원격교육 과목 (영어, 화학, 물리학) 학업성취도

- 지역사회 중등학교 (CDSS) 중 시범학교의 말라위 중등자격 시험 - 말라위 중등자격 시험 MSCE가 MSCE(Malawi School 국가 교육 일정대로 진행됨 Certification of Education) - 학생들이 MSCE 시험을 치름 영어, 화학, 물리학 시험 통과율의 평균(기초선 성적 평균 대비)

1. 라 디오 교육 시스템 구축을 통한 학생들의 학업 접근성 확대

- 시범학교 라디오 교육 이수율(%)

- 라디오 학습 점검표

2. 시 범학교 학생 관리 프로그램을 사용하는 교사들의 증가

- 시범학교 교사 중 학생 상담 관리 프로그램을 - 학생 상담 일지 운영하는 교사의 비율(%) 1. 신축 라디오 스튜디오 수

1.1. 구축된 라디오 교육 2. 신규 채널 수 채널 및 스튜디오 건물 3. 전계강도 측정 평가보고서

1.2. 개 발된 라디오 중등 교육 프로그램

1. 신 규 제작한 라디오 교육 콘텐츠 수

- 학생들이 지속적으로 라디오 학습을 실시함 -라 디오가 고장나지 않고 작동을 함

- 감리보고서, 결과보고서 - MACRA 라디오 승인 허가증 - 전계강도 측정 보고서

- 방송 스크립트

2. 신 규 송출된 라디오 교육 - 라디오 편성표 콘텐츠 횟수

- 연수 참여 교사가 지속적으로 학생 상담을 실시함

- 현지 방송사 및 건축 인가가 계획대로 진행됨 - 코로나19로 인해 사업장이 폐쇄되지 않음

- 교육청, 파트너기관과의 공동 개발 협의가 계획대로 진행됨

- 학교 선정 및 참여가 계획대로 진행됨 1. 라 디오 교육을 이수한 양육자 수

산출물 (Outputs)

1.3. 라 디오 관리 시스템을 2. 라 디오 사용법 교육을 운영하는 훈련된 이수한 학생 수 8개 지역사회 3. 시범학교에 배치된 중등학교(CDSS) 라디오 수 시범학교 4. 시 범학교에 배치된 교과서 수

2.1. 역량개발 워크숍 이수 교사

1. 라 디오 사용법 교육 (관리 시스템 및 유지보수 포함)을 이수한 교사수

- 교육 출석부, 가정통신문 회신 - 교육 출석부 - 배분리스트 - 학교 수령 확인증

- 학생, 양육자(학부모) 참여가 계획대로 진행됨 - 교사가 라디오 및 교과서를 매뉴얼대로 관리함 - 양육자 교육 참석이 어려운 경우 가정통신문을 통해 해당 내용 전달 - 코로나19로 인한 등교 지연이 발생하지 않고 이동/집회 봉쇄가 발생하지 않음 - 교사 선발 및 참여에 대한 학교 협조가 계획대로 진행됨

- 교육 수료증 리스트

2. 원 격 학업상담/성적관리 교육을 이수한 교사 수

2.2. 개 발된 교사용 라디오 교육 및 원격 학업상담/성적관리 메뉴얼

11

- 코로나 19로 인한 이동/집회 봉쇄가 발생하지 않음 - 훈련 받은 교사가 사직하지 않고 현장을 이탈하지 않음

1. 제작한 매뉴얼 수

- 매뉴얼 제작 원고파일(영문)

2. 배 포한 매뉴얼 책자 수

- 교육부 책자 수령증

- 현지 교육전문가와 매뉴얼 개발 협의가 추진됨 - 현지 교육청 사용 승인이 계획대로 추진됨

표 3. 말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량강화 사업 PDM

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

Part 3

PART 3 평가 기준

12

평가 기준 3.1 . 평가 목적 및 범위 본 사업은 '라디오 교육 청취'라는 단기 목표와 '중등교육 접근성 개선' 및 '아동 학업 성취도 증진'을 중장기 목표로 하였 다. 이를 이루어 가는 과정에서 통제할 수 없는 여러 요인의 영향에 노출되어 있어 평가를 통해 사업의 효과성을 확인할 필요 가 있었다. 특히 라디오 채널의 현지 이관 및 중등교육 사업 확장을 위한 지속 가능성을 고려하고자 하였다. 사업 종료평가에서는 성과 달성 여부뿐만 아니라 추가 성과를 측정하고, 향후 사업의 지속과 확장을 위한 시사점을 도 출했다. 이를 통해 기획 시 의도했던 성과를 확인하고, 모니터링으로 파악하기 어려웠던 성과를 식별하며, 성공적인 사업 지 속 및 확대를 위한 제언을 제공하였다. 사업의 과정과 중/단기 성과를 중심으로 평가가 이루어졌으며, 환경, 문화 및 사회경 제적 요인과 같은 외부요인과의 관계를 파악하여 분석하는 것을 평가 범위로 설정하였다. 더불어, 사업 변화이론의 구축과 검증을 통해 사업 설계의 적절성, 효과성, 효율성 및 성과의 지속가능성을 조사하였다.

3.2. 평가 방법 및 평가 기준 본 사업 종료 평가는 연세대학교 글로벌사회공헌원(신재은 연구교수) 전문가에 의해 문헌조사 및 대면 · 비대면 원격 조 사로 진행되었다. 또한 평가 전반에 걸쳐 조사자료의 내용 및 각 평가진의 의견과 분석 내용을 교차검증하는 삼각 기법을 적 용하였다. 현지 조사의 제약을 극복하기 위해 기아대책 현지 사무소의 협조를 받았으며, 현지 사무소를 통해 설문지 통역 및 설문조사를 수행하였다. 평가를 위한 데이터 수집은 문헌조사, 사업 이해관계자 대상 인터뷰, 교사 및 학생 대상 설문을 통해 이루어졌다. 설문 조사의 경우 총 8개 시범학교의 학생 1,654명, 교사 61명이 응답하였다. 또한 '학업 성취도 증진'이라는 장기적 목적 달성 여 부 확인을 위해서, 기존 모니터링 데이터 및 학교별 2차 통계(MSCE 성적 데이터)도 평가에 활용되었다. 세부적으로는, 라 디오 교육 방송이 구축되어 운영한 시점인 2022년을 기점으로 전후의 MSCE 3과목 성적 등급(영어, 화학, 물리학) 및 합 격 여부(Pass/Fail) 데이터를 활용하였다.

사진 3. 학생 대상 설문조사 현장

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 3 평가 기준

13

본 사업평가는 사업이 발생시킨 부가가치적 효과성을 발생주의적 인과추론10) 에 입각하여, '변화이론 기반 평가' 방법론 을 핵심 분석 방법으로 채택하였다. 사업의 변화이론상 인과관계 검증을 통해 핵심 평가 질문에 대한 평가 결과를 도출했다. 이러한 방법론을 통해 1) 사업이 이론적으로 의도한 성과를 달성할 수 있도록 설계되었는지를 검증하고, 2) 사업 과정상의 문 제점 발생 여부와 실제 추진 과정에 대하여 평가하고, 3) 최종성과 달성 여부/이론적 달성 가능성을 확인하였다. 평가 수행은 '평가 기획 및 설계 → 사업 변화이론 도출 → 사업 과정 평가 & 변화이론 기반 사업 결과 분석 → 평가 결과 분석' 순으로 진행되었다. 객관적인 평가를 위해, OECD DAC의 5대 기준인 '1) 적절성, 2) 일관성, 3) 효과성/영향력, 4) 효 율성, 5) 지속가능성'에 따라 평가를 진행하였다.

'말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량강화 사업' 평가 기준

사업 평가 기준

적절성

· 정책 및 전략적 적절성 · 사업 수요와의 부합성 · 외부요인 식별 여부 · 사업이론의 디자인적 적절성(이론적 타당성)

일관성

· 정부 및 국내 타 기관, KOICA 와의 일관성 · 국제규범 위배 여부 · 타 기관과의 시너지 여부

효과성 /영향력

효율성

지속 가능성

· 계획 대비 산출 달성률 · 계획대비 성과 달성 수준 · 사업이론의 인과관계적 타당성 · 수원국 정부 수요 달성 여부 · 예산 규모의 적절성 및 목적 대비 달성률 · 유사 사업 대비 효율성 · 사업 추진 상 위험관리 활동 적절성 · 과업별 일정, 비용, 기술 투입대비 산출물 달성 여부

· 사업 출구계획 여부 · 현지 역량 및 사업 유지 가능성 여부

그림 5. 사업 평가 기준

10) 발생주의적 인과추론이란, 구체적으로 도출된 사업이론에 기반하여 사업을 구성하는 활동들이 의도하는 성과의 달성으로 이어지는 인과적 매커니즘을 분석하는 형태의 인과추론 방법이다. 이를 위해선 사업의 주요 이해관계자와 사업 과정 및 결과에 영향을 미칠 수 있는 맥락적 요소의 식별이 가능한 사업이론의 구축이 필수적이다. 특히, 사업이론에서 식별한 인과관계 작동을 위해 충족되어야 하는 가정이 신뢰 가능한 이론적 증거들을 통해 식별하는 것이 중요하다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

Part 4

PART 4 평가 결과

14

평가 결과 4.1. 적절성 '적절성'은 본 사업이 국가의 정책, 전략, 사업 수요 등과 적절하게 부합하는지에 대하여 10가지 세부 항목을 이론적 타당 성과 함께 검토하였다. 말라위 국가개발정책, 국가 교육 분야 계획, 한국 정부 국제개발협력정책, 지속가능발전목표(SDGs) 및 사업수요와의 부합성을 평가했다. 또한 외부요인의 적절한 식별 및 반영, 사업의 기술적 타당성 및 적정 기술이 고려되었 는지를 함께 검토하였다. 더불어 교육 콘텐츠와 교사 교육이 적절했는지, 취약계층 및 범 분야 이슈와 적합하게 진행되었는 지를 평가하였다. 그 결과, 전반적으로 적절한 사업으로 평가되었으나 라디오 보급에 있어 경제적인 요인을 고려해야 한다 는 점과 데이터 조사 한계에 관한 제언이 도출되었다.

1) 말라위 국가개발정책 부합성 평가 결과, 말라위 국가개발 전략 및 교육 분야 계획 등, 말라위 국가 개발 정책 기조에 부합하는 사업임을 확인 할 수 있었다. 말라위 국가개발 전략은 주요 중점 영역 5가지 중 하나로 '교육 및 기술 개발'을 설정하였으며, 중등 학교 교육의 질적 개선, 모든 학생을 위한 중등교육 접근성 확대 등을 목표로 제시하였다.11) 본 사업 또한 라디오 교 육 프로그램을 통한 교육 접근성 확대와 교사 훈련을 통한 중등교육의 질적 개선을 목표로 하여, 이러한 국가 정책 에 부합하는 사업으로 볼 수 있다.

2) 말라위 국가 교육 분야 계획 부합성 말라위 국가 교육 분야 계획 및 교육 분야 이행 계획에 따르면 '중등교육의 접근성 개선, 지역사회 중등학교의 역량 강화'가 필요하다고 기술하며, 특히 원격 학습 시행 확대가 필요함을 제시하였다. 본 사업은 원격 학습으로서 라디오 교육을 통해 교육 접근성을 개선하고, 교사 훈련을 통해 중등교육의 질을 제고하기에 말라위 국가 교육 분 야 계획에도 부합하는 사업이다. 또한 코로나19 상황에서 말라위 교육부는 라디오를 통해 학생들이 학습을 지속할 수 있도록 지원하고자 하였으나, 기자재 보급이 저조하고 온라인 접근성이 떨어지는 상황이었다. 본 사업은 이러한 필요를 충족하는 적절한 사업으로 평가되었다.

3) 한국 정부 국제개발협력 정책 부합성 본 사업은 한국 정부가 수립한 국제개발협력 종합기본계획12), KOICA 교육 분야 중기전략(2021-2025)에도 부합한다. 라디오 교육 제공을 통해 교육 접근성이 저조한 데자 지역 청소년의 교육권을 강화하고, 비대면 원격 교 육에 대한 수요에 적절하게 대응하였다. 또한 KOICA 교육 분야 전략목표 1 '학습성과 제고를 위한 양질의 교육'에 정렬되어, 교육격차 완화를 위해 학교 안팎의 청소년을 대상으로 한 라디오 교육과 교과서를 제공하고, 교사 역량 을 강화하였다. 전략목표 2 '미래 역량 개발을 위한 디지털 교육'과도 관련하여, 코로나 시대 이후의 교육 격차를 해 소하기 위해 라디오 매체를 활용한 디지털 교육을 제공하였다.

11) Government of Malawi (2017) 12) KOICA (2021)

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

4) 지속가능발전목표(SDGs) 부합성 본 사업은 지속가능발전목표 4 '모두를 위한 포용적이고 공평한 양질의 교육 보장' 및 세부목표(SDGs 4.1, 4.4, 4.5, 4.6)에 부합하는 사업이다. 라디오 교육 방송이 모두에게 공평하게 송출되기에 포용적이며, 말라위 현지 콘텐 츠 대학 교수진을 통해 양질의 교육 프로그램이 개발되고 품질 검증이 완료되었다. 말라위의 경우 취업 및 상급학 교 진학에 있어 MSCE 합격이 필요하고, 이를 통해 실무 영어 능력을 갖추었다고 인정된다. 따라서, 말라위 청소년 들의 취업에 중요한 영어, 화학, 물리 교과에 대한 교육 프로그램을 제공한 점도 적절하였다.

지속가능발전목표

SDGs 4.1

SDGs 4.4

세부 목표 내용

모든 남녀 청소년에게 평등한 양질의 초중등교육을 제공함

사업 내 부합 내용 - 정규 중등학교 1-4학년 교육과정 및 교과서를 분석하여 4과목(영문학, 영문법, 화학, 물리) 교육 콘텐츠를 개발함 - 학업 이수율 및 학업 성취도 증진을 목표로 함

2030년까지 양질의 일자리에의 취업을

- 말라위 청소년들의 취업에 중요한 영어, 화학, 물리 교과에

위한 관련 기술을 가진 청소년을 양성함

대한 라디오 교육 프로그램을 제공함

- 교육 접근성이 상대적으로 취약한 데자 지역의 지역사회

SDGs 4.5

2030년까지 교육 성취 및 접근성에서의

중등학교를 사업 대상으로 하여 교육 접근성 격차를 완화함

성별 · 장애 · 민족 간 격차를 제거함

- 여성 청소년 등 취약 상황에 놓인 청소년들도 고려하여 사업을 기획함

SDGs 4.6

2030년까지 모든 청소년이 문해력 (literacy)을 갖출 수 있도록 함

- 말라위의 공용어는 영어이며, 본 사업의 라디오 교육 프로그램 4과목 중 2과목이 영어 및 영문학임 - 데자 지역 청소년이 영어 문해력을 갖출 수 있도록 사업을 기획함

표 4. 사업 내 지속가능발전목표(SDGs) 부합 내용

5) 사업수요 부합성 본 사업은 데자 지역 내 양질의 교육 및 교육 접근성에 대한 수요를 가진 지역사회 중등학교 학생, 학부모 및 교 사의 수요에 부합하는 사업이다. 교육부 관계자 서면 인터뷰에 따르면, 본 사업은 교육 접근성 증진 및 원격 교육에 대한 말라위 현지의 높은 수요에 부합하는 사업이라고 설명하였다. 지역사회 중등학교에는 교사 역량 강화에 대한 수요 또한 존재하였다. 이에 본 사업은 교사 교육 요소를 포함하고 있기 때문에 교사 역량 강화 측면에서도 지역사 회 수요에 부합하는 사업이다.

6) 외부 요인의 적절한 식별 및 반영 본 사업은 사업 지역의 사회경제적 배경, 환경요인 등 외부 요인의 영향 가능성을 식별하여 사업 계획을 논리적으 로 수립하고 적절히 수행한 사업으로 평가되었다. 우선, 지역 사회의 환경을 고려하여 라디오 스튜디오 및 송신소 부 지를 선정하였다. 데자 지역의 높은 중퇴율 문제와 그 원인(교육비 부담, 학교와의 거리 등)을 파악하였고, 지역 내 산 지가 많아 학교 및 교육 시설에의 접근성이 낮은 점을 고려하여 라디오를 사용한 원격 교육을 적절하게 제공하였다.

15

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

또한 데자 지역 지역사회 중등학교의 사회경제적 배경을 적절하게 고려하였다. 교육부 관계자 서면 인터뷰에 따르면, 다른 종류의 중등학교에 비해 공립 지역사회 중등학교는 교육 공간 및 교육 자료에 있어서 상대적으로 지 원이 필요한 취약한 상황이었다. 본 라디오 교육 사업은 이러한 상황을 고려하여 지역사회 중등학교 학생들에게 적 절한 지원을 하는 사업이라고 볼 수 있다.

7) 사업의 기술적 타당성 및 적정 기술 여부 본 사업은 말라위 현지 여건에 적절한 적정 기술을 사용하였으며, 현지에 적절한 교육 매체와 내용을 선정한 사 업이다. 라디오 스튜디오 건축에서부터 라디오 교육 콘텐츠 개발, 라디오 프로그램 송출, 학업 상담 및 학생 관리에 대한 교사 교육에 이르는 다양한 활동을 종합적으로 시행하여 양질의 교육 접근성 강화를 도모하였다. 말라위 현지 업체와 기술을 활용해 라디오 스테이션 및 송신타워를 건축하였으며, 감리 업체 또한 현지 업체로 선정하여 현지에 적합하게 건축이 완료되었는지를 검사하였다.

8) 교육 콘텐츠 적절성 본 사업은 현지에서 보편적인 매체인 라디오를 사용하여 청소년들이 학업을 지속할 수 있도록 현지에 적절하 게 기획하였다. 교육 콘텐츠 개발 역시 현지 대학 교수진을 통해 이루어졌기 때문에 현지 수준 및 수요에 맞게 구성 되었다. 교육부 관계자 인터뷰 결과, 교육 콘텐츠의 품질에 대한 높은 신뢰도를 확인하였다. 이는 학생들의 설문 응 답을 통해 교차 검증되었다. 학생들의 응답 중, '라디오 교육 내용이 재미있었다' · '라디오 교육을 듣는 데 필요한 자 재가 충분히 제공되었다' · '라디오 교육이 체계적으로 제공되었다' · '라디오 교육을 통해 배운 내용을 스스로 확인 할 수 있었다' 등의 항목에 긍정적인 응답 수가 많았다. *'좋음, 매우 좋음'의 응답을 긍정적인 응답으로 간주함.

라디오 교육 커리큘럼이 학교수업과 일치함

59%

학교 수업에서 어려웠던 내용을 이해할 수 있었음

66%

라디오 교육이 듣기 재미있었음

71%

라디오 교육이 이해하기 쉬운 언어로 제공됨

30%

라디오 교육을 통해 배운 내용을 확인할 수 있었음

61%

라디오를 듣기 위해 필요한 자재가 충분히 제공되었음

66%

라디오 교육이 체계적으로 제공되었음

55%

그림 6. 라디오 커리큘럼에 대한 학생들의 평가

16

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

17

PART 4 평가 결과

9) 교사교육 적절성 본 사업은 지역사회 중등학교 교사들의 역량을 강화하는 목표를 달성하기에 적절한 활동으로 구성되었다. 교 사 워크숍을 통해 라디오 사용법을 교육하여 학생들의 라디오 교육 청취를 지원할 수 있도록 하였으며, 학업 상담 및 학생 관리에 대한 교육을 통해 교사들의 교육 역량을 강화하였다. 시범학교 교사 대상 설문 결과, 교사 역량 강화 교육은 라디오 사용법에 대해 학습하기에 내용이 충분하였고, 워크숍을 통해 라디오 사용법에 대해 교사들이 학습할 수 있었다고 응답하였다(87%). 또한 교사 역량 강화 워크 숍을 통해 '학생 상담의 중요성을 깨달았다' · '학생 목표설정의 중요성을 깨달았다' · '학생에의 심리적 지지의 중요 성을 깨달았다'고 응답하여, 교사가 학생 관리 역량 및 라디오 교육 관리 역량을 증진할 수 있도록 적절하게 활동을 구성하였음을 알 수 있다.

동의하지 않음

2%

매우 동의하지 않음

2%

(단위: 명)

40 35

보통

9%

34

30

매우 동의함

30%

25

24

20 15

동의함

44%

5 0

그림 7. 교사 워크숍 내 라디오 사용법 학습 여부

16

10

10

4

학생 관리의 학생 상담의 학생 목표 학생 심리적 기타 중요성 중요성 설정의 중요성 지지의 중요성

그림 8. 교사 워크숍 참여 후 깨달은 점

10) 취약계층 및 범 분야 이슈에의 부합성 본 사업은 수혜자 선정 시 성차별 없는 교육 기회를 제공하였고, 대상자의 취약계층 여부를 검토하였다. 사업 대상지 및 대상 학교 선정 시 취약성을 고려하였고, 중등교육의 접근성이 취약한 데자 지역 학교들 중에서도 시설 및 교사 역량 측면에서 상대적으로 취약한 지역사회 중등학교(CDSS) 8개를 대상으로 하였다. 또한 지역 내 여성 청소년들의 높은 중퇴율을 고려하여, 여성 청소년들이 원격으로도 학업을 보충할 수 있도록 하였다. 학생 대상 설 문을 분석한 결과, 라디오 소지 여부 · 라디오 교육 방송 정기적 청취 등 사업 참여에 대한 전반적인 결과가 남녀 간 에 유사하였고, 라디오 청취의 성별 간 평균 차이도 통계적으로 유의한 차이가 보이지 않았다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

18

4.2. 일관성 '일관성' 평가에서는 본 사업이 정부 및 국내 타 기관, KOICA 사업 간 연계 및 시너지효과 등을 고려하여 중복요소 없이 조화롭게, 일관적으로 기획되었는지를 확인하였다. 한국 정부 및 다른 기관의 사업 간의 연계 및 시너지 효과, 국제규범과의 일관성, 기아대책 비교우위를 기반으로 한 시너지 효과 창출을 중점적으로 일관성을 평가하였다.

1) 한국 정부 및 타기관 사업 간의 연계 및 시너지 효과 본 사업은 한국 정부, 국내 타 기관, KOICA/기아대책 타 사업과의 관계와 상호보완성을 고려하여 기획되었다. 한국 정부 ODA 사업인 '말라위 여성 청소년 성적 권리 강화 및 사회적 자립 통합지원 사업(KOICA-UNFPA, 2020-2024)'과 '브릿지 2단계 사업- 말라위 모델 지역학습센터 운영을 통한 비형식 교육 역량강화 사업(KOICA, 2021-2025)'과 함께, '말라위 전역의 포용적인 양질의 교육 기회 보장'이라는 비전하에 원조 조화를 이루고, 교육 권을 증진할 수 있다. 한편, 말라위에 지원 중인 타 공여 기관의 라디오 교육 사업으로는 초등학생을 대상으로 한 USAID의 긴급 라디오 교육 사업(Emergency Radio Education Program)이 있다. 따라서 사업 대상이 중등학 생인 본 사업과는 사업 범위가 중복되지 않고 상호보완적으로 연계될 수 있다.

2) 국제 규범과의 일관성 본 사업은 추진 과정에서 반부패법, 인권 협약 등 한국 정부가 준수하는 국제 규범에 위배되지 않으며, 유엔아 동권리협약(UNCRC)13), 여성에 대한 모든 형태의 차별철폐에 관한 협약(CEDAW)14) 등 남녀 아동의 교육권을 주 장하는 국제 협약에 부합한다. UNCRC 28항은 교육에 대한 아동의 평등한 권리를 명시하고 있는데, 본 사업은 중 등교육에 대한 아동의 접근성을 향상하고 학업 중퇴율을 감소하기 위한 사업으로 이에 부합한다. CEDAW 10항은 교육에 대한 남녀의 평등한 권리를 명시하는데, 본 사업은 남녀 청소년에게 동일한 라디오 교육 프로그램을 제공하 여 여자 청소년의 교육 권리 또한 보장하는 사업이라고 볼 수 있다.

3) 기아대책의 비교 우위를 기반으로 한 시너지 효과 창출 기아대책 말라위는 2013년부터 말라위 정부가 정식으로 등록한 NGO로, 말라위 정부와의 오랜 우호적인 관 계와 사업 경험을 비교 우위로 가지고 있다. 기아대책 말라위 사무소는 말라위 내에서 유치원 · 초등 · 중등학교를 대상으로 다양한 교육 사업을 전개해 왔으며, 데자 지역에서도 5개 이상의 교육 · 보건 · 긴급구호 사업을 진행해왔 다. 또한 해외아동 개발사업(Child Development Programme, CDP) 및 교육 사업에의 경험 등을 가지고 있다. 본 사업은 기아대책 말라위와 교육부와의 협업 관계, 현지에 대한 이해를 기반으로 시너지를 창출하여 현지에 적합 하고 지속 가능하게 사업을 추진하였다고 평가할 수 있다.

13) United Nations Convention on the Rights of the Child (UNCRC) (1989) 14) Convention on the Elimination of All Forms of Discrimination against Women (CEDAW) (1979)

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

19

4.3. 효과성/영향력 본 사업의 '효과성/영향력'을 확인하기 위해, PDM에서 제시한 성과들의 달성 정도와 변화이론의 구현 등, 계획 대비 달 성 수준을 평가하였다. 변화이론에서 식별된 산출 및 성과에 대해 평가가 진행되었으며, 변화이론 분석을 통해 각 산출 및 성과 단계로 이어질 수 있는 가정을 검증하고 산출과 성과 간의 인과적 연결고리를 확인하였다. 구체적으로는 단기산출물 (Output), 중간성과(Outcome), 최종성과(Impact)가 달성되었는지를 최초의 계획과 대비하여 확인하였다. 특히, 최종성과 평가를 위하여 사업 도입 전후로 학생들의 MSCE 학업 성취도가 달라졌는지를 검증하였다. 라디오 교 육 본격 도입 시점인 2022년을 기준으로 학생들의 학업 성취도를 두 그룹으로 나누어 영어, 화학, 물리의 MSCE 시험 성 적, MSCE 통과 여부, 과목별 사업 전후 성적을 비교하였다. 결과적으로, 사업 전 대비 사업 후 MSCE 통과 여부 및 과목 성 적이 상승한 것을 확인할 수 있었다.

4.3.1. 단기 산출 달성 여부 평가 라디오 방송 인프라 구축 & 교육 방송 송출 라디오 교육 프로그램 콘텐츠 개발 시범학교 라디오 교육 운영 및 라디오 배급 교사 라디오 교육 및 학생 관리 역량 강화 훈련

본 사업의 변화이론에서는 라디오 송출과 청취를 주요 산출물이자 단기 성과로 식별하였다. 이는 라디오 방송을 위한 제반 시설 작업 완료 및 안정적 방송 송출, 콘텐츠 제작, 라디오 배급 및 교사 훈련을 포함하여 학생들의 라디오 청취까지의 일련의 과정을 아우른다. 목표한 산출물은 전반적으로 달성되었으며, 동 사업에 의한 성과인지 확인하기 위해 라디오의 유 지보수 · 방과 후 학업 시간 보장 · 학생의 라디오 교육을 위한 의지 · 부모의 지지 및 관심 · 커리큘럼 품질관리를 포함한 가정 의 충족 여부를 확인하였다. 효과적인 성과 달성의 이유로는 학생들의 교육 참여 의지, 교사와 학부모의 지지, 그리고 학생들의 커리큘럼에 대한 만 족도가 주요 요인으로 분석되었다. 다만, 학생들이 라디오를 꾸준히 유지보수 하는 데에 어려움이 있는 것으로 보이므로, 라 디오가 계속 작동할 수 있도록 지속적인 확인과 관리 방안 마련이 필요하다고 판단된다. 추후 라디오 배급 및 부모 대상 사업 홍보가 보완된다면 라디오 교육 청취율 개선으로 이어질 것으로 기대된다.

1) 라디오 방송 인프라 구축 & 교육 방송 송출 사업 1차년도에 방송 송출을 위해 라디오 스튜디오 및 필요 시설(송신소, 주조정실, 안테나, 울타리, 기자재 등)의 건축 을 완료하였고, 안정적인 방송 송출의 검증을 위해 라디오 방송 인증기관의 평가 및 월 1회 송신타워 모니터링을 진행하였 다. 2차년도 상반기에는 말라위 라디오 방송 인증기관인 MACRA15) 에 신규 채널 승인 및 사용권을 받아 라디오 프로그램 을 제공하였다. 라디오 교육 제공을 위한 제반 인프라 작업이 계획대로 진행되었고, 기술적 문제를 방지하기 위해 품질검증 을 정기적으로 진행하였다.

15) Malawi Communications Regulatory Authority(MACRA), 말라위 라디오 방송 인증 기관

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

20

사진 4. 라디오 스튜디오 개소식

라디오 방송 송출은 방송의 안정성 및 일정대로 송출되었는 지를 통해 확인하였다. 라디오 방송 청취 학생 대상 설문 결과, 방

동의하지 않음

매우 동의하지 않음

9%

6%

송이 안정적으로 제공되었다고 응답한 학생의 비율은 총 51%를 차지하였다. 또한 라디오 방송이 사전에 배포된 일정대로 송출되 었는지를 묻는 질문에는 총 53%가 동의하여, 계획대로 송출된 것으로 판단된다. 설문조사 결과에 따르면, 송출 품질이 좋다는 의견 및 수업 속도가 적절하다는 응답이 많았다.

2) 라디오 교육 프로그램 콘텐츠 개발

매우 동의함 보통

34%

19%

동의함

32% 그림 9. 라디오 방송의 안정성

라디오 교육 콘텐츠 기획 및 커리큘럼 제작 시, 말라위 내 교육 전문 대학인 나리꿀레 대학교와 협업 하에 각 과목 전문 가를 투입하였다. 물리 · 화학 · 영어 · 영문학 과목의 4개 학년 (form 1~4) 대상으로 1차년도 201개, 2차년도에는 413개, 총 614개의 라디오 교육 콘텐츠를 제작하였다. 또한 나리꿀레 대학과의 정기 회의를 통해 라디오 교육 프로그램 제작 현황 을 수시 확인하며, 재녹음이 필요한 콘텐츠를 선별하여 재녹음을 진행하는 등 콘텐츠의 내용과 품질을 관리하였다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

21

3) 시범학교 라디오 교육 운영 및 라디오 배급 라디오는 매년 학생들에게 제공되었으며, 1차년도에는 1 · 2 · 3학년 전체 학생 대상, 2차년도에는 1학년 및 2 · 3학년 미 수령자, 3차년도에는 1학년 및 취약계층 아동 대상에게 배분하였다. 위와 같은 기준으로 라디오를 지급하여 신규 학생 및 미 수령자도 라디오를 공급받을 수 있도록 하였다. 학생 설문에 따르면, 학생 중 62%가 라디오를 보유하고 있는 것으로 판단되 며 전체 응답자 중 기아대책이 제공한 라디오를 보유한 비율은 61%에 이른다. 기아대책의 사업의 일환으로 라디오를 제공 받은 학생들이 과반수로 확인되어 라디오 배급은 충분하였다고 평가하였다.

사진 5. 시범학교 학생 대상 라디오 교육

필요하지 않음

2%

4) 교사 라디오 교육 및 학생 관리 역량 강화 훈련 교사 훈련 워크숍은 1차년도 하반기부터 매 반기 시행하였다.

1차년도에는 총 101명, 2차년도에는 75명, 3차년도에는 80명의 교사가 수료하였으며 일정대로 개최되었다. 설문에 응답한 61명 의 교사 중 95%가 워크숍에 참여한 것으로 나타났다. 워크숍에서 는 교사들을 대상으로 라디오를 조작하는 방법 및 학생들에게 안내 하는 방안을 교육하였다. 이 같은 교육 내용이 충분하다고 응답한 교사의 비율은 약 93%를 차지하였고, 96% 이상의 교사가 워크 숍에서 라디오 사용법에 대해 학습하였다고 응답했다. 워크숍에서

보통

3%

전혀 필요하지 않음

2%

필요함

20% 매우 필요함

73%

라디오 교육과 관련하여 충분한 교육을 제공하였고, 이를 통해 교 사들이 관련 지식을 습득한 것을 확인할 수 있었다.

그림 10. 학생 대상 라디오 교육 필요 여부 설문

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

22

나아가 교사가 실시한 원격 학업 상담 및 학급관리에 대한 피드백을 공유하여, 교사들에게 동기를 부여하였다. 학업 상 담에 대해 교사간 상호 피드백을 나누었고, 학업 상담일지 및 관리하는 라디오 체크리스트를 분석하여 각 교사에게 피드백 을 공유하였다. 많은 교사들이 학업 상담뿐만 아니라 생활 및 진로상담을 함께 진행하면서 학생들을 이해하는 데 큰 도움이 되었고, 학생들과의 관계성이 강화되었다고 보고하였다. 이는 가정 및 학교에서의 태도 개선 및 학업 의지 강화 등으로 이어 지고 있다는 긍정적인 의견이 있었다. 또한 교사-학생 간 관계의 긍정적 변화를 바탕으로 실질적으로 학생의 학업을 돕는 기회도 증대되었다. 워크숍 후 설문 조사에 따르면, 교사들은 학생상담(56%)과 학생 목표설정(39%)의 중요성을 깨달은 것으로 확인된다. 또한 학생들을 심리 적으로 지지하는 것(26%)에 대한 중요성도 습득한 것으로 보인다

사진 6. 교사 대상 워크숍

이와 같이, 단기성과가 효과적으로 달성될 수 있었던 주요 이유로는 다음의 세 가지가 있다. 첫째, 학생들의 라디오 교육 에 대한 의지가 매우 높았다. 학생들은 거의 모두 라디오 교육이 필요하다고 인식하고 있는 것으로 확인되었다. 응답한 학생 중 약 73%가 '라디오 교육이 매우 필요하다'고 응답했으며, '전혀 필요하지 않다' 혹은 '필요하지 않다'고 응답한 경우는 전체 응답자 중 약 3.7%에 불과했다. 또한 라디오 교육이 필요하다고 응답한 경우, 높은 비율의 학생들이 복습과 성적 향상에 도 움이 되기 때문에 라디오 교육이 필요하다고 응답하였다

둘째, 교사들과 학부모의 라디오 교육에 대한 적극적인 지 지가 있었다. 교사 설문 중에서도, 대다수 교사도 학생들이 라디

동의하지 않음

매우 동의하지 않음

5%

3%

오 교육에 대한 의지가 있다고 인식하고 있다는 것을 확인할 수 있다. 학생들이 라디오 교육에 참여할 의지가 있는지 묻는 문항 에서 '동의함 ~ 매우 동의함'에 응답한 교사가 76%를 차지하였 다. 또한, 학부모들도 전반적으로 라디오 교육에 대한 태도로 '긍

보통

매우 동의함

16%

33%

정적 ~ 매우 긍정적'으로 응답한 비율이 54%를 차지하였다. 부 모의 관심 및 지지가 학생의 라디오 청취와 관련되어 보이는 결 과도 확인되었다.

동의함

43% 그림 11. 교사 대상 학생들의 라디오 교육 참여 의지 설문

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

23

셋째, 대부분 학생이 라디오 교육 커리큘럼에 대해 긍정적이었다. 많은 학생이 라디오 교육을 통해 학교 수업에서 이해 하기에 어려웠던 내용을 추가로 이해할 수 있었다고 응답하였다. 라디오 교육이 듣기 재미있었다는 응답과, 라디오 교육 커 리큘럼이 학교 수업과 일치하였다는 항목도 높은 비율을 기록하였다. 이처럼 커리큘럼 품질 평가의 다양한 항목에 학생들 대 부분 긍정적인 평가를 주고 있음을 확인하였다.

한편, 더욱 효과적인 단기 성과 창출을 위한 몇 가지 개선 사항이 확인되었다. 우선, 라디오 기기를 보유하지 못한 가정 에 대한 라디오 교육 접근성이 개선되어야 한다. 해당 가정들을 대상으로 라디오를 보유하지 않는 이유에 대해 조사한 결과, 예치금에 대한 부담과 라디오 보급 시기를 놓쳤다는 이유가 높은 비율을 차지하였다. 예치금 수준은 현지 논의 후 결정되었 지만, 이에 대한 추가적 논의가 필요한 것으로 확인되었다. 라디오 보유율이 아직 60%대에 머물러 있기 때문에 향후 라디 오 보급에 대한 적극적인 홍보 · 전학생 대상 추가 지급 · 경제적 취약 가정 아동 대상 무상 지급 등의 방안 고려가 요구된다.

사진 7. 학부모 대상 라디오 교육

이외에도, 효과적인 라디오 교육 활성화를 위하여 부모들의 인식 개선이 필수적이다. 부모들의 경우 라디오 교육에 대 해서는 대체로 긍정적이었으나, 기아대책의 라디오 교육 사업을 알지 못하는 부모의 비율이 일부 있었다(22%). 따라서 학 부모를 대상으로 한 기아대책 라디오 사업 홍보 및 인식 향상 활동을 통해 더욱 적극적인 부모의 지지와 학생 참여를 촉구하 는 것이 필요할 것이다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

24

PART 4 평가 결과

4.3.2. 중간성과 달성 여부 평가 라디오 교육 시스템 구축을 통한 학생들의 학업 접근성 확대 시범학교 학생 관리 프로그램을 사용하는 교사들의 증가

변화이론을 기반으로 식별된 중간성과는 '라디오 교육을 통한 양질의 학습 참여기회 확대'와 '체계적인 라디오 학습 지 원 및 관리 증진'이 있다. 평가 결과, 라디오 교육 방송이 학생들이 기존 수업 시간에 미흡하다고 느꼈던 부분을 일부 해소해 주어, 라디오를 통한 학습 참여기회가 확대되었음을 확인하였다. 더불어, 교사들이 라디오 학습을 지원하고 라디오 청취를 독려하여 학생들의 학습 참여 기회 확대에 기여하였다.

1) 양질의 학습 참여 기회 확대 먼저 학생들이 학업에서 어려움을 느끼는 부분을 파악하기 위한 설문이 선행되었으며, 그 결과 대부분의 학생이 학교 수업을 이해하는 데 어려움을 느끼고 있었다(82%). 이 중 약 64%의 학생들이 라디오를 청취하고 있다고 응답하여, 학교 수 업에서 어려움을 느낄수록 라디오 청취가 필요함을 알 수 있었다. 라디오를 청취하는 학생들은 라디오 교육을 듣는 이유로 '수업 시간에 이해하지 못한 내용에 도움을 준다'는 응답이 가장 많았고, 다음으로는 '성적향상에 도움을 준다' · '학교 수업 예 습 및 복습에 도움을 준다' 순으로 응답하였다. (단위: 명)

180 160 140 120 100

151

173

135

80 60 40

54

20 0

32 학교 수업 예/복습에 도움

성적향상에 도움

학교 수업 내용 이해에 도움

부모님이 좋아하심

기타

그림 12. 학생 대상 라디오 교육 청취 이유 설문 결과

일반적으로 학교 수업을 이해하기 어려운 원인으로는 '교과서가 없다는 것(35%)'이 가장 큰 비율을 차지하였으며, 그 외 '건강상의 이유' · '이전 수업을 이해하지 못함' · '수업 내용이 명확하지 않음' · '교실에 학생이 너무 많음' 등의 이유가 있었 다. 이와 같은 수업의 방해 요인 중, '교실에 학생이 너무 많은 경우' · '이전 수업을 이해하지 못한 경우' · '수업 내용이 명확하 지 않은 경우' 순으로 라디오 교육을 통하여 나아졌다고 응답하였다. 학생이 너무 많은 경우 교실에서 집중하기가 어렵고 쉽 게 방해받을 수 있는데, 라디오 교육을 통하여 이러한 환경이 해소된 것이라 보인다. 또한, 이전 수업을 이해하지 못한 경우나 수업 내용 자체가 어려운 경우 라디오 교육으로 수업 내용을 복습하고 보완할 수 있었던 것으로 판단되었다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

25

사진 8. 라디오를 배급받은 시범학교 학생들

2) 체계적 학습 지원 및 관리 증진 라디오 교육의 효과 창출을 위해선 라디오 송출과 더불어 라디오 청취에 대한 지속적 독려와 관리가 필요하다. 교사 설문 결과, 이를 위해 학생 별로 청취 현황을 기록한다는 응답이 가장 높았다(49%). 또한 대부분 교사는 과목별 청취 빈도 기록, 학 생 대상 구두 확인 등의 방법으로 학생들의 라디오 청취 여부를 모니터링 및 관리하는 것으로 드러났다. 학생 입장에서도 교 사가 라디오 교육에 대해 적극적으로 고지 하였으며, 라디오 정기적 청취 여부와 상관없이 교사가 라디오 교육에 대해 지속적 으로 안내 및 관리를 한 것으로 판단된다. 따로 관리하지 않음

라디오 교육 청취 여부를 확인하는 방법은 체크리스트가 가 장 높은 비율을 차지하였다. 교사 대상 설문조사 결과, 85%의 교사들이 라디오 교육 참여 독려를 위해 라디오 교육 체크리스트 를 정기적으로 수집하고 있었다. 학생 설문의 결과에서도, 전반 적으로 교사가 라디오 교육에 관심을 가지고 체크한다고 응답한

기타

13%

13%

경우가 75%를 차지하였다. 또한 약 79%의 교사들이 라디오 교 육 청취를 학생 평가 항목으로 고려한다고 응답했다. 다만, 교육 이수 시 보상하거나 칭찬한다고 응답한 경우는 약 37%에 불과 하여, 라디오 교육 참여율 증진을 위해 긍정적인 인센티브를 제

과목별 학생의 청취빈도 기록

학생별 청취 기록

48%

26%

공하는 방안을 고려해 볼 수 있다. 그림 13. 교사들의 학생 라디오 교육 청취 관리 방법

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

변화이론 가정 검증

단기성과인 '라디오 방송 송출 및 청취'가 중간성과인 '양질의 학습 참여기회 확대'로 이어지기 위한 가정으로는 '학교 수업과의 연계' · '학생의 학업태도 변화' 등이 식별되었다. 라디오 수업의 효과를 극대화하기 위해서는 라디 오 수업 내용과 학교 수업을 연계하는 것이 필요하다. 라디오 교육을 연계한 교사들의 경우, 라디오 교육 내용에 대 한 질문을 받거나 숙제를 내는 등의 활동을 한 것으로 확인되었다. 그러나 라디오 교육과 학교 수업을 연계하지 않 는 교사들이 과반수(54%)로 나타났다. 따라서 라디오 교육과 수업 연계 방안을 다양화하고 안내하는 등, 교사들 의 라디오교육과 수업 연계에 대한 일관적인 조치가 필요하다고 판단된다. 교사 훈련의 중간성과인 ‘체계적 라디오 학습지원 및 관리 향상’이 달성되기 위해선 ‘라디오 관련 교육지식 향 상’ · ‘교사 동기부여’ · ‘교사 학생 관리 역량 증진’ · ‘교사 자기효능감 증진’ 등의 가정이 충족되어야 한다. 이러한 가 정은 교사 교육 및 역량 강화 워크숍 사후 설문조사를 통해 충족되었음을 확인하였다. 특히, 워크숍 참석 이후 교사 들은 전반적으로 자기효능감이 긍정적으로 변화한 것으로 확인되었다. 교사의 40%가 라디오 사용 방법을 더 잘 알게 되었고, 긍정적인 변화가 있었다고 응답하였다. 다른 문항들에서도 유사한 추세가 확인되어, 교사의 라디오 교육 및 일반 학생 관리 관련 자기효능감이 긍정적으로 변화했다고 평가할 수 있다.

사진 9. 교사 역량 강화 워크숍

교사들의 학생 관리 역량 또한 강화되고 있음을 확인하였다. 교사들은 대부분 정기적으로 학생 관리를 위한 스 케줄을 할당해 두고 있어, 학생 상담을 본인의 업무 중 하나로 인식하고 있었다. 교사들의 대부분은 학생 상담 시 학 생들의 이야기를 경청하고, 열린 질문으로 분위기를 조성하는 방법을 택하였다. 상담 전략과 관련된 모든 문항에서 긍정적인 결과를 보여주어, 교사들이 학생 관리를 위한 역량을 보유하고 있는 것으로 평가되었다. 교사들의 '라디오 학습지원 및 관리 향상'이 학생 입장의 중간성과인 '학습 참여기회 확대'로 이어지기 위해선 '학생과 교사 간 신뢰 구축' 및 '아동 학습 독려'의 가정이 충족되어야 했다. 이와 같은 여러 가정도 대부분 충족된 것 으로 평가되었다. 교사 워크숍 이후 교사들은 학생 상담에 대한 중요성을 습득하였으며, 동기부여가 된 것으로 확 인되었다. 설문 결과를 통해 교사와 학생 간의 신뢰가 상담 활동을 통해 증진되고 있다고 평가되었다. 교사와 학교 생활에 대해 편하게 얘기할 수 있는지, 정기적으로 상담을 하는지, 이야기를 잘 들어주는지, 나의 진로에 관심이 있 다고 느껴지는지 묻는 모든 문항에서 77% 이상의 학생들이 동의하였다.

26

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

27

4.3.3. 최종성과 달성 여부 평가 데자 지역 시범학교 학생들의 학업 성취도 향상

'말라위 데자 지역 라디오 교육 방송 구축을 통한 중등교육 역량 강화 사업'의 최종성과로는 '학생의 학업성취도 증진' 를 달성하고자 하였다. 최종성과 달성 여부를 검증하기 위해 말라위 전역에 동일하게 적용되는 졸업시험인 'MSCE(Malawi School Certification of Education)' 데이터를 분석하였다. 그 결과, 라디오 교육 도입을 기점으로 데자 지역 학생들의 MSCE 성적 및 합격률에 유의미한 긍정적 변화16)가 있는 것으로 나타났다. MSCE 합격률과 과목별 평균 성적이 향상하였 으며, 이와 같은 변화는 라디오 교육 도입 전후로 유의미한 것을 확인하였다. 세부적으로는 2018년~2023년 동안의 데자 지역 8개 시범학교 학생 2,229명의 MSCE 합격/불합격(Pass/Fail) 여부, 영어/물리/화학 과목별 등급 변화 여부를 분석하였다. 그 결과, 다음과 같은 결과가 도출되었다.

60 50 40 30

45.6%

54.3%

20 10 0

사업 전

사업 후

그림 14. 라디오 교육 도입 후, MSCE 합격률 변화

첫째, 불연속 회귀 그래프 분석에 따르면, 기아대책 라디오 교육 사업 시행 전후로 전반적으로 불연속적인 성적 변화가 있는 것으로 나타났다. MSCE 합격률, 영어 시험 성적, 물리 시험 성적, 화학 시험 성적은 모두 본 사업을 기점으로 증가하 는 추세를 보였다. 이는 기아대책 라디오 사업이 학생들의 성적 향상 및 MSCE 합격률 향상에 유의미하게 기여했음을 시사 한다. 다만 언어 과목(영어)에 비해 실습 및 물리적 교육이 필요한 과학 과목(물리, 화학)의 효과는 상대적으로 덜할 수 있음 이 발견되었다. 둘째, 단계적 회귀분석(Stepwise Regression) 결과, 라디오 교육 사업은 학생들의 MSCE 합격률에 통계적으로 유의 미한 영향을 미치는 것으로 나타났다. 남학생에 비해서는 여학생의 MSCE 합격률이 낮았고, Champagnat 학교는 타 학교 들에 비해 상대적으로 합격률이 높은 것으로 확인되었다. 셋째, t-test 분석 결과, 학생들의 MSCE 합격률 및 과목별 성적은 사업 전후로 통계적으로 유의미한 변화를 보였다. 이를 통해 본 라디오 사업이 학생들의 성적 향상 및 합격률 향상에 기여하였다고 이야기할 수 있다. (부록: 연구결과 참고)

16) 카이제곱 검정 및 t-test 결과에 따르면, MSCE 합격 여부와 각 과목별 평균 성적이 증가하였으며 이 같은 변화는 라디오교육 도입전후로 유의미한 것을 확인할 수 있음.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

28

PART 4 평가 결과

변화이론 가정 검증

사업 집행체계는 변화이론상의 중간 성과를 달성한 것으로 나타났다. 또한 이를 달성하기 위한 산출 및 가정이 모두 인과적 관계를 가지고 성과 달성에 기여하였다고 확인되어, 집행체계가 효과적이었다고 평가되었다. 중간 성 과인 '양질의 학습 참여 기회 확대'가 최종 성과인 '학생 학업 성취도 증진'으로 이어지기 위해서는 자기효능감이 증 진되고 학업태도가 긍정적으로 변해야 하는 가정이 충족되어야 한다. 양적 · 질적 데이터 분석 결과, 최종 성과로 이어지기 위한 이 같은 가정이 모두 충족된 것을 확인하였다. 정기적 으로 라디오 교육을 청취한 학생들은 전반적으로 학업 태도가 긍정적으로 변화한 것으로 나타났다. 학생들은 라디 오 교육에 참여하면서 수업에 더 집중하게 되고, 더 적극적으로 참여하게 되었으며, 숙제를 완성하려고 노력하고, 복습 및 예습을 더 하게 되었다고 응답하였다. (단위: 명) 라디오 교육 청취 후, 학생 학업태도 변화 설문결과

-4 (매우 부정적)

-3

-2

-1

0

1

2

3

4 (매우 긍정적)

수업에 집중함

25

13

13

23

115

174

208

349

612

수업에 적극적으로 참여함

17

8

17

8

102

132

227

332

674

숙제를 다 하려고 노력함

26

8

5

12

115

125

212

339

669

수업중에 배운 것을 복습함

26

12

12

16

112

153

200

347

621

다음 수업을 위한 예습을 함

43

11

12

25

136

136

180

307

649

표 4. 라디오 교육 청취 후, 학생 학업태도 변화

회귀분석 결과, 교사의 관심 및 지지 또한 학업태도에 대해 통계적으로 유의미한 영향을 갖는 것으로 나타났다. 상담 시 교사가 경청할수록, 교사가 학생의 학업 및 진로에 관심을 가질수록 학생의 학업태도가 긍정적으로 나타났 다. 부모의 관심 또한 부분적으로 학업태도에 유의미한 영향을 가지는 것으로 확인되었다. 부모가 학생에게 관심을 보일수록, 학생이 더욱 활발하게 수업을 참여하고 숙제를 끝내는 경향이 발견되었다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

변인

학업태도 변화

라디오 교육을 정기적으로

수업에 집중한다.

청취할수록

수업에

교사가 경청할수록

활발히 참여한다

교사가 학업적 진로에

숙제를 끝내기 위해

관심을 가질수록

노력한다

부모님이 라디오 교육을 지지/체크할수록

수업 내용을 복습한다

수업을 미리 준비한다 매우 유의미한 상관관계(*** p<0.01) 유의미한 상관관계(** p<0.05) 약간 유의미한 상관관계(* p<0.1) (*분석모형: 학업 태도 변화𝑖= 𝛽₀ + 𝛽₁정기적청취∋ + 𝛽₂교사경청∋ + 𝛽₃교사관심 ∋ + 𝛽₄부모관심∋ + 𝛽₅시간확보∋ + 𝛿Χ𝑖 + 𝜖𝑖)

그림 15. 라디오교육 청취 및 기타 변인들에 따른 학업태도 변화

라디오 교육을 정기적으로 청취할수록, 학생들의 자기효능감에도 긍정적인 영향을 미치는 것으로 확인되었다. 특히 '어려워도 공부하는 것' · '긍정적인 태도를 유지하는 것' · '노력하면 학습할 수 있다는 것' · '방해를 받아도 계 속 공부를 잘할 것'이라는 항목에 긍정적이고 유의미한 영향을 주는 것으로 나타났다. 교사의 경청 여부 및 학업적 진로에의 관심 또한 학생들의 자기효능감 평균과 모든 문항에서 긍정적이고 강한 유의미한 영향이 있는 것으로 나타났다. 따라서, 자기효능감 증진에 있어 정기적인 라디오 청취와 교사의 관심이 중요한 요인으로 파악되었다.

29

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

변인

자기효능감 변화

라디오 교육을 정기적으로

어려워도 모든 과목을 성공적으로

청취할수록

배울 것이라 자신한다 어려움이 있더라도 수업에 대한 긍정적인 태도를 유지한다 열심히 하면 가장 어려운 내용까지도

교사가 경청할수록

이해할 수 있다 시간이 갈수록 점점 더 수업 내용을 잘 이해할 것이라 자신한다

교사가 학업적 진로에

수업시간에 방해가 있더라도 계속 공부를 잘 해나갈 것이라 생각한다

관심을 가질수록 좋은 하루가 아니었더라도 공부를 할 수 있는 능력이 있다 생각한다 충분히 열심히 한다면 원하는

부모님이 라디오 교육을 지지/체크할수록

목표 성적을 이룰 수 있을 것이다 수업을 들으며 생기는 스트레스를 창의적인 방법으로 대처할 수 있다고 자신한다 수업에 참여할 동기가 계속해서 있을 것이다 해야 할 과제를 끝내고 내가 원하는 성적을 얻을 것을 알고 있다

매우 유의미한 상관관계(*** p<0.01) 유의미한 상관관계(** p<0.05) 약간 유의미한 상관관계(* p<0.1) (*분석모형: 자기효능감𝑖= 𝛽₀ + 𝛽₁정기적청취∋ + 𝛽₂교사경청∋ + 𝛽₃교사관심 ∋ + 𝛽₄부모관심∋ + 𝛽₅시간확보∋ + 𝛿Χ𝑖 + 𝜖𝑖)

그림 16. 라디오교육 청취 및 기타 변인들에 따른 자기효능감 변화

30

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

31

4.3.4. 시범학교 및 교사 준비도 향상 사업을 위해 선정된 시범학교에서는 기본적으로 라디오 방송 송출 및 관련 활동을 수행할 수 있는 플랫폼이 효과적으로 마련될 수 있었다. 본 사업을 통해, 시범학교들은 라디오 배급 및 교육 프로그램 커리큘럼 공유, 송출 정보 공유 등의 경험을 축적하였다. 학교 차원에서 진행하는 교육 프로그램을 꾸준히 진행하였고 이를 위한 제도적 기반 또한 마련하였다는 점은 추 후 사업을 지속하거나 확장하는 과정에서 긍정적으로 작용할 것이라 기대된다. 유사하게 학교 교사들 또한 라디오 교육을 위한 제도적인 기반을 마련하고, 교실 내 대응 방안을 습득하였다. 라디오 교 육에 대해 공지하고 질문을 받고, 수업 중에 이를 연계하는 수업 등을 진행함으로써 사업 준비도를 향상하였다. 교사 설문에 서 볼 수 있듯, 교사들은 워크숍을 통해서 라디오 교육 제공 및 지원을 위한 동기를 부여받았고, 학생 관리에 필요한 수준의 자기효능감을 습득하였다. 이는 교사의 라디오 교육 사업 대응 역량을 향상했다고 할 수 있다. 라디오 교육은 공식적으로는 시범학교 학생들을 대상으로 제공되었지만, 지역 단위로 제공되는 라디오 방송 특성상, 시 범학교 외에 다른 학교를 다니거나 혹은 학교를 다니지 않는 학생들에게도 라디오 교육 준비도를 향상했을 것이라 예상된다. 정확한 주파수만 설정한다면 라디오 교육을 청취할 수 있으므로, 추후 사업이 지역 전체로 확장된다면 학생들이 쉽게 동참 할 수 있는 역량이 증진되었다고 볼 수 있다.

사진 10. 시범학교 학생 대상 라디오 교육

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

32

4.3.5. 사회적 소외계층 포용 동 사업은 계획단계부터 지역 내 모든 학생에게 차별 없이 라디오 교육을 제공하는 것을 계획으로 삼았다. 특히, 데자 지 역 내 여성 청소년들의 높은 중퇴율을 고려하여, 여학생과 남학생에게 라디오 교육을 동일하게 제공하였다. 성별과 관계없 이 학생들의 교육 접근성이 확대되었는지 파악하기 위해, 남녀 학생의 학습 태도 변화, 학업 이해도 변화 및 자기효능감 변화 를 종속변수로 하는 회귀분석을 시행하였다. 그 결과, 교육 접근성과 관련된 다양한 변수 중 유의미성이 여학생들에게 더욱 강하게 나타나는 것으로 확인되었다. 여러 변인에 따른 남학생과 여학생의 변화를 비교 · 분석한 결과, 정기적 라디오 청취, 교사의 경청, 교사의 관심에 따라 여학생들이 학습 태도, 학습이해도 및 자기효능감에서 더 큰 변화 가능성을 보였다. 예를 들어, 라디오의 정기적 청취가 학습 태도와 상관관계가 있는지 확인하고자 하였을 때, 남학생에게서는 그 관계가 통계적으로 유의미하지 않았던 반면 여학생들 에게는 강한 유의미성이 나타나는 것으로 분석되었다. 이를 통해 라디오 교육이 학습 태도 변화에 주는 영향이 여학생들에 게 더 강하였다고 해석할 수 있다.

변인

남학생의 변화

라디오 교육을 정기적으로 청취할수록

남학생의 학습태도가 변화한다

교사가 경청할수록 남학생의 학습이해도가 변화한다 교사가 학업적 진로에 관심을 가질수록 부모님이 라디오 교육을 지지/체크할수록

남학생의 자기효능감이 변화한다

변인

여학생의 변화

라디오 교육을 정기적으로 청취할수록

여학생의 학습태도가 변화한다

교사가 경청할수록 여학생의 학습이해도가 변화한다 교사가 학업적 진로에 관심을 가질수록 부모님이 라디오 교육을 지지/체크할수록

여학생의 자기효능감이 변화한다

매우 유의미한 상관관계(*** p<0.01) 유의미한 상관관계(** p<0.05) 약간 유의미한 상관관계(* p<0.1)

그림 17. 변인에 따른 남학생과 여학생의 변화 비교

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

33

4.4. 효율성 '효율성'은 투입 대비 양적 · 질적 산출을 평가하는 것으로, 원조 개입이 경제적이고 시의적절한 방식으로 성과를 달성하 였는지를 뜻한다.17) 사업 수행 과정 및 절차에 대한 적합성과 예산 효율성이 전제될 때 효과성이 발생하므로, 효율성을 평가 하는 것은 매우 중요하다. 본 평가에서는 프로그램 관리 및 운영의 효율성을 판단하는 운영 효율성의 개념에 중점을 두었다. 즉, 실제 계획된 기한 내에 실현 가능성이 있는 다른 방식과 비교하여 얼마나 사업이 효과적으로 운영되었는지를 평가하였다.

1) 운영상의 효율성 인력 운영의 효율성 측면에서는 인력 투입의 지연이나 변경이 확인되지 않았으며, 주정부와의 협력 및 분야 전 문가를 투입하였다는 점에서 효율적으로 인적자원을 활용하였다. 자원 또한 유동적으로 투입되었으며, 사업 운영 을 위한 조직 투입도 효율적이었다. 라디오 교육 사업의 수행을 위해 말라위 주정부와 지속적인 협력관계를 유지 하고 꾸준한 소통을 하고 있으며, 교육청과 MOU를 체결하여 사업의 효율적인 운영을 도모하였다. 또한 라디오 콘텐츠 제작을 위해 각 과목 담당자를 섭외하였으며, 전문성을 확보하기 위해 나리꿀레 대학과 MOU를 체결한 바 가 있다. 라디오 교육 사업을 위해 투입된 자원으로는 라디오 교육 송출을 위한 인프라 구축이 있다. MACRA 라디오 채 널 허가에 어려움이 있어서 지연된 부분이 있었으나, 지연된 상황에 대처하기 위해 다른 방송 스튜디오를 렌트하 여 방송을 제작하여 활용하였다. 열악한 현지 제도 및 인프라를 고려하였을 때 효율적인 인프라 자원 투입이 이루 어진 것으로 평가하였다. 한편, 기아대책은 현지에 사무소를 두고 있고, 사업 담당자가 현지에 상주하고 있기 때문에 사업 운영 및 모니터 링을 효율적으로 수행하고 있다. 또한, 매년 현지 직원을 채용하고 컨퍼런스 등 교육을 진행함으로써 사업의 효율성 을 확보하고 있다. 현지 직원 및 봉사자들을 통해 모니터링 데이터도 효율적으로 수집하고 있는 것으로 확인되었다.

2) 타 대안 대비 효율성 사업의 목적인 교육 접근성 제고를 위해서 데자 지역에서 진행할 수 있는 사업으로는 라디오 교육이 가장 효율 적인 것으로 판단되었다. 특히 라디오 교육은 물리적으로 학교에 오지 못하는 환경에 있는 학생들에게 교육 접근 성을 확보할 수 있는 좋은 방법이다. 또한, 라디오 교육을 통해 예 · 복습 위주로 수업을 진행하기 때문에 교육 접근 성 향상에 효율적이라고 평가되었다. 기아대책의 사업을 통해 제공된 라디오는 태양광 충전 방식으로 작동되는 라디오이기에, 말라위의 날씨 환경 에 적합하고 효율적인 도구이다. 말라위에도 우기가 있지만, 밤에만 짧은 기간에 집중호우가 내리는 스콜성 비이 기 때문에 낮시간 동안 태양광 라디오를 충전하는 데 무리가 없고, 전기 혹은 배터리를 사용하지 않아도 돼서 환경 에 적합하고 지속 가능한 매체이다. 날씨 등에 의해 학생들의 출석률 변동이 심하고, 가정에서 집안일 등 때문에 학교를 나오지 않는 경우가 많아, 라디오 교육이 가정에서도 교육에 접근할 수 있는 방법으로 가장 효율적인 방법인 것으로 확인되었다. 실제로 태풍 등으로 인해 학생들이 학교에 오지 못하여 학교 수업을 라디오교육 수업으로 대체한 경우가 있었는데, 교사 및 학 생 모두 학교 수업과 큰 차이가 없었다는 피드백을 해주었다.

17) OECD DAC (2019)

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

사진 11. 교육용 라디오를 받은 학생들

3) 성과관리 효율성 기초선 조사 수행 등 학업 성취도 확인을 위한 노력이 있었으며, 성과관리를 위한 회의가 주기적으로 개최되어 모니터링 데이터 기반 경과보고 등이 진행되었다. 또한, 평가 체계 보완을 위해 동 연구와 같이 별도의 예산으로 종 료평가를 추진하는 등의 노력을 통해 의미 있는 성과관리를 실행하였다. 다만 변화이론에 기반하여 활동별 모니터 링과 성과 지표 식별과 목표치 설정에 있어 개선이 필요하다는 평가가 있었다.

4) 위기관리 효율성 라디오 교육 사업에는 크게 라디오 고장의 문제와 자연재해의 문제가 발생할 수 있다. 이에 대비하여 예치금 제 도를 통한 라디오 유지보수 진행, 자연재해 대안 고안하는 등으로 위기관리를 하였다. 자연재해는 발생 시 사업 진 행에 큰 어려움을 주는 만큼, 사전 대비가 필요할 것으로 판단되었다.

34

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 4 평가 결과

35

4.5. 지속가능성 '지속가능성' 항목에서는 사업 결과의 지속적 활용을 위한 운영 및 유지보수 계획이 있는지, 현지 이관 · 사후관리 계획이 마련되었는지 등을 확인한다. 특히 KOICA의 지원 종료 후에도, 사업의 결과가 유지 및 확산할 가능성이 있는지를 중점적으 로 평가하였다. 구체적으로는 사업 결과 유지 및 확산 가능성과, 현지화 가능성 부분을 토대로 본 사업 성과의 지속가능성을 살펴보았다.

1) 사업 결과 유지 및 확산 가능성 라디오 방송 송출 및 운영을 위한 인프라는 모두 구축된 상태이고, 라디오 방송에 사용되는 커리큘럼 콘텐츠 또 한 현지 교육부 관계자들이 만족할 수준으로 제작되었다. 따라서, 적절한 유지관리 및 보수 활동에 기반하여 사업 이 지속적해서 유지될 수 있을 것으로 기대된다. 말라위 현지 교육부에서는 모두를 위한 양질의 중등교육에 대한 공평한 접근성 향상을 전략목표 중 하나로 두고, 사업 커리큘럼에 관심과 선호를 보였다. 특히 교육부의 우선순위 실행 과제 중 하나로 원격교육(Open Distance e-Learning, ODeL)에 대한 정책 범위 확산이 있다. 실제로 타지 역에서 동 사업의 커리큘럼을 활용하여 라디오 교육을 수행한 적이 있는바, 향후 말라위 정부의 주도하에 전국 단 위 확산 가능성도 있는 것이 확인되었다.

2) 현지화 가능성 본 사업은 교육부의 원격 교육 방향성과 일치하고, 사업 경과에 대한 현지의 관심이 있어서 이미 사업 확장이 논의되고 있으므로 현지화 가능성이 높을 것이라 평가되었다. 사업의 현지화 대상 항목으로는 과목의 확장, 라디 오 교육 방송 송출 지역의 확장 등을 고려할 수 있다. 현지 주정부 관계자 인터뷰에 따르면, 정부 차원에서는 본 사 업을 통한 라디오 교육 콘텐츠 송출이 말라위의 모든 지역으로 확장되어서 모든 학습자의 교육 접근성을 높이는 것을 기대하고 있다.

사진 12. 현지 이양식

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

Part 5

PART 5 시사점 및 결론

36

시사점 및 결론 5.1. 제언 본 사업은 높은 수준의 산출 및 성과 달성도를 보였지만, 더욱 효과적인 성과를 창출하기 위하여 몇 가지 부분에서 제 언이 도출되었다. 제언 항목으로는 1) 라디오 보급 및 유지관리 방안 마련, 2) 라디오 학습 자료 공급, 3) 라디오 교육 콘텐츠 추가 개발, 4) 학교 간 라디오 송출 편차 대응, 5) 교사의 라디오 교육 관리 및 연계 강화, 6) 부모의 라디오 교육 지원, 7) 아 동의 방과 후 학업 시간 확보 등이 있다.

1) 라디오 보급 및 유지관리 방안 마련 학생 설문 결과, 라디오 예치금 등의 이유로 라디오를 가지고 있지 않거나, 소지하고 있더라도 수리하는 방법 을 모르는 학생이 존재하였다. 라디오 교육 프로그램의 지속적인 운영을 위해서는 라디오 예치금을 낮추거나 체 계적인 유지관리 방안을 마련하는 등의 개선이 필요하다. 학교에서 라디오 관리에 대한 내용을 정기적으로 전달 하거나, 예치금을 낼 수 있는 능력이 없는 학생 및 가정의 경우 무상 배급 또한 고려하여 라디오 보급률을 높일 필 요가 있다.

2) 라디오 학습 자료 공급 학생 설문 결과, 70% 이상의 학생이 라디오 교육에 필요한 자료가 미리 제공되었으면 좋겠다고 응답하였다. 학습의 효과성을 위해서는 학교에 배부된 교과서 이외에도 라디오 교육 시 참고할 교재가 필요하기 때문이다. 추후 라디오 교육용 간이 교재 개발 · 가정용 교과서 추가 배급 · 교과서와 라디오 간 연계 강화 등의 방안을 통해 가정에 서 라디오를 통한 학습이 효과적으로 이루어질 수 있도록 지원할 필요성이 있다.

3) 라디오 교육 콘텐츠 추가 개발 본 사업은 MSCE 과목 중 많은 학생이 공통으로 응시하며 추가적인 학습 수요가 높은 영어 · 과학 교과를 선정 하여 교육을 제공하였다. 설문 결과, 향후 추가적인 과목들에 대한 수요도 존재하였다. 가장 우수한 6과목 성적을 고려하여 MSCE의 합격 · 불합격이 결정되기 때문에, 추후 다른 과목의 라디오 교육 프로그램을 추가로 개발 및 송 출할 시 더 많은 학습적인 효과를 기대할 수 있을 것이다.

4) 학교 간 라디오 송출 편차 대응 8개의 시범학교 중, Chimbizi 학교는 학생들의 라디오 소지 여부 · 작동 여부 · 청취 여부 · 청취 빈도에 있어 타 학교에 비해 상대적으로 저조한 현황을 보였다. 교사 설문 결과에서도 해당 학교는 라디오 송출에 문제가 있는 것 으로 나타났다. 송출이 가능한 학교를 모니터링 대상으로 추가할 필요가 있으며 중장기적으로는 해당 학교의 라디 오 송출을 위한 대책을 마련할 필요가 있다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 5 시사점 및 결론

37

5) 교사의 라디오 교육 관리 및 연계 강화 라디오 교육 효과를 극대화하기 위해서는 라디오 교육의 내용과 학교 수업을 연계하는 것이 필요하다. 그러나 교사 중 라디오 교육과 학교 수업을 연계하지 않는 교사가 과반수(54%)를 기록하여, 이에 대한 추가적인 논의가 필요할 것으로 보인다. 라디오 교육 청취가 학생들의 교육적인 성과에 긍정적인 영향을 미치는 데 반해, 학생들의 라디오 교육 체크리스트 확인 빈도 · 학교 수업 연계 여부 및 방법 · 라디오 교육에 대한 격려 등 다양한 라디오 교육 지원 측면에서 교사들의 방식이 일관되지 않는 것이 확인되었다. 따라서, 학교 차원에서 교사들의 일관된 라디오 교육 관리 및 학교 수업과의 연계 방안을 마련하는 것이 필요하다.

6) 부모의 라디오 교육 지원 본 사업은 학생들의 라디오 청취를 가정에서 지원할 수 있도록 부모 대상 라디오 교육 안내를 실시하였다. 그러 나 라디오 교육에 대해 부모님이 모르고 있다고 응답한 학생이 23%에 달하였고, 알고 있더라도 라디오 교육을 지 지하거나 체크하지 않는 부모님이 상당수 존재하였다. 라디오 교육의 성과 확산을 위해서는 부모님의 라디오 교육 에 대한 지원을 강화할 필요가 있다. 향후 부모 대상 교육을 강화하여 부모가 아이들에게 라디오 교육을 권하고, 학 업 시간을 따로 할애하는 등 지원한다면 성과를 보다 촉진할 것으로 기대된다.

7) 아동의 방과 후 학업 시간 확보 본 사업의 결과 다수의 학생이 라디오 교육의 혜택을 받았지만, 학생 설문 결과 라디오를 들을 시간이 있다고 응답한 학생은 약 53%였다. 학생들이 방과 후 라디오를 들을 시간이 없는 큰 이유는 집안일 등 부모를 도와 가사 노동에 시간을 할애해야 하기 때문이었다. 라디오 청취율과 방과 후 학업 시간 보유 여부 간의 연관성이 높은 것으 로 확인되었기에, 라디오 교육을 통한 학생들의 학업적인 진보를 위해서는 방과 후 시간 확보에 있어서 개선이 필 요한 것으로 파악되었다.

5.2. 성공 요인 몇 가지 개선이 필요한 부분이 존재함에도 불구하고, 동 사업은 성과 목표를 효과적으로 달성하고 지속가능성을 확보 한 사업으로 평가되었다. 본 사업의 성공 요인으로는 1) 안정적인 라디오 교육 방송 송출, 2) 교육 콘텐츠의 우수성 및 수요 적합성, 3) 교사의 학생에 대한 관심 증대 및 라디오 수업과의 연계, 4) 교사와 학생 간 신뢰 관계 강화, 5) 라디오 교육에 대 한 부모의 지지와 관심, 6) 현지 정부와의 우호적인 협력 관계 등이 있다.

1) 안정적인 라디오 교육 방송 송출 라디오 교육 방송이 매우 안정적으로 계획에 따라 제공된 것이 성과 달성의 성공 요인 중 하나로 조사되었다. 사 업을 운영하기 위한 제반 시스템이 계획대로 자리를 잡고 필요한 방송 송출을 함으로써, 그 후의 사업 절차들이 집 중적으로 진행될 수 있었다. 또한 학생 설문에 따르면, 라디오 교육 방송 청취를 원할 때 방송을 안정적으로 청취할 수 있었다고 응답하였다. 이를 토대로 학생들의 교육 접근성 향상을 촉진하였다고 볼 수 있다.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

PART 5 시사점 및 결론

2) 교육 콘텐츠의 우수성 및 수요 적합성 이해관계자 인터뷰에 따르면, 현지 대학 교수진 주도로 개발한 라디오 교육 콘텐츠의 품질 우수성을 현직 교사 와 교육부가 인정한 바가 있다. 이처럼 방송 커리큘럼의 품질이 교육부에서 검증된 바 있으며, 학생들의 학교 진도 에 맞춘 구성이 학생들의 예 · 복습에 적합하였다고 사료된다. 또한 MSCE 과목 중 추가적인 교육의 수요가 있는 필수 과목인 영어 및 과학 교과를 선정하여 라디오 교육을 운영하였다는 점도 본 사업의 성공에 기여한 것으로 이 해할 수 있다.

3) 교사의 학생에 대한 관심 증대 및 라디오 수업과의 연계 교사 대상 역량 강화 워크숍을 시행한 결과 많은 수의 교사가 학생 상담 및 관리의 중요성을 깨달았으며 학생 관 리 관련 자기효능감이 증진된 것으로 나타났다. 또한 학생 대상 설문 분석 결과, 교사가 라디오 교육을 체크하고 라 디오 교육과 학교 수업을 연계할수록 학생의 라디오 청취도 높았다. 또한 교사의 학생에 대한 관심과 지지가 높을 수록 학생의 학습 태도 및 자기효능감이 높아졌다. 교사 워크숍을 통해 교사의 학생 관리 역량이 강화되었고, 이 영 향으로 학생들의 라디오 청취와 학업 관련 성과도 상승한 것으로 이해할 수 있다.

4) 교사와 학생 간 신뢰 관계 강화 설문 결과에 따르면, 교사와의 건설적이고 지지하는 관계를 유지하는 것은 학생들의 학업 성과 달성에 중요한 요인으로 확인되었다. 교사와의 관계에 따라 라디오 청취 여부 혹은 학업태도 및 자기효능감 등의 변화도 다르게 나타났다. 따라서, 상담 활동을 통해 증진된 교사와 학생 간의 관계가 사업 성과 달성을 촉진하는 요인이었다고 판 단할 수 있다.

5) 라디오 교육에 대한 부모의 지지와 관심 라디오 교육은 방과 후 가정에서 학생들이 청취하는 만큼, 가정에서의 학업 분위기 및 부모의 태도가 중요하다. 학생 설문 분석 결과, 부모가 학생들의 라디오 교육 청취를 지지하고 체크할수록, 학생들은 더 정기적으로 라디오 를 청취하며 이는 학생들의 교육적인 성과로 이어지는 것으로 나타났다. 이를 통해 부모의 지지와 관심이 학생의 라디오 청취 및 학습 성과의 향상 또는 저하에 영향을 미칠 수 있는 중요한 요인임을 알 수 있다. 부모의 라디오 교 육에 대한 지지가 대체로 높았던 것이 성과 달성을 촉진한 것으로 보인다.

6) 현지 정부와의 우호적인 협력 관계 사업 이해관계자 비대면 인터뷰 및 서면 인터뷰 결과, 기아대책과 현지 정부 간에 밀접한 협력 관계가 형성되어 있는 것으로 파악되었다. 이는 본 라디오 교육 사업의 성공적인 착수 및 운영에도 큰 영향을 끼쳤으며, 향후 본 사 업의 지속에도 중요한 요인으로 이해할 수 있다.

38

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

부록

39

부록

연구결과 I. 학생 학업태도 변화도에 대한 회귀분석 결과 학업태도변화 수업에 집중

수업에 활발히 참여

숙제 끝내기 위해 노력

수업 내용 복습

수업 미리 준비

평균

정기적 청취 여부

0.323*** (0.09)

0.142* (0.08)

-0.043 (0.08)

0.214** (0.09)

0.227** (0.10)

0.184*** (0.07)

교사의 경청 여부

0.164** (0.07)

0.145** (0.06)

0.205*** (0.07)

0.118* (0.07)

0.133* (0.08)

0.150*** (0.05)

교사의 학업적 진로 관심

0.173** (0.07)

0.265*** (0.06)

0.230*** (0.07)

0.261*** (0.07)

0.262*** (0.08)

0.233*** (0.06)

부모님의 라디오지지 / 체크 여부

0.046 (0.06)

0.092* (0.05)

0.137** (0.06)

0.072 (0.06)

0.042 (0.06)

0.061 (0.05)

라디오 안듣는

2 = 가축 돌봄

0.326 (0.31)

-0.056 (0.28)

0.071 (0.30)

-0.256 (0.31)

0.786** (0.35)

0.186 (0.24)

3 = 형재자매 돌봄

-0.282 (0.23)

-0.504** (0.21)

-0.278 (0.23)

-0.109 (0.24)

-0.079 (0.26)

-0.240 (0.18)

4 = 친구와 놀기

-0.287* (0.15)

-0.417*** (0.13)

-0.354** (0.14)

-0.301** (0.15)

-0.230 (0.16)

-0.329*** (0.11)

5 = 기타

0.021 (0.13)

0.063 (0.11)

-0.125 (0.12)

0.075 (0.12)

0.203 (0.14)

0.051 (0.10)

1,041

1,036

1,037

1,030

1,028

1,049

0.115

0.113

0.096

0.091

0.073

0.129

VARIABLES

시간에 하는 활동 1 =집안일

Observations R-squared Standard errors in parentheses

*** p<0.01, ** p<0.05, * p<0.1

II. 학생 자기효능감 회귀분석 결과 자기효능감 어려워도 성공적 공부

수업에 활발히 참여

노력하면 학습

수업내용 자신

방해 받아도 자신

나쁜날 학습능력

노력하면 목표 달성

스트레스 대처

수업 동기부여

과제 완료 확신

평균

정기적 청취 여부

0.096* (0.05)

0.155** (0.06)

0.151*** (0.05)

0.048 (0.05)

0.094* (0.05)

0.008 (0.06)

0.045 (0.05)

-0.020 (0.05)

0.036 (0.04)

0.031 (0.05)

0.064* (0.04)

교사의 경청 여부

0.116*** (0.04)

0.162*** (0.05)

0.147*** (0.04)

0.089** (0.04)

0.183*** (0.04)

0.192*** (0.04)

0.176*** (0.04)

0.165*** 0.097*** (0.04) (0.03)

0.116*** (0.04)

0.144*** (0.03)

교사의 학업적 진로 관심

0.271*** 0.222*** 0.271*** 0.293*** 0.172*** 0.206*** 0.200*** 0.251*** 0.338*** 0.297*** 0.252*** (0.04) (0.05) (0.04) (0.04) (0.04) (0.04) (0.04) (0.04) (0.04) (0.04) (0.03)

부모님의 라디오지지 / 체크 여부

-0.006 (0.04)

-0.017 (0.04)

-0.031 (0.03)

0.011 (0.03)

0.034 (0.03)

0.006 (0.04)

-0.045 (0.03)

-0.032 (0.03)

-0.048* (0.03)

-0.034 (0.03)

-0.014 (0.02)

2 = 가축 돌봄

0.058 (0.19)

-0.169 (0.21)

-0.003 (0.18)

-0.090 (0.17)

-0.072 (0.18)

0.250 (0.19)

0.031 (0.16)

0.156 (0.17)

0.228 (0.16)

-0.010 (0.16)

0.041 (0.13)

3 = 형재자매 돌봄

0.038 (0.14)

-0.035 (0.16)

-0.008 (0.14)

-0.020 (0.13)

0.113 (0.14)

0.109 (0.15)

0.058 (0.12)

0.244* (0.13)

0.133 (0.12)

0.125 (0.12)

0.080 (0.10)

4 = 친구와 놀기

-0.036 (0.09)

-0.228** -0.205** (0.10) (0.09)

-0.138* (0.08)

-0.108 (0.09)

-0.033 (0.09)

-0.157** (0.08)

-0.052 (0.08)

-0.094 (0.07)

0.004 (0.08)

-0.106* (0.06)

5 = 기타

-0.026 (0.08)

-0.091 (0.09)

-0.088 (0.07)

-0.03 (0.07)

0.028 (0.08)

-0.047 (0.06)

-0.097 (0.07)

-0.092 (0.06)

-0.047 (0.06)

-0.058 (0.05)

VARIABLES

라디오 안듣는 시간에 하는 활동 1 = 집안일

Observations R-squared Standard errors in parentheses

-0.090 (0.07)

1,093

1,089

1,097

1,095

1,096

1,093

1,097

1,094

1,097

1,107

1,109

0.244

0.234

0.273

0.296

0.273

0.260

0.342

0.308

0.356

0.355

0.417

*** p<0.01, ** p<0.05, * p<0.1

III. 과목별 등급 코딩 코딩 전

코딩 후

의미

Grade 1 & 2

Grade 7 & 8

Distinction

Grade 3 to 6

Grade 3 to 6

Credit

Grade 7 & 8

Grade 1 & 2

Pass

Grade 9

Grade 0

Fail

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

40

부록

IV. MSCE 합격률 및 과목별 성적 불연속 회귀분석 결과 합격률

영어성적

물리성적

화학성적

Regression function fit

Regression function fit

Regression function fit

(1=MSCE 합격, 0=MSCE 불합격) Regression function fit .6

2.5

2

2

1.5

1.5

1

1

.55 2 .5

.45 1.5 .4

.35

1 '18

'19

'20

'21

'22

'23

.5 '18

'19

'20

'21

'22

'23

.5 '18

'19

'20

'21

'22

'23

'18

'19

'20

'21

'22

V. Stepwise regression 분석 결과 VARIABLES Treatment

(1)

(2)

(3)

MSCE pass rate

MSCE pass rate

MSCE pass rate

0.0874***

0.0859***

0.106***

(0.0214)

(0.0203)

(0.0198)

-0.305***

-0.325***

(0.0201)

(0.0194)

Female SchoolName (1. Champagnat)

-0.257*** (0.0374)

2. Chimbizi

-0.176***

3. Chimphalika

(0.0363) -0.249***

4. Chitowo

(0.0408) -0.359***

5. Dzenza

(0.0437) -0.417***

6.Mkomera

(0.0464) -0.426***

7.Mpalale

(0.0443) -0.0460

8.Mphunzi Constant Observations R-squared Standard errors in parentheses

(0.0360) 0.456***

0.600***

0.805***

(0.0139)

(0.0163)

(0.0316)

2,229

2,229

2,229

0.007

0.100

0.178

*** p<0.01, ** p<0.05, * p<0.1

'23

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

41

부록

VI. 사업 전후 MSCE 통과율(합격률)에 대한 t-test 결과 그룹

관측치

평균

표준오차

표준편차

사업 전(0)

1,285

0.4560

0.0139

0.4983

0.4288

0.4833

사업 후(1)

944

0.5434

0.0162

0.4984

0.5116

0.5753

합계

2,229

0.4930

0.0106

0.5001

0.4723

0.5138

-0.0874

0.0214

-0.1293

-0.0455

차이 차이=집단 1(0)의 평균-집단 2(1)의 평균 H0: 차이=0

t=-4.0915

Ha: diff < 0

Satterthwaite's degrees of freedom = 2031.76

[95%의 신뢰구간]

Ha: diff != 0

Pr(T < t) = 0.0000

Ha: diff > 0

Pr(|T| > |t|) = 0.0000

Pr(T > t) = 1.0000

VII. 사업 전후 영어 성적 변화에 대한 t-test 결과 그룹

관측치

평균

표준오차

표준편차

사업 전(0)

1,205

1.5394

0.0315

1.0941

1.4776

1.6012

사업 후(1)

929

1.7686

0.0352

1.0714

1.6996

1.8376

합계

2,134

1.6392

0.0236

1.0890

1.5929

1.6854

-0.2291

0.0472

-0.3217

-0.1366

차이 차이=집단 1(0)의 평균-집단 2(1)의 평균 H0: 차이=0

t=-4.8535

Ha: diff < 0

Satterthwaite's degrees of freedom = 2015.8

[95%의 신뢰구간]

Ha: diff != 0

Pr(T < t) = 0.0000

Ha: diff > 0

Pr(|T| > |t|) = 0.0000

Pr(T > t) = 1.0000

VIII. 사업 전후 물리 성적 변화에 대한 t-test 결과 그룹

관측치

평균

표준오차

표준편차

사업 전(0)

745

1.0953

0.0461

1.2595

1.0047

1.1859

사업 후(1)

374

1.9358

0.0912

1.7638

1.7565

2.1152

합계

1,119

1.3762

0.0449

1.5003

1.2882

1.4642

-0.8405

0.1022

-1.0413

-0.6398

차이 차이=집단 1(0)의 평균-집단 2(1)의 평균 H0: 차이=0

t=-8.2231

Satterthwaite's degrees of freedom = 569.68

Ha: diff < 0

Ha: diff != 0

Pr(T < t) = 0.0000

[95%의 신뢰구간]

Ha: diff > 0

Pr(|T| > |t|) = 0.0000

Pr(T > t) = 1.0000

IX. 사업 전후 화학 성적 변화에 대한 t-test 그룹

관측치

평균

표준오차

표준편차

사업 전(0)

557

0.7953

0.0533

1.2585

0.6906

0.9001

사업 후(1)

408

1.7672

0.0833

1.6830

1.6034

1.9310

합계

965

1.2062

0.0492

1.5298

1.1096

1.3029

-0.9718

0.0989

-1.1660

-0.7776

차이 차이=집단 1(0)의 평균-집단 2(1)의 평균 H0: 차이=0

t=-9.8237

Satterthwaite's degrees of freedom = 720.239

Ha: diff < 0

Ha: diff != 0

Pr(T < t) = 0.0000

[95%의 신뢰구간]

Ha: diff > 0

Pr(|T| > |t|) = 0.0000

Pr(T > t) = 1.0000

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

부록

42

본 성과보고서는 희망친구 기아대책의 지원으로 연세대학교 산학협력단에서 진행한 '말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량 강화 사업 종료 평가 보고서' 내 연구 결과를 바탕으로 재구성한 내용입니다.

연구책임자 신재은 연세대학교 글로벌사회공헌원 연구교수 선임연구원 김은솔 서울대학교 국제개발협력평가센터 정유영 서울대학교 국제개발협력평가센터

참고문헌

Akinyi, Oloo & Ngome, Mutsotso (2019). History of educational radio in Kenyan schools: an analysis of prospects and challenges.

Boice, K. L., Jackson, J. R., Alemdar, M., Rao, A. E., Grossman, S., & Usselman, M. (2021). Supporting teachers on their STEAM journey: A collaborative STEAM teacher training program.

Bosch, A. (1997). Interactive Radio Instruction: Twenty-three years of improving education quality.

Bosch, A. (2004). Sustainability and interactive radio instruction: why some projects last.

Chandar, U., & Sharma, R. (2003). Bridges to Effective Learning through Radio.

Esra, M. E. Ş. E., & Sevilen, Ç. (2021). Factors influencing EFL students’ motivation in online learning: A qualitative case study.

Government of Malawi, National Statistical Office. (2019). 2018 Malawi Population and Housing Census Main Report.

Government of Malawi (2017). The Malawi Growth and Development Strategy(MDGS) III (2017 - 2022): building a productive, competitive and resilient nation.

Hartmann, Arntraud and Linn, Johannes F. (2008). Scaling Up: A Framework and Lessons for Development Effectiveness from Literature and Practice.

Iloabuchi, E. N., Abraham, N. M., & Afangideh, S. T. (2016). Management of teaching staff for quality education delivery in secondary schools in Abia State, Nigeria.

Kelo, M., Eriksson, E., & Eriksson, I. (2013). Pilot educational program to enhance empowering patient education of school-age children with diabetes.

Klingner, J. K., Boardman, A. G., & McMaster, K. L. (2013). What does it take to scale up and sustain evidence-based practices?

KOICA (2021), 제3차 국제개발협력 종합기본계획 (2021 - 2025) Mansour, M., & Martin, A. (2009). Home, Parents, and Achievement Motivation: A Study of Key Home and Parental Factors that Predict Student Motivation and Engagement.

희망친구 기아대책 말라위 중등교육 역량 강화 사업 성과보고서

부록

43

McDonald, R., & Van Der Horst, H. (2007). Curriculum alignment, globalization, and quality assurance in South African higher education.

Ministry of Education, Department of Education Planning, Education Management Information System(EMIS) (2014).

Education Statistics 2014.

National Statistical Office of Government of Malawi (2020). The Fifth Integrated Household Survey(IHS5) 2020 Report.

Neupane, P. (2017). Barriers to Education and School Attainment--Evidence from Secondary Schools in Rural Nepal.

OECD DAC (2019) Rahiem, M. (2020). Technological barriers and challenges in the use of ICT during the COVID-19 emergency remote learning.

Salgong, V. K., Ngumi, O., & Chege, K. (2016). The Role of Guidance and Counseling in Enhancing Student Discipline in Secondary Schools in Koibatek District.

Sarma, M. A. (2013). Community radio in India issues and challenges.

UNESCO, Global Education Monitoring Report (2023).

University of Sussex Centre for International Educadtion (2018). The Efficiency of Secondary Education in Sub-Saharan AFrica EESSA Project: The Case of Malawi.

Wang, C. H., Shannon, D. M., & Ross, M. E. (2013). Students’ characteristics, self-regulated learning, technology selfefficacy, and course outcomes in online learning.

Weiss, C. H. (1995). Nothing as practical as good theory: Exploring theory-based evaluation for comprehensive community initiatives for children and families. In J. Connell, A. Kubisch, L. Schorr & C. Weiss (Eds.), New approaches to evaluating comprehensive community initiatives . New York: The Aspen Roundtable Institute. 마예원 & 이은주 (2017), 간호대학생의 학업적 자기효능감 영향요인 말라위 국가경제개발전략 (2017 - 2022) 연세대학교 산학협력단 (2023). 말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량 강화 사업 종료 평가 보고서 희망친구 기아대책 (2021). 기아대책 말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량강화 사업 실행계획서 희망친구 기아대책 (2021). 기아대책 말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량강화 사업 기초선 조사 보고서 희망친구 기아대책 (2021). 기아대책 말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량강화 사업 1차년도 상반기 사업추진현황서 희망친구 기아대책 (2021). 기아대책 말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량강화 사업 1차년도 하반기 사업추진현황서 희망친구 기아대책 (2021). 기아대책 말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량강화 사업 2차년도 상반기 사업추진현황서 희망친구 기아대책 (2021). 기아대책 말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량강화 사업 2차년도 하반기 사업추진현황서 희망친구 기아대책 (2023). 말라위 데자 지역 라디오 교육방송 구축을 통한 중등교육 역량 강화 사업 자체 평가 결과보고서

희망친구 기아대책은 국내 최초의 국제구호개발 NGO로, 1989년부터 국내외 빈곤 문제 해결에 앞장서 왔습니다. 희망친구 기아대책은 경제적 · 사회적 · 정서적 · 영적 빈곤으로부터 고통받는 이웃의 회복과 자립을 위해 국내복지 · 국제구호개발 · 사회적경제 등 다양한 사업을 펼치고 있습니다. 본 해외사업 성과보고서 발간을 통해 전문적인 사업을 위한 기아대책의 노력과 성과를 공유하고, 국제개발협력분야의 공동 성장을 도모합니다.

발행일

2024년 3월

발행인

유원식

발행처

희망친구 기아대책

편집

기아대책 국제개발협력팀

주소

서울특별시 강서구 공항대로 59다길 109, 기아대책

홈페이지

https://www.kfhi.or.kr