Page 1


Оценка воздействия проектов развития на бедность Практическое руководство


Изложенные в настоящем исследовании факты, их трак товка и выводы выражают только точку зрения авторов и не должны приписываться Всемирному банку и входящим в него организациям, а также членам Совета исполнитель ных директоров или тем странам, которые они представ ляют. Всемирный банк не гарантирует точность данных, которые приводятся в этой публикации, и не несет ответ ственности за любые последствия их использования. Материал публикации защищен законодательством об авторском праве. Всемирный банк поощряет распро странение этой работы и обычно предоставляет разре шение на воспроизведение ее фрагментов. Разрешение на воспроизведение глав фотокопиро вальным способом для целей внутреннего или личного ис пользования, а также для целей внутреннего или личного использования конкретных клиентов или использования в классах при обучении предоставляется Всемирным бан ком при условии поступления соответствующего платежа в адрес Copyright Clearance Center, Inc., 222 Rosewood Drive, Danvers, MA 01923, USA.; telephone 9787508400, fax 9787504470. Пожалуйста, прежде, чем копировать, свя житесь с Центром Copyright Clearance Center. Чтобы получить разрешение на репринтное воспро изведение отдельных статей или глав, пожалуйста, на правьте факс с запросом и с указанием полных данных в Отдел переизданий этого Центра (Republication Depart ment, Copyright Clearance Center), факс: 9787504470. Все другие запросы, связанные с получением прав и лицензий, следует направлять В Отдел публикаций Все мирного банка по вышеуказанному адресу или по факсу 2025222422.


Оценка воздействия проектов развития на бедность Практическое руководство

Джуди Л. Бейкер

Опубликовано для Всемирного банка Издательство «Весь Мир» Москва 2002


УДК 33 ББК 65.05 Бе 63 Перевод книги на русский язык осуществлен Московским представительством Института Всемирного банка Перевод: Войтинский П., Соколова Я. Научное редактирование и предисловие к русскому изданию: Зимин И. Глоссарий: Зимин И., Сальников А. Редактирование и обработка глоссария: Осадчая О. (Издательство «Весь Мир» )

Бе 35

Оценка воздействия проектов развития на бедность: практи ческое руководство. / Джуди Л. Бейкер / Пер. с англ. — М: Изда тельство «Весь Мир», 2002. — 288 с. ISBN 5777701620

В руководстве рассмотрены и проанализированы практически все существующие на се годняшний день группы методов Оценки воздействия проектов развития Всемирного банка и ряда других донорских организаций. Автору удалось обобщить многолетний практический опыт по Оценке воздействия и на реальных примерах показать оптималь ные подходы. Вопросы оценки очень актуальны, так как ежегодно Всемирный банк осу ществляет десятки проектов в различных областях и во многих странах мира. Анализ те кущих результатов, итоговых показателей и их устойчивости после окончания проекта позволяет определить его эффективность с точки зрения достижения поставленных це лей, получения выгод и окупаемости затрат. В конце книги представлен специально подготовленный для русского издания глос сарий, который поможет разобраться в сложной специальной терминологии. Для удоб ства читателей дается также перечень терминов на английском языке. Знакомство с представленными в работе методами будет полезно для специалистов, участвующих в реализации проектов и в их оценке, для экономистов и государственных служащих, поскольку созданный инструментарий может широко использоваться при оценке воздействия проектов, осуществляемых в различных сферах хозяйственной дея тельности, а также для преподавателей и студентов.

Все права защищены Первоначально опубликовано в мае 2000 г. в Соединенных Штатах Америки на английском языке как Evaluating the Impact of Development Projects on Poverty: a Handbook for Practitioners / Judy L. Baker. The World Bank. Washington D.C. (ISBN 0821346970).

Верстка — Издательство «Весь Мир» Отпечатано в России

ISBN 5777701620

© 2000 Международный банк реконструкции и развития/ Всемирный банк 1818 H Street, N.W., Washington, D.C. 20433, USA


Содержание

Предисловие. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . VIII Предисловие к русскому изданию . . . . . . . . . . . . . . . . . . . . . . . . . XI Выражение признательности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XV 1. Оценка воздействия: понятия и методики . . . . . . . . . . . . . . 1 2. Основные этапы разработки и проведения оценки воздействия. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3. Применение аналитических методов при оценке воздействия: анализ конкретной ситуации . . . . . . . . . . . . 51 4. Примеры удачной оценки воздействия . . . . . . . . . . . . . . . . 81 Приложения Приложение 1: Анализ конкретных ситуаций . . . . . . . . . . . . 111 1.1. Оценка выгод для бедных от программы стимулирования трудовой деятельности: Программа TRABAJAR (Аргентина) . . . 111 1.2. Действительно ли микрокредиты помогают бедным? Новые данные на основе показательных программ в Бангладеш . . . . . . 119 1.3. Программа «Продовольствие за образование» в Бангладеш: оценка адресной социальной программы при децентрализованном включении в нее . . . . . . . . . . . . . . . . . . . . . . . . . 124 1.4. Оценка деятельности Социального инвестиционного фонда Боливии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 1.5. Воздействие активных программ содействия занятости: Чешская Республика . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 1.6. Воздействие программы «Кредит с образованием» на состояние питания матерей и младенцев: программа Сельского банка Нижней Пра в Гане . . . . . . . . . . . . . . . . . . . . . . . . . . 141 1.7. Учебники и результаты тестов: Пример итоговой оценки в Кении . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 1.8. Оценка Проекта создания сельскохозяйственной информационно0консультативной службы в Кении . . . . . . . . 152

V


1.9. Воздействие программы профессиональной переподготовки на занятость и заработную плату (PROBECAT) (Мексика). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 1.10. Мексика, национальная программа в области образования, здравоохранения и питания (PROGRESA): предложение по оценке. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 1.11. Оценка школьной реформы в Никарагуа: комплексный количественно0качественный подход . . . . . . . . . . . . . . . . . . . . . . . . 173 1.12. Улучшение начального обучения математике в Никарагуа: экспериментальное исследование воздействия учебников и радиопрограмм на успеваемость. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 1.13. Воздействие различных механизмов возмещения издержек на доступ к медицинским услугам и справедливость их предоставления в Нигере . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 1.14. Результаты обучения в начальных школах Филиппин: оценка воздействия четырех экспериментов . . . . . . . . . . . . . . . . 192 1.15. Вьетнам: оценка воздействия проектов по сооружению сельских дорог на бедность. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198 Приложение 2: Типовое техническое задание . . . . . . . . . . . . 203 2.1. Проект по организации питания и раннего развития детей в Уганде. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 2.2. Оценка воздействия Проекта строительства сельских дорог: базисное обследование 1997 г. во Вьетнаме . . . . . . . . . . . . . . . . . . . . . 226 Приложение 3: Примерный бюджет оценки воздействия Программы организации школьного питания. . . . . . . . . . . . . . 233 Приложение 4: Показатели воздействия — оценка Социального инвестиционного фонда Боливии (СИФ). . . . . . 236 Приложение 5: Образец матрицы логической структуры программы/проекта для составления отчета о завершении проекта или документа об оценке проекта . . . . . . . . . . . . . . . . . . . . . 242 Приложение 6: Матрица анализа. . . . . . . . . . . . . . . . . . . . . . . . . . 246 Глоссарий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255

VI

Вставки 1.1. Проблема смещения выборки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7


1.2. Краткий обзор количественных методов, используемых при оценке воздействия программ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.3. Методы оценки стратегии структурной перестройки . . . . . . . . 14 2.1. Основные этапы разработки и проведения оценки воздействия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.2. Ключевые моменты при определении информационных ресурсов для оценки воздействия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.1. Этапы отбора подобного по склонности (вероятности) . . . . . 64 3.2. Источники смещения в упрощенной оценке воздействия PROSCOL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 3.3. Применение метода двойных различий . . . . . . . . . . . . . . . . . . . . . . . 71 3.4. Критерии бедности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 3.5. Сравнение бедности при проведении программы и без нее . . . . . . 76 Таблицы 2.1. Методы оценки и требования к данным . . . . . . . . . . . . . . . . . . . . . . . 36 2.2. Основной инструментарий сбора данных для оценки воздействия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 4.1. Итоговая таблица: примеры удачной оценки воздействия . . . 83 4.2. Смета расходов в некоторых оценках воздействия, проведенных силами Всемирного банка . . . . . . . . . . . . . . . . . . . . . . 99

VII


Предисловие

Несмотря на то, что на программы содействия развитию ежегодно выделяются миллиарды долларов, о реальном воздействии проектов на положение бедных известно очень мало. Существует много дан ных о выгодах экономического роста, инвестиций в человеческий капитал и создания системы социальной защиты малообеспеченных. Но приносит ли конкретное мероприятие в данной стране ожидае мую пользу и каково его общее воздействие на население? Можно ли сделать такую программу или проект более эффективными? Рацио нально ли расходуются ресурсы? На эти вопросы можно получить от вет лишь посредством оценки воздействия, то есть измерения ре зультатов проведения подобных мер отдельно от остальных возмож ных внешних факторов. Многие правительства, учреждения и руководители проектов не склонны проводить оценки воздействия (impact evaluations), считая их дорогими, трудоемкими и технически сложными предприятиями. Кроме того, их результаты (если они оказались отрицательными) мо гут стать «политически чувствительными». К тому же результаты мно гих оценок подвергаются критике, так как они проявляются слишком поздно, не отвечают на поставленные вопросы или не обеспечивают достаточной аналитической «строгости». Ограниченное количество и качество данных является еще одной распространенной помехой при проведении подобного рода оценок. Тем не менее при условии заблаговременного и грамотного плани рования, поддержки со стороны разработчиков стратегии и выделе ния небольших, в сравнении с общей стоимостью проекта, средств тщательно проведенная оценка может стать мощным инструментом в определении обоснованности и действенности программ. Оценка воздействия особенно важна для развивающихся стран в условиях ог раниченности ресурсов, где каждый потраченный доллар должен да вать максимальный эффект в деле сокращения бедности. Правильно собранная информация позволит произвести корректировку недо

VIII


статочно хорошо проработанных программ, усилить их положитель ное воздействие на целевые группы, выявить и свернуть те програм мы, которые не приносят нужного эффекта. Информация и знания, приобретенные в ходе изучения воздействия, являются критически важной составляющей при разработке будущих программ и проектов. Задача настоящего пособия — предоставить руководителям про грамм и стратегическим аналитикам инструментарий для оценки воздействия проектов. Пособие предполагает общее знакомство чи тателей с основами статистики. В отношении некоторых более слож ных статистических методов рекомендуется обращаться к специаль ной литературе. Глава 1 дает обзор понятий и методов. В главе 2 об суждаются основные этапы проведения оценки и вопросы, связан ные с их осуществлением. Глава 3 иллюстрирует применение различ ных аналитических методов на примерах рассмотрения конкретных ситуаций («кейсстади»). Глава 4 включает рассмотрение опыта, полу ченного в ходе изучения богатого набора позитивных практических примеров («наилучшей практики») оценки проектов сокращения бедности. Конкретные ситуации, представленные в приложении 1, выбирались из широкого спектра оценочной деятельности, прове денной Всемирным банком, другими донорскими организациями, научноисследовательскими институтами и частными консалтинго выми фирмами. Они представляют разные страны, типы проектов, методы оценки и характеризуются методологической строгостью. В приложениях 2–6 также приведены примеры основных компонен тов, необходимых при планировании любой оценки воздействия: ти повое техническое задание, бюджет, индикаторы воздействия, «лог фрейм» и матрица для анализа воздействий проекта . Хотя для разных сфер деятельности и для различных групп насе ления используются сходные методики оценок воздействия, приве денные здесь примеры подходов и конкретных ситуаций относятся в основном к оценке воздействия проектов, направленных на борьбу с бедностью. Оценка эффективности этих программ потенциально охватывает широкий диапазон проектов и вопросов, таких как изме рение воздействия программ предоставления малых кредитов на до ход домохозяйств, воздействие программы обучения на занятость, программы школьного питания на посещаемость, или программы строительства сельских дорог на благосостояние домохозяйств. Независимо от типа проекта или рассматриваемых проблем каж дая оценка воздействия уникальна, поскольку она определяется име ющимися данными, существующим потенциалом для проведения ис следования, временны´ми рамками и бюджетом. Наконец, для прове

IX


дения качественной оценки, дающей надежные и обоснованные ре зультаты необходимы политическая воля и финансовая поддержка, тщательное предварительное планирование, участие всех заинтере сованных сторон при формулировании целей и выборе используе мых подходов, достаточный объем данных, правильное сочетание количественных и качественных методов, последовательное их при менение, а также налаженные механизмы связи, взаимодействия и обмена информацией (коммуникации) внутри рабочей группы на протяжении всей работы. Мысль о том, чтобы издать данную книгу на русском языке, появи лась в ходе учебного курса, который проводился Институтом Все мирного банка в июне 2001 года. Этот курс был предназначен для ру ководителей из ряда странчленов Всемирного банка, заинтересо ванных в проведении оценки воздействия проектов и программ. Мы надеемся, что настоящая книга будет полезна и другим специалис там, предполагающим осуществлять подобные исследования. Джуди Л. Бейкер

X


Предисловие к русскому изданию

Книга Джуди Бейкер «Оценка воздействия проектов развития на бед ность: практическое руководство» является в России первой моно графией, посвященной вопросам оценки воздействия проектов и программ на снижение бедности. Предлагаемая читателям книга прекрасный пример синтеза пред ставленных материалов — общего обзора понятий, методов, этапов проведения оценки воздействия и вопросов, связанных с их приме нением при рассмотрении конкретных ситуаций, а также обширной практики во многих странах мира, включая развитые и развивающи еся. Оригинальность и ценность данной книги заключается в том, что автор дал возможность читателям рассмотреть опыт, накоплен ный в ходе изучения широкого спектра позитивных практических примеров оценки проектов сокращения бедности. При этом кон кретные ситуации выбирались из реального опыта оценочной дея тельности Всемирного Банка, других донорских организаций, науч ноисследовательских институтов и частных консалтинговых фирм в разных странах и для различных типов проектов. Несомненную пользу читателю принесет и ознакомление с приведенной в книге технической документацией — типовым техническим заданием на проведение работ по оценке, примерами бюджета и используемыми конкретными показателями, описывающими воздействие проектов. Автор имеет значительный опыт работы в отделе Всемирного банка, который занимается различными аспектами стратегий по снижению бедности в разных странах мира. Это позволяет ей удачно показать в книге, как работают различные методы оценки результа тов реализации проектов и программ и представить настоящим и бу дущим руководителям программ и стратегическим аналитикам пол ный инструментарий для оценки воздействия проектов. В книге рассматриваются многие важнейшие вопросы комплекс ной оценки результатов реализации крупномасштабных проектов. Этот вид деятельности сейчас бурно развивается, и появляются но

XI


вые направления и области приложения оценки в нашей стране и за рубежом. В частности, проведенная в России в Новосибирске в 2000 году Международная конференция «Оценка и мониторинг как инструмент повышения инвестиционной привлекательности соци альных проектов», поставила задачу — способствовать формирова нию профессионального потенциала в области оценки социальных программ в России, СНГ, Центральной и Восточной Европе путем продвижения института профессиональной оценки и экспертизы, повышения квалификации специалистов, занимающихся оценкой и мониторингом программ, установления профессиональных контак тов между участниками и их ознакомления с международным опы том развития профессионального сообщества специалистов по оценке и мониторингу программ и проектов. В настоящее время в нашей стране и за рубежом специалистами в области оценки проектов широко обсуждаются такие вопросы, как: • методы и механизмы оценки в разных организациях и стра нах; • влияние оценки на эффективность проектов и программ; • потребности и заказчики оценки; • стандарты и этические нормы для обеспечения процессов оценки; • формы и методы продвижения оценки как услуги; • пути формирования устойчивого сообщества профессиональ ных оценщиков — создание и развитие института оценки.

XII

Думается, что книга Дж. Бейкер дает ответы на многие из этих во просов применительно к оценке крупных проектов. Автор показыва ет, что адекватная реалистическая оценка воздействия проектов и программ имеет важное значение для принятия правильных эконо мических решений. Значимость мониторинга и оценки трудно пере оценить, поскольку речь идет о крупных проектах, о десятках и сот нях миллионов долларов. Учет показателей оценки краткосрочных и долгосрочных воздействий уже с самого начала проекта просто жиз ненно необходим. Ошибки стоят слишком дорого. Большое внимание автор уделяет представлению международного опыта в данной области, который показывает, что по мере развития программ качественного государственного управления потребность в формировании оценочного потенциала будет возрастать, в связи с важностью этого инструмента как средства сохранения темпа рефор мирования государственного сектора, поддержания инициатив по


борьбе с коррупцией, а также повышения качества и «прозрачности» управления государственными расходами. В настоящее время следует активно вести разъяснительную и просветительскую работу о необ ходимости развития оценочного потенциала на уровне высших эше лонов власти. Для того, чтобы это развитие было устойчивым, необхо димо обучить как разнообразных «потребителей» (государственные чиновники, журналисты, НПО), так и «производителей» (аналитики, руководители программ, исследователи) оценки. В России и странах СНГ развитие института оценки, в целом, пока находится в стадии становления — общее число квалифицирован ных российских специалистов, которые участвовали в оценке реаль ных проектов (как правило, в оценке краткосрочных результатов) не превышает нескольких десятков человек, т.е. нет достаточного числа экспертов в этой области. У российских оценщиков отсутствует опыт практической работы с крупными проектами, большинство специа листов участвовало в мониторинге и оценке, главным образом, не больших грантов и проектов (стоимостью от 500 до 500 тыс. долл.), и мы не располагаем информацией об экспертахоценщиках, которые работали бы с крупномасштабными многомиллионными проектами, такими как проекты Всемирного банка или Европейского банка ре конструкции и развития в России. Как показывает опыт, российские оценщики (включая некоммерческие организации — НКО) не обла дают достаточными знаниями и умением в области предварительной экспертизы проектов и программ (exante evaluation/assessment), хо тя эти вопросы достаточно разработаны (см. например, «Методичес кие рекомендации по оценке эффективности инвестиционных про ектов» (вторая редакция). Официальное издание, Москва, Издатель ство «Экономика», 2000 г.). Этот пробел в знаниях и навыках необхо димо и нетрудно устранить. В связи с вышесказанным, необходимо проведение углубленного обучения и развитие консалтинга в области профессиональной оценки и мониторинга проектов и программ и продолжение про движения института профессиональной оценки и мониторинга как важного механизма, повышающего эффективность социальных про ектов. Кроме того, необходима консолидация донорских ресурсов для обучения тех, кто будет на практике заниматься оценкой и веде нием мониторинга, и оказание помощи организациям в создании и поддержании функций оценки и мониторинга в целях обеспечения достоверной и полезной информации. Организации содействия раз витию имеют богатый опыт оценки собственных программ и проек тов, что собственно и показано в данной книге, которая могла бы слу

XIII


жить основой для разработки курсов углубленного изучения методов оценки воздействия проектов и программ развития. В силу междисциплинарности изложенной в книге тематики, а также изза не устоявшейся русскоязычной терминологии в данной области (например, чего стоит только интерпретация английских терминов «output», «outcome» и «impact»), коллектив, работавший над переводом и его редакцией, счел возможным добавить в переведен ный текст книги постраничные ссылки с примечаниями редактора, глоссарий терминов и библиографические данные изданий на рус ском языке по данной теме. В заключение отметим потенциально широкий круг возможных читателей этой книги. Она должна быть интересной не только эко номистам, преподавателям, научным работникам, специалистам по оценке, но и специалистампрактикам, работающим в других сферах. Это, например, работники банков, крупных компаний, корпораций, донорских организаций, а также специалистов, занятых в малом и среднем бизнесе. Мы надеемся, что эта книга принесет пользу не только россий ским, но и зарубежным специалистам, читающим на русском языке. Научный редактор выражает благодарность Джуди Л. Бейкер, Т.Г. Леоновой, Н.В. Зверевой, Ю.К. Стрелкову, А.А. Малову, М.И. Смета ниной, Е.А. Свириной, А.Н. Сальникову, а также всему коллективу Московского представительства Института Всемирного банка, за по мощь в процессе подготовки русского издания данной книги. Научный редактор И.Н. Зимин, Специалист Отдела развития финансового и частного секторов Московского представительства Всемирного банка

XIV


Выражение признательности

Данное руководство составлено Джуди Л. Бейкер с использованием вспомогательных материалов, подготовленных следующими членами группы: Джилетт Холл (конкретные ситуации, выводы), Джулия Лейн (конкретные ситуации, выводы), Мартин Равальон (аналитическое введение), Лаура Ролингс (вопросы внедрения); а также работы по оценке воздействия, проделанной Кене Эземенари, Глорией Рубио, Андерсом Рудквистом и К. Суббарао. Предварительные исследования были проведены Матью Флемингом и Самиром Стюартом. Поддерж ка была предоставлена совместно Отделом региона Латинской Аме рики и Карибского бассейна (LCSPR) и Отделом сокращения беднос ти и управления экономикой (PREM) Всемирного банка под руковод ством Нормана Хикса, Гильермо Перри и Майкла Волтона. Большую пользу принесли комментарии Омара Ариаса, Сабины Алькайр, Май кла Бамбергера, Сонии Карвало, Венди Каннингэм, Шахидура Кандке ра, Норберта Шейди и Квентина Водона.

XV


Глава 1

Оценка долгосрочного воздействия: понятия и методики Согласно определению из литературных источников, оценка счи тается комплексной, если она включает в себя мониторинг, а также оценку процесса, оценку «затраты—выгоды» и оценку воздействия. Однако эти составляющие имеют четкие различия. Мониторинг (monitoring) помогает определить, не отклоняется ли программа от плана. Он обеспечивает постоянную обратную связь, что позволяет выявлять проблемы по мере их возникновения. Оценка процесса (process evaluation) относится к процессам осуществления про граммы и предоставления соответствующих услуг. Оценка «затра ты–выгоды» (costbenefit) и «затраты–эффективность» (cost effectiveness) сопоставляет затраты по программе (финансовые и пр.) с альтернативными возможностями использования тех же ре сурсов и соответствующими выгодами от программы. И, наконец, оценка воздействия (impact evaluation) выявляет, оказала ли про грамма ожидаемое воздействие на людей, домохозяйства или ин ституты и дало ли это мероприятие необходимый эффект. Оценка воздействия позволяет также анализировать побочные последст вия, положительные и отрицательные, для бенефициаров (получа телей выгод). Особое значение для данного пособия представляет определение того, в какой степени эти выгоды оказываются дости жимыми для бедных и как эти выгоды воздействуют на их благосо стояние. Среди вопросов, которые ставит перед собой оценка воз действия, могут быть следующие: как проект повлиял на бенефици аров? Были ли наблюдаемые улучшения прямым результатом про екта или они произошли бы в любом случае? Можно ли повысить эффективность программы путем внесения в нее какихлибо изме нений? Обоснованы ли затраты? На эти вопросы нельзя ответить простым измерением итогов проекта. Ведь в ситуации могут присутствовать другие факторы или события, коррелирующие с результатом, но не вызванные проек том. Для обеспечения методологической строгости оценка воздей


2

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ствия должна охватывать так называемую «гипотетическую аль тернативную ситуацию или сценарий», «предположение от об ратного» (determining the counterfactual), т.е. «то, что было бы в от сутствие проекта». Например, если недавний выпускник программы трудового обучения нашел работу, является ли это результатом про граммы, или он трудоустроился бы в любом случае? Чтобы полу чить представление о гипотетическом альтернативном сценарии, необходимо отделить эффект воздействия от других факторов, что представляет собой довольно сложную задачу. Для этого использу ются контрольные группы (control groups), т. е. группы тех, кто не участвует в программе и не получает помощи. Затем контрольная группа сравнивается с экспериментальной группой (treatment group) (т.е. группой, на которую оказывается воздействие). Кон трольная, или сравнительная группа выделяется случайным обра зом из той же совокупности, что и группа участников программы. В состав такой контрольной группы включаются те, кто не участвуют в программе. Контрольная группа должна соответствовать экспери ментальной группе по всем параметрам; единственным отличием является само участие в программе. В основе оценки лежит выявление гипотетической альтерна тивной ситуации. Получить о ней представление можно несколь кими методами, которые подразделяются на две общие категории: экспериментальные (рандомизированные) и квазиэксперимен тальные (нерандомизированные) подходы3. Тем не менее доволь но сложно отделить воздействие программы от такой ситуации из за различий в предыстории, смещений и ошибок выборки. Для оценки воздействия можно также использовать качественные ме тоды, или методы с вовлечением бенефициаров. Они часто дают возможность критически взглянуть на процесс с позиции бенефи циаpов, увидеть, какова ценность программы для ее участников, ка кие процессы могут влиять на результат и, таким образом, более корректно интерпретировать данные количественного анализа. Сильные и слабые стороны каждого из этих методов более подроб но рассмотрены ниже. Как увидит в дальнейшем читатель, ни один из методов не является идеальным, и потому окончательное реше ние о выборе наиболее подходящего из них должен принимать специалист по оценке. Однако заблаговременное и тщательное планирование даст больше вариантов при разработке схемы и стратегии оценки. 3

См. определения во вставке 1.2. (Здесь и далее — Примечания редактора.)


ОЦЕНКА ДОЛГОСРОЧНОГО ВОЗДЕЙСТВИЯ: ПОНЯТИЯ И МЕТОДИКИ

3

Экспериментальные подходы Экспериментальные подходы, также называемые «рандомизацией», обычно считаются наиболее надежной и обоснованной методикой оценки. При случайном распределении помощи среди имеющих на нее право сам процесс создает экспериментальные и контрольные группы, сравнимые и статистически эквивалентные при достаточ ном объеме выборки. Это очень важный результат, поскольку кон трольные группы, составленные с помощью случайной выборки, обеспечивают идеальную «гипотетическую ситуацию», свободную от смещения выборки (эта проблема присутствует во всех оценках). Ос новное преимущество этой методики заключается в простоте интер претации данных, так как воздействие программы измеряется разни цей между средними показателями в экспериментальной и кон трольной группах. Один из примеров — распространение школьных учебников в Кении, когда оценщики случайным образом отобрали школы, которым будет предоставлена помощь, провели базовый4 за мер (определили исходные параметры), создали контрольную груп пу и реализовали программу, предусматривавшую в данном случае предоставление учебников. Наличие контрольной и эксперимен тальной групп позволило четко определить воздействие программы на успеваемость. Хотя экспериментальные подходы считаются оптимальным ин струментом при оценке воздействия программ, их практическое применение сопряжено с некоторыми проблемами. Вопервых, рандомизация5 может оказаться неэтичной, так как она требует от каза в предоставлении помощи и услуг тем, кто нуждается в них и имеет на них право. В качестве крайнего (экстремального) приме ра можно привести отказ некоторым членам в лечении, которое по тенциально могло бы спасти им жизнь. Вовторых, предоставление помощи одной группе и отказ по отношению к другой могут ока заться политически опасными. Втретьих, программа может быть столь широка, что получают помощь все и контрольной группы просто не может быть. Пример — ссуды переселенцам или общена циональные программы. Вчетвертых, у членов контрольной груп пы во время эксперимента возможны изменения некоторых ключе 4 Исходные данные (информация), с которыми сравниваются результа ты реализации программы. 5 Термин «рандомизация» в данном контексте является синонимом выражения «процесс формирования случайной выборки».


4

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

вых характеристик, что сделает затруднительным получение адек ватных и «чистых» результатов. Если, например, люди въезжают и выезжают из географической области проекта, они могут войти или выйти из состава экспериментальных и контрольных групп. С другой стороны, те, кому было отказано в помощи, могут искать ее другими путями, а те, кому предложено участие в программе, могут от него отказаться. Впятых, трудно обеспечить понастоящему слу чайный характер распределения помощи. Например, возможен от каз со стороны чиновников включать в программу тех, кто пред ставляет группу риска, с целью получить более высокие результаты программы. И, наконец, при некоторых обстоятельствах экспери ментальные подходы могут быть трудоемкими и дорогостоящими, особенно при сборе новых данных. При использовании экспериментального подхода некоторые из этих проблем можно решить, благодаря тщательному планирова нию. Один из способов — случайный отбор бенефициаров. Это обеспечивает создание политически прозрачного механизма рас пределения и одновременно основу грамотного плана оценки, по скольку бюджетные или информационные ограничения часто дела ют невозможным точно выявить тех, кто имеет наибольшее право на помощь, и оказать им эту помощь. Второй способ — использовать контрольные группы на более поздней стадии программы, после то го как план оценки уже разработан и сама оценка уже началась. Этот метод случайной выборки определяет, когда именно получат по мощь те, кто имеет на это право (в отличие от определения того, по лучают ли они ее вообще). Такой подход был применен при оценке программы питания в Колумбии; в качестве дополнительного ре зультата был получен ответ на вопрос, какое время требуется, чтобы программа по борьбе с недостаточным питанием возымела эффект (McKay, 1978). И, наконец, рандомизация может быть применена в подвыборке из группы людей, имеющих одинаковое право на по мощь. То есть помощь будет предоставлена всем тем, кто имеет на нее преимущественное право, а остальным в ней будет отказано. Так было сделано, например, с образовательными проектами в регионе ЭльЧако при оценке деятельности Социального фонда Боливии (Pradhan, Rawlings and Ridder, 1998). Впрочем, при использовании такого подхода следует помнить, что результаты, полученные по средством данной оценки, применимы лишь к той группе, из кото рой сделана случайная выборка.


ОЦЕНКА ДОЛГОСРОЧНОГО ВОЗДЕЙСТВИЯ: ПОНЯТИЯ И МЕТОДИКИ

5

Квазиэкспериментальные подходы Когда невозможно создать контрольные и экспериментальные группы посредством экспериментального подхода, для оценки можно использовать квазиэкспериментальные (нерандомизиро ванные) подходы. С помощью эконометрических методов созда ются контрольные группы, напоминающие экспериментальные (по крайней мере, в отношении наблюдаемых характеристик). Примеры: метод отбора по подобию6, методы двойных различий7, методы, основанные на использовании инструментальных пере менных и рефлексивных сравнений (вставка 1.2). При использо вании этих методов экспериментальная и контрольная группы обычно выбираются после осуществления программы, причем вы бираются неслучайным образом. Поэтому для достижения макси мального подобия между контрольной и экспериментальной группами различия между ними должны устраняться с помощью статистических мер контроля и/или сложных методов отбора по подобию. В некоторых случаях контрольная группа также выбира ется до реализации программы, хотя ее выбор не является рандо мизированным. Главное преимущество квазиэкспериментальных подходов в том, что они позволяют использовать существующие данные и по этому требуют меньше времени и средств. При наличии достаточ ных данных их можно применять после проведения программы. Главные недостатки квазиэкспериментальных подходов заключа ются в следующем: а) надежность результатов часто невысока, по скольку методология менее строга в статистическом плане; б) ме тоды могут быть статистически сложными; в) существует проблема смещения выборки. При создании контрольной группы (в отличие от случайной выборки) на надежность результатов может повлиять множество факторов. Сложность статистических методов требует высокой квалификации при разработке плана оценки, анализе и интерпретации результатов. Это не всегда возможно, особенно в условиях, характерных для некоторых развивающихся стран. 6 Отбор по подобию (matching) — метод формирования контрольной группы из тех, кто не участвует в проекте, но наиболее близок по ключевым переменным к экспериментальной группе. 7 Метод двойных различий (doubledifference) — метод учета различий между различиями, метод анализа результативности программы, когда срав ниваются различия, имевшие место в экспериментальной и контрольной группах за время реализации программы.


6

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Третья проблема — смещение, или отклонение (bias)8— связана с тем, что степень участия в программе неодинакова для различ ных подгрупп; это влияет на выборку и в конечном счете на резуль таты. Существует два типа смещения: смещение изза различий в том, что подлежит наблюдению, т. е. различий в данных, и смеще ние изза различий в ненаблюдаемых факторах (не в данных). По следнее часто называют смещением выборки (вставка 1.1). Наблю даемое смещение может быть обусловлено критериями, использу емыми для формирования выборки (например, географическое положение, посещение школы или присутствие на рынке труда). Ненаблюдаемые факторы, которые способны повлиять на резуль тат программы, могут включать индивидуальные способности, сте пень желания работать или семейные связи, а также субъективный (часто политически мотивированный) уклон в процессе отбора участников программы. Оба типа смещения могут исказить резуль таты, включая недооценку и переоценку фактического воздейст вия программы, негативную оценку при реальном положительном эффекте (и наоборот) или признание воздействия статистически незначимым при его реальной статистической значимости (и на оборот) (см., например: LaLonde, 1986; Fraker and Maynard, 1987; LaLonde and Maynard, 1987; Friedlander and Robins, 1995). Можно контролировать смещение статистическими методами, такими как метод сравнения по подобию (схожести)9 или метод инструмен тальных переменных, но полностью устранить смещения очень трудно, что является большой проблемой для исследователей в об ласти анализа воздействия. Среди методов, применяемых в рамках квазиэкспериментальных подходов, второй наилучшей альтернативой экспериментальным, во обще говоря, считается метод сравнения по подобию. Литература по методологии оценки большей частью посвящена использованию именно этого метода, что отражает как частоту его применения, так и большое количество трудностей, вызванных далеко не идеальными контрольными группами. В последние годы произошло существен ное развитие метода отбора подобного по склонности (вероятнос 8 Под «смещением» (bias) обычно понимается разность между данной ве личиной и средним значением некоторого набора величин или степень от клонения данных в наборе от случайного распределения. 9 Метод сравнения по подобию (схожести) (matched comparison) — ме тод сравнения экспериментальной и контрольной группы (отобранной на основе эконометрических методик, например показателей уравнений рег рессии, на основе более широких исследований, например бюджетных).


ОЦЕНКА ДОЛГОСРОЧНОГО ВОЗДЕЙСТВИЯ: ПОНЯТИЯ И МЕТОДИКИ

Вставка 1.1. Проблема смещения выборки Смещение выборки относится к ненаблюдаемым факторам (напри мер, индивидуальные способности, ранее существовавшие условия и т.д.), которые могут привести к искажению результата. Рандоми зированные эксперименты решают проблему смещения посредст вом контрольной группы, сформированной из тех, кто мог бы уча ствовать в программе, но кому на случайной основе было отказано в доступе к ней. Случайное распределение помощи не устраняет смещения, но равномерно распределяет его между участниками и неучастниками программы. В квазиэкспериментальных схемах статистические модели (например, метод отбора по подобию, ме тод двойных различий, метод инструментальных переменных) приближаются к этому результату путем моделирования процесса выборки, чтобы, даже используя неэкспериментальные данные, по лучить несмещенную оценку. Общая идея — сравнить участников и неучастников программы, используя один и тот же процесс их от бора. Достоверность этой модели зависит от того, насколько хоро шо она определена. Хорошим примером может служить ситуация с оценкой зарпла ты женщин. Имеющиеся данные относятся к категории женщин, ко торые для себя сделали выбор — работать. Если бы решение об ис пользовании этих данных было принято, то мы могли бы игнори ровать тот факт, что не вся информация о заработках собрана, и применить в модели формирования оплаты труда линейную рег рессию. Однако решение работать принимается женщинами не случайно: возможно, те из них, кто получил бы низкие заработки, предпочтут не работать, поскольку они оценивают свой ожидае мый заработок выше, чем им предлагают работодатели. По этой причине выборка, составленная на основе этих имеющихся дан ных, была бы смещена вверх по сравнению с реально существую щими заработками женщин. Можно внести соответствующую поправку, если существуют пе ременные, оказывающие сильное влияние на возможные наблюде ния (ожидаемая заработная плата), но не на изучаемый результат (фактически предлагаемая заработная плата). Такой переменной могло бы быть количество детей в доме. Источник: Greene, 1997.

7


8

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ти)10 (Rosenbaum and Rubin, 1985; Jalan and Ravallion, 1998). Этот ме тод привлекателен для специалистов по оценке, работающих в усло виях ограниченного времени и не имеющих базовых (исходных) данных, поскольку он может быть использован с единичным срезом данных. Но его результаты зависят от наличия правильных данных, так как он основывается на избыточной выборке из числа участников программы в процессе полевой стадии более масштабного исследо вания, а затем на сравнении их по подобию с контрольной группой, также отобранной из большой выборки, часто из общенациональных обследований домохозяйств. Поскольку крупные обследования в раз вивающихся странах проводятся все чаще (например, Многоцелевое обследование уровня жизни — Living Standard Measurement Studies, LSMS), то этот метод оценки выглядит весьма перспективным. Хоро ший пример — оценка программы общественных работ «TRABAJAR» в Аргентине (Jalan and Ravallion, 1998, приложение 1.1 и глава 4).

Вставка 1.2: Краткий обзор количественных методов, используемых при оценке воздействия программ Ниже приведены основные методы оценки воздействия. Поскольку ни один метод не является совершенным, всегда полезно проводить триангуляцию (их совмещение).

Экспериментальный, или рандомизированный подход •

Рандомизация — это когда производится случайная выборка участ ников экспериментальной и контрольной групп из четко опреде ленной совокупности. В этом случае группы должны различаться только тем, что одна из них принимает участие в программе, а дру гая — нет. (Могут быть различия изза ошибки выборки, но чем боль ше экспериментальная и контрольная группы, тем меньше ошибка.)

Неэкспериментальные, или квазиэкспериментальные подходы •

Методы отбора по подобию, или конструируемые средства кон троля (matching methods or constructed controls), в которых дела

10 Метод формирования контрольной группы с использованием показа телей уравнения регрессии, рассчитанного для экспериментальной группы.


ОЦЕНКА ДОЛГОСРОЧНОГО ВОЗДЕЙСТВИЯ: ПОНЯТИЯ И МЕТОДИКИ

9

ется попытка подобрать идеальные сравнения, соответствующие экспериментальной группе из крупного исследования. Наиболее часто используемый тип отбора — это метод отбора подобного по склонности (вероятности) (propensity score matching), когда кон трольная группа сопоставляется с экспериментальной на основе наблюдаемых характеристик или с помощью «показателя склон ности» (ожидаемой вероятности участия при данных условиях); чем ближе показатели склонности, тем лучше соответствие. Хоро шая контрольная группа берется из той же экономической среды, что и экспериментальная, им предлагается одинаковая анкета, а интервьюеры имеют сходную подготовку. (Эти методы называют также методами согласования. — Прим. ред.) Методы двойных различий, или учета различий между различия ми (double difference or differenceindifferences methods), когда сравниваются экспериментальная и контрольная группы до (пер вая разность) и после (вторая разность) программы. Инструменты сравнительного анализа (компараторы) не следует использовать, когда применяются показатели склонности, и их значения выхо дят за рамки полученных в экспериментальной группе. Методы инструментальных переменных, или статистического контроля (instrumental variables or statistical control methods), где используется одна переменная или более, имеющие отношение к собственно участию, но не к результату этого участия. При этом определяются экзогенные изменения в результатах, причиной ко торых является программа; таким образом, признается, что ее раз мещение не случайно, а целенаправленно. «Инструментальные переменные» используются прежде всего для прогнозирования участия в программе. Затем можно наблюдать, как показатель ре зультата меняется вместе с прогнозируемыми значениями. Рефлексивные сравнения (reflexive comparisons)11, в которых производится «базисное» (исходное) обследование участников до проведения программы, а также обследование после ее про ведения. Исходные данные служат для формирования контроль ной группы, а воздействие измеряется с помощью изменений показателей результата до и после программы.

11 Рефлексивные сравнения (reflexive comparisons) — метод оценки результативности программы, когда за контрольную группу принимаются участники программы до ее начала и сравниваются изменения, произошедшие с ними в ходе ее реализации (используется в случае полного охвата данной группы населения программой и невозможности выделить сосуществующую, но не затронутую программой контрольную группу).


10

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Качественные методы Качественные методы также применяются для оценки воздейст вия, однако причинноследственные связи определяются не через гипотетическую альтернативную ситуацию (Mohr, 1995). Главное в качественных методах — понять, как изучаемые индивиды или группы воспринимают происходящие процессы, их поведение и условия (Valadez and Bamberger, 1994). Качественные методы, осо бенно наблюдение участников, могут раскрыть, как домохозяйства и местные сообщества воспринимают проект и какое влияние он на них оказывает. Поскольку ключевым элементом анализа воздей ствия является анализ гипотетической альтернативной ситуации, качественные подходы обычно комбинируют с другими методами. Качественный подход использует сравнительно «открытые» мето ды в составлении схемы сбора данных и при их анализе. Качест венным данным можно дать также количественное выражение. Среди методик качественной оценки воздействия есть такие, что предназначены для проведения экспрессоценок в сельской мест ности. Они основываются на знаниях участниками окружения проекта или программы, по которым проводится оценка. Также ис пользуются методики, при которых предусмотрено широкое учас тие всех заинтересованных сторон на всех этапах проведения оценки: при определении цели исследования, выявлении и отборе тех показателей, что будут использоваться, а также сборе и анализе данных. Подробный анализ методов, предусматривающих участие общественности, см.: World Bank, 1996, The World Bank Participation Sourcebook. Преимущества качественной оценки заключаются в гибкости методики и возможности ее адаптации к конкретной ситуации, в ее «открытости» и быстроте проведения. Использование качествен ных методов дает более глубокое понимание позиций всех заинте ресованных сторон и системы их приоритетов, а также условий и процессов, влияющих на воздействие программы. Среди недостатков следует отметить субъективность при сборе данных, отсутствие сравнительной (контрольной) группы и статис тическую недостоверность ввиду небольших объемов выборки, что затрудняет экстраполяцию выводов на более репрезентативную со вокупность (популяцию). Обоснованность и надежность качествен ных данных в большой мере зависят от квалификации и интуиции специалиста, проводящего оценку. Если полевые работники не пони мают какиелибо социальные и культурные нормы или установки, не


ОЦЕНКА ДОЛГОСРОЧНОГО ВОЗДЕЙСТВИЯ: ПОНЯТИЯ И МЕТОДИКИ

11

учитывают знаки невербальной коммуникации12, то существует риск неверной интерпретации собранных данных. И, наконец, не имея сравнительной группы, невозможно построить гипотетическую аль тернативную ситуацию, и, соответственно, выявить причиннослед ственные характеристики воздействия проекта.

Сочетание количественных и качественных методов Существует обширная литература, посвященная сравнению и проти вопоставлению количественных и качественных методов. Вместе с тем растет и понимание необходимости сочетания этих подходов. Количественные методы оценки на основе статистически репрезен тативной выборки более подходят для оценки причинноследствен ных связей посредством эконометрических методов или для получе ния экстраполируемых заключений. Качественные методы дают воз можность глубокого изучения избранных тем, ситуаций или собы тий. Они позволяют посмотреть на происходящее с позиции получа теля помощи (бенефициара), наблюдать динамику изменений, помо гают интерпретировать количественные результаты. Выбор того или иного подхода имеет как преимущества, так и недостатки. Часто именно комбинация количественных и качественных подхо дов наилучшим образом соответствует информационным потребнос тям проекта. При сочетании двух подходов качественный метод помо гает формулировать ключевые вопросы, составлять анкеты, стратифи цировать количественные выборки, анализировать социальный, поли тический или экономический контекст проекта. Количественные же методы помогают определять стратегии сбора качественных данных, разрабатывать структуру выборки таким образом, чтобы результаты качественного анализа могли быть экстраполированы на всю совокуп ность через использование статистически значимой выборки. Статис тический анализ можно использовать для внесения поправок в описа ние характеристик домохозяйств и социальноэкономических усло вий в различных исследуемых областях, исключая тем самым альтер нативные объяснения наблюдаемых результатов. 12 Под «невербальной коммуникацией» понимается передача или об мен информацией без посредства речи или устного высказывания. На пример, это может быть обмен письменными посланиями, выражение от ношения к чемулибо жестом или поступком (отказ от интервьюирова ния, который может быть обусловлен нарушением какихлибо социаль ных и культурных норм или установок).


12

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Преимущества использования такого интегрированного подхода рассмотрены Бамбергером (Bamberger, 2000). Они относятся и к оценке воздействия. Среди них следующие. • Проверка согласованности оценок может осуществляться по средством метода триангуляции13, т.е. путем проведения несколь ких независимых оценок ключевых переменных (таких, как уро вень дохода, различные мнения о проекте, причины реализации или отсутствия реализации государственных программ, конкрет ное воздействие проекта и т.д.). • Возможность ознакомиться с разными точками зрения. Напри мер, несмотря на то, что исследователи могут считать ключевыми показателями благополучия домохозяйства уровень дохода или потребления, конкретные ситуации могут показать, что женщины более обеспокоены своей незащищенностью (определяемой как отсутствие доступа к системе социальной защиты в кризисной си туации), безвластием или применяемым к ним насилием. • Возможность проведения анализа на различных уровнях. Иссле довательские методы могут дать точную оценку благосостояния (индивидуума, домохозяйства или общества). Но они гораздо ме нее эффективны при анализе социальных процессов (конфликт, участие или неучастие в программах и т.д.) или при анализе рабо ты общественных институтов (насколько эффективно работают системы здравоохранения, образования, кредитования и т.д. и как они воспринимаются обществом). Существует множество качест венных методов для анализа социальных процессов, институтов, структуры общества и конфликтов. • Возможности обратной связи, помогающей интерпретировать результаты. Отчеты об исследованиях часто содержат напомина ния об очевидной непоследовательности или противоречивости результатов или об интересных различиях между сообществами и группами, которые не объясняются имеющимися данными. Боль шинство количественных исследований не дает возможности по сле окончания фазы сбора данных вернуться в поле за дополни тельной информацией. Поэтому исследователи также используют качественные методы для проверки так называемых «выбросов» — ответов, не вписывающихся в общую картину. Часто аналитик вы 13 Триангуляция (triangulation) — процесс независимых повторных (многоразовых) оценок основных переменных для проверки устойчиво сти измерений.


ОЦЕНКА ДОЛГОСРОЧНОГО ВОЗДЕЙСТВИЯ: ПОНЯТИЯ И МЕТОДИКИ

13

нужден принимать произвольное решение о том, исключать ли человека или домохозяйство, которые не соответствуют норме (исходя из предположения, что такое отклонение содержит ошибку), или же изменять цифры. Качественные методы позволя ют быстро проводить дополнительные полевые исследования для проверки таких случаев. На практике количественные и качественные методы должны со четаться на каждом этапе оценки воздействия. В главе 2 показаны многочисленные возможности их объединения. Хорошим приме ром такого интегрированного подхода служит реформа, направлен ная на достижение школами автономии (Никарагуа). Количествен ные методы в контексте квазиэкспериментального подхода исполь зовались для того, чтобы выявить взаимосвязь между децентрализа цией школьного управления и успеваемостью и экстраполировать результаты на другие типы школ. Кроме того, качественные методики (серия экспертных интервью и проведение фокусгрупп с участием школьных служащих и родителей школьников) использовались для анализа условий, при которых была начата реформа, для исследова ния динамики принятия решений в каждой из школ и оценки взгля дов различных участников школьного сообщества на процессы при обретения автономии (см. приложение 1.11).

Другие подходы к оценке воздействия Говоря об оценке воздействия на снижение бедности, следует отме тить еще два очень важных момента, это: а) подходы к измерению воздействия программ структурной перестройки и б) теоретическая оценка. Обе темы включают в себя применение многих из рассмот ренных выше методик, несмотря на использование иного подхода. Оценка программ структурной перестройки. В последнее вре мя довольно активно обсуждается воздействие программ структурной перестройки на положение бедных. Многие из аргументов, используе мых в этих дискуссиях, основаны на неверных допущениях и методах. Как и в других случаях, стратегические изменения в проектах структур ной перестройки должны быть: а) сопоставлены с соответствующими гипотетическими альтернативными ситуациями, в которых действова ли те же макроэкономические ограничения; б) проанализированы в контексте местной структуры экономики и основаны на эмпирической информации, полученной в ходе обследования домохозяйств. Задача


14

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

усложняется по трем причинам. Вопервых, стратегические изменения способны влиять на всю экономику, изза чего могут отсутствовать не затронутые сравнительные группы. Вовторых, изза наличия внешних факторов, задержек, обратных связей и замещений любые изменения в уровне благосостояния бедных следует интерпретировать с большой осторожностью. Втретьих, трудно предсказать, что произошло бы, ес ли бы изменения не проводились, — какую стратегию выбрало бы пра вительство и каковы были бы последствия для бедных. В литературе описано несколько подходов, и у каждого из них есть свои недостатки. Методы во многом похожи на описанные во вставке 1.2, хотя, как мы увидим ниже (см. вставку 1.3), анализ гипотетической альтернативной ситуации (предположения от обратного) требует существенных допущений, что может значительно повлиять на обос нованность результатов. Максимальный эффект дает выделение кон кретных стратегических изменений, воздействующих на население (например, валютный курс, торговая политика, сокращение государст венных расходов, сокращение занятости в государственном секторе). Но и без этого выделение воздействий конкретных стратегических из менений может оказаться трудной задачей. Примеры описаны в лите ратуре (Killick, 1995; Popple, Summarto, and Pritchett, 1999; Bourguignon, de Melo, and Suwa, 1991; а также Sahn, Dorosh, and Younger, 1996).

Вставка 1.3. Методы оценки стратегии структурной перестройки Подходы без использования гипотетической альтерна тивной ситуации •

Для оценки уровня жизни населения (и часто для выявления групп риска) до, во время и после осуществления стратегии структурной перестройки используются анализ фокусгруппы, интервью и другие качественные методы. Метод «до и после программы», когда сравниваются значения клю чевых переменных до и после программы. Эти статистические ме тоды используются для того, чтобы определить, произошло ли зна чимое изменение какихлибо переменных, представляющих инте рес для данного исследования. Такой подход часто приводит к сме щению результата, поскольку он исходит из предположения, что без программы показатели остались бы на исходном уровне.


ОЦЕНКА ДОЛГОСРОЧНОГО ВОЗДЕЙСТВИЯ: ПОНЯТИЯ И МЕТОДИКИ

15

Подходы, использующие построение гипотетической альтерна тивной ситуации (сценария) при множественных допущениях •

Расчетные модели общего равновесия (Computable General Equilibrium Models — CGE) базируются на имитационных мо делях для прогнозирования результатов для эксперименталь ных и контрольных групп. Основная задача таких моделей — отследить работу реальной экономики. Они обычно базиру ются на использовании детальных матриц «общественных счетов» (social accounting matrices — SAMs), составленных с помощью данных национальных счетов, анализа расходов домохозяйств и данных других исследований. Хотя метод CGE и позволяет построить гипотетический сценарий, надеж ность этой модели полностью зависит от достоверности до пущений. Это может быть проблематичным, поскольку базы данных не являются исчерпывающими, а многие параметры не были оценены формальными эконометрическими метода ми. Модели CGE также очень трудоемки и вообще отличаются своей громоздкостью. Сравнения: «с программой и без программы» — здесь сравни вается динамика ключевых переменных по выборке среди стран, где была осуществлена программа, и стран, где она не проводилась (контрольная/сравнительная группа). В качест ве альтернативного гипотетического сценария выступает по ведение контрольной группы (она демонстрирует ситуацию, которая имела бы место в странах, где проводилась програм ма, в отсутствие такой программы). Однако формирование надежной контрольной группы — довольно сложная задача. Этот метод исходит из того, что единственным отличием контрольной группы от страны, где проводится программа, является факт реализации программы структурной перест ройки, а остальные внешние факторы влияют на обе группы одинаково. Методы внесения статистической поправки (статистичес кий контроль) используют регрессии, фиксирующие различия в начальных условиях и стратегиях, применяемых в так называе мых «программных» и «непрограммных» странах. Такой подход определяет различие между «программными» и «непрограммны ми» странами в период, предшествующий проведению програм мы, а затем дает возможность внести статистические поправки для выделения воздействия программы на показатели, получен ные после проведения реформы.


16

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Теоретические оценки. Исходное положение «теоретических оценок» заключается в следующем: программы и проекты основыва ются на явной или неявной теории о том, как и почему должна рабо тать программа. В таком случае оценка будет состоять в анализе каж дой теории и набора допущений по программе в ходе ее реализации, а не в ее середине или после ее завершения. При составлении плана оценки лежащие в ее основе теоретические допущения представля ются в виде последовательности многочисленных малых шагов с применением методов сбора данных и анализа того, как реализуют ся в реальной жизни сделанные теоретические допущения. Если же события не разворачиваются ожидаемым образом, то с достаточной долей уверенности можно сказать, где, почему и каким образом про изошел сбой. Здесь основное внимание уделяется тому, как люди реагируют на мероприятия в рамках программы. Теория ориентирует производя щего оценку на наиболее вероятный тип краткосрочных и долго срочных результатов. Преимущества такого подхода заключаются, вопервых, в том, что эффективность программы выявляется на ран ней стадии ее внедрения. Сбои в процессе выполнения программы можно сразу откорректировать. Вовторых, такой подход помогает объяснить, как и почему получается наблюдаемый эффект. Если со бытия разворачиваются согласно ожиданиям, можно с определен ной долей уверенности сказать, как именно был получен наблюдае мый эффект. Поэтапное рассмотрение проекта позволяет отследить, каким образом ресурсы, используемые в рамках программы, приво дят к этим результатам. Недостатки данного подхода подобны тем, что имеют место в дру гих методиках. В частности: а) выявление допущений и теоретичес ких положений — задача сложная в силу самого своего содержания; б) без правильного инструментария и данных проведение поэтапно го измерения может быть проблематичным; в) существуют проблемы при проверке эффекта, поскольку положения теорий могут быть слишком общими или расплывчатыми для целей проверки; и г) труд ности с интерпретацией могут усложнить формулировку экстрапо лируемых заключений и выводов (см.: Weiss, 1998). В настоящее время вариант данной методики апробируется Депар таментом оценки операций (Operations Evaluation Department) Все мирного банка для определения воздействия социальных инвестици онных фондов на процессы принятия решений на уровне сообщества, на традиционные властные структуры и связи, а также потенциал, сте пень доверия и благополучие сообществ. Этот вариант будет исходить


ОЦЕНКА ДОЛГОСРОЧНОГО ВОЗДЕЙСТВИЯ: ПОНЯТИЯ И МЕТОДИКИ

17

из теоретических предположений, согласно которым приоритетные группы способны эффективно осуществить проект, а также поддержи вать и управлять теми активами, которые созданы в результате проекта. Сформулированный набор главных и вторичных допущений будет проверен с помощью имеющихся данных по домохозяйствам, а также посредством специально разработанного инструмента для неболь шой выборки, методом проведения фокусгрупп и другими приемами. Информация, поступившая из всех этих источников, в ходе анализа будет обрабатываться с применением метода триангуляции14.

Анализ «затраты–выгоды» и «затраты–эффективность» Хотя целью этого типа анализа не является определение воздействия, он позволяет разработчикам стратегии измерить эффективность программ путем рассмотрения альтернатив и сопоставления затрат на получение результата. Такой анализ повышает значимость оценки воздействия для разработчиков стратегии, и поэтому его следует включать в план любой оценки воздействия (более подробно анализ «затраты–выгоды» и «затраты–эффективность» рассматривается в книге «Руководство по экономическому анализу инвестиционных операций» (Handbook on Economic Analysis of Investment Operations. World Bank, 1996)). При анализе «затраты–выгоды» основной задачей является из мерение экономической эффективности в денежном выражении че рез сопоставление стоимости программы и тех выгод, которые она принесла. Однако для многих проектов, особенно в социальной сфе ре, невозможно перевести все результаты в денежный эквивалент. Например, результатом программы инвестиций в школы (учебники, мебель, подготовительные программы) является рост успеваемости. Для количественного выражения пользы здесь уместно использовать не деньги, а показатели успеваемости — оценки. Это потребует про ведение анализа «затраты–эффективность». Концептуальная ос нова обоих типов анализа идентична. Основные этапы при проведении анализа «затраты–выгоды» и «затраты–эффективность» таковы: определить все затраты и выгоды и затем рассчитать соотношение затрат и эффективности. При под счете затрат следует включать стоимость самой программы, а также административные издержки, предоставление услуг, инвестиции 14 См.

определение в сноске № 13.


18

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

(дисконтированные и представленные в виде чистой приведенной стоимости), денежное выражение предоставленных бесплатно това ров или услуг, издержки для общества (например, ухудшение состоя ния окружающей среды, опасность для здоровья и т.д.). Выгоды могут иметь денежное (увеличение дохода) или количественное выраже ние, например, число поставок (услуг), оценки, полученные в ходе тестов, или улучшение здоровья. Если выгоды от программы нельзя определить количественно, можно использовать субъективные пока затели, такие как ранжирование или систему весов. Впрочем, при та ком подходе интерпретация субъективных оценок может оказаться непростой задачей. После определения затрат и выгод, соотношение «затраты–эф фективность» (R) может быть представлено, как R = затраты/едини ца15 (или выгода). По этому соотношению затем можно сравнивать различные программы для того, чтобы выяснить их эффективность. Теоретически данный метод достаточно прост. Но на практике суще ствует множество сложностей при выявлении и количественном вы ражении затрат и выгод. Важно выбрать правильные показатели, ис пользовать одинаковые методы и последовательно делать экономи ческие допущения, чтобы соотношения затрат и выгод действитель но были сопоставимы. Как и с другими методами, используемыми при анализе воздействия, измерение показателя «затраты–эффек тивность» может быть осуществлено наилучшим образом, если оно включено в план оценки на самых ранних ее стадиях. Это позволяет собрать информацию о необходимых затратах и выгодах и обеспе чить их согласованность.

Выбор методологии Различия в типах проектов обусловлены вопросами, применяемыми для оценки, исходными данными, стоимостью, временны´ми ограни чениями и прочими обстоятельствами. Поэтому и оценки их воздей ствия тоже отличаются друг от друга и требуют подходящего для каж дого случая сочетания качественных и количественных методик. Эксперты, проводящие оценку, должны тщательно изучить имею щийся набор методик, так, чтобы получить наиболее надежные ре зультаты. Среди количественных методов лучшим вариантом счита ются экспериментальные подходы; вторыми по степени предпочти 15 Например, количество часов классной работы, требуемое для полу чения зачета.


ОЦЕНКА ДОЛГОСРОЧНОГО ВОЗДЕЙСТВИЯ: ПОНЯТИЯ И МЕТОДИКИ

19

тельности являются методы сравнения по подобию. Другие приемы тоже могут дать надежные результаты, особенно при использовании хорошего плана оценки и данных высокого качества. Результаты оценки лучших практических примеров (best prac tice evaluations), рассматриваемые в данном пособии, показывают, что существующие методики оценки воздействия не являются взаи моисключающими. Действительно, для более строгих оценок часто комбинируются методы, обеспечивающие их устойчивость и при менимость в непредвиденных ситуациях. С методической точки зрения рекомендуется сочетать метод «с программой и без про граммы» и метод «до и после программы», в котором используются данные исходных и повторных замеров (Subbarao et al., 1999). На личие исходных данных позволяет специалистам проверить цело стность экспериментальной и контрольной групп, определить сте пень адресности и подготовиться к проведению надежной оценки воздействия. Это справедливо даже в отношении методов рандоми зированного контроля. Хотя рандомизация и обеспечивает эквива лентность экспериментальной и контрольной групп на момент рандомизации, на основании этого оценщик не должен полагать, что исходные данные не нужны. На самом деле, исходные данные могут играть важнейшую роль в реконструкции причин тех или иных событий и во внесении поправки на эти события при оценке воздействия. Также весьма рекомендуется включить анализ «затраты–выгоды» или «затраты–эффективность». Эти методы позволяют разработчи кам стратегии сопоставить разные типы воздействий или мероприя тий по стоимости получения определенного результата. Это особен но важно для развивающихся стран, где ресурсы крайне ограничены. Наконец, сочетание количественных и качественных методов яв ляется идеальным, ибо оно дает количественную оценку воздействия проекта и объясняет процессы и воздействия, приводящие к наблю даемым результатам. Хотя каждая оценка воздействия имеет уникаль ные характеристики, требующие различных методологических под ходов, можно выделить некоторые типичные свойства наиболее ус пешно проведенных оценок. • Анализ гипотетического сценария осуществляется с помощью: а) применения случайного распределения для создания кон трольной группы (экспериментальный подход); б) осторожного использования методов отбора по подобию для подбора сравни тельной группы (квазиэкспериментальный подход).


20

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

• Для внесения поправки на различия в участниках до и после про граммы и для определения воздействия данные собираются на ис ходном этапе и при повторном замере (для проявления воздейст вия программы должно пройти достаточное время). • Для получения статистически значимых результатов эксперимен тальная и контрольная группы должны быть достаточно много численны. • Частью оценки эффективности проекта является анализ «затра ты–выгоды» и «затраты–эффективность». • Для анализа выводов методом триангуляции использованы каче ственные методы.


Глава 2

Основные этапы разработки и проведения оценки воздействия* Проведение оценки воздействия может оказаться весьма сложным и дорогостоящим мероприятием, которое сопровождается возникаю щими на каждом шагу трудностями. Для решения этой непростой за дачи требуются тщательная подготовка, надежная и высокопрофес сиональная команда с налаженными механизмами коммуникации. Благодаря включению оценки в план проекта на раннем этапе появ ляется возможность своевременно получить данные, которые могут быть полезны для корректировки определенных компонентов в ходе реализации проекта. Независимо от масштаба и типа программы или методологии, ис пользуемой для проведения оценки, следует придерживаться опреде ленного поэтапного плана (вставка 2.1). В данной главе представлено рассмотрение этих этапов и других вопросов, которые могут возник нуть при проведении оценки. Принципиально важной является по следовательность выполнения этих этапов, особенно на стадии сбо ра необходимых данных до начала осуществления проекта. Заблаго временное планирование позволяет провести рандомизацию, сде лать предварительные сравнения методом сравнения по подобию, собрать исходные (базисные) данные и определить те предстоящие обследования, данные которых могут быть использованы при отборе подобного по склонности (вероятности). Планирование и сбор первичных данных следует проводить на стадии формулировки и подготовки проекта. В идеале некото рые данные будут получены уже в процессе реализации проекта и использованы (при необходимости) для усовершенствования его плана. Наглядным примером проекта, с самого начала включав шего в себя оценку воздействия, является проект «Питание и ран нее развитие детей» в Уганде (см. главу 4). * В этой главе в значительной мере используется документ, подготовлен ный Лаурой Ролингз, Implementation issues in Impact Evaluation, 1999.


22

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Определение необходимости проведения оценки Первое, что следует определить: насколько необходима оценка воздействия? Как уже отмечалось выше, оценку воздействия отли чает от других подходов акцент на изучение причинноследствен ных связей. Ввиду сложности и высокой стоимости проведения оценок воздействия следует взвесить выгоды и затраты и подумать о том, не будет ли другой подход (например, изучение динамики ключевых показателей или оценка процесса) более приемлемым. (Эти подходы не следует воспринимать в качестве замены оценки воздействия; более того, часто они являются критически важным дополнением к этим оценкам.) Возможно, самым главным факто ром при принятии решения о целесообразности проведения оцен ки воздействия будет наличие значительной политической и фи нансовой поддержки. Дополнительные усилия и ресурсы, необходимые для проведе ния оценки воздействия, будут наиболее целесообразны в инно вационных, тиражируемых и ресурсоемких проектах с четко по ставленными задачами. Так, оценка воздействия деятельности Со циального инвестиционного фонда Боливии соответствует всем этим критериям. Вопервых, модель социального фонда, внедряе мая в Боливии, была признана инновационной и пригодной для тиражирования. Вовторых, с момента начала оценки Фонд отве чал за осуществление примерно 25 процентов всех государствен ных инвестиций в этой стране. Втретьих, действия были четко определены перечнем субпроектов социального фонда. Оценка воздействия становится более приоритетной задачей, ес ли рассматриваемый проект представляет собой новый подход, на пример, пробная («пилотная») программа, которая, в зависимости от результатов оценки, может быть расширена, или новая категория займов — образовательные и инновационные займы (Learning and Innovation Loans) Всемирного банка. Исходя из этих соображений, удачным кандидатом для оценки стала реформа школ в Никарагуа. Оценка воздействия шла параллельно с внедрением правительством новой децентрализованной модели школьного управления на всех этапах: начиная с пробной («пилотной») стадии в середине 1990х годов и заканчивая сегодняшним днем, когда этой программой охва чены почти все средние и половина начальных школ. Оценка была проведена слаженной международной командой, в состав которой вошли сотрудники Отдела исследований Министерства образования Никарагуа и координационного бюро Проекта начального образова


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

23

Вставка 2.1. Основные этапы разработки и проведения оценки воздействия Во время формулировки/подготовки проекта 1. 2. 3. 4. 5. 6.

Определение необходимости проведения оценки. Четкая формулировка целей оценки. Проверка наличия данных. Составление плана оценки. Подбор группы для проведения оценки. Если предполагается вести сбор данных: a. структура и формирование выборки; b. разработка инструментария исследования; c. подбор и обучение работников для работы на местах; d. проведение пробных («пилотных») проектов; e. сбор данных; f. обработка данных и обеспечение доступа к ним.

На стадии реализации проекта 7. Продолжающийся сбор данных. 8. Анализ данных. 9. Подробное отражение и обсуждение результатов с разработчи ками стратегии и другими заинтересованными сторонами. 10. Внедрение результата в общий план проекта.

ния Всемирного банка, расположенного в городе Манагуа. Их учас тие гарантировало, что результаты оценки будут учитываться при принятии стратегических решений относительно изменений и рас ширения пробного («пилотного») проекта. Другой немаловажный момент состоит в том, что целесообраз ность оценки программы должна быть хорошо обоснована. Часто пробные проекты и зарождающиеся реформы подвергаются пе ресмотру как с точки зрения их содержания, так и в отношении того, кто, каким образом и когда будет претворять их в жизнь. Та кие изменения могут сделать оценку в известной степени бес смысленной, особенно когда речь идет об экспериментальном подходе и других типах перспективной оценки, основанных на использовании исходных и последующих данных по четко опре деленным экспериментальным и контрольным группам. Если стратегия, которая подлежит оценке, еще находится в стадии


24

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

формирования, то, возможно, для сохранения гибкости проекта имеет смысл не проводить оценку воздействия. Труднодостижимым, но обязательным условием для проведе ния оценки воздействия является поддержка со стороны разра ботчиков стратегии и финансистов. Их необходимо убедить в том, что именно оценка даст информацию, необходимую для принятия решений по усовершенствованию, расширению или свертыванию программы. Также их следует заверить в том, что план оценки — и, соответственно, ее результаты — оправданы, особенно если эти результаты не отвечают их ожиданиям. Финансирование остается сложным вопросом как для руково дителей программ, так и для заказчиков. Он осложняется еще и тем, что обычно бывает непросто получить информацию о стои мости проведения оценки. И, возможно, самый щекотливый мо мент касается общей полезности оценки в качестве общественно го блага: если ее результаты будут использованы для информаци онного обеспечения международного проекта (а часто именно так и происходит), то почему только одна страна должна оплачи вать расходы, связанные с проведением оценки? Информация, полученная при анализе конкретных ситуаций, показывает, что конкретная страна зачастую берет на себя большую часть (но не все) финансирование оценки. В главе 4 будет более подробно по казано, что во многих рассмотренных случаях успешное проведе ние оценки воздействия требует не только существенных ресур сов от страныклиента, но и участия специалистов Всемирного банка или независимых исследователей и консультантов; для это го необходимы ресурсы в таком объеме, который сама страна обеспечить не в состоянии.

Уточнение целей оценки После определения уместности и обоснованности оценки, фак тором, в значительной мере способствующим ее успешному про ведению, будет предварительная четкая формулировка задач и со гласование того, какие вопросы считать ключевыми. Ясность це лей необходима для выявления информационных потребностей, выбора показателей, характеризующих выполнение мероприя тий (проекта) и воздействий, а также для создания надежной стра тегии для поиска ответов на поставленные вопросы. В матрице логической структуры (logical framework, или log frame), которая все чаще применяется Всемирным банком, ис


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

25

пользуется простая таблица 4х4; в ней информация о целях про екта сопоставляется с порядком определения результатов работы на основании реализации ключевых этапов по времени, с тем, ка кое воздействие окажет проект на институт или организацию или систему организаций бенефициаров, с тем, как это будет изме ряться и каким образом задействованные ресурсы обеспечат от дачу проекта, т.е. его продукт (см. примеры в приложении 5). Ина че говоря, предполагается, что запланированное воздействие проекта зависит от продуктов этого проекта и целого ряда иных факторов. Продукты, в свою очередь, обусловлены ресурсами проекта и внешними факторами. Далее следует определить подле жащие количественному выражению показатели для каждого эта па проектного цикла. Такой подход не исключает рассмотрения побочного эффекта проекта, однако он предназначен для того, чтобы сохранять четкость и сфокусированность целей оценки. Качественные методы также полезны для стимулирования учас тия общественности в прояснении целей оценки и итоговых по казателей воздействия. Хотя на первый взгляд формулировка целей может показаться одним из самых простых этапов процесса оценки, на самом деле такая задача может быть крайне сложной. Например, слишком пространные формулировки не позволят провести оценку. Цели, заявленные при оценке мексиканской программы PROBECAT (см. приложение 1.9), гласят, что оценка должна выявить «воздействие программы обучения PROBECAT на рынок труда». Но оценка была бы более точной, если бы ее цели были конкретизированы, на пример «влияние PROBECAT на количество рабочих часов, часо вой заработок, месячный заработок и время, за которое трудоуст раиваются различные категории работников». Оценка програм мы PROGRESA (Мексика) является хорошим примером того, как создается четкий план и разграничивается несколько целей, когда с самого начала прорабатывается и обсуждается каждый компо нент и детализируются цели в подкатегориях (приложение 1.10). Все это имело особое значение, поскольку программа была слож ной, и оценивались не только воздействие программы, но и ее ад ресность и время проведения. Использование других компонентов оценки, таких как «за траты–эффективность» или оценка процесса, может также яв ляться важным элементом исследования, дополняющим оценку воздействия. Подход «затраты–эффективность» может пред ставлять особый интерес для разработчиков стратегии, которые


26

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

принимают решения о сокращении, расширении или пересмот ре программы. Применительно к предоставлению услуг, оценка процесса помогает понять те процедуры, динамику, нормы и другие ограничения, при которых идет осуществление той или иной программы.

Проверка наличия данных При оценке воздействия могут использоваться различные типы данных, полученных в ходе как одномоментных или панельных исследований, так и качественных открытых интервью. В идеале, чтобы обеспечить оценку истинного воздействия, эта информа ция должна поступать с индивидуального уровня. Информация на уровне домохозяйств может скрыть картину распределения ресурсов внутри домохозяйства, а это отрицательно сказывается на положении женщин и детей, поскольку они часто имеют меньший доступ к производительным ресурсам домохозяйства. Во многих случаях при оценке воздействия могут использовать ся уже существующие данные или могут дополняться текущие об следования, что приводит к существенной экономии средств. Но при таком подходе возможны проблемы, связанные со сроками сбора данных и гибкостью структуры анкеты. Некоторые основ ные соображения, касающиеся использования существующих информационных ресурсов в оценке воздействия, перечислены во вставке 2.2. Творческий подход поможет увеличить количество информа ционных ресурсов. Хороший пример — оценка Социального ин вестиционного фонда в Гондурасе (см. главу 4). В этом исследова нии в анкету Социального фонда был включен модуль из нацио нального обследования доходов и расходов; это позволило срав нить доход бенефициаров Фонда с общенациональными показа телями и, таким образом, определить успешность достижения программой своей целевой аудитории (см.: Walker et al, 1999). На самом базовом уровне потребуются данные по всей популя ции (генеральной совокупности — стат.) для определения раз мера выборок, создания границ выборки и формирования самой выборки. Другие виды данных, которые могут быть в наличии в стране и которые могут использоваться в различных оценках воз действия, включают в себя (см.: Valadez and Bamberger, 1994): дан ные из обследований доходов и расходов домохозяйств; из иссле дований уровня жизни (Living Standards Measurement Studies —


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

27

LSMS); из обзоров рынка рабочей силы; учетных записей коопера тивов, кредитных союзов и других финансовых институтов; а так же из школьныех отчетов о посещаемости, результатах экзаменов и о второгодниках; данные из документов системы общественно го здравоохранения о младенческой смертности, случаях инфек ционных болезней, о количестве женщин, обратившихся за кон сультацией по вопросам контрацепции, или о показателях ис пользования презервативов; из специализированных обследова ний, проводимых университетами, неправительственными орга низациями (НПО) и консультативными группами; данные мони торинга от руководителей программ; данные анализа конкрет ных ситуаций («кейсстади»). Использование имеющихся данных, полученных в об$ следованиях. Многие обследования могут также находиться на стадии планирования или проведения. Если планируется провес ти обследование в отношении требуемого показателя, при оценке можно применить избыточную выборку в ходе общего обследо вания (например, для использования метода отбора подобного по склонности), как было сделано при оценке Социального инве стиционного фонда в Никарагуа и Программы стимулирования трудовой деятельности TRABAJAR в Аргентине (Jalan and Ravallion, 1998). С другой стороны, планируя обследование интересующей части населения, оценщик может внести в анкету вопрос или се рию вопросов либо дополнить количественную информацию ка чественной. Например, программа «Кредит с образованием» (Credit with Education) в Гане включала в себя серию качественных интервью с ключевыми заинтересованными сторонами, а также проведение фокусгрупп с участвующими и не участвующими в программе, что обеспечило качественное подтверждение количе ственного результата (приложение 1.6). Оценка определила воз действие программы на качество питания и продовольственную безопасность в бедных домохозяйствах. Количественные данные включали конкретные вопросы о доходах и расходах домохозяй ства и о профессиональном уровне, в то время как качественные данные были ориентированы на положение женщин: их статус, участие в принятии решений, социальные связи, уверенность в себе и т.д.


28

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Вставка 2.2. Ключевые моменты при определении ин$ формационных ресурсов для оценки воздействия •

Хорошо изучите программу. Начинать оценку без подробного знания административных/институциональных структур про граммы рискованно. Обычно такая информация предоставляет ся координатором программы. Соберите информацию о важных «стилизованных данных» в от ношении условий, в которых осуществляется программа. Среди таких данных могут быть карта бедности, порядок работы рын ка труда, информация об основных этнических группах, других соответствующих государственных программах. Собирайте данные разного рода — от неформальных неструкту рированных интервью с участниками программы до количест венных данных по репрезентативной выборке. Однако с помо щью интервью или фокусгрупп крайне сложно построить гипо тетический альтернативный сценарий. Попробуйте спросить участника программы: «Что бы Вы сейчас делали, если бы про граммы не было?» Общение с участниками может быть ценным, но вряд ли обеспечит достоверную оценку. Убедитесь, что есть данные об отдаче проекта и о соответствую щих объясняющих переменных1. Такие переменные должны по мочь снять проблему неоднородности результатов, обусловлен ной участием в программе. Результаты могут различаться, к при меру, в зависимости от уровня образования участников. Без по правок на такую разнородность (гетерогенность) можно «не увидеть» воздействия программы. В зависимости от используемого метода могут также потребовать ся данные по переменным, описывающим влияние на участие, но не на результаты при таком участии. Эти инструментальные пере менные могут быть полезны при анализе вероятных причинно следственных эффектов неслучайных программ (вставка 1.2). Данные по результатам и другие соответствующие объясняющие переменные могут быть как количественными, так и качественны ми. Тем не менее необходимо иметь возможность систематизиро вать информацию в некоторую структуру данных. Простой и рас пространенный пример — наличие значений разных перемен ных, включая один или более показателей результата, для различ ных единиц наблюдения (лиц, домохозяйств, фирм, сообществ).

1 Регрессоры, независимые переменные. (Здесь и далее — примечания редактора.)


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

29

Те переменные, по которым имеются данные, а также использу емые единицы наблюдения часто выбираются как часть метода оценки. Их отбор должен диктоваться знанием программы (ее целей и порядка ее работы) и условий, в которых она осуществ ляется. Конкретным источником данных о результатах и факторах, их определяющих (включая участие в программе), обычно являют ся разного рода обследования. В зависимости от типа програм мы единицей наблюдения могут быть домохозяйства, фирмы или географические районы. Данные обследований могут быть дополнены другими полезны ми сведениями по программе (например, из базы данных мони торинга проекта) или по условиям ее осуществления (например, из географических баз данных).

Разработка оценки Выяснив цели и имеющиеся информационные ресурсы, можно переходить к фазе планирования оценки воздействия. Выбор ме тодики будет зависеть от поставленных вопросов, временны´х и бюджетных рамок, а также возможности по осуществлению оцен ки. Следует рассмотреть преимущества и недостатки различных подходов, о которых шла речь в главе 1, и на основе такого срав нения выбрать наиболее подходящие методики и определить, как количественные и качественные методы могли бы взаимно до полнять друг друга. Даже после составления плана оценки и встраивания его в про ект оценщики должны быть готовы гибко реагировать и вносить изменения в свой план по мере выполнения проекта. Если оценка включает исходные (базисные) и последующие данные, то следу ет также предусмотреть возможность учета влияния проекта та ким образом, чтобы оценка шла параллельно самому проекту. При составлении плана также важно определить, каким обра зом оценка воздействия будет включена в более широкую страте гию мониторинга и оценки проекта. Мониторинг необходим для всех проектов, чтобы руководители, кредиторы и разработчики стратегии могли видеть, как разворачивается проект. Как отмеча лось выше, работа по оценке должна отвечать информационным нуждам проекта.


30

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Вопросы оценки. Задаваемые в ходе оценки вопросы тесно связаны с планом оценки в отношении типа данных, анализируе мой организационной единицы, используемых методик и време ни прохождения различных стадий. Например, определяя воздей ствие учебников на результаты учебного процесса, необходимо приспособить оценку к измерению воздействия на учеников, классы и учителей в течение данного учебного года. Это сущест венно отличается от измерения воздействия инвестиций соци альных фондов, где требуются данные о коммунальном хозяйстве и домохозяйствах. Анализ конкретных примеров в приложении 1 показывает, как вопрос, задаваемый при оценке, может повлиять на ее план. При определении вопросов оценки также важно учитывать гендерный аспект воздействия проекта. Поначалу это не всегда очевидно, но в процессе реализации проекта возможно вторич ное воздействие на домохозяйства, которое может ускользнуть от нашего внимания, если не предпринять действий по сбору и ана лизу конкретных данных. ´ рамки и бюджет. Самый важный момент, каса Временны´е ющийся времени, — это возможность начать разработку оценки, до того как проект будет завершен и когда потребуются ее резуль таты. Также полезно определить с самого начала, в какой именно момент проектного цикла понадобится информация от проводи мой оценки, чтобы можно было скоординировать сбор и анализ данных. Наличие своевременных результатов может быть прин ципиально важным при принятии стратегических решений во время анализа проекта, предвыборного периода или при рассмо трении вопроса о продолжении проекта. Для применения некоторых методов требуется больше време ни. Так, методы случайного распределения и методы «до и после программы» (например, рефлексивные сравнения) требуют бо´ль ших затрат времени, чем методы сравнения по подобию после завершения проекта. Применяя подходы «до и после программы», использующие исходные и повторные оценки, необходимо дож даться, пока все члены группы не получат помощь и пока не про явится эффект программы. Гроссман (Grossman, 1994) предлагает считать стандартным периодом, который должен пройти до ис следования воздействия, промежуток 12–18 месяцев с начала уча стия в программе. Проекты же Всемирного банка с исходными (базисными) данными могут потребовать нескольких лет ожида


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

31

ния, прежде чем проявятся последствия вмешательства. При оцен ке Социального инвестиционного фонда Боливии, которая осно вывалась на исходных (базисных) данных 1993 г., последующие данные не были собраны вплоть до 1998 г.: столько времени пона добилось для осуществления программы (проекты водоснабже ния и улучшения санитарных условий, проекты в медицинских учреждениях и школах) и для того, чтобы проявилось ее влияние на состояние здоровья и образование людей, получивших по мощь. Примерно такой же период времени потребовался для про екта в области начального образования в Пакистане, где для оцен ки воздействия местных школ на учеников, включая их успевае мость, был использован экспериментальный подход с базовыми и последующими обследованиями. Однако время, необходимое для оценки, не может оказывать влияние на временны´е рамки самого оцениваемого проекта. По своей сути оценка определяется временны´ми рамками, установ ленными основным проектом. Оценщикам придется занять вы жидательную позицию по отношению к проектам, не дающим мо ментального результата. Даже если проекты идут, как было запла нировано, некоторые виды программ, особенно проекты в облас ти инфраструктуры, более длительны. Временны´е рамки оценки также зависят от выбранных показателей, поскольку многие из них (например, изменения в уровнях рождаемости или образова ния) проявляются только через длительный период, т.к. чтобы их воздействие отразилось на заинтересованной группе населения (популяции — бенефициаре), требуется больше времени. Возможность проведения оценки. Заключительное сообра жение при определении масштаба и сложности плана оценки — то, насколько группа оценщиков способна выполнить задачу. Осуще ствление оценки может стать весьма сложным предприятием, осо бенно в развивающихся странах, где отсутствует опыт прикладных исследований и оценки программ. Очень важно правильно подо брать оценивающую группу, так, чтобы в нее входили специалисты, владеющие различными методиками, которые дополняли бы и уси ливали возможности друг друга. Это особенно важно при работе с государственными ведомствами, где при ограниченном штате вы полняются очень разнообразные функции. Сведения о загружен ности подразделения необходимы не только для определения того, как это повлияет на качество проводимой оценки, но и для выявле ния альтернативной стоимости оценки по сравнению с другими


32

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

функциями, выполняемыми подразделением. Есть немало приме ров того, как проведение оценки закончилось неудачей изза того, что ключевые сотрудники были переведены на другие проекты и не смогли своевременно осуществить сбор данных в самый ответст венный момент (во время учебного года или сельскохозяйственно го сезона). Повторения этих ситуаций можно избежать благодаря координации работы с руководителями подразделения, ответст венными за оценку, чтобы обеспечить сбалансированность сроков реализации различных проектов и оптимальное распределение сотрудников и ресурсов. Альтернативой может быть приглашение для проведения оценки частной компании (см. ниже).

Формирование группы оценки Чтобы проводить оценку, необходимо обладать рядом навыков. Изначальное согласование деятельности команды оценщиков и разработчиков стратегии значительно повышает качество оцен ки и ее полезность в конечном итоге. Поэтому важно как можно раньше определить, кто войдет в команду, распределить функции и наладить механизмы взаимодействия при осуществлении клю чевых этапов оценочного процесса. В число основных членов команды входят координатор груп пы, осуществляющей оценку, аналитики (экономист и социоло ги) и, если запланирован сбор новых данных, — специалист по выборке, разработчик плана обследования, координатор работ на местах2 и команда, работающая на местах, также менеджеры, от ветственные за сбор данных и их обработку (полное руководство по планированию и осуществлению исследований см.: Grosh and Mun ~oz, 1996). В зависимости от объема, масштаба и плана иссле дования сотрудники могут сочетать некоторые из этих функций, либо потребуется набор дополнительных работников в помощь основной команде. В некоторых случаях, если у аналитиков нет опыта комбинированного использования количественных и ка чественных методов, на стадии формирования команды может потребоваться дополнительное время, чтобы члены команды «притерлись» друг к другу и могли эффективно сотрудничать. От ветственность среди членов команды распределяется следующим образом. 2 Работа на местах (т. н. «полевая работа» — field work) — это работа по интервьюированию, сбору и обработке данных на местах.


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

33

• Координатор оценки — отвечает за определение информаци онных потребностей и используемых для оценки показателей (которые часто определяются совместно с заказчиком с помо щью матрицы логической структуры), за составление техниче ского задания на проведение оценки, выбор методики и фор мирование команды. Во многих случаях координатор оценки осуществляет также анализ стратегии. • Аналитики стратегии — для проведения количественного анализа потребуется экономист, а для вовлечения обществен ности и качественного анализа на разных этапах оценки воз действия необходим социолог или антрополог. В написании отчета должны принимать участие и те, и другие. • Специалист по выборке — управляет процессом формирования выборки. Для получения количественных данных специалист должен уметь производить расчеты мощности выборки3, что бы определить приемлемый объем выборки для используемых показателей, формировать выборку, сравнивать результаты фак тической и запланированной выборки и определять веса выбор# ки4 для последующего анализа. Для получения качественных данных специалист по выборке управляет процессом формиро вания выборки вместе с аналитиками, обеспечивая правильный выбор экспертов (источников информации). Специалист по вы борке также отвечает за выбор места и групп для осуществления пробных проектов. Часто он должен работать в паре с местным информационным координатором, ответственным за сбор дан ных, на основании которых будет формироваться выборка. • Разработчик плана исследования — это человек или группа людей, ответственных за разработку инструментария для сбо ра данных, инструкций и схем кодирования информации, а также за согласование действий с координатором (ами) оцен ки, чтобы с помощью имеющихся инструментов были получе ны необходимые для анализа данные. Этот человек/группа участвует также в апробации и доработке анкет. • Координатор работы на местах/ работники — координатор осуществляет надзор за всем процессом сбора данных, от пла нирования маршрутов для сбора данных до формирования ко манды работников на местах и составления графика их рабо 3 Расчеты мощности выборки — предварительное обоснование объ ема выборки с точки зрения ее близости по данному набору показателей к моделируемому объекту. 4 Веса выборки — совокупность показателей, используемых для расче та степени репрезентативности полученной выборки (по отношению к генеральной совокупности) и рассчитанных после проведения исследо ваний на местах.


34

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ты. Команды, работающие на местах, обычно состоят из кон тролеров и интервьюеров. Контролеры (супервайзеры) руко водят работниками на местах (интервьюеры, ответственные за ввод данных и водители) и отвечают за качество данных, полу ченных на местах. Интервьюеры проводят анкетирование и за полняют опросные листы. В некоторых странах в соответст вии с принятыми культурными установками необходимо, что бы в состав интервьюеров входили как мужчины, так и женщи ны, а интервью с мужчинами и женщинами разрабатывались и проводились раздельно. • Специалисты по организации (управлению) и обработке дан# ных — планирование ввода данных, ввод, проверка их валид ности, документирование данных и получение основных ре зультатов, которые затем проверяются аналитиками. При формировании команды координатор оценки должен учесть несколько важных моментов, касающихся местных институ циональных возможностей для обеспечения непредвзятых и качест венных результатов. Вопервых, имеется ли местный потенциал для полного или частичного проведения оценки и какое внешнее руко водство и помощь могут понадобиться? Страны сильно отличаются друг от друга по уровню возможностей проведения оценки. Несмот ря на то, что все более распространенными становятся международ ные контракты, по которым компании одной страны проводят оценку в другой (один из примеров — оценка программ PROGRESA, выполненная Международным исследовательским институтом по литики в области питания (International Food Policy Research Insti tute — IFPRI)), обычная практика Всемирного банка предусматрива ет привлечение к оценке местных кадров при строгом международ ном контроле. Поэтому необходимо критически оценить местные возможности и распределить обязанности. Вне зависимости от окончательного состава команды важно назначить координатора оценки, способного эффективно работать с источниками информа ции, аналитиками и разработчиками стратегии, которые будут ис пользовать данные и результаты оценки. Если этот человек не про живает в данной стране, рекомендуется назначить национального координатора, который будет организовывать работу совместно с международным руководителем. Второе: выбор между частной фирмой и государственным ве домством. Частные фирмы могут быть более надежными в смысле соблюдения оговоренных сроков. Но при этом теряется возмож ность развития потенциала в государственном секторе, и, по по


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

35

нятным причинам, частные фирмы менее склонны встраивать в оценочный процесс дорогостоящие элементы. Независимо от то го, какого партнера или группу партнеров вы изберете, в конеч ном итоге для принятия взвешенного решения необходимо вни мательно проанализировать имеющийся у них опыт проведения оценок. Третье: институциональная дистанция между оценщиком и теми, кто потом будет пользоваться результатами оценки. Для сохранения объективности оценка должна идти независимо от института, отвечающего за реализацию проекта. Но часто оцен ка преследует несколько целей, включая развитие соответству ющего потенциала внутри государственных ведомств и привле чение внимания исполнителей программ к реалиям проводи мых проектов. По крайней мере те, кто пользуется результатами оценки (разработчики стратегии в правительственных ведом ствах странклиентов, неправительственные организации, до норские организации и институты, отвечающие за междуна родное развитие), должны быть достаточно вовлечены в про цесс, чтобы обеспечить легитимность оценки и соответствие ее результатов их информационным запросам. В противном слу чае есть вероятность игнорирования результатов оценки при информационном обосновании стратегии. В конечном счете координатор оценки и его клиенты должны найти золотую се редину между включенностью пользователей оценки в процесс, с одной стороны, и независимостью и легитимностью результа тов — с другой.

Формирование массива данных Необходимым условием для проведения оценки воздействия яв ляется достаточное количество надежных данных. Для получения обоснованных результатов необходима информация высокого качества. Как отмечалось выше, оценка уже существующих дан ных — первый важный шаг, предшествующий любым действиям по сбору данных на местах. В табл. 2.1 представлена связь основ ных методик оценки с требованиями к данным. Большинство из этих методик могут включать в себя качественные подходы и под ходы с участием общественности при разработке инструмента рия обследования, при определении показателей, выборе мер контроля, переменных для согласования или инструментальных переменных.


36

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Таблица 2.1. Методы оценки и требования к данным Требования к данным Метод

Минимум

Идеал

Использование качественного подхода

• Информаци онное обеспече ние инструмен тария, выборка • Определение индикаторов • Сбор и запись данных с ис пользованием: —текстовых дан ных; —неформаль ных или полу структуриро ванных интер вью; —фокусгрупп или собраний сообществ; —прямого на Неэксперимен# Масштабное об Масштабное об блюдения; тальные следование, пере следование и бо —методов с уча подходы: пись, данные по лее мелкие обсле стием общест a) Сконструиро национальному дования домохо венности; ванные меры бюджету или ре зяйств в рамках —фотографий; контроля, или от зультаты исследо проекта; в обоих —триангуляции; бор по подобию вания типа LSMS случаях  с двумя —анализа дан с использовани временны´ми точ ных. ем расширенной ками для поправ выборки получа ки на одновре телей помощи менно происхо дящие события Эксперимен# тальные, или рандомизиро ванные средства контроля

Срез одного проекта с полу чателями помо щи или без них

Исходное (ба зисное) и по вторное иссле дования получа ющих и неполу чающих помощь. Позволяет, в до полнение к учету измеряемого воздействия, де лать поправку на одновременно происходящие события. (Это дает возмож ность произво дить оценку «различий между различиями».)

b) Рефлексивные сравнения и ме# тод двойных различий

Базисные и по вторные данные о получающих помощь

Временно´й ряд или панель уча ствующих и сравнимых не участвующих


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

37

Таблица 2.1. (продолжение) Требования к данным Метод

Минимум

Идеал

c) Меры стати# стического кон# троля или инст рументальных переменных

Срез данных, ха рактеризующий получателей, с соответствую щими инстру ментальными переменными

Срез и времен но´й ряд, харак теризующий по лучателей и не получателей, с соответствую щими инстру ментальными переменными

Использование качественного подхода

Источник: По материалам Ezemenari, Rudqvist, and Subbarao (1999) and Bamberger (1999).

Если оценка требует сбора собственных данных, ответствен ными этапами являются разработка инструментария для сбора данных, формирование выборки, работа на местах, управление данными (data management) и обеспечение доступа к ним. Дан ный раздел не содержит пошагового описания того, как прово дить исследование; в нем лишь кратко рассматриваются эти ста дии. Часть информации настоящего раздела (то, что касается формирования выборки и управления данными) в большей сте пени относится к оценкам, основанным на широкомасштабных обследованиях с крупными выборками, использующих количест венные данные, чем к оценкам на базе качественной информации и выборок небольшого размера. Что измерять? Основные показатели, характеризующие вы полнение проекта и его воздействия должны быть установлены на стадии планирования оценки, возможно — с использованием мат рицы логической структуры. Для своевременного получения ре зультатов оценки необходимо разработать иерархию показателей: от таких индикаторов краткосрочного воздействия, как посещае мость школы, до показателей долгосрочного влияния, например успеваемость учеников. Это даст возможность оценить результаты программы даже в том случае, если окончательные показатели еще не выбраны. Также оценщик должен планировать измерение осу ществления вмешательства и учет экзогенных факторов, которые могут воздействовать на результаты, представляющие интерес.


38

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Координаторы оценки могут также запланировать проведение оценок через различные промежутки времени, что позволяет выяв лять немедленные воздействия на более раннем этапе, в то время как исследование конечных результатов еще продолжается. Такой под ход был использован при оценке результатов школьной реформы в Никарагуа; было установлено краткосрочное воздействие реформы на участие родителей и посещаемость учеников и преподавателей. Оценка долгосрочного воздействия на успеваемость учеников все еще не завершена. Характеристики населения, получающего помощь, такие как уро вень бедности или мнение участников о программе, не имеющие прямой связи с оценкой воздействия, все же могут быть рассмотре ны, если они представляют интерес для анализа. Оценщик также мо жет включить в план показатели затрат для анализа «затраты–эффек тивность» или для проведения дополнительных исследований, не обязательно напрямую связанных с оценкой воздействия. Модель, выбираемая для оценки воздействия, также предъявля ет соответствующие требования к данным. Эти требования опре деляются методикой, изучаемым населением, масштабами воз действия и другими составляющими оценки. Например, если бу дет использоваться метод инструментальной переменной (один из типов сравнения по подобию), то необходимо выявить и вклю чить в сбор данных переменную(ые), с помощью которой(ых) можно будет отделять участие в программе от показателей ре зультата. Так было сделано при оценке воздействия Социального инвестиционного фонда Боливии, в которой в качестве инстру ментальных переменных использовались осведомленность о Фонде и вовлеченность в его деятельность неправительственных организаций. Полезной может оказаться разработка матрицы оценки (ана лиза воздействий) с перечислением интересующих вопросов, по казателей результата, переменных и источников данных для пере менных. Такую матрицу можно затем использовать для анализа анкет и планирования аналитической работы. Так было сделано при оценке Социального инвестиционного фонда в Никарагуа (см. приложение 6). Разработка инструментария и методик сбора данных. Разработка инструментария, позволяющего получить данные, не обходимые для ответа на поставленные вопросы, может оказаться непростой задачей и потребовать участия аналитика при составле


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

39

нии вопросов, проведении пробных («пилотных») тестов и анали зе первичных данных. Важным условием обеспечения качества со бранной информации может явиться участие координатора рабо ты на местах и специалиста по организации данных в разработке инструментария, а также местных специалистов, предпочтительно аналитиков, понимающих специфику страны и знающих програм му (Grosh and Mun ~oz, 1996). Также важно обеспечить разделение со бранных данных по гендерному признаку для изучения особенно стей воздействия программ на положение мужчин и женщин. При количественных оценках информацию обычно собирают и фиксируют с помощью цифр или кодирования по категориям. Ин формация, относящаяся к качественным оценкам, чаще представля ется в виде описательного текста практически без разбиения по кате гориям. Информация может состоять из ответов на открытые вопро сы интервью, записей при проведении фокусгрупп или наблюдений оценщика. Некоторые качественные исследования также используют заранее кодированную классификацию данных (Bamberger, 2000). Перечень инструментов для сбора данных с описанием достоинств и недостатков каждого из них см. в табл. 2.2. Самым распространенным методом является анкетирование. Ответы на вопросы в значительной степени зависят от постро ения анкеты. Вопросник должен иметь соответствующий формат и структуру, поэтому его разработку следует поручать опытным специалистам. Часто ценность количественных данных снижает ся по чисто техническим причинам изза невозможности связать данные из разных источников, как это было в случае с оценкой системы национального образования. В одной из стран данные об учениках не смогли увязать с результатами тестов, изза чего оказалось невозможным определить зависимость этих результа тов от характеристик ученика или классифицировать результаты по возрасту, полу, социальноэкономическому положению или образовательной истории ученика5. При сборе как качественных, так и количественных данных даже опытный персонал должен пройти подготовку, чтобы со бирать те данные, которые относятся именно к этому исследова нию. Порядок сбора данных должен быть описан в инструкциях, которые можно использовать и как дидактический материал для обучения, и как справочный — для работы на местах. Судя по опыту, можно сказать, что в зависимости от сложности постав 5

Подтверждение полученного учеником образования или знаний.


Определение и применение

Сбор информации, ведущей к «ис тории», имеющей описательный или объяснительный характер, отвечающей на вопросы: «как» и «почему».

Проведение фокусированных дис куссий с представителями целевой группы, осведомленными об ис следуемой теме, до того, как будет создан структурированный опрос ник. Цель — сопоставить взгляды и мнения бенефициаров с абстракт ными концепциями, представлен ными в задачах оценки.

Интервьюер задает вопросы од ному или более респондентам и фиксирует их ответы. Интервью может быть формальным и не формальным, личным или по те лефону, с открытыми или закры тыми вопросами.

Метод

Анализ конкретных ситуаций («кейс—стади»)

Фокус#группы

Интервью

— Респонденты рассказывают о соб ственном опыте своими словами в привычной для них обстановке. — Гибки: интервью может разви ваться в любом интересном и не ожиданном направлении, позво ляющем более глубоко осветить вопрос. — Особенно полезны, когда воз можны языковые трудности. —Больше вероятность получить информацию от официальных лиц высокого ранга.

— Преимущества те же, что и у интервью (см. ниже). — Особенно полезны, если жела тельно установление контакта между участниками. — Эффективны для выявления ие рархического влияния.

— Большое разнообразие источ ников: документы, интервью, на блюдения. — Дополнительный ресурс для ин терпретации институтов, процес сов, программ, решений и событий.

Преимущества

— Требуют много времени. — Могут быть дорогостоящими. — При неправильной технике ин тервьюер может оказывать влия ние на ответы респондента.

— Могут потребовать много вре мени и затрат. — Должны быть чувствительны к смешению иерархических уров ней. — Результаты не подлежат обоб щению.

— Хорошие конкретные примеры («кейсстади») подготовить сложно. — Для обеспечения строгости не обходимы специальные навыки проведения исследования и пись менного изложения. — Результаты не распространя ются на все население. — Требуют много времени. — Сложны для тиражирования.

Недостатки

Таблица 2.2. Основной инструментарий сбора данных для оценки воздействия

40 ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ


Список вопросов, ответы на кото рые можно последовательно ко дировать.

Анализ документов: записей, ад министративных баз данных, учебных материалов, корреспон денции.

Анкетирование

Анализ письменных документов

Источник: По материалам Taschereau (1998).

Наблюдение и ведение записей в журнале или дневнике: кто, что, когда, где и каким образом. Наблю дение может быть невключенным, или прямым (наблюдатель смотрит и записывает) или включенным (наблюдатель на время становится участником происходящего).

Наблюдение

— Можно выявить вопросы, под лежащие дальнейшему исследова нию, и показать действия, измене ния и воздействия, которые дают обоснование восприятию ситуа ции респондентами. —Не требует больших затрат.

— Позволяет работать сразу с большой выборкой. — Дает респондентам возможность подумать, прежде чем дать ответ. — Опрос может быть анонимным. — Устанавливает единообразие, так как все респонденты отвечают на одни и те же вопросы. — Облегчает сбор и сравнение данных.

— Дает описательную информа цию о контексте и наблюдаемых изменениях.

—Может занять много времени.

— Качество ответов в большой мере зависит от четкости форму лировки вопросов. — В случае рассылки сложно по будить людей заполнить анкеты и вернуть их. — Может иметь место «подгонка» деятельности и опыта людей под заданные категории.

— Качество и ценность данных существенно зависят от навыков наблюдения и ведения записей. — Возможна неоднозначная ин терпретация результатов. — Трудноприменимо в жестких временны´х рамках при наличии изменений в процессе.

ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

41


42

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ленной задачи обучение занимает от трех дней до нескольких недель. Апробация — тот важный шаг, который позволяет определить, получим ли мы с помощью данного инструментария необходи мые данные и как именно нам следует их собирать. Пробный тест должен быть максимально приближен к условиям работы на мес тах. Поэтому неплохо уже при проведении апробации иметь под рукой программы для обработки данных, чтобы проверить, на сколько они функциональны. Также в рамках пробного теста должны быть охвачены все группы населения и регионы, наме ченные для проведения основной работы на местах. Формирование выборки. Формирование выборки — своего рода искусство, и заниматься этим должен квалифицированный специалист. Структура выборки может быть несложной, но при ее разработке обязательно нужны профессиональные знания для определения подходящих границ выборки, ее объема и способа формирования (в нашем случае мы обсуждаем оценки, для кото рых используются бо´льшие, репрезентативные выборки). Специ алист по формированию выборки должен участвовать в процессе оценки с самого начала, чтобы анализировать имеющуюся ин формацию, необходимую для составления выборки, и определить потребность в переписи, для чего может потребоваться значи тельное время. Как и на других стадиях проведения оценки, важна координа ция между специалистом по выборке и остальными членами ко манды. Это имеет особенное значение при использовании метода сравнения по подобию, поскольку структура выборки служит ос новой для сравнения по подобию (согласования), которое являет ся центральным элементом плана оценки и конструирования ги потетического сценария. В таких случаях специалист по форми рованию выборки должен работать в тесном контакте с коман дой, производящей оценку, чтобы выработать критерии сравнения по подобию экспериментальной и контрольной групп. Например, при оценке школьной реформы в Никарагуа автоном ные школы были стратифицированы по типу, количеству учащих ся, продолжительности участия в программе и географическому положению, а затем было проведено сравнение по подобию с вы боркой школ, не имеющих автономного статуса. Для последних использовалась такая же стратификация, за исключением про должительности участия в реформе. Этот процесс можно упрос


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

43

тить, если сотрудник, отвечающий за сбор данных, предоставит специалисту по выборке всю необходимую информацию, вклю чая данные по выбранным показателям результата для расчета мощности выборки (определения объема выборки, который по требуется для проверки статистической значимости различий между группами), необходимые данные о населении и детальные характеристики потенциальных экспериментальной и контроль ной групп. Существует немало компромиссов между стоимостью и надеж ностью выборки, о которых не стоит забывать при ее подготовке. Так, проведение выборки в два или три этапа снижает расходы как на формирование этой выборки, так и на проведение работы на местах; вместе с тем увеличивается ошибка выборки, и, следова тельно, растет точность оценки. Определив переменные, описывающие результат, и представ ляющую интерес группу(ы), специалист по выборке первым де лом решает вопрос о расчете мощности выборки (расчеты мощ ности выборки рассматриваются в Valadez and Bamberger, p. 382–384). Поскольку расчеты мощности выборки проводятся на основании только одного показателя результата, а в ходе оценки обычно используются несколько таких показателей, не обходимо решить, какие именно показатели результата будут за действованы при планировании выборки. Разработав стратегию выборки и подобрав инструменты, спе циалист по формированию выборки также должен принять учас тие в составлении выборок для работы на местах и пробного ис следования во избежание их дублирования. Нередко первона чальная работа на местах должна проводиться как часть процеду ры по определению выборки. Например, если нет свежих данных о единицах, подлежащих включению в выборку (домохозяйства, школы и т.д.), то необходима перепись с присвоением номеров. Перепись может потребоваться также и в том случае, когда нужно определить группу населения, представляющую интерес для ис следования (например, недоедающие дети), с тем чтобы впослед ствии избрать ее для проведения оценки. По окончании работы на местах специалист по выборке должен помочь в определении весов выборки для расчета коэффициентов расширения и внесения поправок на ошибки выборки и отсутствие ответов. (Grosh and Mun ~oz (1996) подробно описывают порядок формирования выборки как часть работы по обследованию домо хозяйств. Одним из типовых учебников в области работы с выбор


44

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

кой считается работа Kish (1965).) И, наконец, специалист по выбор ке должен разработать документ, детализирующий стратегию фор мирования выборки и включающий: а) на стадии планирования вы борки: расчеты ее мощности, в которых используются переменные воздействия; определение ошибок и объемов выборки; использова ние стратификации для анализа изучаемого населения; б) на стадии формирования выборки: обзор этапов и процедур отбора; в) на ста дии работы на местах и подготовки к анализу: соотношение выбор ки и генеральной совокупности (популяции), процент отсутствую щих данных и другая информация, необходимая для определения весов выборок. Документ также должен содержать и дополнитель ную информацию, которая понадобится аналитику для работы с данными оценки. Его можно использовать для отражения хода оценки; также его следует включать в пакет, направляемый аналити кам и призванный помочь им в использовании данных оценки. Анкеты. Структура анкеты играет важную роль в обеспечении валидности (надежности) собранной информации. Для проведе ния оценки воздействия необходимо иметь в наличии четыре ти па данных (Valadez and Bamberger, 1994). • Соотнесение номинальных данных с респондентами, которые классифицируются в зависимости от своего участия в проекте или принадлежности к контрольной группе. • Отображение в переменных, имеющих отношение к проекту, не только факта получения услуг и помощи, но и их частоты, качества и количества. Определение качества может быть за труднительным. • Переменные результата (продукта), с помощью которых будет из меряться воздействие проекта. Они включают в себя немедленные результаты, долгосрочные эффекты или предоставление услуг в течение длительного периода времени, а также воздействие про екта (например, повышение дохода и снижение безработицы). • Промежуточные переменные, которые являются по сути фак торами, определяющими участие в проекте или тип воздейст вия, и представлены характеристиками индивидуумов, домо хозяйств или сообществ. Эти переменные могут иметь важное значение для изучения смещений. Для получения достоверной информации весьма важно, каким образом и в какой очередности задаются вопросы. В качестве


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

45

примера можно привести определение уровня благосостояния для измерения прямого воздействия проекта по борьбе с беднос тью. Вопросы о доходе, заданные напрямую, не обязательно дадут адекватное представление об уровне экономического благосо стояния. Литература по этой теме рекомендует для определения истинного уровня благосостояния человека или домохозяйства использовать вопросы о расходах, составе домохозяйства, иму ществе, подарках, денежных переводах, а также предполагаемой стоимости продукции, произведенной в собственном хозяйстве, или собственного жилья. Время, прошедшее с момента покупки, и порядок, в котором задаются вопросы, могут значительно повли ять на валидность полученной информации. Для хорошей анкеты характерна, в числе прочего, краткость и акцент на важных вопросах. Инструкции и вопросы должны быть четкими и касаться той информации, которая требуется для оцен ки. Для закрытых вопросов необходимо предусмотреть вариант «затрудняюсь ответить» — это обеспечит надежность данных. Предлагая анкету респондентам, следует использовать надежные процедуры, причем в зависимости от типа исследования (количе ственное или качественное) они могут быть неодинаковыми. Аспекты работы на местах. Благодаря сотрудничеству с ме стными специалистами, имеющими опыт сбора данных, анало гичных тем, что требуются для данного обследования, проведе ние работ на местах можно значительно облегчить; такие специ алисты хорошо осведомлены о географии изучаемого региона, они владеют информацией о том, где найти респондентов и ка кой подход к ним был бы наиболее приемлемым. Работники на местах, подготовка которых не соответствует требуемой квали фикации в данной ситуации, могут послужить источником про блем: так произошло, например, при оценке образовательной си стемы в Никарагуа, где исследованием школ и домохозяйств зани малась компания, специализирующаяся на изучении обществен ного мнения. Знания и опыт, благодаря которым фирма точно прогнозировала неожиданные итоги выборов и заслужила пре красную репутацию, оказались недостаточными для того, чтобы работать со школьниками или объединять серии количественных данных. Отсутствие требуемого опыта привело к значительным проблемам, для устранения которых потребовалось несколько недель работы совместной команды специалистов Министерства образования и сотрудников Всемирного банка.


46

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Тип работников для сбора данных на местах подбирается в зависимости от целей и направленности оценки. Например, для осуществления количественной оценки воздействия програм мы по улучшению питания может потребоваться антропомет рист: чтобы собрать данные о соотношении роста и веса, в то время как для оценки воздействия образовательной реформы наверняка понадобятся специалисты по проведению тестов на успеваемость. Для большинства количественных исследований необходима команда, состоящая по крайней мере из координа тора исследования, специалиста по обработке данных, коорди натора, контролеров за работой на местах, интервьюеров, операторов, ответственных за ввод данных, и водителей. В зави симости от выбранного качественного подхода состав группы может остаться неизменным (за исключением ответственных за ввод данных). Однако качественные и количественные исследо вания требуют от интервьюеров различных навыков. Поэтому для проведения фокусгрупп, прямого (невключенного) наблю дения и т.д. требуется специальная подготовка. Есть еще три момента, о которых нельзя забывать при плани ровании обследования. Вопервых, важно учитывать события, которые могут оказать влияние на успех работы на местах и/или внешнюю валидность собранных данных. Это может быть структура учебного года, праздники, сезоны дождей, сбора урожая или закономерности миграционных процессов. Вовто рых, важным моментом является апробация инструментов для сбора данных, даже если они уже применялись ранее. Апроба ция служит как для выяснения того, позволяют ли данные инст рументы получить необходимую информацию, так и для озна комления работников на местах с процессом сбора данных. Пробные исследования также могут выступать в качестве «ис пытательного полигона» для формирования команды работни ков на местах, которым предстоит осуществить реальное обсле дование. Многие опытные сборщики данных в пробном («пи лотном») исследовании используют на 10–20% больше сотруд ников, чем потребуется в работе на местах. Работники, показав шие лучшие результаты в ходе пробных обследований, войдут в команду работников на местах. И, наконец, для работы на мес тах немаловажно общение и взаимодействие. Например, по возможности контролеров за работой на местах необходимо снабдить мобильными телефонами, чтобы они могли связаться с координатором исследования, координатором работы на ме


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

47

стах и другими сотрудниками, отвечать на возникающие во просы и сообщать о ходе работы. Управление данными и доступ к ним. Задача системы уп равления — обеспечить своевременное получение данных и их качество. Своевременность достигается максимальной интегра цией процессов сбора и обработки данных, чтобы ошибки мог ли быть выявлены и исправлены до завершения работ на местах. Качество информации можно обеспечить «проверкой последо вательности», контролирующей внутреннюю валидность со бранных данных и во время ввода, и после него; этому же служит предоставление аналитикам нужной документации. Такая доку ментация должна содержать информацию двух видов: а) инфор мация, которая потребуется для интерпретации данных, вклю чая коды, словари данных, руководства, описывающие использу емые переменные, и необходимые переводы; б) информация, необходимая для анализа, — она часто содержится в базовом ин формационном документе, где приведены описание направлен ности и целей оценки, детали методики оценки, описание или примеры инструментов, с помощью которых осуществляется сбор данных, а также анализ работы на местах и руководство по использованию данных. Данные о результатах оценки должны быть открытыми, по скольку оценки имеют характеристики общественного блага; кроме того, эти данные могут потребоваться для дальнейшей ра боты по оценке долгосрочного воздействия, которой будет за ниматься уже другая группа. Совместному использованию дан ных способствует изначальное принятие политики информаци онной открытости. Для этого необходимо согласовать и подпи сать документ, определяющий нормы и обязанности по распро странению данных. Политика открытого доступа требует допол нительных мер по обеспечению качества информации и защи ты конфиденциальности экспертов–источников информации. Если различные структуры на протяжении определенного вре мени получают информацию от одних и тех же экспертов в рам ках панельных обследований, то, чтобы иметь возможность проводить работу в дальнейшем, таких экспертов будет необхо димо обозначить. Это требование должно разумно сочетаться с принципом конфиденциальности, принятым при социологиче ских исследованиях. Одно из возможных решений — предоста вить всем заинтересованным исследователям анонимные запи си. Исследователи, желающие провести дополнительную работу,


48

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

могут обратиться в структуру, где находятся данные, и получить список единиц выборки. Таким образом, структура, отвечающая за данные, получает возможность контролировать качество при последующей работе, общаясь с исследователями, заинтересо ванными в ее проведении.

Анализ, отчетность и распространение Подобно другим стадиям процесса оценки, количественный или ка чественный анализ данных требует взаимодействия между аналити ками, теми, кто готовит данные, и разработчиками стратегии для то го, чтобы прояснить имеющиеся вопросы и получить своевремен ные и качественные результаты. Во время анализа практически не избежно возникнут проблемы, связанные с проверкой и интерпре тацией данных; для их разрешения потребуется участие разных чле нов команды. Некоторые методики проведения количественного анализа с помощью статистических методов и связанные с этим про блемы рассмотрены в главе 3. Также существует множество ме тодов анализа качественных данных (Miles and Huberman, 1994). Хотя подробное рассмотрение этих методов не входит в задачи данного руководства, все же упоминаются два метода оценки воздействия — контент#анализ (contentanalysis) и анализ ситуации (case analysis) (Taschereau, 1998). Контент# анализ применяется к данным интервью, наблюдений и доку ментов. Рассматривая данные, оценщик разрабатывает систему их классификации и организует информацию на основе: а) во просов оценки, для ответа на которые была собрана информа ция, б) планов использования материала и в) потребности в пе рекрестной сверке для подтверждения информации. Кодиров ка данных может оказаться довольно сложным процессом и потребовать многих допущений. После выработки единой сис темы классификации начинается фаза анализа, с которым так же связаны определенные трудности. Анализ подразумевает определение закономерностей в имеющихся данных и пере ход от простого описания к пониманию процессов програм мы, ее результатов и воздействий. Лучше это делать вместе с другими членами команды. В качестве вспомогательных инст рументов при анализе качественных данных в настоящее вре мя имеются этнографические и лингвистические компьютер ные программы.


ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ И ПРОВЕДЕНИЯ ОЦЕНКИ

49

Анализ ситуации (case analysis) основан на исследовании кон кретной ситуации (case studies), цель которого — глубокое изуче ние отдельной группы или индивидуума. Высокий уровень дета лизации может дать обширную информацию для проведения оценки воздействия проекта. Сбор и анализ данных производят ся одновременно, так как оценщики осуществляют наблюдения в процессе сбора данных. Затем они могут выработать и прове рить объяснения и связать важные фрагменты информации в единое целое. Примеры в приложении 1 дают несколько общих рекоменда ций, касающихся анализа, документирования и распространения количественной и качественной информации. Вопервых, обычно анализ занимает больше времени, чем планировалось, особенно если данные не столь однозначны и доступны, как ожидалось, если аналитики не сталкивались с по добным типом оценок или если приоритет отдается формиро ванию потенциала в ходе совместной работы. Применительно к конкретным ситуациям, рассмотренным в данном обзоре, ми нимальное время, в течение которого проводился анализ, со ставило около года с момента получения данных, максималь ное — почти два года. С помощью примера в главе 3 иллюстри руются некоторые этапы в процессе анализа; также дается объ яснение, почему анализ потребовал больше времени, чем было запланировано. Вовторых, координатор оценки должен предполагать получе ние в ходе аналитической работы нескольких типов результатов, не забывая при этом о следующих двух моментах. Первый — полу чение результата должно быть приурочено к важным этапам, ког да будет решаться будущее проекта: промежуточные отчеты, вы бор или окончание пробной фазы. Второй — это аудитория, для которой предназначен результат. Результаты оценки следует диф ференцировать в зависимости от того, кто является их «конечным потребителем»: разработчики стратегии в правительстве, коорди наторы программ, спонсорские организации, широкая общест венность, журналисты или ученые. Втретьих, результаты будут иметь больше отношения к страте гии, если будут сопровождаться четкими практическими реко мендациями, основанными на анализе воздействия. В рекоменда циях могут быть выделены приоритеты с учетом краткосрочной или долгосрочной перспективы и, по возможности, давать пред ставление о стоимостном аспекте; те, кто будет принимать окон


50

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

чательное решение, будут обращать внимание на итоговую стои мость проекта. Наконец, отчеты следует планировать как часть более мас штабной стратегии распространения информации; в ее рамках могут быть предусмотрены презентации для различных аудито рий, выпуск прессрелизов, налаживание обратной связи с экс пертамиисточниками информации, размещение информации в Интернете. Для того чтобы на реализацию подобной информаци онной стратегии в смете были предусмотрены необходимые средства и чтобы обеспечить охват целевой аудитории, страте гию необходимо заложить уже на начальной стадии процесса планирования.


Глава 3

Применение аналитических методов при оценке воздействия: анализ конкретной ситуации* В качестве основы для анализа конкретной ситуации («кейсстади») выбра на гипотетическая программа по борьбе с бедностью — PROSCOL. В рамках программы бедным семьям с детьми школьного возраста в одном из регио нов определенной развивающейся страны предоставляются денежные по собия. «Кейсстади» иллюстрирует последовательные ступени анализа при проведении оценки воздействия, а также варианты, с которыми может иметь дело аналитик. Описанный здесь процесс можно применить к лю бой программе по борьбе с бедностью. Когда аналитик определяет, как оце нивать воздействие данной программы, он совершает несколько типичных ошибок и обращается к своим коллегам, специалистам в разных областях — статистику, экономисту, преподавателю эконометрики и социологу. В данном примере аналитик последовательно проходит следующие стадии анализа: определение вопросов, рассматриваемых при оценке воздействия, оценка информационных ресурсов, предварительное зна комство с данными, выяснение природы смещений, определение упу щенного дохода, добавление контрольных переменных, уяснение важ ности влияния внешних факторов, поиск лучших методов формирова ния контрольной группы (отбор подобного по склонности), изучение смещений, вызванных ненаблюдаемыми факторами, анализ вариантов работы с исходными (базовыми) данными (с использованием метода двойных различий), использование инструментальных переменных, апробация различных методов, использование информации, получен ной в ходе работ на местах, планирование последующей работы.

Описание гипотетической программы PROSCOL В программе PROSCOL определяются семьи, имеющие право на учас тие в ней. Делается это посредством использования различных пока * В этой главе использован материал из информационной статьи Martin Ravallion, The Mystery of the Vanishing Benefits: Ms. Speedy Analyst's Introduction to Evaluation, Policy Research Working Paper № 2153, 1999.


52

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

зателей бедности: количества членов домохозяйства, образовательно го уровня главы домохозяйства и различных характеристик жилья. В рамках PROSCOL выплачивается фиксированная сумма на каждого ребенка школьного возраста во всех выбранных домохозяйствах при условии, что дети посещают не менее 85% уроков; посещаемость должна подтверждаться справкой из школы. Домохозяйства обязаны обеспечить посещение детьми школы до достижения ими 18 лет. Данная программа была введена 12 месяцев назад. Она финанси руется Всемирным банком и проводится Министерством социально го развития. Чтобы решить, распространять программу на всю тер риторию страны или отказаться от нее, следует оценить ее воздейст вие на снижение бедности. Для этого Всемирный банк обратился в Министерство финансов с запросом на проведение оценки эффек тивности программы. Работа была поручена именно Министерству финансов с тем, чтобы обеспечить независимость оценки и способ ствовать формированию потенциала для проведения такого рода оценок в одном из центральных подразделений правительства, где принимаются решения о распределении бюджетных средств.

Определение вопросов,рассматриваемых при оценке воздействия Первый шаг аналитика из Министерства финансов, которому поручено оценить воздействие PROSCOL, — определить, какие именно задачи проекта подлежат рассмотрению при оценке воздействия. Проект пре следует две основные стратегические цели: денежные выплаты способ ствуют сокращению текущей бедности, а условие обязательного посе щения школы детьми получателей пособий направлено на снижение уровня бедности в будущем, благодаря повышению образовательного уровня ныне существующих бедных детей. Поэтому для оценки воздей ствия потребуются два типа информации. Вопервых, поступают ли по собия в основном в семьи с низким доходом? Вовторых, насколько программа способствует росту показателей зачисления в школу?

Оценка информационных ресурсов Для проведения оценки у аналитика есть два главных ресурса. Первый — это отчет, основанный на качественных интервью с администраторами программы и результатах работы фокусгрупп участников. Впрочем, не ясно, являются ли интервьюируемые типичными участниками програм мы и насколько они бедны по сравнению с теми, кто не попал в програм


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

53

му и не был опрошен. Отчет свидетельствует о том, что дети действи тельно посещали школу, но, возможно, это имело бы место и без про граммы. Хотя этот отчет и важен для того, чтобы начать анализ, он не да ет аналитику информации об уровне бедности участников PROSCOL и о том, как программа повлияла на посещаемость. Второй ресурс — незави симое общенациональное обследование домохозяйств, называемое «Исследование уровня жизни» (Living Standards Survey — LSS), которое было недавно проведено Статистическим бюро страны. В LSS использо валась случайная выборка из 10 000 домохозяйств; изучался уровень до хода в зависимости от его источника, типа занятости, расходов, состоя ния здоровья, образовательного уровня, а также демографического со става и других характеристик семьи. В обследование был включен во прос об участии представленного в выборке домохозяйства в програм ме PROSCOL, а в разделе «Источники дохода» спрашивалось о сумме по лученных от PROSCOL выплат.

Предварительный обзор данных Затем аналитик обращается к необработанному массиву данных LSS и вы ясняет, кто получает пособия в рамках программы. Можно использовать статистическое программное обеспечение, например пакеты программ SPSS1 или SAS2, чтобы рассчитать таблицы сопряженности средних сумм, 1 Пакет SPSS v.6.1.2. (1995) (Windows) — занимает около 20 Мбт на диске (для Base). Требует 4–8 Мбт RAM. Помимо модуля SPSS Base, суще ствуют модули SPSS Professional Statistics, SPSS Advanced Statistics, SPSS Tables, SPSS Trends. Весьма удобная структура Windows—интерфейса. Большой набор разнообразных статистических методов. Нет оценок стандартных ошибок коэффициентов моделей, совместимых с гетеро скедастичностью и автокорреляцией остатков. Имеет дилеров в Москве, где для пользователей проводятся также курсы. (См.: Магнус Я.Р., Катышев П.К., Пересецкий А.А., Эконометрика. Начальный курс. М.: «Дело», 1997.) (Здесь и далее — примечания редактора.) 2 SAS (Windows) — самый объемный из существующих пакетов. Ох ватывает практически все области прикладной статистики и анализа данных. Имеет лучшие средства для работы с данными. Существуют вер сии практически для всех платформ. В настоящее время является мощ ным средством для сбора, доставки, хранения и отображения информа ции. Однако за это приходится платить. PC—версия работает крайне медленно, неэффективно использует память, требует много пространст ва на винчестере. Это наиболее распространенный пакет, однако боль шинство пользователей не являются эконометристами, а представляют другие области социальных и естественных наук. Документация не ори ентирована на экономистов. Большой объем документации затрудняет


54

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

показывающие соотношение долей трансфертов, которые предоставля ются программой, и долей получающих их домохозяйств по децилям; де цили формируются при ранжировании всех домохозяйств в выборке на основании данных о подушевом доходе. При подсчете последнего анали тик вычитает из общего дохода сумму, полученную от PROSCOL, чтобы выяснить, каким был бы доход без программы, и определить тех, кто выиг рал по сравнению с доходом до реализации программы. Таблица сопряженности (crosstabulathion) подтверждает, что де нежные выплаты в рамках программы обладают довольно высокой степенью адресности по отношению к бедным. Согласно официаль ному уровню бедности, принятому в этой стране, бедные составляют около 30% населения СевероЗапада. Расчеты на основе таблицы по казывают, что беднейшие 30% изучаемой выборки получают 70% по собий в рамках PROSCOL. На первый взгляд, результат положителен. Следующий вопрос — определение воздействия на школьную посе щаемость. В таблице сопряженности представлены средние показатели зачисления в школу для разных возрастов участников PROSCOL по сравнению с семьями, не получающими пособий. Они почти не разли чаются: средняя посещаемость для детей 16–18 лет в обоих случаях со ставляет 80%. Затем аналитик подсчитывает среднее количество лет по сещения школы для каждой возрастной группы и в графической форме представляет результаты для участвующих и не участвующих в PROSCOL. На графике видно, что рисунки не совпадают, но очень близ ки. На этой стадии аналитика интересует вопрос: действительно ли воз действие на посещаемость отсутствует, или выбран неверный подход?

Понимание природы смещений Чтобы ответить на вопрос, почему у детей, участвующих в PROSCOL, такой же уровень посещаемости школы, как у неучаству ющих, аналитику потребуется помощь статистика. Статистик вы сказывает предположение о том, что результаты могут быть под быстрое освоение пакета. Нет возможности работать с лагированными переменными. Нет оценок стандартных ошибок коэффициентов моде лей, совместимых с гетероскедастичностью и автокорреляцией остат ков. По набору современных эконометрических методов уступает спе циализированным эконометрическим пакетам (NSP, MicroTSP и др.). SAS Institute издает журнал для пользователей SAS. Впрочем, аналогичные пе риодические журналы для своих пользователей издают также SPSS, GAUSS, RATS, SPSS. (См.: Магнус Я.Р., Катышев П.К., Пересецкий А.А., Эконо метрика. Начальный курс. М.: «Дело», 1997.)


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

55

вержены серьезному смещению. Для оценки воздействия програм мы нам необходимо знать, какая ситуация имела бы место в ее от сутствие. Но аналитик не учел этого момента и в качестве сравни тельной группы использовал семьи, не участвующие в программе, сделав на этом основании вывод о том, какой была бы посещае мость без PROSCOL. Другими словами, Pi означает участие iого ребенка в PROSCOL. Оно может иметь два значения: Pi = 1, если ребенок участвует в про грамме, и Pi =0, если не участвует. Если iй ребенок не участвует, тогда уровень его посещаемости школы составляет S0i, это означает, что посещаемость i–ого ребенка при P = 0 равна S. Если ребенок участву ет, то его посещаемость равна S1i. Рост посещаемости, благодаря PROSCOL, равен разности S1iS0i. Такой прирост для iого ребенка, ко торый участвует (P = 1), составляет: Gi = S1i  S0i | Pi = 1. Знак «|» означает: «при условии, что», т.е. расчет представляет при рост только для фактически принявшего участие в программе ребен ка. Для того, чтобы узнать средний прирост посещаемости школы, надо вывести среднее арифметическое значение для всех G; таким образом, получим средний по выборке прирост для тех, кто участво вал в PROSCOL. Если расчет этого среднего арифметического значе ния произведен правильно (т.е. использовались соответствующие веса выборки из обследования), то он даст несмещенную оценку ис тинного среднего прироста. Последнее — это «ожидаемое значение» G, и его можно выразить следующим образом: G = E(S1i  S0i | Pi =1). Это — еще один способ определения «среднего значения». Впрочем, эта цифра необязательно равна среднему арифметическому, рассчитан ному на основе данных выборки, по причине погрешности самой вы борки. В литературе по проведению оценок выражение E(S1i  S0i | Pi =1) иногда называют «эффектом воздействия», или прямым «средним эф фектом воздействия на воздействуемых». В данном случае воздействи ем считается PROSCOL. Статистик указывает аналитику на то, что было рассчитано не G, а различия в средней посещаемости школы между детьми, уча ствующими и неучаствующими в программе. Вот оценка по вы борке:


56

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

D = E(S1i | Pi =1) – E(S0i | Pi = 0). Между D и G существует простая связь: D = G + B, где «B» означает смещение в оценке. Оно выражается формулой: B = E(S0i | Pi =1)  E(S0i | Pi = 0). Другими словами, смещение — это ожидаемая разница в посеща емости школ детьми, фактически участвующими и не участвующими в программе, при отсутствии PROSCOL. Это отклонение можно от корректировать, если знать значение E(S0i | Pi =1), но его невозможно оценить даже по выборке. Нельзя представить, какой была бы посе щаемость детей, фактически участвующих в PROSCOL, если бы они не участвовали в программе. Это и есть отсутствующие данные, или среднеарифметическое значение «альтернативного сценария». Такое смещение является серьезной проблемой. Возможно, в от сутствие PROSCOL участвующие семьи посылали бы детей в школу реже, чем неучаствующие семьи. Если это так, то в расчетах присутст вует смещение. Вернемся к изначальному вопросу оценки, нас инте ресует рост посещаемости, обусловленный воздействием PROSCOL. Возможно, эффект распространяется только на семьи, участвующие в программе. Другими словами, нам нужно знать, насколько меньшей была бы посещаемость без программы. Если смещения нет, то «до полнительная посещаемость благодаря программе» измеряется как разница в средней посещаемости между участвующими и неучаству ющими. Таким образом, смещение возникает, если среднеарифмети ческая посещаемость участников и неучастников PROSCOL различа ется и в отсутствие программы. Лучший способ избежать этого смещения — сделать участие в программе случайным. Тогда участники и неучастники будут иметь одинаковую ожидаемую посещаемость в отсутствие программы, т.е. E(S0i | Pi =1) = E(S0i | Pi = 0), а посещаемость неучаствующих семей пред ставит нам истинный альтернативный сценарий, т.е. посещаемость, которую мы наблюдали бы у участников, если бы они не имели досту па к программе. Более того, случайный выбор участников уравняет все распределение, а не только средние значения. Смещение также возможно изза ошибки выборки, но для достаточно больших выбо рок можно с уверенностью предположить, что любая статистически


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

57

значимая разница в распределении посещаемости между участника ми и неучастниками является результатом воздействия программы. Согласно имеющемуся плану программы, участие в ней не случай но. Более того, если бы обнаружилось, что участие случайно, то это стало бы серьезным основанием для критики PROSCOL. Сам факт то го, что программа адресована бедным семьям, которые, по всей веро ятности, менее склонны отправлять детей в школу, дает эффект сме щения. В связи с этим возникает вопрос: если PROSCOL работает хоро шо, то можно ожидать, что при ее отсутствии посещаемость шко лы среди участников программы была бы ниже. Если это так, то E(S0i | Pi =1) < E(S0i | Pi =0), и изначальный расчет аналитика недо оценивает положительный эффект от программы. Нам может по казаться что польза невелика или ее нет вообще, в то время как на деле программа успешно работает. Теперь аналитик осознает, насколько существенной может быть ве личина смещения. Предположим, что дети из бедных семей не ходят в школу, а работают; поскольку они бедны и им трудно занимать деньги, дополнительные средства нужны им немедленно. Обеспеченные же семьи отправляют детей в школу. Для участия в программе отбирают ся бедные семьи, чьи дети будут ходить в школу. Разницей в среднеста тистической посещаемости школы, которая наблюдается между семь ями, участвующими и неучаствующими в PROSCOL, можно прене бречь. Действительно, предполагается, что E(S1i | Pi =1) = E(S0 i | Pi =0). Но воздействие программы положительно и выражается соотношением E(S0i | Pi = 0)  E(S0i | Pi =1). Если аналитик произведет лишь сравнения средних показателей посещаемости школы участниками и неучастни ками PROSCOL, не учитывая тот факт, что программа ориентирована именно на бедных, то это приведет к существенному занижению оцен ки пользы PROSCOL.

Изучение «упущенного дохода» Затем аналитик показывает таблицы сопряженности сумм, получен ных через PROSCOL, и доходов еще одному своему коллеге — эконо мисту из Министерства финансов. Экономист обозначает основную проблему: прирост дохода бедных благодаря PROSCOL явно завы шен, поскольку не был учтен упущенный доход. Чтобы семья могла получать пособия от PROSCOL, дети из нее должны ходить в школу. Поэтому они не могут работать ни в семейном бизнесе, ни по найму. Например, дети 15–18 лет могут зарабатывать в сельском хозяйстве и


58

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

строительстве до двух третьих от заработка взрослых, а то и больше. Семьи, участвующие в PROSCOL, не получают дохода от труда своих детей. Этот упущенный доход следует учитывать при подсчете чисто го прироста дохода от участия в программе и для того, чтобы опреде лить доход до вмешательства: из общего дохода следует вычитать именно этот чистый прирост, а не общую сумму пособий. Это также будет иметь значение в определении того, насколько бедна была бы семья без пособия PROSCOL. Полученная таблица, таким образом, может сильно преувеличивать сумму выигрыша от программы. Аналитик хочет понять, почему ему следует выносить за скобки потерянный доход от детского труда, считая сокращение этого детского труда благом. Экономист подчеркивает, что нужно обра щать внимание на выгоды от сокращения такого труда, главной из которых является рост посещаемости школы и, следовательно, бо лее высокий доход бедных семей в будущем. Аналитик составил таблицы, в которых представлены два основных способа, которы ми PROSCOL способствует сокращению бедности: увеличение те кущих доходов бедных и увеличение их будущих доходов. Воздей ствие на детский труд влияет на оба этих показателя, но в противо положных направлениях; таким образом, PROSCOL нужно найти компромиссное решение. Данное положение показывает, почему столь важно хорошо оце нить воздействие на посещаемость: только в этом случае можно вы явить размер упущенного дохода. Так, вполне может быть, что до полнительное время, проведенное в школе, относится к нерабочему времени. Применительно ко второй таблице сопряженности главный во прос, поднимаемый экономистом, заключается в том, что игнориру ются любые иные факторы, влияющие на посещение школы, кроме участия в PROSCOL. Экономист предлагает вычислить регрессион ную зависимость количества лет обучения от нескольких контроль ных переменных, а также от того, участвовала ли семья ребенка в PROSCOL. Пусть для iого ребенка в выборке: Si = a + bPi + cXi + εi. Здесь a, b и с являются параметрами, X означает контрольные пе ременные, такие как возраст ребенка, образование матери и отца, ко личество членов семьи, демографический состав домохозяйства и характеристики школы, а ε обозначает остаток, который включает другие факторы, влияющие на посещаемость школы, плюс ошибки


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

59

измерения. Оценочное значение b показывает воздействие PROSCOL на посещение школы. Заметьте, что если семья iого ребенка участвует в PROSCOL, то P = 1, и его посещаемость будет: a + b + cXi + εi. Без участия P = 0, и его посеща емость будет: a + cXi + εi. Разница — прирост в посещаемости, получен ный благодаря программе, т.е. просто b.

Добавление контрольных переменных По совету экономиста аналитик рассчитывает регрессию с контроль ными переменными и без них. При расчете без контрольных пере менных получен результат, который свидетельствует о том, что оце ночное значение b незначительно отличается от нуля (если приме нить стандартный tтест, входящий в пакет программ по статистике). Эти результаты очень похожи на первые, когда бралась разница меж ду средними арифметическими значениями участников и неучастни ков, и говорят о том, что PROSCOL никак не влияет на посещаемость школы. Однако если в регрессию включить несколько контрольных переменных, мы получим положительный и значимый коэффициент эффекта от участия в PROSCOL. Расчет показывает, что к 18 годам уча стие в программе дает два дополнительных года посещения школы. Аналитику неясно, почему эти контрольные переменные ведут к такой большой разнице и правильно ли они выбраны. Его следую щий шаг — визит к своему бывшему преподавателю эконометрики, которому он показывает свой расчет регрессий. Первый вопрос пре подавателя относится к регрессионной зависимости посещаемости от P и X: регрессия не учитывает того, что воздействие программы из меняется вместе с X; получается, что воздействие для всех одинаково, а это маловероятно. Чем выше у родителей образование, тем больше вероятность, что их дети будут ходить в школу, так что выгода от уча стия в PROSCOL для них будет ниже. Чтобы прирост времени, прове денного в школе, мог варьироваться в зависимости от X, допустим, что средняя посещаемость школы неучастниками будет a0 + c0Xi, а участниками — a1 + c1Xi, и наблюдаемый уровень посещаемости можно представить в виде: Si = (a1 + c1Xi + ε1i)Pi + (a0 + c0Xi + ε0i)(1  Pi), где ε0 и ε1 — случайные ошибки со средним значением, равным нулю, которые не коррелирут с X. Для оценки этой модели необходи мо добавить в уравнение регрессии еще один член, описывающий


60

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

эффекты взаимодействия между участием в программе и наблюдае мыми характеристиками. Таким образом, дополненную регреcсию можно представить следующим образом: Si = a0 + (a1 a0)Pi + c0Xi + (c1  c0)PiXi + εi , где εi = ε1iPi + ε0i (1  Pi). Тогда (a1  a0) + (c1  c0)X является средним значением воздействия программы при любом данном значении X. Если используется среднее значение X в выборке участников, то по лучается среднее значение выигрыша от программы. Понимание важности экзогенности Второй вопрос, который задал преподаватель эконометрики, был связан с порядком расчета регрессии. При расчете регрессии в стати стическом пакете посредством команды «обычный метод наимень ших квадратов», ОМНК (ordinary least squares, OLS), возникает во прос: оценка параметров по методике OМНК будет смещена даже при больших размерах выборки, если только переменные в правой части уравнения не являются экзогенными. Экзогенность означает, что пе ременные в правой части определяются независимо от переменных посещаемости, и, таким образом они не коррелируют со значением ошибки в регрессии школьной посещаемости. Поскольку программа была адресована конкретной группе, участие в PROSCOL не является экзогенным. Это может повлиять на расчет воздействия следующим образом: уравнение, характеризующее количество лет, проведенных в школе, будет таким: Si = a + bPi + cXi + εi. Значение a + b + cXi + εi использовалось в качестве оценки посеща емости школы iым домохозяйством при участии в PROSCOL, в то время как a + cXi + εi использовалось для оценки посещаемости в слу чае неучастия. Разница b, таким образом, это выигрыш от участия в программе. Но при выполнении этого расчета, подразумевалось, что εi в любом случае имеет одно и то же значение. Другими словами, бы ло сделано предположение, что ε не зависит от переменной P, что могло бы повлиять на расчет воздействия программы. Данная ситуация демонстрирует смещение изза неслучайного выбора участников программы, который также может влиять на оценку, основанную на предложенной экономистом модели регрес


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

61

сии (Si = a + bPi + cXi + εi). Это, однако, не означает, что результаты бу дут абсолютно неверны. Преподаватель эконометрики разъясняет этот момент явным уравнением для P: Pi = d + eZi + νi , где Z означает несколько переменных, включающих все наблюда емые «показатели бедности» (poverty proxies), используемые при выделении целевой группы для PROSCOL. Здесь также присутствует чисто случайная ошибка, которая влияет на участие, — это показате ли бедности, не попавшие в данные. Также здесь будут ошибки при отборе участников, которые включены в тот же член ν. Это линейное уравнение, но P имеет только два значения — 0 и 1. Прогнозируемые значения между нулем и единицей допустимы, но линейная модель не исключает и возможности прогнозирования значений больше единицы или отрицательных значений. Существуют нелинейные мо дели, разрешающие эту проблему, но для простоты мы ограничимся моделями линейными. Существует особый случай, в котором вышеупомянутая регрессия S на P и X по методу ОМК даст несмещенную оценку b, т.е. когда X включает все переменные в Z, которые также влияют на посещае мость школы, и ошибка ν не коррелирует c ошибкой ε в регрессии посещаемости школы. В соответствующей литературе это иногда на зывается «выбором по наблюдаемым характеристикам». Предположим, что контрольная переменная X первой регрессии посещаемости включает в себя все наблюдаемые переменные Z, вли яющие на участие P, а ν не коррелирует с ε (т.е. ненаблюдаемые пере менные, влияющие на участие в программе, не влияют на посещае мость, обусловленную X). Таким образом, исключается возможность, что P коррелирует с ε. В регрессии посещаемости школы оно теперь будет экзогенным. Другими словами, основная мысль «выбора по на блюдаемым характеристикам» заключается в том, что есть некая на блюдаемая X и что смещение (обусловленное X) исчезнет. Добавление контрольной переменной к регрессии посещаемости при участии в PROSCOL привело к большим изменениям, поскольку в X должны входить переменные, которые были в числе показателей бедности, используемых при определении целевой группы, или кор релировали с ними и тоже влияли на посещаемость школы. Однако это справедливо только в том случае, когда допущения верны. Следу ет помнить о двух возможных проблемах. Вопервых, рассмотрен


62

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ный метод неэффективен в отсутствие ненаблюдаемых факторов, определяющих участие. Другими словами, он бесполезен, если ошиб ка ν имеет нулевую дисперсию, и все детерминанты участия в про грамме также влияют на посещаемость. В таком случае нет независи мой вариации участия в программе, которая позволила бы выявить ее воздействие на школьную посещаемость. P можно совершенно точ но прогнозировать на основе X, и поэтому регрессия неприменима. Такая проблема вряд ли будет возникать часто, так как почти всегда существуют ненаблюдаемые детерминанты вовлечения в участие в программе. Вторая проблема более распространена, и в данном случае явля ется более серьезным поводом для беспокойства. Ошибка ε в регрес сии школьной посещаемости, вероятно, содержит переменные, не выявленные в процессе исследования, но вполне способные повли ять на участие в программе. Другими словами, они могут быть связа ны с ошибкой ν в уравнении участия. Если это верно, то E(ε | X, P) ≠ 0, и обычные методы регрессии все равно будут содержать смещения при оценке регрессий посещаемости школы. Таким образом, ключе вой вопрос — это степень корреляции между ошибкой в уравнении участия и ошибкой в уравнении посещаемости школы.

Поиск лучших способов формирования сравнительной группы: отбор подобного по склонности (вероятности) С помощью преподавателя аналитик узнает, что существуют лучшие способы формирования контрольной (сравнительной) группы. За дача заключается в том, чтобы сравнить уровни посещаемости, обус ловленные наблюдаемыми характеристиками. Если группы выборки разделить на группы семей с одинаковыми или сходными значения ми X, то можно сравнить условные средние значения для семей, уча ствующих и не участвующих в PROSCOL. Если посещение школы в от сутствие программы не зависит от участия в ней при данном X, то сравнение даст несмещенную оценку воздействия PROSCOL. Иногда такой подход называют «условной независимостью» (conditional independence), которая является ключевым допущением при всех ме тодах, использующих сравнительные группы. Таким образом, более эффективный способ выбора сравнитель ной группы, учитывая имеющиеся данные, — это использование в ка честве контроля для каждого участника соответствующего «неуча стника» со сходными наблюдаемыми характеристиками. Но это мо жет оказаться очень сложным, поскольку массив данных может со


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

63

держать много таких переменных. Вполне возможно, что среди не участников не окажется никого, имеющего те же значения по всем наблюдаемым характеристикам, что и участник PROSCOL. Решить эту задачу помогает статистический метод, именуемый ме тодом отбора подобного по склонности. Вместо того, чтобы искать контроль подобия для каждого участника, у которого X имеет одинако вые значения, можно проводить отбор по подобию по прогнозируемо му значению P при данном значении X, называемому оценкой склонно сти показателя X. Согласно Розенбауму и Рубину (Rosenbaum and Rubin, Biometrika, 1983), если (как в данном случае) посещаемость школы без PROSCOL не зависит от участия при данном значении X, то участники также независимы от участия в программе при данной оценке склонно сти X. Поскольку оценка склонности представляет собой всего одно число, обеспечить ее контроль гораздо проще, чем контролировать X, который может включать в себя много переменных. В то же время отбора подобного по склонности достаточно для того, чтобы избавить ся от смещения, если есть условная независимость при данном X. Другими словами, если в самой первой регрессионной зависимо сти P от X удастся рассчитать прогнозируемое значение P для каждо го возможного X, то потом можно оценить его для целой выборки. Для каждого участника следует найти неучастника с ближайшим зна чением этой прогнозируемой вероятности. Тогда различие в посеща емости школы будет рассчитанной выгодой от программы для дан ного участника. Затем для оценки воздействия можно взять среднее значение всех этих различий либо среднее для групп с разным доходом. Однако при оценке модели участия следует соблюдать осторожность. Линей ная модель может дать неправильные прогнозируемые вероятности, вероятности выше единицы или отрицательную вероятность. Пред почтительнее использовать программу LOGIT статистического паке та. При этом допускается, что значение ошибки ν в уравнении учас тия соответствует логистической кривой и параметры данного допу щения рассчитываются методами максимального подобия. Основа нием для этого служат принципы оценки максимального подобия моделей дихотомических переменных. Также следует помнить, что, возможно, некоторых неучастников придется исключить из процесса отбора по подобию с самого нача ла. По последним данным, появившимся в эконометрической лите ратуре, ошибки в сравнении участников и контрольных неучастни ков по обычным значениям согласованных переменных — одна из главных причин смещений в оценках (см. Heckman et al., 1998).


64

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Интуиция подсказывает нам, что контрольная (сравнительная) группа должна быть максимально подобна экспериментальной в от ношении наблюдаемых характеристик, которые представлены в по казателе склонности (propensity score). Можно обнаружить, что неко торые члены выборки неучастников имеют более низкий показатель склонности, чем ктолибо в экспериментальной группе. Иногда по добную ситуацию называют «дефицитом общей поддержки». Фор мируя контрольную группу, следует исключать такие наблюдения из данных для набора неучастников — это обеспечивает сравнение только прироста в одном и том же диапазоне показателей склоннос ти. Следует также исключить неучастников, для которых вероятность участия равна нулю. Желательно срезать небольшую часть выборки (допустим, 2%) с обеих сторон распределения неучастников по пока зателю склонности. Определив участников и неучастников по обще му согласованному диапазону характеристик, рекомендуется взять среднее значение, скажем пяти или около того ближайших соседей, выраженное в абсолютной разнице показателей склонности.

Вставка 3.1. Этапы отбора подобного по склонности (вероятности) Цель отбора подобного (согласования) состоит в выявлении из выборки неучастников контрольной группы, наиболее близкой по характеристикам к выборке участников. «Близость» измеря ется по наблюдаемым характеристикам. Если таких характерис тик только одна или две, то отбор по подобию произвести легко. Но обычно имеется много возможных характеристик. Порядок действий при отборе подобного по показателям склонности примерно следующий. Шаг 1. Необходимо произвести репрезентативное исследова ние выборочной совокупности неучастников, имеющих право на участие, и участников. Чем больше выборка неучастников, имею щих право на получение пособия, тем легче провести хорошее сравнение по подобию. Если выборки взяты из разных обследова ний, то такие обследования должны быть легкосопоставимы (те же анкеты, интервьюеры, инструкции, время проведения и т.д.). Шаг 2. Совместите обе выборки и рассчитайте участие в про грамме с использованием подпрограммы Logit как функцию всех переменных, которые могут определять участие.


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

65

Шаг 3. Найдите прогнозируемые значения вероятности участия на основе логитрегрессии (Logit); это и есть «показатели склонно сти». Вы получите показатель/балл склонности для каждого участ ника и неучастника. Шаг 4. Возможно, некоторых представителей выборки не участников нужно будет исключить с самого начала, поскольку их показатель склонности находится за пределами диапазона экспериментальной группы (обычно он слишком низок). Диапа зоны показателей склонности в экспериментальной (участвую щей в программе) группе и соотвествующей подвыборке неуча стников должны максимально соответствовать друг другу. В зави симости от обстоятельств можно ввести и другие ограничения сравнений по подобию, например допустив эти сравнения толь ко в границах одной и той же географической области, чтобы па ры, отобранные по подобию, принадлежали к одной экономиче ской среде. Шаг 5. Теперь для каждого члена в выборке участников нахо дим пару в выборке неучастников с ближайшим показателем склонности, измеренным абсолютной разницей в показателях. Это и есть «ближайший сосед». Можно найти, скажем, пять таких ближайших соседей. Шаг 6. Рассчитайте среднее значение итогового показателя (или каждого показателя, если их несколько) для пяти ближайших соседей. Разница между этим средним значением и фактическим значением для получающего пособие составляет оценку выгоды от программы для данного индивида. Шаг 7. Рассчитав среднее арифметическое этих индивидуаль ных выгод, получим общую среднюю выгоду. Этот результат можно стратифицировать в выборке неучастников по какой—либо инте ресующей переменной, например по уровню дохода. Это простейший способ отбора подобного на основании пока зателей склонности. На практике же могут возникнуть сложности. Например, если имеется избыточная выборка участников, то для внесения соответствующей поправки можно применить различные методы отбора (Manski and Lerman, 1978). Также для сравнения по подобию можно использовать соотношения вероят ностей (p/(1—p), где p — показатель склонности. Вместо исполь зования для потенциальных сравнений по подобию только бли жайшего соседа можно взять всех неучастников, но при этом при своить им разные веса, исходя из того, насколько они близки (Heckman et al., 1998).


66

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Затем следует включить в массив данных все переменные, кото рые использовались или могли бы использоваться Министерством социального развития как показатели бедности при отборе участни ков PROSCOL. И здесь X должен включать переменные в Z. Впрочем, при этом выявляется недостаток метода отбора подобного на осно вании склонности. При отборе подобного разные значения X дадут разную оценку воздействия. При рандомизации, являющейся идеаль ным экспериментом, результаты не зависят от выбора X. Также при рандомизации нет необходимости в специальной модели участия — Logit или какойлибо другой. Основные этапы отбора подобного по показателям склонности представлены во вставке 3.1.

Изучение отклонений вследствие ненаблюдаемых факторов Даже после создания контрольной группы аналитик не может быть полностью уверен в том, что он получит более надежную оценку воз действия программы. Описанные выше методы исключают смеще ние только при наличии условной независимости, как в случае, когда ненаблюдаемые детерминанты посещаемости школы (не включен ные в набор контрольных переменных X) не коррелируют с участи ем в программе. Существуют две совершенно различные причины смещения: смещение изза разницы в факторах наблюдаемых и в факторах ненаблюдаемых. В последнем случае это называется «сме щением выборки» (selection bias). Это различие подробно представле но во вставке 3.2. Вернемся к последнему уравнению преподавателя: условная неза висимость будет иметь место при экзогенном P, так как в этом случае E(εi | Xi , Pi) = 0. Однако эндогенно обусловленное участие в программе все равно ведет к смещению изза влияния на адресность ненаблюдае мых характеристик. Это иногда называется «выбор по наблюдаемым характеристикам». Таким образом, условия, необходимые для обос нования метода, предложенного экономистом, не менее ограни ченные, чем те, что необходимы для обоснования версии первого ме тода, состоящей в сравнении семей–участниц PROSCOL с неучастни ками, имеющими сходные значения X. Оба исходят из предположения, что эти ненаблюдаемые факторы не оказывают совместного влияния на посещаемость школы и участие в программе, обусловленные X. Интуитивно может показаться, что тщательный отбор по подо бию уменьшает смещение, но это не всегда верно. Отбор по подобию


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

67

Вставка 3.2. Источники смещения в упрощенной оценке воздействия PROSCOL Смещение, описанное статистиком, — это ожидаемое различие в посещении школы в отсутствие PROSCOL между семьями, участвую щими в программе, и семьями, в ней не участвующими. Можно вы делить два источника смещения. •

Смещение изза различий в наблюдаемых характеристиках. Оно может произойти в двух случаях. Во—первых, может отсутство вать общая поддержка. Поддержка — это набор значений контролируемых переменных, для которых значение результа тов и участие в программе наблюдаемы. Если выборки из экспе риментальной и контрольной групп имеют различную поддерж ку, это ведет к смещению в результатах. Фактически в этом случае подобное не сравнивается с подобным. Во—вторых, даже если присутствует общая поддержка, то в ее пределах распределение наблюдаемых характеристик тоже может отличаться. Другими словами, данные по контрольной группе могут быть неправиль но взвешены. Внимательный подбор контрольной группы помо жет избежать этого источника смещения. Смещение изза различий в ненаблюдаемых факторах. Термин «смещение выборки» иногда применяется исключительно к это му виду смещения (хотя некоторые авторы этим термином обо значают общее смещение при неэкспериментальной оценке). Этот источник смещения возникает, когда для данного значения X существует систематическая связь между участием в програм ме и результатом в отсутствие программы. Иначе говоря, сущест вуют ненаблюдаемые переменные, которые одновременно вли яют на посещаемость школы и участие в программе, обусловлен ные наблюдаемыми переменными в данных.

Нет никакой гарантии, что эти два источника смещения будут дей ствовать в одном направлении. Поэтому само по себе исключение од ного из них не означает, что абсолютное значение общего смещения уменьшится. Это чисто эмпирический вопрос. В одном из исследова ний, посвященных этой проблеме, реальное воздействие, выявленное посредством хорошо продуманного эксперимента, было сопоставле но с другими неэкспериментальными оценками (Heckman et al., 1998). Смещение при простой оценке было огромным, но с помощью вни мательного сопоставления с контрольной группой на основе наблю даемых характеристик удалось значительно его сократить.


68

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

исключает часть смещения в первой простой оценке воздействия PROSCOL. Но при этом остается смещение изза проблемы ненаблю даемых факторов. Однако если один источник смещения положите лен, а другой отрицателен, то они могут взаимоисключить друг друга; об этом говорят Хекман с соавторами (Heckman et al., 1998). Поэтому оценка методом отбора подобного может иметь и большее смеще ние, чем простая оценка. Нельзя заранее знать, каково будет преиму щество использования даже хорошо подобранной контрольной группы, поскольку это чисто эмпирический вопрос.

Варианты работы с базисным обследованием — расчеты двойных различий Далее аналитик задается вопросом: существует ли помимо рандомиза ции какойто другой метод, позволяющий разрешить сложности, свя занные с проблемой влияния ненаблюдаемых факторов? Для решения такой задачи потребуются «базисные данные» по участникам и неучаст никам, собранные до начала реализации PROSCOL. Смысл в том, что дан ные о результатах и факторах, их определяющих, равно как и данные по контрольной (сравнительной) и экспериментальной (участвующей) группам, собираются как до программы, так и после нее. Затем можно просто определить «различие между различиями» в посещаемости шко лы экспериментальной и контрольной группами до осуществления про граммы и аналогичными различиями после ее реализации. Такой под ход называют оценкой «двойных различий», или «различием между раз личиями». С его помощью снимается проблема ненаблюдаемых пере менных при условии, что они не меняются с течением времени. Это можно показать добавлением нижних индексов в рассмот ренное ранее уравнение, чтобы ввести посещаемость школы после внедрения программы: Sia = a + bPi + cXia + εia. До программы, в базисном обследовании, посещаемость школы представлена так: Sib = a + cXib + εib. Разумеется, P = 0 вводится до проведения программы. Члены урав нения, обозначающие ошибку, включают не зависящий от времени аддитивный эффект, поэтому их можно выразить так:


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

69

εit = ηi + μit (для t = a,b), где ηi — не изменяющийся со временем эффект, который может коррелировать с Pi, а μit — вновь привнесенная ошибка, не коррели рующая с Pi (или Xi). Смысл в том, чтобы с помощью базисных данных выявить нена блюдаемые факторы, создающие проблемы. Обратите внимание: ба зисное исследование относится к тем же самым домохозяйствам, что мы имеем в наличии сейчас, и поэтому iе домохозяйство в уравне нии для Sia — то же домохозяйство, что iе в уравнении для Sib. Поэто му мы можем вывести разность между уравнениями «после» и «до»: Sia  Sib = bPi + c(Xia  Xib) + μia  μib Теперь можно составить регрессию изменений в посещаемости школы в зависимости от участия в программе и изменений в X. ОМНК даст несмещенную оценку воздействия программы. Таким образом, ненаблюдаемые факторы, коррелирующие с участием в программе, оказываются исключенными. При этом, если участие в программе описывалось только пере менными (и наблюдаемыми, и ненаблюдаемыми), которые были из вестны на момент базисного обследования, то было бы разумным до пустить, что значения в разных обследованиях не меняются. Это справедливо, пока проблематичные ненаблюдаемые факторы не ме няются во времени. Изменения в посещаемости школы членами контрольной группы отражают ту ситуацию, которая имела бы место для экспериментальной группы в отсутствие программы. Выполнение такой работы требует отличного знания программы и возможности координировать время проведения оценки с ходом самой программы. В противном случае после базисного обследования обяза тельно будут иметь место ненаблюдаемые изменения, которые повлия ют на контингент бенефициаров программы. При этом появится «эффект времени», меняющий в промежутке между исследованиями ненаблюдаемые переменные. Последнее уравнение можно интерпретировать так: характерис тики ребенка и домохозяйства в X не имеют значения для изменения посещаемости школы, если эти характеристики не меняются во вре мени. Но прирост посещаемости может зависеть от уровня образова ния родителей (а не только от изменения в их образовании) и, воз можно, от местонахождения домохозяйства, поскольку от этого за висит доступ к школе. Также возможны ситуации, когда изменения в


70

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

показателях итога во времени определяются исходными условиями. В таком случае может возникнуть необходимость внести поправку на разницу в исходных условиях. Это можно сделать, просто прибавив к регрессии по отдельности Xa и Xb, чтобы регрессия приняла форму: Sia  Sib = bPi + caXia + cbXib + μia  μib Даже если некоторые (или все) переменные в X со временем не меняются, X все равно может оказывать воздействие на изменения посещаемости во времени. Метод отбора подобного по склонности, рассмотренный выше, обеспечивает сходство контрольной и экспериментальной групп до использования метода двойных различий. В одном интересном ис следовании американской программы занятости было обнаружено, что отсутствие сравнений в области общей поддержки явилось глав ным источником смещения в оценке методом двойных различий при сопоставлении его результатов с результатами рандомизирован ной контрольной группы. Но в области общей поддержки смещение, обусловленное X, не сильно изменялось во времени. Таким образом, выведение двойных различий имеет смысл после проведения срав нения по подобию (см.: Heckman et al., 1998). На практике, однако, проведение повторных обследований домохо зяйств может оказаться трудной задачей — нелегко найти все те домохо зяйства, которые приняли участие в базисном обследовании. Ктото из уча стников базисного обследования может не согласиться на повторное ин тервью, ктото может переехать, и его местонахождение будет неизвестно. Если выпадение (dropouts) из выборки совершенно случайно, то ре зультаты повторного обследования будут представлять ту же совокуп ность (популяцию), что и в базисном. Но если наблюдается системати ческая тенденция отсева из выборки лиц, обладающих определенными характеристиками, то возникает проблема. Подобная ситуация называ ется «смещением изза выбытия» (attrition bias). Так, есть вероятность, что благодаря PROSCOL, некоторые бедные семьи переехали в более хо рошие дома. И даже если выбор участников был основан только на ин формации, имевшейся в момент проведения базисного обследования или близко к этому моменту (эффект неизменного времени 0i), отобран ные участники вполне могут отказаться от участия в программе вследст вие изменений, произошедших после этой даты. Такое выбытие из груп пы участников внесет явное смещение в оценку воздействия, которая проводится методом двойных различий. Вставка 3.3 содержит пошаго вое описание оценки методом двойных различий.


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

71

Вставка 3.3. Применение метода двойных различий Метод двойных различий предполагает сопоставление экспери ментальной и контрольной групп (которые в идеале определяются методом отбора подобного по показателям склонности, описан ным во вставке 3.2) до и после осуществления программы. Ниже пе речислены основные этапы этого подхода. Шаг 1. Базисное обследование должно быть проведено до вме шательства и охватить как участников, так и неучастников. Если не известно, кто станет участниками программы, необходимо обосно ванное предположение. Обратитесь к тем, кто проводит программу. Шаг 2. Затем, после осуществления программы, потребуется провести одно или несколько повторных обследований. Они долж ны быть очень сходны с базисным (та же анкета, метод интервью и т.д.). В идеале повторное обследование проводится на той же вы борке, что и базисное. Если это невозможно, то по отношению к ка кой—либо иной переменнной обследования должны охватывать один географический кластер или страту. Шаг 3. Рассчитайте среднее значение разности итоговых пока зателей между ситуациями «до» и «после программы» для экспериментальной и контрольной групп. Шаг 4. Рассчитайте разность между этими двумя средними зна чениями. Полученный результат представляет собой оценку воздей ствия программы. Это простейший вариант метода двойных различий. Можно так же ввести поправки на различия в исходных экзогенных условиях или изменения в экзогенных переменных, учитывая эффект от вза имодействия с программой (так, чтобы выгода от вмешательства за висела от наблюдаемых переменных). Все эти дополнения можно внести с помощью подходящей модели регрессии.

Использование инструментальных переменных Если нет базисного обследования одних и тех же домохозяйств, что необходимо для применения метода двойных различий, преподава тель рекомендует другой подход, который устойчив по отношению к проблемным ненаблюдаемым факторам и состоит в применении ин струментальной переменной.


72

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Использование инструментальной переменной — классический пример решения проблемы эндогенности в регрессии. Инструмен тальная переменная представляет собой наблюдаемый источник эк зогенной вариации участия в программе. Иначе говоря, она коррели рует с P, но уже не входит в регрессию посещаемости школы и не коррелирует с ошибкой ε в уравнении школьной посещаемости. По этому должна быть по крайней мере одна переменная в Z, которая не присутствует в X и не коррелирует с ε. Тогда мы получим оценку воз действия программы методом инструментальной переменной, заме нив P на ее прогнозируемое значение, обусловленное Z. Итак, по скольку это прогнозируемое значение зависит исключительно от Z (экзогенная переменная), а Z не коррелирует с ε, то теперь можно применить к этой новой регрессии обычный метод наименьших ква дратов (ОМНК). Теперь, когда прогнозируемые значения зависят только от экзо генной вариации вследствие воздействия инструментальной пере менной и других экзогенных переменных, ненаблюдаемые факторы уже не вызывают проблем, так как они не коррелируют с ошибкой в регрессии посещаемости школы. Учитывая это, можно применить еще один, более эффективный способ разрешения этих проблем. Как мы помним, источником смещения в одной из предыдущих оценок воздействия программы была корреляция между ошибкой в уравне нии школьной посещаемости и ошибкой в уравнении участия. Имен но этот момент обусловил корреляцию между участием и ошибкой в уравнении посещаемости. Таким образом, при наличии инструмен тальной переменной, естественный способ решения проблемы будет состоять в том, чтобы добавить остаточный член из первого уравне ния участия в уравнение посещаемости, сохранив при этом фактиче ское участие в регрессии школьной посещаемости. Но, поскольку те перь регрессия посещаемости дополнена выведенным значением ошибки из уравнения участия, можно рассматривать участие как эк зогенный фактор и применить ОМНК. Данный вариант применим только при наличии валидного инструментария. В противном слу чае регрессия не даст оценки, поскольку остаточный член, описыва ющий участие, будет совершенно прогнозируем в линейной модели на основе фактического участия и X. Инструментальная переменная также может быть полезна при на личии значительных погрешностей в измерении данных об участии в программе, что представляет собой еще один потенциальный ис точник смещения. «Ошибки измерения» означают наличие вероят ности того, что участие в программе варьируется больше, чем это


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

73

имеет место в действительности. Такая переоценка вариативности P приводит к занижению его коэффициента b. Подобное явление на зывают «смещением вследствие ошибок измерения» (attenuation bias), или «смещением в сторону снижения», поскольку оно вызывает зани жение расчетного коэффициента регрессии. Хотя инструментальная переменная и может быть очень полез ной, применять ее следует осторожно. Заменяя фактическое участие его прогнозируемым значением в процедуре ОМНК, невозможно верно определить стандартные ошибки, поскольку компьютер «не знает», что для получения прогнозируемых значений использова лись предварительно рассчитанные параметры. Требуется внести по правку на стандартные ошибки ОМНК. Существуют статистические пакеты, позволяющие легко проделать эту операцию (по крайней ме ре для линейных моделей). Впрочем, если бы имелась зависимая переменная, принимающая только два возможных значения (например, «в школе» и «не в шко ле»), то следовало бы использовать нелинейную модель для дихото мических переменных, например Logit или Probit. В этом случае при меняется такой же принцип проверки на экзогенность участия в программе. Задача для таких моделей рассмотрена в статье Риверса и Вуонга (Rivers and Vuong, 1988). Бланделл и Смит (Blundell and Smith, 1993) дают полезный обзор различных нелинейных моделей с эндо генной независимой переменной регрессии.

Тестирование методологий Приступая к определению инструментальной переменной, аналитик начинает понимать, что данный процесс весьма сложен. Каждый воз можный вариант, предложенный им, может быть включен вместе с переменными в X. Проблема заключается в определении валидного «ограниченного исключения» (exlusion restriction), которое обосно вывает введение какойлибо переменной в уравнение участия, но не в уравнение посещаемости школы. Аналитик решает попробовать применить метод отбора подобного по склонности. Результаты, полученные с помощью Logitмодели, представляются вполне обоснованными и указывают на то, что PROSCOL имеет четкую направленность на целевую группу. Практиче ски все переменные, которые могут быть связаны с бедностью, имеют положительные и значимые коэффициенты. Затем аналитик произво дит отбор подобного на основании показателей склонности. При со поставлении средних показателей посещения школы видно, что в


74

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

контрольной группе школу посещают 60% детей, в то время как для се мей, участвующих в PROSCOL, этот показатель составляет 80%. Чтобы определить размер упущенного дохода, аналитик использует имеющиеся результаты обследования труда детей, в которое были включены вопросы о заработках. (В этой развивающейся стране сущест вует законодательный запрет на труд детей до 16 лет, но правительству трудно обеспечить его соблюдение; тем не менее вопрос детских зара ботков стоит весьма остро.) Из этого обследования можно выяснить, ка ким был бы заработок ребенка, если бы он не посещал школу. Теперь можно вычесть из пособий PROSCOL сумму упущенного дохода и, таким образом, определить чистый прирост дохода. Ис ключив этот чистый прирост из общего дохода, мы можем опреде лить исходное финансовое состояние участников PROSCOL до реа лизации программы. Они не настолько бедны, как показалось снача ла (когда не рассматривался упущенный доход), но все же они явля ются бедными: две трети из них живут за официальной чертой бед ности, принятой в данной стране. Теперь, определив чистый прирост дохода всех участников, мы мо жем рассчитать долю бедных в отсутствие программы PROSCOL и при ее наличии. Доля бедных в населении «после вмешательства» (при наличии программы) рассчитать несложно: это процент населения, живущего в домохозяйствах с подушевым доходом ниже черты бедности; при этом под «доходом» понимается наблюдаемый доход (включая суммы, полу ченные от PROSCOL). Эти показатели можно вывести непосредственно из данных обследования домохозяйств. Вычитая чистый прирост дохо да, полученный благодаря участию в программе (пособия PROSCOL ми нус упущенная выгода от детского труда), из всех других наблюдаемых доходов, получим новое распределение доходов до вмешательства. Доля бедных без программы — это процент людей, живущих в бедных домо хозяйствах, который рассчитан на основе такого нового распределения. Аналитик обнаруживает, что наблюдаемый уровень бедности на Северо Западе, составляющий 32%, в отсутствие PROSCOL был бы равен 36%. Та ким образом, программа дает возможность уже сейчас избежать беднос ти 4% населения. Улучшение посещаемости школы означает, что и в бу дущем бедные будут получать выгоды как финансового, так и иного ха рактера. Измеряя бедность, Аналитик помнит о том, что процент населе ния, живущего за чертой бедности, — это только общий показатель, ко торый ничего не говорит нам об изменениях, происходящих внутри этой группы (см. вставку 3.4). Затем он рассчитывает индекс глубины бедности и его дисперсию. Результаты показывают, что благодаря PROSCOL оба эти показателя снизились.


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

75

Вставка 3.4. Критерии бедности Самый простой и наиболее распространенный способ измерения уровня бедности — это доля бедных во всем населении. В данном случае это процент населения, живущего в домохозяйствах, с подушевым дохо дом ниже черты бедности. (В других странах бедность определяется на основе потребления, и в этом есть свои преимущества; более подробное описание и библиографию см.: Ravallion, 1994.) Этот показатель ничего не говорит о распределении дохода ниже уровня бедности: положение бедного человека может ухудшиться, но количество бедных по переписи не изменится. На нем также не отразит ся и улучшение положения бедных, пока он не поднимется выше черты бедности. Распространенной альтернативой доли бедных в населении в каче стве показателя служит показатель отклонений от черты бедности (poverty gap index), который называют также «индексом глубины бедно сти». Глубина бедности для каждого домохозяйства — это разница меж ду чертой бедности и доходом данного домохозяйства. Для тех, кто на ходится выше черты бедности, разрыв равен нулю. Если взять за точку отсчета черту бедности и рассчитать среднее значение по всем домохо зяйствам (как бедным, так и небедным), то мы получим индекс глубины бедности. Индекс глубины бедности покажет нам, какое воздействие програм ма возымела на глубину бедности, но не отразит изменения в распреде лении среди бедных, произошедшие под влиянием программы. Так, ес ли программа дает небольшое преимущество бедному с доходом выше среднего за счет равнозначного ущерба для того, кто находится ниже этого среднего значения, глубина бедности не изменится. Существуют различные показатели, «чувствительные к распределе нию». Один из таких показателей — «дисперсия глубины бедности» (Fos ter, Greer, and Thornbecke, 1984). Он рассчитывается так же, как и глуби на бедности, с той лишь разницей, что индивидуальные значения глуби ны бедности, производные от черты бедности, перед выведением сред него значения возводятся в квадрат (как для бедных, так и для небед ных). Пример еще одного способа измерения, чувствительный к рас пределению бедности, — индекс Уаттса (Watts index). Это среднее зна чение логарифма отношения черты бедности к доходу, где для небед ных это отношение принято за единицу. Эткинсон (Atkinson, 1987) опи сывает и другие примеры, имеющиеся в литературе.


76

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

При проведении этого расчета аналитик также обнаруживает не которую неопределенность относительно самой черты бедности, принятой в данной стране. Для проверки результатов он повторяет расчет, используя различные уровни бедности, и получает следую щее: если взять такое значение черты бедности, при котором 50% на селения оказываются ниже этого уровня, по данным наблюдения до ходов после вмешательства, то без PROSCOL эта доля составляла бы 52%. Если же 15% находятся за чертой бедности с программой, то без нее эта доля составила бы 19%. Повторяя эти расчеты по всему диапа зону доходов, можно начертить «графики распространенности бед ности» с программой и без нее. Это также называется функцией ку мулятивного распределения (см. вставку 3.5).

Вставка 3.5. Сравнение бедности при проведении программы и без нее Используя методы, описанные выше в основном тексте и вставках, можно оценить полученные каждым домохозяйством преимущест ва. В самых простых уравнениях оценка представлена всего лишь одной цифрой. Но лучше сделать оценку, которая будет меняться в зависимости от характеристик домохозяйства. Тогда можно будет представить эту информацию в виде графиков распространеннос ти бедности (poverty incidence curve, PIC) с программой и без нее. Шаг 1. Доход после проведения мероприятия (или другой показа тель благосостояния) для каждого домохозяйства по всей выборке (включающей как участников, так и неучастников) уже должен быть в числе данных. Также уже известно количество человек в каждом домо хозяйстве. И, разумеется, есть информация относительно общей чис ленности выборки (N); либо, в целях распространения результатов на блюдений на все население, если использовался показатель обратной выборки, это может быть прогнозируемый размер населения. Шаг 2. Эту информацию можно представить в виде графика рас пространенности бедности (PIC). На вертикальной оси откладывает ся процент населения, живущего в домохозяйствах с доходом мень ше значения, показанного на горизонтальной оси, или соответству ющим ему. Для построения этого графика можно начать с самого бедного домохозяйства, показать его доход на горизонтальной оси, а затем подсчитать по вертикальной оси количество людей в данном домохозяйстве, разделенное на N и выраженное в процентах. Следу ющая точка — это доля живущих в двух самых бедных домохозяйст вах, и т.д. В итоге получаем PIC после вмешательства.


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

77

Шаг 3. Теперь рассчитаем распределение дохода до вмешатель ства. Для этого вычитаем расчетный прирост для каждого домохо зяйства из показателя его дохода после вмешательства. Получаем пе речень доходов после вмешательства для каждого из домохозяйств в выборке. Повторите шаг 2. В итоге получится PIC до вмешательства. Если мы определим любой данный уровень дохода на горизон тальной оси как «черту бедности», то разница между двумя PIC в этой точке покажет воздействие на долю бедных в населении для данной черты бедности (вставка 3.4). С другой стороны, на горизон тальной оси получим прирост дохода в данном процентиле. В от сутствие отрицательного прироста PIC после вмешательства дол жен быть ниже, чем до вмешательства. Бедность сократится незави симо от того, какую черту бедности мы возьмем за основу. На самом деле, это справедливо для широкого класса показателей бедности (см.: Atkinson, 1987). Если какой—либо прирост окажется отрица тельным, то PIC пересекутся. В этой ситуации сравнение бедности не даст однозначного результата: ответ будет зависеть от того, какую черту бедности мы взяли за основу и с помощью каких показателей измеряли бедность (см.: Ravallion, 1994). Затем можно использовать изначально заданные ограничители диапазона приемлемых значе ний черты бедности. Например, вы можете быть уверены в том, что черта бедности не превышает какого—либо максимального значе ния; тогда, если пересечение происходит выше этого значения, то сравнение бедности однозначно. Если же точки пересечения (а их может быть несколько) находятся ниже максимально допустимой черты бедности, то надежное сопоставление бедности возможно только для ограниченного числа показателей. Чтобы определить, насколько ограниченным должен быть набор, можно рассчитать графики показателя глубины бедности (poverty depth curve, PDC). Они получаются с помощью простого формирования кумулятив ной суммы к каждой точке на PIC. (Таким образом, вторая точка на PDC равна сумме первой и второй точек на PIC и т.д.) Если PDC не пересекаются, то воздействие программы на бед ность однозначно, пока мы ограничиваем наше внимание индексом глубины бедности или любым из показателей бедности, чувствитель ных к распределению, рассмотренному во вставке 3.4. Если PDC пере секаются, то можно вывести «графики остроты бедности» (poverty severity curves, PSC) с программой и без программы с помощью фор мирования кумулятивных сумм под PDC. Если они не пересекаются в пределах допустимого значения черты бедности, то использование любых способов измерения бедности, чувствительных к распределе нию (вставка 3.4), приведет к однозначному выводу.


78

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Использование результатов исследований на местах При осуществлении любой программы присутствует «взгляд изнут ри», т.е. точка зрения бенефициаров и администраторов, которая мо жет быть отражена (но не обязательно) в данных о программе. Так, в нашем случае у работников на местах создалось впечатление, что большинство семей, принимающих участие в PROSCOL, бедны и что программа действительно им помогает. Когда аналитик обсуждает это с социологом, принимающим участие в программе, он узнает о некоторой неопределенности положения, связанного c упущенным доходом и работой. Социолог говорит о том, что в реальности мно гие дети из бедных семей и работают, и ходят в школу одновременно, а ктото из детей младшего возраста не ходит в школу и не работает. Аналитик понимает, что в такой ситуации следует выяснить, есть ли какаянибудь разница в количестве детского труда, выполняемого де тьми из PROSCOL, по сравнению с отобранной по подобию кон трольной группой. Но эти данные в исследовании домохозяйств от сутствуют, хотя можно было бы представить результаты как с поправ кой на упущенный доход, так и без нее. Социолог также отметил, что большое влияние на участие бедной семьи в PROSCOL оказывает то, какой школьный совет действует в районе ее проживания. Средства PROSCOL распределяются по всем школьным округам централизованно, причем они поступают даже туда, где количество бедных семей не очень велико. Если бедная се мья живет в благополучном округе, вероятность получения помощи через PROSCOL для нее выше, чем для жителей бедного округа. Таким образом, важна относительная бедность (в сравнении с другими лицами в том же районе проживания); это гораздо более значимый фактор, чем абсолютный уровень жизни. Такое распределение средств может повлиять на участие в PROSCOL, но посещаемость от него вряд ли зависит. Скорее на нее влияет абсолютный уровень жизни, семейные обстоятельства и ха рактеристики школы. Поэтому распределение бюджета PROSCOL по школьным юрисдикциям может использоваться в качестве инстру ментальной переменной для того, чтобы устранить смещение в оценке воздействия программы. Обследования домохозяйств содержат информацию о том, к ка кому школьному округу относится каждое семейство, какие правила применяются при централизованном распределении фондов PROSCOL по школьным округам, а также о размерах средств, выделя емых центром каждому округу. Выделение средств основано на коли


ПРИМЕНЕНИЕ АНАЛИТИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНКЕ

79

честве детей школьного возраста с «поправкой», отражающей, на сколько бедным считается каждый округ. Впрочем, это правило явля ется весьма расплывчатым. Аналитик пытается учесть эти факторы и повторно выполняет ре грессию по школьной посещаемости, но заменяет фактическое учас тие в PROSCOL его прогнозируемым значением (показателем склон ности) из регрессии участия, которая теперь включает бюджетные ассигнования округам. Будет лучше, если в регрессии посещаемости будет использоваться максимально возможное количество характе ристик школ. Хотя официально характеристики школ не влияют на распределение ресурсов PROSCOL, любые неучтенные особенности школ, которые совместно влияют на распределение фондов PROSCOL школьным округам, а также индивидуальные результаты посещаемости приведут к смещению в оценке при использовании метода инструментальной переменной. Несмотря на то, что всегда есть вероятность смещения, при достаточном количестве географи ческих контрольных переменных этот метод должен по крайней ме ре предоставить достоверное сравнение степени соответствия выбо рочной совокупности генеральной. Судя по результатам, бюджетные ассигнования в школьные округа действительно имеют значительный положительный коэффициент в регрессии, полученной с помощью Logitуравнения для участия в PROSCOL. Теперь участие в PROSCOL (прогнозируемое) значимо в ре грессии для школьной посещаемости, в которую включены все те же переменные из Logitрегрессии, кроме бюджетных ассигнований по школьным округам. Полученный коэффициент означает, что для уча стников PROSCOL посещаемость на 15% выше, чем она была бы без программы. Регрессия также рассчитывается по количеству лет посе щения школы, отдельно для мальчиков и для девочек. Без PROSCOL юноши и девушки в возрасте восемнадцати лет бросили бы школу почти на два года раньше. Но в связи с этой регрессией возникают два вопроса: верны ли используемые стандартные ошибки, и насколько правомерно применение линейных моделей?

Планирование будущей работы Наконец, аналитик готов представить результаты оценки, которые показывают, что результаты программы PROSCOL достаточно хоро ши. На основании этой оценки разработчики стратегии проявляют интерес к расширению программы. В процессе проведения оценки аналитик сделал несколько важных наблюдений:


80

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

• оценка воздействия может оказаться гораздо более сложной зада чей, чем предполагалось изначально; • в зависимости от характеристик методов, применяемых для оцен ки, можно получить слишком широкий разброс результатов; • при работе с неполными данными (что происходит довольно ча сто) полезно использовать альтернативные методы, хотя у каждо го из них есть свои минусы; • необходимо пользоваться самыми разными данными. В дополнение к полученным выводам у аналитика есть несколько ключевых рекомендаций, касающихся оценок эффективности работы PROSCOL в будущем. Вопервых, было бы желательно случайным мето дом исключить некоторые семьи, имеющие право на участие в програм ме в других регионах страны, а потом провести повторное обследование фактических участников и тех, кто был случайно исключен. Это позволи ло бы точнее оценить выгоды от программы. Впрочем, исключение име ющих право на участие может оказаться «политически чувствительным» шагом. Тем не менее, если программа не имеет достаточно ресурсов, что бы охватить всю страну сразу, то приходится решать, кто будет участво вать в первую очередь, и лучше сделать это с помощью случайного отбо ра среди имеющих право на участие. Можно также случайно выбрать школы или школьные округа для первоочередного участия. Это, несо мненно, сделает выбор школы или школьного округа хорошей инстру ментальной переменной для индивидуального участия в программе. Вовторых, если предложенное выше осуществить невозможно, то целесообразно провести базисное обследование областей, в кото рых ожидается высокая концентрация участников PROSCOL, до нача ла программы на юге страны. Это можно сделать одновременно с очередным общенациональным обследованием, которое использо валось для оценки программы PROSCOL. Было бы также неплохо до бавить в анкету несколько вопросов, например о том, выполняли ли дети какуюнибудь оплачиваемую работу. И, втретьих, было бы полезно проделать и качественный анализ для формирования и проверки гипотез, а также для оценки того, со ответствуют ли реальности ключевые допущения, сделанные в про цессе количественного анализа. Примечание 1. Воздействие программ на квартили см.: Heckman, Lalonde, and Smith (1999), а также Abadie, Angrist and Imbens (1998).


Глава 4

Примеры удачной оценки воздействия* Предыдущие главы были посвящены основным методам оценки воз действия проекта, а также вопросам и трудностям, которые при этом могут возникнуть. Обзор анализа конкретных ситуаций («кейсста ди»), приведенный в табл. 4.1, демонстрирует интересные показа тельные примеры планирования исследований, использования дан ных, выбора и применения аналитических методов, а также развития возможностей страны для дальнейшего проведения подобных иссле дований. Эти примеры (равно как и рассмотрение стоимости оценок и общеэкономических вопросов, которые могут возникнуть в про цессе выполнения оценок) представлены ниже. Пятнадцать рассматриваемых «кейсстади» были выбраны в каче стве примера оценок, выполненных Всемирным банком, другими до норскими организациями, исследовательскими институтами и част ными консультативными фирмами. Они были выбраны как примеры «передового опыта» (good practice), исходя из их методологической строгости и охвата различных секторов и регионов. Хотя каждая оценка воздействия имеет свои сильные и слабые стороны, уроки, из влеченные из рассмотрения данных примеров, призваны помочь ру ководителю проекта или стратегическому аналитику в планирова нии и выполнении будущих работ.

Раннее и тщательное планирование оценки Адекватная подготовка на начальных стадиях идентификации про екта обеспечит сбор необходимой информации и возможность ее применения для корректировки проекта в процессе его реализации. Раннее и тщательное планирование позволяет использовать все со ставляющие, необходимые для строгой оценки воздействия, такие * В данной главе использованы примеры «передового опыта», приведенные в приложении I, и обзоры, подготовленные Джильет Холл и Джулией Лейн (Gillette Hall and Julia Lane), а также Суббарао и др. (Subbarao and others, 1999).


82

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

как базисное исследование с рандомизированной контрольной группой и качественные данные о процессах, которые могут повли ять на воздействие. Проект обеспечения питания и раннего детского разви тия в Уганде. Хотя оценка этого проекта еще не началась, она пред ставляет собой очень хороший пример раннего и тщательного пла нирования (см.: World Bank, 1998a; Garcia, Alderman and Rudqvist, 1999; World Bank, 1999g). Основная цель проекта — способствовать улучшению заботы о детях со стороны родителей и общин, знакомя последних с тем, как лучше организовать уход за детьми, а также предоставляя им возможности повышения дохода. Программа вы полняется на базе общин сетью неправительственных организаций (НПО). Оценочный компонент, который был включен в цикл проек та с самого его начала, близок к идеалу с точки зрения структуры оценки. Вопервых, он позволяет подготовить данные базисных и повторных обследований, а также рандомизированную контроль ную группу. Таким образом, становится возможным осуществить тщательную оценку воздействия программы на ее бенефициаров. Вовторых, проект усилит этот количественный компонент за счет мониторинга и оценки, осуществляемых самими участниками (ка чественный компонент). Проект «Кредит с образованием» в Гане. Процесс оценки это го проекта был очень сложным и предусматривал большое число промежуточных этапов. Проект сочетает в себе элементы схемы группового кредита и обучение основам медицины, рационального питания, контроля за рождаемостью и увеличения интервалов между родами, а также навыкам ведения малого бизнеса. В основном при оценке обращается внимание на качество питания детей, наличие у женщин средств на питание и медицинское обслуживание, на знание женщинами правил кормления грудью и отъема от груди и следова ние этим правилам. Оценка начинается с четкой концептуальной схемы, показанной ниже. Эта схема отражает затраты, промежуточ ные выгоды и долгосрочные результаты таким образом, чтобы облег чить разработку и интерпретацию нескольких используемых моде лей. Тщательное планирование оценки на ранней стадии проекта позволило уточнить многие составляющие достаточно сложного плана (приложение 1.6).


Страна

Кения

Отсев уча Филиппи щихся ны

Учебники

Реформа Никарагуа школьной автономии

Образование Радио Никарагуа Никарагуа

Проект

Базисное обследова ние и об следование после вме шательства Базисное обследова ние и об следование после вме шательства

Базисное обследова ние и об следование после за вершения проекта Панельное исследова ние и каче ственные оценки

Тип базы данных

Результа ты тестов и число учеников, бросив ших уче бу

Ученики, классные комнаты, учителя

Ученики, классные комнаты, учителя

Результа ты тестов, степень участия в принятии решений на мест ном уров не Результа ты тестов

Ученики, родители, учителя, директора

Ученики и Результа классные ты тестов комнаты

Предмет анализа

Да

Да

Нет

Да

Нет

Нет

Да

Нет

Да

Да

Да

Да

Отбор по Рефлек добного по сивные Единица срав измере Рандоми склоннос нения ти зация ния

Да

Да

Нет

Нет

Нет

Нет

Да

Нет

Анализ «за тратывы годы»; на ращивание потенциала

Анализ ос ложняю щих фак торов

Сочетание количест венных и качествен ных мето дов

Структура анкеты

Качест венные Преимуще ства методы

Продолжение таблицы на следующей странице

Да

Да

Нет

Нет

Инстру менталь Двойные ные пере различия менные

Эконометрический подход

Таблица 4.1. Итоговая таблица: примеры удачной оценки воздействия

ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ

83


Страна

Предмет анализа

Финансирование Микрофи Бангладеш нансиро вание

Обследо Домохо вание по зяйства сле вмеша тельства в сочетании с админи стратив

Программы, связанные с рынком труда TRABAJAR Аргентина Обследова Работни ние домо ки, домо хозяйств, хозяйства перепись населения, админист ративные данные, со циальные оценки Ретро Работники PROBECAT Мексика спектив ное обсле дование и обследова ние рабо чей силы Ретроспек Работники Активные Чешская Республика тивные об програм следования мы трудо по почте устройства

Проект

Тип базы данных

Таблица 4.1. (продолжение)

Нет

Результа ты по за работку и занятости Да

Нет

Результа ты по за работку и занятости

Потреб ление и образова ние

Нет

Доход, адрес ность, затраты

Да

Да

Да

Да

Нет

Нет

Нет

Нет

Да

Нет

Нет

Нет

Нет

Нет

Нет

Да

Инстру менталь Двойные ные пере различия менные

Эконометрический подход Отбор по Рефлек добного по сивные Единица срав измере Рандоми склоннос нения ти зация ния

Нет

Нет

Нет

Да

Анализ ос ложняю щих факто ров

Отбор по добного по склонности

Грамотное использо вание су ществую щих ис точников данных, передовые методики анализа Отбор по добного по склонности

Качест венные Преимуще ства методы

84 ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ


Нигерия

Финанси рование здравоо хранения

Бангладеш

Мексика

Продо вольствие за образо вание

Здравоо хранение, образова ние и пи тание

Домохо зяйства и медицин ские цент ры

Базисное Домохо обследова зяйства ние и об следова ние после вмеша тельства Результа ты по здравоо хране нию, ме дицин скому об служива

Посещае мость школы

Возмеще ние из держек и доступ ность об служива ния

Доход, Пары мать/ребе здоровье и полно нок мочия

Исследова Домохо ние расхо зяйства и дов домо общины хозяйств

Продовольствие и питание

Гана

Кредит с образова нием

ными дан ными Базисное обследова ние и об следование после вме шательства Базисное обследова ние и об следование после вме шательства плюс адми нистратив ные записи

Да

Нет

Нет

Да

Нет

Да Да

Да

Нет

Нет

Нет

Нет

Нет

Да

Творческое использо вание име ющегося инструмен тария для решения проблемы выборки на основе стандарт ных дан ных Четкая кон цептуали зация, ана лиз ослож няющих факторов

Использо вание коли чественной и качест венной ин формации Использо вание ад министра тивных данных

Продолжение таблицы на следующей странице

Не Не известно известно

Нет

Нет

Да

Да (по реги онам)

Нет

Нет

Да

Да

ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ

85


Страна

Вьетнам

Сельские дороги

Сельское хозяйство Кения Проект создания Нацио нальной информа ционно консульта тивной службы

Боливия

Социаль ный инве стицион ный фонд

Инфраструктура

Проект

Предмет анализа

Панельные Домохо данные, зяйства, оценки бе фермы нефициа ров

Базисное и Домохо последую зяйства, щее обсле общины дования

Базисное и Домохо последую зяйства, щее обсле проекты дования

Тип базы данных

Таблица 4.1 (продолжение)

Произво дитель ность и эффек тивность ферм

Показате ли обра зования и здравоо хранения Показате ли благо состоя ния на уровне домохо зяйств и общин

нию, об разова нию и питанию

Нет

Нет

Да

Да

Нет

Да

Да

Да

Нет

Да

Да

Нет

Да

Да

Инстру менталь Двойные ные пере различия менные

Да

Отбор по Рефлек добного по сивные Единица срав измере Рандоми склоннос нения ти зация ния

Эконометрический подход

Нет

Нет

Нет

Стратеги ческая важ ность ре зультатов

Оценка из менения благосо стояния

Диапазон методик оценки

Качест венные Преимуще ства методы

86 ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ


ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ

87

Оценка при отсутствии базисных данных На практике при проведении многих оценок исследователи часто не имеют достаточных данных. Оценки проводятся, когда уже нет воз можности для выполнения базисного обследования или отсутствуют контрольные группы. В качестве примеров можно привести оценки программ «Продовольствие за образование» (Food for Education) в Бангладеш, «PROBECAT» в Мексике, программ активного трудоуст ройства в Чехии и «TRABAJAR» в Аргентине. При отсутствии базис ных данных управляющие переменные могут быть построены с ис пользованием рассмотренных в предыдущих главах методов отбора подобного по склонности. Однако это может быть достаточно слож ной задачей. Хорошим примером является метод отбора подобного по склонности, использованный в аргентинском проекте «TRABA JAR» при конструировании контрольной группы с одномоментными данными по участникам и неучастникам программы. Проект «TRABAJAR II» в Аргентине. Основная задача данного проекта — предоставить низкооплачиваемые рабочие места в не большых субпроектах социальной и экономической инфраструкту ры, которые выбирались бы общественностью. Оценка воздействия программы проводилась для того, чтобы определить: стал ли доход ее участников выше по сравнению с тем, который они могли бы иметь в отсутствие программы. Применить обычные методы оценки доходов домохозяйств «без программы» в случае с «TRABAJAR» было невозможно: не была сформирована случайная выборка, которая позволила бы сконструировать контрольную группу для сравнения ее доходов с доходами бенефициаров; не было также базисного ис следования, что исключало оценку «до и после». Вместо этого при оценке «TRABAJAR» для формирования кон трольной группы были использованы имеющиеся общенацио нальные данные о домохозяйствах. Это было сделано посредством отбора по подобию групп участников и неучастников программы по таким социальноэкономическим переменным, как посещае мость школы, пол, жилищные условия, субъективное представле ние о благополучии, членство в политических партиях и ассоциа циях местного самоуправления, при этом применяя метод «отбора подобного по склонности». Эта оценка является примером умело го использования имеющихся данных национального исследова ния домохозяйств (Encuesta de Desarrollo Social — EDS) при созда нии контрольной группы, а также использования выборочного оп


88

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

роса небольшой группы участников программы «TRABAJAR», про веденного специально для данной оценки. Этот небольшой опрос был разработан таким образом, что в нем использовалась та же ан кета, что и в EDS, работали те же команды интервьюеров; кроме то го, он был проведен примерно в то же время, что позволило ус пешно завершить работу по отбору по подобию контрольных и экспериментальных групп. Применить такой метод для програм мы «TRABAJAR» стало возможным потому, что уже было проведено национальное обследование домохозяйств, и специалисты, прово дившие оценку, могли воспользоваться его результатами для рас ширения выборки участников «TRABAJAR». При выполнении наци онального и проектного исследования работали одни и те же ко манды интервьюеров, что позволило повысить эффективность сбора данных (приложение 1.1). Оценка программ трудоустройства в Чехии. Оценка охва тывала пять программ, предусматривавших активные меры по тру доустройству, с целью: 1) выяснить, добились ли участники различ ных программ большего успеха при повторном вхождении в ры нок труда по сравнению с теми, кто в них не участвовал, и насколь ко неизменным был данный результат в разных подгруппах и при разных условиях на рынке труда; 2) определить действенность каждой программы с учетом затрат и выработать предложения по совершенствованию программ. Поскольку базисные данные остут ствовали, при оценке использовался метод отбора подобного по показателям склонности. Оценщики опросили участников, после чего сформировали случайную выборку неучаствовавших в ней. Поскольку неучастники систематически оказывались старше и имели более низкий уровень образования, исследователям при шлось составить подходящую контрольную группу для каждой программы. Это было сделано путем изучения каждого участника и сопоставления его с каждым членом из группы неучастников на основании семи характеристик: возраста, пола, образования, коли чества месяцев работы до регистрации, размера населенного пунк та, семейного положения и вида последней работы. После этого тот, чьи характеристики были самыми близкими, попадал в кон трольную группу сравнения. Подобный подход прост, но при его использовании есть возможность смещения выборки, существует вероятность того, что группа неучастников будет систематически отличаться от группы участников на основе ненаблюдаемых фак торов (приложение 1.5).


ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ

89

Учет ограничений при разработке правильных управляющих воздействий В некоторых случаях использование рандомизации или эксперимен тальных мер управляющих воздействий теоретически возможно, но неприемлемо по политическим соображениям. В этом случае можно осуществить рандомизацию, воспользовавшись планами проведения пилотных проектов в определенных районах. Такие районы можно определить на случайной основе, а в качестве контрольных будут вы ступать те районы, где проект может быть осуществлен в будущем. Постепенно в проект можно также случайным образом включать до полнительные общины. Три примера, приведенные ниже, показыва ют, каким образом решается проблема, связанная с невозможностью рандомизации по политическим или иным причинам. Оценка сель ского транспортного проекта во Вьетнаме будет проводиться в усло виях ограниченной информации и при отсутствии рандомизации. Социальный инвестиционный фонд Гондураса — пример того, как составлять контрольную группу для проектов, отвечающих реаль ным потребностям общества, путем сравнения по подобию после за вершения проекта (ex post matched comparison), основанного на од ном срезе данных. Оценивать проекты, которые определяются спро сом, может быть особенно сложно, поскольку неизвестно заранее, ка кие проекты или общины будут включены в программу. Наконец, оценка Социального инвестиционного фонда Боливии в районе Ча ко служит хорошим примером того, как в проектах можно предусмо треть рандомизацию и обеспечить при этом адресность. Проект сельских дорог во Вьетнаме. Цель данного проекта — сокращение бедности в сельских районах посредством улучшения доступа к сельским общинам и соединения их с сетью районых и провинциальных дорог. Оценка воздействия проекта основана на данных базисного и последующего обследований, проведенных по выборке участвующих в проекте и контрольных общин, которые бы ли определены методами сравнения по подобию. Базисная информа ция и информация после проведения проекта по таким показателям, как урожай сельскохозяйственной продукции на уровне общины, ди версификация источников доходов, наличие возможностей работы по найму, доступность товаров, услуг и удобств, а также стоимость и распределение имущества, будут получены из случайной выборки участвующих (экспериментальных) и не участвующих (контроль ных) в проекте общин. Эти данные будут использоваться для сравне


90

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ния изменений результатов до и после осуществления проекта для участвующих и не участвующих в проекте общин при помощи мето да двойных различий. В идеале экспериментальные и контрольные общины должны быть эквиваленты по всем своим наблюдаемым и ненаблюдаемым характеристикам. Единственное различие между ними должно со стоять в том, что экспериментальные общины участвуют в програм ме, а контрольные — нет. Поскольку выбор в обе группы не был слу чайным, а данные, необходимые для информированного выбора со ответствующих мер контроля, были недоступны во время формиро вания выборки, то была проведена случайная выборка из участвую щих и не участвующих в проекте общин. В частности, участвующие в проекте общины выбирались по каждой провинции из перечня всех общин, участвовавших в предложенных проектах. После этого под бирались контрольные общины из перечня общин, не участвующих в проектах, но расположенных в тех же районах, что и эксперимен тальные общины. Затем, на основании собранных для оценки дан ных, с помощью методик отбора подобных по показателям склонно сти будет обеспечена приемлемость отобранных общин, не участву ющих в проекте, в качестве контрольных групп. Из выборки будут удалены любые меры контроля с нестандартными для участвующих в проекте общин характеристиками (приложение 1.15). Социальный инвестиционный фонд Гондураса*. Задача Со циального инвестиционного фонда Гондураса (Honduran Social Investment Fund, FHIS) — улучшение жилищных условий маргиналь ных социальных групп через финансирование малых подпроектов в области социальной и экономической инфраструктуры. FHIS — это организация, которая реагирует на спрос со стороны муниципалите тов, министерств, НПО и общественных групп и финансирует инвес тиции в инфраструктуру, оборудование и обучение. При оценке воз действия FHIS использует методы сравнения по подобию, составляя выборку экспериментальной группы на случайной основе из переч ня общин, где проекты FHIS проводятся не менее года. Контрольная группа выбиралась из списка «плановых» проектов — тех, на которые поступил запрос и которые были одобрены, но средства FHIS пока не выделены. Теоретически контрольная группа должна автоматически согласовываться с участвующими в проекте общинами в ходе само отбора и в соответствии с критериями утверждения проекта FHIS. * Источник: The World Bank,1998 г.


ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ

91

После этого в участвующих и не участвующих в проектах общинах были проведены обследования домохозяйств, дополненные качест венной оценкой (фокусгруппы и интервью с основными эксперта ми — носителями информации), проведенной в подмножестве уча ствовавших в проекте общин. Эта начальная оценка является первым шагом на пути к созданию постоянной системы мониторинга и оценки, которая со временем станет неотъемлемой частью работы FHIS. В частности, данные, собранные в общинах, которые ждут реа лизации проектов, станут полезной базисной информацией, на ос нове которой можно будет отследить будущие изменения в показате лях воздействия после того, как FHIS осуществит инвестиции. Инвестиции в образование, район Чако, Боливия. Образо вательные проекты, финансируемые Социальным инвестиционным фондом Боливии, СИФ (Social Investment Fund, SIF), направлены на улучшение школьного хозяйства и повышение квалификации учите лей сельских средних школ. Задержки с реализацией проекта в райо не Чако и ограниченность имеющихся средств для модернизации школ позволили применить экспериментальную схему оценки и в то же время обеспечить включение в проект школ, которые больше все го требовали помощи. Школы в районе Чако были классифицирова ны по индексу качества школы, который складывался из пяти показа телей, характеризующих оборудование и инфраструктуру школы: на личие электрического освещения и канализации, тип водоснабже ния, количество парт и квадратных метров площади на одного уча щегося. В программу СИФ были включены только те школы, индекс которых был ниже установленного минимального значения. Из пре тендентов на дотации в число получателей инвестиций СИФ автома тически попадали школы с самым низким индексом. Следующая по приоритетности группа включала в себя 120 школ, однако выделен ных средств хватало на переоборудование лишь менее половины из них. Таким образом, имеющие право на помощь школы из группы второй очереди случайным образом распределялись на эксперимен тальную и контрольную группы, что создало условия для экспери ментальной оценки (приложение 1.4).

Сочетание методов При выполнении большинства оценок, в ходе которых рассматрива ется несколько вопросов, для достижения надежных результатов не обходимо одновременно использовать различные методики. Каж


92

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

дый из поставленных вопросов может потребовать применения сво ей методики даже в рамках одного и того же плана осуществления проекта. Ниже приведены три примера того, как в ходе одной оцен ки сочеталось несколько подходов. Мы рассмотрим Социальный фонд Боливии, оценку программы «TRABAJAR» в Аргентине и школь ную реформу в Никарагуа. Социальный фонд Боливии. Обычно в социальные фонды включаются несколько различных типов подпроектов, поэтому при разработке плана оценки возможны несколько подходов. В случае с Социальным фондом Боливии методики оценки определялись схе мой реализации проекта. В программе по образованию уже были оп ределены школыучастники, поэтому нельзя было применить рандо мизацию. Вместо нее были применены методы отбора подобного по склонности. В проектах здравоохранения использовались рефлек сивные методы оценки, поскольку программа осуществлялась во всех медицинских центрах региона (приложение 1.4). Использование широкого набора компонентов оценки в аргентинском «TRABAJAR II». Оценка программы «TRABAJAR» включает в себя ряд компонентов, разработанных для определения эффективности программы в достижении стратегических целей. Первый компонент базируется на использовании данных обследова ния домохозяйств и позволяет оценить увеличение дохода участни ков «TRABAJAR». Второй компонент дает возможность отследить рас пределение средств программы (адресность), включая изменения, вызванные реформой. Данный компонент обеспечивает обратную связь два раза в год, что помогает улучшить адресность программы. К дополнительным компонентам оценки относятся анализ проектов в области инфраструктуры по методике «затраты–выгоды», а также оценки общества, посредством которых общины могут быть инфор мированы о ходе выполнения проекта. Каждый из этих компонентов реализуется дважды. В будущем планируется ввести еще три компо нента. Для оценки воздействия «TRABAJAR» на активность на рынке труда будет применен метод сравнения по подобию (matchedcom parison research technique). Предполагается повторная оценка качест ва проекта с точки зрения развития инфраструктуры. На этот раз она выполняется для проектов, завершенных не менее года назад, и пре дусматривает измерение надежности, уровня обслуживания и ис пользования инфраструктурных объектов. Наконец, в качественном компоненте исследования предполагается изучение работы всей


ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ

93

программы и используемых процедур путем опроса сотрудников ве домств, обеспечивающих осуществление проектов, а также бенефи циаров программы. Результаты оценки четко указывают направление, в котором сле дует осуществлять стратегию реформ. Первый компонент исследова ния показывает, что программа «TRABAJAR» обеспечивает хорошую адресность для бедных — самоотбор участников, при котором людям предлагают низкий заработок, оказался в Аргентине действенным подходом, а доход участников действительно вырос благодаря про грамме. Второй компонент демонстрирует, что географическое рас пределение средств программы с течением времени улучшалось — в настоящий момент программа обеспечивает лучшее распределение средств в бедные районы. Однако продолжающийся процесс оценки показывает, что результаты программы в различных регионах неоди наковы, а в некоторых провинциях они хронически оказывались не удовлетворительными. Именно эти выводы в настоящее время требу ют дальнейшего внимания при продолжении реализации политики программы. Неутешительные результаты оценки качества проектов инфраструктуры заставили группу, ответственную за осуществление проекта, направить значительные усилия на улучшение работы в этой сфере и пересмотреть подходы; необходимо чаще посещать площадки с целью оценки и наблюдения, использовать санкции в от ношении ведомств и структур, не обеспечивающих достаточного ка чества работы к моменту завершения проекта, а также разработать более качественные инструкции по проведению оценки. Наконец, общественные оценки выявили потребность в улучшении техничес кого содействия НПО и сельским муниципалитетам при подготовке и внедрении проекта, а также необходимость более активного ин формирования населения и увеличения прозрачности механизмов программы «TRABAJAR» (приложение 1.1). Реформа, направленная на увеличение школьной автоно мии (развитие школьного самоуправления) в Никарагуа. В 1993 г. правительство Никарагуа предприняло решительные шаги по децентрализации сектора образования, включая развитие само управления и предоставление бюджетной автономии выбранным на чальным и средним школам. Цель реформы — улучшение качества обучения, поскольку при самоуправлении школа становится более демократичной, к принятию решений подключается широкий круг лиц, а управление и расходы школ можно направлять на улучшение преподавания и повышение успеваемости учащихся. В оценке ре


94

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

формы использовалось сочетание количественных и качественных методов, что позволило оценить как результаты, так и сам ход про цесса децентрализации. Задачей качественного компонента является выяснение того, действительно ли в школах проводятся намеченные управленческие и финансовые реформы, а также причин их осуще ствления или неосуществления. Количественный компонент конкре тизирует результаты, отвечая на вопрос: действительно ли изменения в школьном управлении и финансировании приводят к повышению успеваемости детей? Результаты качественного анализа показывают, что успешность внедрения реформ во многом зависит от школьной обстановки и внешней среды (т.е. уровня бедности общины), а ре зультаты количественного анализа демонстрируют, что активизация принятия решений на уровне школ непосредственно связана с улуч шением успеваемости. Для объединения обоих подходов были использованы различные дополняющие друг друга методологии и источники данных. С одной стороны, количественное исследование проводилось по квазиэкспери ментальной схеме, когда результаты тестов выборки школьников из школ с самоуправлением (экспериментальная группа) сравнивались с результатами отобранной по подобию выборки государственных и ча стных средних школ без самоуправления (контрольная группа). Дан ные для этого компонента оценки были собраны на основе двух па нельных исследований школ и домохозяйств с использованием метода сравнения по подобию, а также результатов тестов успеваемости уча щихся. С другой стороны, качественная оценка состояла из опросов ос новных экспертов и фокусгрупп с участием различных представите лей школьного персонала и родителей из подвыборки школ с самоуп равлением и без него, включенных в количественное исследование. Использование как количественных, так и качественных методов исследования привело к получению ценного сочетания полезных и важных для определения политики результатов. Количественная ра бота предоставила обширный статистически валидный обзор усло вий и результатов обучения в школе; качественное исследование до полнило эту оценку пониманием, почему какието ожидаемые ре зультаты программы реформирования были достигнуты, а другие нет. Все это помогло в корректировке стратегии реформ. Кроме того, изза своего более интуитивного характера качественная работа бы ла более понятной и интересной для персонала Министерства, что, в свою очередь, облегчило быстрый рост его внутреннего потенциала и формирование доверия к процессу оценки в Министерстве (при ложение 1.11).


ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ

95

Использование имеющихся источников данных Такие уже имеющиеся источники данных, как общенациональное обследование домохозяйств, государственная перепись населения, административные записи программы или муниципальные данные зачастую могут явиться ценной составляющей при проведении оценки. При использовании существующих источников нет необхо димости в проведении дорогостоящего сбора данных специально для оценки (иллюстрацией этому является оценка проекта сельских дорог во Вьетнаме). Кроме того, хотя существующие данные могут и не содержать всю ту информацию, которую в идеале следовало бы иметь для анализа, использование инновационных методов оценки часто позволяет компенсировать отсутствие данных; это видно на примере Проекта Национальной сельскохозяйственной информа ционноконсультативной службы (ИКС) Кении. Проект сельских дорог во Вьетнаме. Данные, использованные в этой оценке, получены благодаря эффективному сочетанию сущест вующих общенациональных и местных источников информации с обследованиями, проведенными специально для этой оценки. Обсле дование домохозяйств, проведенное в интересах оценки, разработа но таким образом, что в нем повторяется ряд вопросов обследования уровня жизни во Вьетнаме (Viet Nam Living Standards Survey, VNLSS), поэтому на основе информации, общей для обоих обследований, можно применить методы регрессии для оценки положения каждого домохозяйства в национальном распределении благосостояния. Оценка опирается главным образом на данные, полученные на уровне общин, они ежегодно собираются самими общинами и охва тывают такие аспекты, как демография, землепользование и произ водственная деятельность. В качестве дополнения к этому источнику данных выступает обследование на уровне общины, проведенное специально для данной оценки. На основе существующей информа ции были созданы еще две базы данных. Для того чтобы уяснить, по каким критериям определялся выбор участвующих в проекте про винций, была создана обширная база данных на уровне провинций. Она охватывает все провинции Вьетнама и содержит информацию по большому количеству социоэкономических параметров. Также была создана база данных на уровне проекта по каждому обследован ному району реализации проекта. Она была в основном предназна чена для того, чтобы в ходе оценки воздействия проекта учитывать его масштабы и способ реализации (приложение 1.15).


96

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Проект Национальной сельскохозяйственной информаци онноконсультативной службы (ИКС), Кения. Показатели рабо ты Проекта Национальной информационноконсультативной службы Кении (National Extension Project, NEP) были достаточно противоречи вы. В настоящее время они стали еще одним предметом в более широ ком споре относительно рентабельности методики «Обучение и посе щение», ОиП (training and visit, T&V) применительно к деятельности ИКС. В случае с Кенией причиной споров стала, с одной стороны, вы сокая отдача от ОиП, отмеченная в одном из исследований (Bindlish and Everson, 1993, 1997), а с другой — отсутствие убедительных нагляд ных результатов и неудовлетворительные показатели работы сельско го хозяйства Кении на протяжении последних лет. Разногласия по поводу результативности работы Национальной ИКС продолжаются в ожидании результатов данного исследования, использующего тщательный, эмпирический подход к оценке инсти туционального развития и воздействия программы на сельское хо зяйство. При оценке используется сочетание количественных и каче ственных методов для ответа на стратегически важные вопросы и для выявления серьезных недостатков программы: 1) институциональ ное развитие Национальной ИКС достаточно ограниченно, по исте чении 15 лет почти не произошло повышения действенности предо ставляемых услуг; 2) качество и количество предоставляемых услуг неудовлетворительны; 3) информационноконсультативная служба оказала незначительное положительное воздействие на эффектив ность фермерских хозяйств, а на их производительности работа этой службы практически никак не сказалась. Результаты оценки позволили сделать в отношении стратегии про граммы конкретные выводы, многие из которых окажут сильное воз действие на разработку будущих проектов развития сельскохозяйст венной информационноконсультативной службы. Вопервых, оцен ка выявила потребность в улучшении адресности ОиП и ориентации ее на те районы и группы, где воздействие программы было бы макси мальным. Кроме того, рекомендации, выдаваемые службами, должны более точно соответствовать потребностям фермеров и учитывать местные технические и экономические условия. Для успешного до стижения необходимого уровня адресности услуг требуется поступ ление своевременной и достоверной информации; отсюда — необхо димость наличия в программе системы мониторинга и оценки, кото рая обеспечивала бы постоянную обратную связь с бенефициарами относительно содержания услуг. В целях повышения эффективности программы представляется полезным упростить структуру ОиП и


ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ

97

предусмотреть ее более широкий охват. При всеобщем охвате услуга ми в рамках программы задействован только один подход (посеще ние ферм) для предоставления стандартной информации, а это также снижает действеность программы. Институциональная реформа мо жет повысить эффективность предоставления услуг. Децентрализа ция программы, включая внедрение механизмов вовлечения разных заинтересованных сторон, которые обеспечивают фермеру «право голоса» (например, совместное финансирование, привлечение фер мерских организаций и т.д.), должна стать неотъемлемой частью сис темы предоставления услуг. Наконец, фактором, который обеспечит необходимые стимулы, поможет в решении вопросов подотчетности и контроля за качеством, сделает службу чувствительной к спросу, а также позволит улучшить ситуацию с финансированием, будет возме щение издержек (пусть даже частичное) (приложение 1.8). Расходы и финансирование Нет никакого сомнения в том, что при проведении оценки воздейст вия неизбежны большие затраты. Именно поэтому некоторые стра ны неохотно финансируют подобные исследования. Расходы сязаны со сбором данных и оплатой деятельности специалистов по оценке. Финансирование оценки воздействия может быть предусмотрено из средств проекта, а также из других государственных ресурсов, из гранта на проведение исследований или из средств иностранной до норской организации. Данные по выборке ряда оценок Всемирного банка показывают, что, хотя во многих странах большую часть рас ходов по оценке брала на себя сама страна, для успешного проведе ния оценки воздействия требовалось привлечение значительных внешних ресурсов помимо тех, что предоставлялись в рамках займа или кредита для проекта. В данном случае использовалось сочетание следующих источников: а) заем Всемирного банка или кредит для финансирования сбора и обработки данных; б) государственные средства на оплату труда национального персонала, проводящего оценку (как объясняется в табл. 4.1, изза отсутствия данных стои мость работы персонала в расчет затрат на оценку в рассмотренных здесь примерах не включалась); в) гранты Всемирного банка на про ведение исследований и гранты двусторонних донорских организа ций для финансирования технической помощи со стороны консуль тантов, обладающих специальными знаниями, которые были необ ходимы для проведения оценки; а также г) средства Всемирного бан ка на покрытие накладных расходов, учитывающие время работы его


98

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

сотрудников, руководящих проведением оценки воздействия и не редко принимающих активное участие в аналитической работе. Хотя данные о затратах приведены лишь в немногих оценках воз действия, в табл. 4.2 представлены сметы расходов для ряда оценок, про веденных при участии Всемирного банка. В эти сметы не включена оп лата рабочего времени персонала организацийпартнеров в странах клиентах (а эти расходы могут быть значительными), поскольку такая информация была недоступна. В качестве ориентира можно иметь в ви ду, что в восьми из приведенных примеров нередко предусматривалась оплата работы не менее пяти сотрудников, занятых проведением оцен ки воздействия на протяжении ряда лет; такая статья во многих случаях может существенно увеличить стоимость оценки. Средняя стоимость оценки воздействия составила 433000 долл. США. Это значение получено для диапазона от 263000 долл. США на оценку программы профессионального обучения безработной мо лодежи в Тринидаде и Тобаго до 878000 долл. США на оценку Соци ального инвестиционного фонда Боливии. Расходы на оценку воз действия представленных ниже проектов составляют в среднем 0,6% от общей стоимости проекта (который иногда предусматривал по ступление средств от нескольких доноров) или 1,3% от суммы займа Международного банка реконструкции и развития (МБРР) или кре дита Международной ассоциации развития (МАР). Самыми дорого стоящими составляющими ниже перечисленных исследований были сбор данных и работа национальных и иностранных консультантов. Во многих случаях в транспортные расходы включалась стоимость поездок национальных специалистов на встречи с сотрудниками и исследователями Всемирного банка, а также на обсуждения вопросов стратегии и обучение, поскольку одной из основных задач было формирование соответствующего внутреннего потенциала в стране клиенте. Приведенные ниже два примера оценки воздействия проек та в Тринидаде и Тобаго и в Боливии дают некоторое представление о разбросе стоимости программы. При оценке программы профессионального обучения в Трини даде и Тобаго для составления избыточной выборки людей, про шедших обучение, и создания сравнительной группы из нацио нальной подвыборки были использованы результаты национально го обследования дохода и занятости. В дополнение к этому оцен щики помогли структурировать и использовать имеющиеся адми нистративные данные с информацией о претендентах на участие в программе. Благодаря этому были получены данные о предпро граммной ситуации, а для выявления прошедших обучение не по


99

ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ

Таблица 4.2. Смета расходов в некоторых оценках воздействия, проведенных силами Всемирного банка

Проект Управление в школах Никарагуа Управление в школах Сальвадора Программа ваучеров в Колумбии Социальный фонд Гондураса Социальный фонд Никарагуа Социальный фонд Боливии Обучение молодежи, Тринидад и Тобаго В среднем

Затра Затраты Структура затрат на оценку (%) Смета ты в % в % от затрат от общей займа Персонал на оценку, стоимос МБРР или Всемир долл. ти про кредита ного Консуль Сбор США1 екта2 МАР2 банка Поездки3 танты данных

495 000

1,26

1,5

8,1

18,1

39,0

34,8

443 000

0,60

1,3

7,7

7,4

25,8

59,2

266 000

0,20

0,3

9,4

9,8

21,8

59,0

263 000

0,23

0,9

3,0

11,5

53,2

32,3

449 000

0,30

0,8

4,9

33,0

7,8

55,7

878 000

0,50

1,4

3,4

14,6

12,9

69,1

238 000

0,80

1,2

7,6

11,5

17,9

63,1

433 000

0,56

1,0

6,3

15,1

25,5

53,3

1 В эти расходы не включены затраты на оплату работы национальных специалистов, которые

не финансировались из средств займа или кредита. Приведенные цифры относятся к периоду вы бора проектов для оценки, а не к общему объему финансирования, предоставленного этим инсти тутам Банком и другими организациями. 2 Затраты в виде процента от размера займа или кредита или стоимости проекта представлены исключительно в справочных целях. Во многих случаях фактическое финансирование оценки бы ло получено из источников, не имеющих отношения к средствам проекта. 3 Смета расходов на поездки включает в себя визиты миссий сотрудников Всемирного банка и иностранных консультантов в страныклиенты и поездки специалистов из странклиентов, осо бенно с целью участия в стратегических совещаниях и аналитических симпозиумах с иностран ными консультантами и сотрудниками Всемирного банка.

требовалось переписи с присвоением номеров (enumeration). Об щий объем выборки для каждого из трех отслеживающих исследо ваний составил примерно 2500 молодых людей, считая членов как экспериментальной, так и контрольной групп. В исследовании ис пользовалась только одна небольшая анкета, которую заполняли лица, прошедшие обучение. Тринидад и Тобаго — небольшая стра на, добраться до общин по дороге относительно несложно, а анг


100

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

лийский является общепринятым языком в стране и среди тех, кто прошел обучение. При оценке Социального фонда Боливии использовались собст венные базисные и последующие обследования экспериментальной и контрольной групп; на их основе оценивались программы в облас ти здравоохранения, образования, водоснабжения и канализации. В распоряжении оценщиков не было результатов национальных об следований, на основании которых можно было бы вести анализ или формировать расширенную выборку. В связи с этим вся работа по сбору данных проводилась в рамках оценки. Выборка эксперимен тальной и контрольной групп включала в себя примерно 7000 домо хозяйств и 300 предприятий. Они были опрошены в базисном иссле довании 1993 г. и в последующем исследовании 1998 г. В Боливии в качестве инструментов сбора данных для оценки воз действия программы использовались мобильные лаборатории для анализа качества воды, тесты успеваемости и восемь анкет для экс пертов из домохозяйств и предприятий. Эти восемь анкет включали в себя две анкеты для домохозяйств (для главного эксперта и для жен щин детородного возраста), одну анкету для общины, четыре разные анкеты для медицинских учреждений разных типов (от небольших медпунктов до больниц) и школьную анкету для директора школы. Для измерения адресности в оценке был предусмотрен показатель бедности, выведенный на основании потребления. Оценка адреснос ти потребовала сбора подробных данных о потреблении домохо зяйств, а также об уровне цен в регионах. Работа на местах проводи лась в сельских районах, где выполнялось большинство проектов Со циального инвестиционного фонда; она предусматривала формиро вание случайной выборки сельских домохозяйств, добраться до ко торых нередко можно было только пешком или верхом на лошади. Наконец, анкеты нужно было составить и предлагать на испанском языке и на языках кечуа и аймара.

Общеэкономические вопросы Есть несколько общеэкономических аспектов, от которых зависят не только проведение оценки, но и методы ее осуществления. Решение о проведении оценки во многом зависит от наличия сильной поли тической поддержки. Многие правительства не понимают ценности оценки проектов и не хотят вкладывать в нее средства. Кроме того, при проведении независимой оценки могут обнаружиться результа ты, противоречащие правительственной политике; это особенно ха


ПРИМЕРЫ УДАЧНОЙ ОЦЕНКИ ВОЗДЕЙСТВИЯ

101

рактерно для стран с авторитарными или закрытыми режимами. Бо лее открытые правительства рассматривают проведение оценки и публикацию полученных результатов как важную часть демократиче ского процесса. Оценки чувствительны к политическим изменениям. Три из деся ти оценок воздействия программы, перечисленных в табл. 4.2, были аннулированы по причине возникших общеэкономических вопро сов. Смена режимов или руководящих членов правительства и изме нения политической стратегии могут повлиять не только на процесс проведения оценки, но и на реализацию самой программы, которая подлежит оценке. Примером такого риска является опыт группы, ра ботавшей над оценкой плана и воздействия пилотной программы по управлению школами в Перу. Эта работа была частью финансируе мого Всемирным банком проекта в области начального образования. Группа, состоящая из представителей Министерства образования, сотрудников Всемирного банка, а также иностранных и националь ных консультантов, работала более года над созданием пилотных мо делей школьного управления, оформлением экспериментального подхода, разработкой инструментов обследования и тестов успевае мости, а также сбором базисных данных по характеристикам школ и по успеваемости. Непосредственно перед внедрением пилотной программы в выбранных случайным образом школах высокопостав ленные правительственные чиновники отменили эксперимент в об ласти управления школами, опасаясь предполагаемого политическо го резонанса от пилотной программы. Несколькими годами позже была проведена схожая реформа, но без апробации (пилотного тес та) или оценки. В Венесуэле план оценки программы здоровья и питания матери и ребенка пересматривался трижды для трех различных заказчиков, поскольку правительство перекладывало ответственность за оценку с одного ведомства на другое. Каждое изменение сопровождалось пе резаключением контракта с частной фирмой, которая должна была проводить сбор данных и большую часть анализа для оценки. Когда возникло сомнение в законности выбора правительством третьего ведомства, фирма расторгла контракт и оценка была прекращена. Это происходило в период политических изменений, характеризую щихся большим количеством кабинетных перестановок, после чего последовало падение избранного правительства, которое было од ной из сторон проекта, — жертвой политической нестабильности, таким образом, стала не только оценка. В случаях с Перу и Венесуэ лой следует помнить о расходах и ресурсах, потраченных на про


102

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

грамму, которая так и не принесла плодов. Менее драматичным при мером последствий политических изменений для стратегии оценки является Сальвадор, где признанный успех реформы сельских школ побудил правительство ввести аналогичную образовательную ре форму во всех городских школах сразу, вместо первоначального за планированного постепенного охвата школ, выбираемых на случай ной основе. Это решение лишило возможности применить экспери ментальный подход в оценке, изза чего пришлось воспользоваться менее надежным рефлексивным сравнением как единственно воз можным вариантом.


Библиография*

Abadie, A., J. Angrist, and G. Imbens. 1998. «Instrumental Variables Estimation of Quartile Treatment Effects». National Bureau of Economic Research Working Paper Series, № 229: 1–28. Atkinson, Anthony. 1987. «On the Measurement of Poverty». Econometrica 55: 749–64. Bamberger, Michael. 2000. Integrating Quantitative and Qualitative Methods in Development Research. Washington, D.C.: World Bank. Barnes, Carolyn. 1966. «Assets and the Impact of Microenterprise Finance Pro grams». USAID AIMS Project Brief 6. Washington, D.C.: USAID. Barnes, Carolyn, and Erica Keogh. 1999. «An Assessment of the Impact of Zam buko’s Microenterprise Program in Zimbabwe: Baseline Findings». USAID AIMS Project Brief 23. Washington, D.C.: USAID. Benus, Jacob, Neelima Grover, and Recep Varcin. 1998. Turkey: Impact of Active Labor Programs. Bethesda, Md.: Abt Associates. Benus, Jacob, Neelima Grover, Jiri Berkovsky, and Jan Rehak. 1998. Czech Republic: Impact of Active Labor Programs. Bethesda, Md.: Abt Associates. Besharov, Douglas J., Peter Germanis, and Peter H. Rossi. 1997. Evaluating Wel fare Reform: A Guide for Scholars and Practitioners. College Park, Md.: Uni versity of Maryland. Bindlish, V., R. Evenson, and Mathurin Gbetibouo. 1993. Evaluation of Т & VBased Extension in Burkina Faso. Washington, D.C.: World Bank. Bloom, Howard S., Larry L. Orr, George Cave, Stephen H. Bell, Fred Doolittle, and Winston Lin. 1994. The National JTPA Study: Overview, Impacts, Benefits, and Costs of Title IIA. Bethesda, Md.: Abt Associates. Blundell, Richard W., and R. J. Smith. 1993. «Simultaneous Microeconometric Models with Censoring or Qualitative Dependent Variables». In G. S. Mad dala, C. R. Rao, and H. D. Vinod, eds., Handbook of Statistics. Vol. 11. Amsterdam: North Holland. Bourguignon, Francois, Jaime de Melo, and Akiko Suwa. 1991. «Distributional Effects of Adjustment Policies: Simulations for Archetype Economies in Africa and Latin America». World Bank Economic Review 5 (2): 339–66. * Термин «processed» в библиографическом описании обозначает нео фициальные, малотиражные публикации, которые могут быть недоступны в библиотеках.


104

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Burtless, Gary. 1995. «The Case for Randomized Field Trials in Economic and Policy Research». Journal of Economic Perspectives 9 (Spring): 63–84. Card, David, and Philip K. Robins. 1996. «Do Financial Incentives Encourage Welfare Recipients to Work? Evidence from a Randomized Evaluation of the SelfSufficiency Project». National Bureau of Economic Research Paper 5701, August. Cambridge, Mass.: NBER. Carvalho, Soniya, and Howard White. 1994. «Indicators for Monitoring Poverty Reduction». World Bank Discussion Papers 254. Washington, D.C: World Bank. Chen, Martha Alter, and Donald Snodgrass. 1999. «An Assessment of the Impact of Sewa Bank in India: Baseline Findings». USAID AIMS Project, Processed. Washington, D.C.: USAID. Cohen, Monique, and Gary Gaile. 1997. «Highlights and Recommendations of the Virtual Meeting of the CGAP Working Group on Impact Assessment Methodologies». USAID AIMS Project. Washington, D.C.: Management Sys tems International. _____. 1998. «Highlights and Recommendations of the Second Virtual Meeting of the CGAP Working Group on Impact Assessment Methodologies». USAID AIMS Project. Washington, D.C.: Management Systems International. Dar, Amit, and Indermit S. Gill. 1998. «Evaluating Retraining Programs in OECD Countries: Lessons Learned». The World Bank Research Observer 13 (Febru ary): 79–101. Dar, Amit, and Zafiris Tzannatos. 1999. «Active Labor Market Programs: A Review of Evidence from Evaluations». World Bank Social Protection Dis cussion Paper 9901. Washington, D.C.: World Bank. Dehejia, Rajeev H,. and Sadek Wahba. 1998. «Causal Effects in NonExperi mental Studies: ReEvaluating the Evaluation of Training Programs». NBER Working Paper Series 6586. Cambridge, Mass.: NBER http://www.nber.org/papers/w6586. Dennis, Michael L., and Robert F. Boruch. 1989. «Randomized Experiments for Planning and Testing Projects in Developing Countries: Threshold Condi tions». Evaluation Review 13 (June): 292–309. Diagne, Aliou, and Manfred Zeller. 1998. «Determinants of Access to Credit and Its Impact on Income and Food Security in Malawi». Manuscript submitted to the International Food Policy Research Institute (IPPRI) Publication Review Committee for consideration as an IFPRI Research Report. Diop, F., A. Yazbeck, and R. Bitran. 1995. «The Impact of Alternative Cost Recov ery Schemes on Access and Equity in Niger». Health Policy and Planning 10 (3): 223–40. Donecker, Jane, and Michael Green. 1998. Impact Assessment in Multilateral Development Institutions. London: Department for International Develop ment.


БИБЛИОГРАФИЯ

105

Dunn, Elizabeth. 1999. «Microfinance Clients in Lima, Peru: Baseline Report for AIMS Core Impact Assessment». USAID AIMS Project, Processed. Washing ton, D.C.: USAID. Edgecomb, Elaine L., and Carter Garber. 1998. «PractitionerLed Impact Assess ment: A Test in Honduras». USAID AIMS. Washington, D.C.: USAID. Ezemenari, Kene, Anders Ruqvist, and K. Subbarao. 1999. «Impact Evaluation: A Note on Concepts and Methods». World Bank Poverty Reduction and Eco nomic Management Network, Processed. Washington, D.C.: World Bank. Foster, James, J. Greer, and Erik Thorbecke. 1984. «A Class of Decomposable Poverty Measures». Econometrica 52: 761–65. Friedlander, Daniel, and Gayle Hamilton. 1993. The Saturation Work Initiative Model in San Diego: A FiveYear FollowUp Study. New York: Manpower Demonstration Research Corporation. Friedlander, Daniel, and Philip K. Robins. 1995. «Evaluating Program Evalua tions: New Evidence on Commonly Used Nonexperimental Methods». American Economic Review 85 (September): 923–37. Friedlander, Daniel, David H. Greenberg, and Philip K. Robins. 1997. «Evaluat ing Government Training Programs for the Economically Disadvantaged». Journal of Economic Literature 35 (December): 1809–55. Fuller, Bruce, and Magdalena Rivarola. 1998. Nicaragua’s Experiment to Decen tralize Schools: Views of Parents, Teachers and Directors. Working Paper Series on Impact Evaluation of Education Reforms, paper № 5. Washington, D.C.: World Bank. Gaile, Gary L., and Jenifer Foster. 1996. «Review of Methodological Approaches to the Study of the Impact of MicroEnterprise Credit Programs». USAID AIMS Brief 2. Washington, D.C.: USAID. Glewwe, Paul, Michael Kremer, and Sylvie Moulin. 1998. «Textbooks and Test Scores: Evidence from a Prospective Evaluation in Kenya». Development Research Group, World Bank, October 28. Goodman, Margaret, Samuel Morley, Gabriel Siri, and Elaine Zuckerman. 1997. Social Investment Funds in Latin America: Past Performance and Future Role. Washington D.C.: Inter American Development Bank. March. Government of Denmark. 1995. Methods for Evaluation of Poverty Oriented Aid Interventions. Copenhagen: Ministry of Foreign Affairs. Greene, W. H. 1997. Econometric Analysis. Hemel Hempstead, New Jersey: Pren tice Hall Press. Greenberg, David, and Mark Shroder. 1997. The Digest of Social Experiments, 2nd ed. Washington, D.C.: The Urban Institute Press. Grosh, Margaret E., and Juan Mun ~oz. 1996. «A Manual for Planning and Imple menting the Living Standards Measurement Study Survey». LSMS Working Paper #126. World Bank, Washington, D.C.


106

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Grossman, Jean Baldwin. 1994. «Evaluating Social Policies: Principles and U.S. Experience». The World Bank Research Observer 9 (July): 159–80. Habicht, J. P., C. G. Victoria, and J. P. Vaughan. 1999. «Evaluation Designs for Adequacy, Plausibility and Probability of Public Health Programme Perfor mance and Impact». International Journal of Epidemiology 28: 10–18. Harrell, Adele, Martha Burt, Harry Hatry, Shelli Rossman, Jeffrey Roth, and William Sabol. 1996. Evaluation Strategies for Human Service Programs: A Guide for Policymakers and Providers. Washington, D.C.: Urban Institute. Heckman, James. 1997. «Instrumental Variables. A Study of Implicit Behavioral Assumptions Used in Making Program Evaluations». Journal of Human Resources 32 (3): 441–61. Heckman, James, R. Lalonde, and J. Smith. 1999. «The Economics and Economet rics of Active Labor Market Programs». In O. Ashenfelter and D. Card, eds.. Hand book of Labor Economics, vol. III. New York: Elsevier Science Publishing Co. Heckman, James, and Richard Robb. 1985. «Alternative Methods of Evaluating the Impact of Interventions: An Overview». Journal of Econometrics 30: 239–67. Heckman, James J., and Jeffrey A. Smith. 1995. «Assessing the Case for Social Experiments». Journal of Economic Perspectives 9 (2): 85–110. Heckman, J., H. Ichimura, J. Smith, and P. Todd. 1998. «Characterizing Selection Bias Using Experimental Data». Econometrica 66: 1017–99. Hicks, Norman. 1998. Measuring the Poverty Impact of Projects in LAC. World Bank Latin America and the Caribbean Region, Processed. Washington, D.C.: World Bank. Holder, Harold D., Andrew J. Treno, Robert F. Saltz, and Joel W. Grube. 1997. «Summing Up: Recommendations and Experiences for Evaluation of Com munityLevel Prevention Programs». Evaluation Review 21 (April): 268–78. Hollister, Robinson G., and Jennifer Hill. 1995. Problems in the Evaluation of CommunityWide Initiatives. New York: Russell Sage Foundation. Hulme, David. 1997. «Impact Assessment Methodologies for Microfinance: Theory, Experience and Better Practice». Manchester,U.K.: Institute for Development Policy and Management, University of Manchester. International Food Policy Research Institute. 1998. Programa Nacional de Educacio´n, Salud, у Alimentacio´n (PROGRESA): A Proposal for Evaluation (with technical appendix). Washington, D.C.: IFPRI. Jalan, Jyotsna, and Martin Ravallion. 1998a. «Income Gains from Workfare: Esti mates for Argentina’s TRABAJAR Program Using Matching Methods». Washington D.C.: Development Research Group, World Bank. _____. 1998b. «Transfer Benefits from Workfare: A Matching Estimate for Argentina». Washington, D.C.: Development Research Group, World Bank. Jamison, Dean Т., Barbara Serie, Klaus Galda, and Stephen P. Heyneman. 1981. «Improving Elementary Mathematics Education in Nicaragua: An Experi


БИБЛИОГРАФИЯ

107

mental Study of the Impact of Textbooks and Radio on Achievement». Jour nal of Educational Psychology 73 (4): 556–67. Karoly, Lynn A., Peter W. Greenwood, Susan S. Everingham, Jill Hoube´, M. Rebecca Kilbum, C. Peter Rydell, Matthew Sanders, and James Chiesa. 1998. Investing in Our Children: What We Know and Don’t Know about the Costs and Benefits of Early Childhood Interventions. Santa Monica, Calif.: Rand. Kemple, James J., Fred Doolittle, and John W. Wallace. 1993. The National JTPA Study: Site Characteristics and Participation Patterns. New York: Manpower Demonstration Research Corporation. Khandker, Shahidur R. 1998. Fighting Poverty with Microcredit: Experience in Bangladesh. New York: Oxford University Press for the World Bank. Killick, Tony. 1995. IMF Programmes in Developing Countries, Design and Impact. London: England. King, Elizabeth, and Berk Ozler. 1998. What’s Decentralization Got to Do with Learning? The Case of Nicaragua’s School Autonomy Reform. Working Paper Series on Impact Evaluation of Education Reforms, paper № 9. Washington, D.C.: World Bank. King, Elizabeth, Berk Ozler, and Laura Rawlings. 1999. Nicaragua’s School Autonomy Reform: Fact or Fiction? Washington, D.C.: World Bank. Kish, Leslie. 1965. Survey Sampling. New York: John Wiley and Sons. Levinson, James F., Beatrice Lorge Rogers, Kristin M. Hicks, Thomas Schaetzel, Lisa Troy, and Collette Young. 1998. Monitoring and Evaluation: A Guide book for Nutrition Project Managers in Developing Countries. Medford, Mass.: International Food and Nutrition Center, Tufts University School of Nutri tion Science and Policy, March. Manski, Charles, and Irwin Garfinkel, eds. 1992. Evaluating Welfare and Train ing Programs. Cambridge, Mass.: Harvard University Press. Manski, Charles, and Steven Lerman. 1977. «The Estimation of Choice Proba bilities from ChoiceBased Samples». Econometrica 45: 1977–88. McKay, H., А. МсКау, L. Siniestra, H. Gomez, and P. Lloreda. 1978. «Improving Cognitive Ability in Chronically Deprived Children», Science 2000 (21): 270–78. Meyer, Bruce D. 1995. «Natural and QuasiExperiments in Economics». Journal of Business and Economic Statistics, 13 (April): 151–161. Miles, Matthew В., and A. Michael Huberman. 1994. Qualitative Data Analysis. London: Sage Publications. MkNelly, Barbara, and Karen Lippold. 1998. «PractitionerLed Impact Assess ment: A Test in Mali». USAID AIMS Brief 21. Washington, D.C.: USAID. MkNelly, Barbara, and Christopher Dunford (in collaboration with the Pro gram in International Nutrition, University of California, Davis). 1998. «Impact of Credit with Education on Mothers’ and Their Young Children’s


108

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Nutrition: Lower Pra Rural Bank Credit with Education Program in Ghana». Freedom from Hunger Research Paper № 4, March. Moffitt, Robert. 1991. «Program Evaluation with Nonexperimental Data». Eval uation Review 15 (3): 291–314. Mohr, Lawrence В. 1995. Impact Analysis for Program Evaluation, 2nd ed. Thousand Oaks, Calif.: Sage Publications. _____. 1999. «The Qualitative Method of Impact Analysis». Processed. Morduch, Jonathan. 1998a. «The Microfinance Schism». Harvard Institute for International Development, Development Discussion Paper 626, February. _____. 1998b. «Does Microfinance Really Help the Poor? New Evidence from Flagship Programs in Bangladesh». Harvard University Institute for Interna tional Development, Processed, June. _____. 1999. «The Microfinance Promise». Journal of Economic Literature 37(4); 1569–1614. Newman, John, Menno Pradhan, Laura Rawlings, Ramiro Coa, and Jose Luis Evia. 2000. «An Impact Evaluation of Education, Health, and Water Supply Investments of the Bolivia Social Investment Fund». Processed. Newman, John, Laura Rawlings, and Paul Gertler. 1994. «Using Randomized Control Designs in Evaluating Social Sector Programs in Developing Coun tries». The World Bank Research Observer 9 (July): 181–202. Operations Evaluation Department, World Bank. 1994. «An Overview of Mon itoring and Evaluation in the World Bank». June 30. Poppele, J. S. Summarto, and L. Pritchett. 1999. «Social Impacts of the Indone sia Crisis: New Data and Policy Implications». Social Monitoring Early Response Unit, World Bank, Washington, D.C. Processed. Pradhan, Menno, Laura Rawlings, and Geert Ridder. 1998. «The Bolivian Social Investment Fund: An Analysis of Baseline Data for Impact Evaluation». World Bank Economic Review 12 (3): 457–82. Ravallion, Martin. 1994. Poverty Comparisons, Fundamentals in Pure and Applied Economics, vol. 56. Harwood Academic Publishers. _____. 1999. Monitoring Targeting Performance When Decentralized Allocations to the Poor Are Unobserved. World Bank, Washington, D.C. Processed. Ravallion, Martin, and Quentin Wodon. 1998. Evaluating a Targeted Social Pro gram When Placement Is Decentralized. World Bank Policy Research Work ing Paper 1945. Washington, D.C.: World Bank. Ravallion, Martin, Dominique van de Walle, and Madhur Gautam. 1995. «Test ing a Social Safety Net». Journal of Public Economics 57: 175–99. Rawlings, Laura. 2000. «Assessing Educational Management and Quality in Nicaragua». In Bamberger: Integrating Quantitative and Qualitative Methods in Development Research. Washington, D.C.: World Bank.


БИБЛИОГРАФИЯ

109

Rebien, Claus C. 1997. «Development Assistance Evaluation and the Founda tions of Program Evaluation». Evaluation Review 21 (August): 43860. Revenga, Ana, Michelle Riboud, and Hong Tan. 1994. «The Impact of Mexico’s Retraining Program on Employment and Wages». World Bank Economic Review 8 (2): 247–77. Rivers, Douglas, and Quang H. Vuong. 1988. «Limited Information Estimators and Exogeneity Tests for Simultaneous Probit Models». Journal of Econo metrics 39: 347–66. Robinson, Sherman. 1991. «Macroeconomics, Financial Variables, and Com putable General Equilibrium Models». World Development, 19 (11): 1509–25. Rosenbaum, P., and D. Rubin. 1983. «The Central Role of the Propensity Score in Observational Studies for Causal Effects». Biometrika 70: 41–55. _____. 1985. «Constructing a Control Group Using Multivariate Matched Sam pling Methods that Incorporate the Propensity Score». American Statisti cian 39: 35–39. Rossman, Gretchen В., and Bruce L. Wilson. 1985. «Numbers and Words: Com bining Quantitative and Qualitative Methods in a Single LargeScale Evalu ation Study». Evaluation Review 9 (3): 627–43. Sahn, David, Paul Dorosh, and Stephen Younger. 1996. «Exchange Rate, Fiscal and Agricultural Policies in Africa: Does Adjustment Hurt the Poor?» World Development, 24 (4): 719–47. Sebstad, Jennifer, and Gregory Chen. 1996. «Overview of Studies on the Impact of MicroEnterprise Credit». USAID AIMS, June. Washington, D.C.: USAID. Sharma, Manohar, and Gertrud Schrieder. 1998. «Impact of Finance on Food Security and Poverty Alleviation — A Review and Synthesis of Empirical Evi dence». Paper presented to Workshop on Innovations in MicroFinance for the Rural Poor: Exchange of Knowledge and Implications for Policy, Ghana, November. Smith, William. 1998. Group Based Assessment of Change: Method and Results. Hanoi, Vietnam: ActionAid. Subbarao, K., Kene Ezemenari, John Randa, and Gloria Rubio. 1999. Impact Evaluation in FY98 Bank Projects: A Review. World Bank Poverty Reduction and Economic Management Network, Processed, January. Tan, J.P, J. Lane, and G. Lassibille. 1999. «Schooling Outcomes in Philippine Ele mentary Schools: Evaluation of the Impact of Four Experiments». World Bank Economic Review, September. Taschereau, Suzanne. 1998. Evaluating the Impact of Training and Institutional Development Programs, a Collaborative Approach. Economic Development Institute of the World Bank, January. USAID. 1984. «Study of Low Cost Housing». New Delhi: USAID. June.


110

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

_____. 1995. «Assessing the Impacts of MicroEnterprise Interventions: A Framework for Analysis». MicroEnterprise Development Brief, June. Valadez, J., and M. Bamberger, ed. 1994. «Monitoring and Evaluating Social Pro grams in Developing Countries», Economic Development Institute of the World Bank Series, World Bank, Washington, D.C. van de Walle, Dominique. 1999. «Assessing the Poverty Impact of Rural Road Projects». World Bank. Processed. Walker, Ian, Rafael del Cid, Fidel Ordon ~ez, and Florencia Rodriguez. 1999. «Evalu acio´n ExPost del Fondo Honduren ~o de Inversio´n Social (FHIS 2)». ESA Con sultores, Tegucigalpa, Honduras. Weiss, Carol H. 1998. Evaluation. Upper Saddle River, New Jersey: Prentice Hall. Wilson, Sandra Jo. 1998. «A MultiMethod Proposal to Evaluate the Impact of CGIARInstigated Activities on Poverty Reduction». Paper presented to the Annual Conference of the American Evaluation Association, November. World Bank, Poverty and Human Resources Division, Policy Research Depart ment. 1994a. Impact Evaluation of Education Projects Involving Decentral ization and Privatization. Working Paper. Washington, D.C.: World Bank. _____, Learning and Leadership Center and Operations Policy Department. 1996. Handbook on Economic Analysis of Investment Operations. Washing ton, D.C.: World Bank. _____, Operations and Evaluation Department. 1998a. 1998 Annual Review of Development Effectiveness. Washington, D.C,: World Bank. _____, Poverty Reduction and Economic Management, Latin America and Caribbean Region. 1998b. Measuring the Poverty Impact of Projects in LAC. Washington, D.C.: World Bank. _____, Operations and Evaluation Department. 1999. World Bank Agricul tural Extension Projects in Kenya: An Impact Evaluation. Report № 19523. Washington, D.C.: World Bank. _____, Poverty Reduction and Economic Management Unit, 1999. Strategy for Impact Evaluation. Washington, D.C.: World Bank. Wouters, A. 1995. «Improving Quality through Cost Recovery in Niger». Health Policy and Planning 10 (3): 257–70. Zeller, Manfred, Akhter Ahmed, Suresh Babu, Sumiter Broca, Aliou Diagne, and Manohar Sharma. 1996. «Security of the Poor: Methodologies for a Multi country Research Project». IFPRI Discussion Paper 11.


Приложение 1

Анализ конкретных ситуаций Приложение 1.1. Оценка выгод для бедных от программы стимулирования трудовой деятельности: Программа TRABAJAR (Аргентина) I. Введение Описание проекта. Цель аргентинской программы TRABAJAR — со кращение бедности посредством создания рабочих мест для бедных и одновременного улучшения социальной инфраструктуры в бедных общинах. Пилотная программа TRABAJAR I была начата в 1996 г. в ка честве отклика на экономический кризис и безработицу, уровень ко торой составлял в то время свыше 17%. Программа TRABAJAR II была запущена в 1997 г., став расширенным и пересмотренным вариантом пилотной программы, а утверждение проектов в рамках TRABAJAR III началось в 1998 г. В программе предлагается относительно низкая оп лата труда участников, чтобы привлечь (обеспечить «самоотбор») в нее только бедных безработных. Проекты развития инфраструктуры, для участия в которых нанимаются эти рабочие, инициируются мест ными властями и неправительственными организациями (НПО), ко торые и должны покрыть все расходы проекта, не связанные с зара ботной платой. Проекты утверждаются на региональном уровне в со ответствии с правительственными директивами. По результатам оценки план программы и порядок ее реализации претерпели значительные изменения. В программу TRABAJAR II был внесен ряд поправок, призванных улучшить ее адресность. Теперь распределение бюджетных средств центральным правительством в большей степени ориентируется на показатели бедности и безрабо тицы в провинциях и, в соответствии с директивами, большее внима ние придается тем проектам, которые предлагаются бедными регио нами. На местном уровне усилия программ TRABAJAR II и III были на правлены на то, чтобы сформировать в провинциальных отделени ях, отвечающих за оказание помощи бедным районам, потенциал по реализации проектов и по повышению качества инфраструктуры. Оценка воздействия. Оценка TRABAJAR II была начата уже на стадии ее подготовки и продолжается до сих пор. Ее цель — опреде


112

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

лить, решает ли программа поставленные задачи, и выявить те райо ны, где для достижения максимального эффекта необходимо внести в нее изменения. Оценка предусматривает проведение ряда отдель ных исследований, в рамках которых определяется: а) чистый при рост дохода участников программы; б) распределение ресурсов про граммы по регионам (адресность); в) качество финансируемых про ектов инфраструктуры и г) роль общин/сообществ и НПО в достиже нии проектами результатов. Две составляющие оценки представляют собой лучшие эмпириче ские методики. Вопервых, анализ чистого прироста дохода показыва ет наилучшие примеры в методике сравнения по подобию, а также эф фективное использование существующих данных национального об следования домохозяйств. Вовторых, в анализе адресности представ лена новая методика оценки адресности в условиях, когда невозможно наблюдать случаи государственных расходов на местном уровне. Об щий план оценки представляет собой наилучшее сочетание методик исследования и других компонентов (от количественного анализа до посещений строительных площадок и оценки общественностью), что обеспечивает своевременное получение комплексных результатов.

II. Подход к оценке При оценке программы TRABAJAR используются разные инструмен ты для определения того, насколько хорошо программа достигает своих стратегических целей. Первый компонент использует данные обследования домохозяйств для оценки прироста дохода участников TRABAJAR. В отличие от традиционных методов оценки программ по стимулированию трудовой деятельности, где прирост дохода участ ников измеряется просто как валовой заработок; это обследование представляет собой усовершенствованный их вариант, так как в нем оценивается чистый прирост дохода. В нем использованы последние достижения в методиках сравнения по подобию и учтен упущенный доход (доход, от которого отказались те, кто стали участниками TRABAJAR), что позволяет добиться более точной оценки чистого прироста дохода, которая оказывается ниже. Второй компонент кон тролирует распределение средств программы (адресность), отсле живая изменения во времени, ставшие результатом реформ. Благода ря взвешенному использованию данных из общедоступных источ ников (распределение программного финансирования по провин циям и общегосударственная перепись населения), этот компонент представляет новую методику оценки адресности в интересах бед


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

113

ных при отсутствии фактических данных по использованию выде ленных в рамках программы средств. Такой анализ начался с приез дом первой контрольной миссии (ноябрь 1997 г.), и с тех пор его ре зультаты обновляются дважды в год. Среди дополнительных компонентов оценки — анализ «затра ты–выгоды» для подвыборки проектов инфрастурктуры, а также об щественная оценка, призванная обеспечить обратную связь в ходе реализации проекта. Все эти мероприятия производились дважды — как для TRABAJAR I, так и для TRABAJAR II. В будущем планируется вы полнение еще трех мероприятий по оценке. Чтобы оценить воздей ствие участия в программе TRABAJAR на активность рынка труда, снова будет применяться метод сравнения по подобию. Планируется провести переоценку качества проекта инфраструктуры. На этот раз будут рассматриваться проекты, завершенные не менее года назад, что позволит оценить их долговечность, обслуживание и интенсив ность использования. Наконец, качественный компонент исследова ния предусматривает изучение того, как работает программа и какие в ней используются процедуры; для этого предполагается провести интервью с сотрудниками тех ведомств, которые обеспечивают осу ществление проектов, а также с бенефициарами программы.

III. Методы сбора и анализа данных Оценка чистого прироста дохода участников программы проводится на основе двух источников данных: национального обследования уровня жизни (Encuesta de Desarrollo Social, EDS), а также опроса участ ников программы TRABAJAR, проводимого специально в интересах данной оценки. (Обследование EDS финансировалось в рамках друго го проекта Всемирного банка. Его целью было повысить качество ин формации о благосостоянии домохозяйств в Аргентине, особенно с точки зрения их доступа к социальным услугам и государственным со циальным программам.) Эти обследования проводились в августе (EDS) и сентябре 1997 г. (опрос участников программы TRABAJAR) на циональным статистическим бюро, которое использовало одинако вые анкеты и команды интервьюеров. Обследование EDS охватывает 85% населения страны, но в него не были включены некоторые сель ские регионы и совсем малые общины. Выборка для обследования уча стников TRABAJAR была составлена методом случайной выборки из участников TRABAJAR II в границах выборки для EDS;. были получены данные по 2802 нынешним участникам программы (общее число уча стников программы TRABAJAR на период с мая 1997 г. по январь 1998 г.


114

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

составило 65321 человек). Надежность метода отбора подобного уве личивалась еще и потому, что участники и контрольная группа запол няли одинаковую анкету, причем одновременно; при этом обеспечива лась принадлежность обеих групп к одной экономической среде. Для создания отобранной по подобию контрольной группы на базе EDS в данном обследовании применен метод учета показателей склон ности. (Применение данной методики облегчает то, что анкета EDS весь ма подробна и позволяет собрать данные о характеристиках домохо зяйств, на основании которых можно прогнозировать участие в про грамме.) Идеальная отобранная по подобию пара включала бы в себя представителя выборки участников и представителя контрольной груп пы, для которых все перемененные (х), прогнозирующие участие в про грамме, идентичны. Стандартной проблемой отбора по подобию явля ется сложность его практического применения, поскольку в (х) входит много переменных. Однако отбор по подобию можно провести и на ос нове учета показателей склонности каждого человека, которые пред ставляют собой просто вероятность участия, обусловленную (х). (Пока затели склонности рассчитываются для каждого наблюдения в выбор ках экспериментальной и контрольной групп, с использованием стан дартных моделей Logit.) Данные о доходе отобранной по подобию кон трольной группы неучастников позволяют рассчитать доход, потерян ный участниками TRABAJAR II. Затем рассчитывается чистый доход от участия в программе, представленный как разность между суммой зара ботной платы, полученной в рамках программы, и упущенным доходом. Анализ адресности замечателен тем, что не потребовал дополнитель ного сбора данных. Эмпирическая работа основывается на данных от дела Министерства, работающего с проектом, которые отражают рас пределение средств по территориальным единицам (департаментам) для TRABAJAR I (март 1996 г. — апрель 1997 г.) и первого полугодия TRABAJAR II (май — октябрь 1997 г.). Она основана также на индексе бед ности по каждому департаменту (их всего 510), рассчитанному на осно ве переписи 1991 г. как доля домохозяйств с «неудовлетворенными пер вичными потребностями». Это составной индекс, включающий обеспе ченность жильем, наличие канализации, качество жилья, уровень обра зования взрослых, факт зачисления в школу детей, занятость и коэффи циент нагрузки (соотношение работающих и неработающих членов семьи). Такой индекс несколько устарел, хотя это имеет и свое преиму щество: показатель бедности по департаментам был экзогенным по от ношению к TRABAJAR (т.е. не зависел от программы). Для анализа уров ня адресности в отношении данных о государственных расходах по ге ографическим регионам (в данном случае — департаментам) рассчиты


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

115

вается регрессия по соответствующим уровням бедности для данного региона. Итоговый коэффициент определяет «разницу в адресности», т.е. разницу между средними размерами средств, направленных бедным и небедным (более обеспеченным) в рамках программы. Значение та кой общенациональной разницы в адресности впоследствии можно разложить на составные части, чтобы оценить то, какая степень адрес ности обеспечивается механизмом, который использует центральное правительство (распределение средств по департаментам), а какая — действиями местных властей на уровне провинций. Анализ «затраты–выгоды» осуществлялся инженеромстроителем, который провел двухэтапное исследование инфраструктурных проек тов TRABAJAR. На первом этапе он посетил 50 завершенных проектов TRABAJAR I и составил их рейтинг по шести параметрам: техническо му, институциональному, экологическому, социальноэкономическо му, управленческоадминистративному и эксплуатационнотехничес кому. Затем общее качество проектов оценивалось в баллах, а там, где это было целесообразно, проводился анализ «затраты–выгоды» (за ис ключением школ или медпунктов). Затем, год спустя, было выполнено аналогичное дополнительное исследование 120 проектов TRABAJAR II, определяющее влияние реформ на качество инфраструктуры. Общественная оценка проводилась во время подготовки TRABAJAR I и II. Она обеспечивала обратную связь по таким вопросам реализации программы, как роль НПО, доступность технической помощи при под готовке проекта и строительстве, выбор бенефициаров. Обе общест венные оценки осуществлялись социологами посредством проведения фокусгрупп и интервью.

IV. Результаты Для получения точной картины выгод от программы по стимулирова нию трудовой деятельности очень важно учесть упущенный доход. Согласно описательным статистическим данным по участникам TRA BAJAR II, в отсутствие программы (подушевой доход семьи минус за работная плата в рамках программы) 85% участников программы ока зались бы среди нижних 20% в национальном распределении дохода и потому в Аргентине считались бы бедными. Однако оценки упущен ного дохода, произведенные методом сравнения по подобию, оказы ваются довольно высокими, и средний чистый прирост дохода благо даря участию в программе составляет лишь около половины заработ ной платы в рамках TRABAJAR; таким образом, изза участия в про грамме часть дохода теряется. Именно этот потерянный доход изме


116

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ряется путем сравнения по подобию дохода участников программы с доходом тех, кто в ней не участвовал. Тем не менее даже с учетом упу щенного дохода распределение прироста явно идет в пользу бедных, поскольку 80 участников программы относятся к нижним 20% рас пределения дохода. Женщин в программе участвует немного (15%), однако чистый прирост дохода фактически идентичен как для муж чин, так и женщин. Прирост дохода для молодежи намного меньше. Адресность была значительно улучшена благодаря изменениям, внесенным в TRABAJAR II. В этой программе скрытое распределение ресурсов в пользу бедных домохозяйств по сравнению с TRABAJAR I увеличилось в семь раз. Одна треть этого изменения произошла бла годаря повышению адресности на центральном уровне, в то время как остальная часть успеха — результат повышения адресности на про винциальном уровне. Впрочем, результаты в отношении адресности в разных провинциях весьма различны. В зависимости от того, к какой провинции принадлежит тот или иной департамент, если в нем 40% жителей считаются бедными, он может получить средства, в пять раз превосходящие среднее значение выделяемой департаментам суммы. Кроме того, в беднейших провинциях адресность оказывается хуже. Качество проектов в области инфраструктуры было признано удов летворительным. Но, к сожалению, изменения в TRABAJAR II не привели к значительным улучшениям. Частично это объясняется резким расши рением программы, изза чего обеспечивать соответствие некоторым ранее принятым стандартам стало сложнее. Тем не менее теперь проек ты в большей степени отвечают основным потребностям общин. Обще ственная оценка указала на необходимость улучшения технической по мощи НПО и сельским муниципалитетам, более активного информиро вания населения и увеличения прозрачности механизмов TRABAJAR.

V. Стратегические выводы Результаты оценки четко показывают, что участники программы TRABAJAR в основном относятся к бедным. В Аргентине была успешно использована стратегия самоотбора, когда потенциальным участникам предлагалась низкая заработная плата, а участники программы действи тельно получают дополнительный доход (заметим, что при этом чистый прирост ниже валовой заработной платы изза упущенного дохода). В программе отсутствует дискриминация в отношении участия женщин. Изменения в TRABAJAR II позволили добиться улучшения географичес кой адресности, и сейчас в программе более успешно распределяются средства в бедные районы. Однако результаты не везде одинаковы, а в не


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

117

которых провинциях показатели хронически неудовлетворительные, и это значение должно стать предметом пристального внимания при раз работке дальнейшей политики. Наконец, неутешительные показатели качества проектов инфраструктуры заставили проектную команду при ложить максимум усилий для улучшения их результатов в этой области (речь идет о качестве проектов). В этой связи необходимо чаще посе щать площадки с целью оценки и наблюдения, использовать санкции в отношении ведомств и структур, не обеспечивающих достаточного ка чества работы к моменту завешения проекта, а также разработать более качественные инструкции по проведению оценки.

VI. Стоимость оценки и администрирование Затраты. Затраты на проведение исследования эффективности программы TRABAJAR (анализ чистого прироста дохода) и на обра ботку данных составили около 350000 долл. США. Две оценки каче ства подпроектов (анализ «затраты–выгоды») стоили примерно по 10000 долл. США каждая; в такую же сумму обошлись и обществен ные оценки. Таким образом, суммарная стоимость оценки составила около 390000 долл. США. Администрирование. План проведения оценки был разработан сотрудником Всемирного банка Мартином Равальоном (Martin Raval lion) и осуществлен Всемирным банком совместно с группой реали зации проекта из Аргентины. На разных стадиях проведения оценки требовалась также координация с некоторыми местными государст венными ведомствами, включая статистическое агентство, Минис терство труда (и его местные филиалы) и отдел стратегическго ана лиза в Министерстве социального развития.

VII. Приобретенный опыт Важность учета упущенного дохода при оценке выгод от уча& стия в программе стимулирования трудовой деятельности. Упущенный доход составляет значительную (около половины) часть валовой заработной платы, полученной участниками аргентинской программы стимулирования трудовой деятельности. Результаты по казывают, что традиционные методы оценки (использующие только валовую заработную плату) значительно переоценивают прирост до хода, что равносильно занижению благосостояния бедных участни ков программы в ее отсутствие.


118

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Метод отбора подобного по склонности. При использовании в оценке методики сравнения по подобию показатели склонности позволяют подбирать надежные пары из выборки участников и кон трольной группы. Рациональное использование существующих националь& ных источников информации. Зачастую ценный вклад в прове дение оценки могут внести такие источники данных, как общенаци ональная перепись или обследование домохозяйств. Использование уже существующих данных снижает потребность в дорогостоящем сборе информации, необходимой лишь для проведения оценки. От сутствие какихлибо данных можно компенсировать инновацион ными методами оценки, что демонстрирует оценка географической адресности, проведенная в рамках программы TRABAJAR. Широкий спектр компонентов оценки. Структура оценки TRABAJAR служит примером эффективного сочетания различных инструментов и методик оценки. Анализ данных обследований, ре зультатов посещения строительных площадок и общественные оценки дополняли друг друга при получении общих результатов, которые способствовали повышению эффективности программы и помогли выявить те аспекты, которые требовали пересмотра. Своевременность результатов. Многие компоненты оценки были разработаны с учетом цикла проекта; они были рассчитаны по вре мени так, чтобы еще на подготовительных стадиях проекта предо ставить результаты и обеспечить их эффективное использование при формировании стратегии. В настоящее время некоторые компо ненты оценки обеспечивают регулярность поступления данных в хо де непрерывного мониторинга программы.

VIII. Источники Jalan, Jyotsna, and Martin Ravallion. 1999. «Income Gains from Workfare and their Distribution». The World Bank. Washington, DC. Processed. Ravallion, Martin. 1999. Monitoring Targeting Performance when Decen tralized Allocations to the Poor are Unobserved. The World Bank. Wash ington, DC. Processed.


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

119

Приложение 1.2. Действительно ли микрокредиты помогают бедным? Новые данные на основе показательных программ в Бангладеш I. Введение Описание проекта. Программы микрокредитования Банка Грамин, Национального комитета по развитию сельских регионов (Rural Advancement Committee) и Совета по развитию сельских реги онов (Rural Development Board) Республики Бангладеш являются по казательным примером среди подобных программ в других странах. Эти программы предусматривают выделение небольших займов бед ным домохозяйствам, владеющим менее 0,5 акра (0,22 га) земли. Зай мы сопровождаются новыми типами договоров и графиками пога шения кредита. Данными программами в Бангладеш были охвачены свыше 4 млн бедных клиентов, и, по всей видимости, они были доста точно успешными. Например, верхний квартиль заемщиков Банка Грамин потребляет на 15% больше; по сравнению с нижним кварти лем, школу посещают почти вдвое больше мальчиков, также значи тельно увеличилось число девочекшкольниц. Чем интересна оценка. В ходе оценки рассматривается воздей ствие программ на 1800 домохозяйств Бангладеш. Эти домохозяй ства сравниваются с контрольной группой в регионах, не получав ших микрокредитов. Основным результатом исследования являет ся демонстрация того, что простые оценки водействия программы могут быть значительно завышены: коррекция на смещение вы борки сводит впечатляющий на первый взгляд прирост дохода практически к нулю. Оценка показывает, что значительная часть предполагаемого прироста обусловлена различиями между полу чателями кредитов и теми, кто их не получает: первые более зажи точны и работают больше, чем члены контрольных групп. Если ис пользовать адекватные методы оценки, то оказывается, что заимст вования не влияют на потребление, а положение детей из районов, охваченных программой, хуже, чем в контрольных районах. Ос новной причиной этой ситуации явилось несоблюдение правил, устанавливающих право на участие программе: многие заемщики владели участками земли, превышающими требуемый для ссуды критерий в 0,5 акра.


120

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Оценка сочетает в себе интересную методику опроса и творчес кое применение эконометрических методик. Еще одним необыч ным моментом является то, что при оценке рассматривается, как программа сказывается не только на среднем результате, но и на его дисперсии. Подобный метод позволил обнаружить, что основной выгодой от программ являлось скорее снижение риска, чем повыше ние среднего результата.

II. Вопросы исследования и план оценки Интерес исследователей заключался в определении воздействия программ микрокредитования на следующие показатели: логарифм потребления на душу населения; вариативность логарифма потреб ления, логарифм труда взрослого в течение предыдущего месяца, ва риативность логарифма труда взрослого, количество часов работы взрослого мужчины за последний месяц, количество часов работы взрослой женщины за последний месяц, процент мальчиков, посе щающих школу (возраст 5–17 лет), процент девочек, посещающих школу (возраст 5–17 лет). Для оценки применялась следующая методика обследования. Бы ло охвачено 87 деревень, жители которых были опрошены трижды за период 1991–1992 гг. Деревни были выбраны случайным образом из административных списков и данных переписи из пяти районов, которые использовались в качестве контрольных, а также из 24 рай онов, в которых проводились программы. В каждой из деревень об следованию подверглись по двадцать домохозяйств. Это позволило исследователям разделить домохозяйства на пять различных типов в зависимости от соответствия критерию, дающему право на заем, т.е. владение зеимельным участком площадью менее 0,5 акра. Имеет смысл привести схему, поскольку с ее помощью мож но показать, как выводятся бинарные переменные, характеризующие типологию, и как учитывается смещение выборки. Сравнение результатов группы D с результатами группы С затрудне но изза сложности отбора — данные показывают, что домохозяйства из группы С не участвуют в программе, поскольку опасаются, что не смогут вернуть деньги. Однако если владение землей рассматривается как внешний фактор, то группы С и D можно сравнить с группой Е, так как разница в результате зависит от включения в программу, а не от са моотбора. Разумеется, если между деревнями существуют отличия, то это неверно. Если есть отличия (возможно, обусловленные неслучай ным помещением в программу), то лучше воспользоваться методом


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

Деревня 1: С программой A Не соответствуют требованиям [b=1;e=0;c=0]

121

Деревня 2: Контрольная Домохозяйства B Не соответствовали бы с участками больше 0,5 акра требованиям [b=0;e=0;c=0]

C D Домохозяйства E Соответствовали бы Соответству Участники с участками ют требова [b=1;e=1;c=1] 0,5 акра и менее требованиям [b=0;e=1;c=0] ниям, но не участвуют [b=1;e=1;c=0] двойных различий. Таким образом, специалист, занимающийся оцен кой, может рассчитать средние результаты для С и D, средние результа ты для А, а затем определить разницу. Так же можно рассчитать разницу между средними результатами для Е и средними результатами для В, по сле чего можно сравнить разницу в пределах одной и той же деревни.

III. Данные Исследователи собрали данные по 1798 домохозяйствам, из которых 1538 имели право на ссуду и 905 реально принимали участие в про грамме. В 1991–1992 гг. опросы были проведены после трех сборов урожая риса. Главные переменные, представляющие интерес для ис следователей, — уровень потребления на душу населения за преды дущую неделю, сумма полученного кредита, размер имеющегося уча стка, предложение труда за последний месяц, а также демографичес кие характеристики домохозяйств. Для проверки активности земель ного рынка использовались также вторичные источники данных о сделках с землей.

IV. Эконометрические методы В применяемых методах есть три интересных момента. Первый — использование административных данных. Чтобы проверить ключе вые допущения, необходимые для использования модели разрывной регрессии: экзогенность владения землей. Второй — очень элегант ное использование непараметрических методов построения графи ков, которые описывают как вероятность признания за домохозяйст вом права на ссуду, так и вероятность получения займа в зависимости от владения землей. Это сочетается с подробным представлением то


122

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

го, когда можно использовать модель разрывной регрессии, посколь ку, согласно данным графического анализа, в точке 0,5 акра нет чет кого разрыва. Наконец, в исследовании главным образом использу ются методики простых различий и двойных различий.

V. Кто проводил оценку Данные были собраны Институтом Бангладеш по изучению развития (Bangladesh Institute for Development Studies) по поручению Всемир ного банка. Анализ выполнял Джонатан Мордух (Jonathan Morduch).

VI. Результаты Результаты показывают, что почти все очевидные выгоды от про граммы определяются смещением выборки изза неверного адресо вания займов. В частности, авторы обнаружили, что 20–30% заемщи ков владеют участками земли, площадь которых превышает допусти мый программой максимум в 0,5 акра. Из этого следует, что должно стные лица, отвечающие за реализацию программы, скорее всего об ходят правила ненаблюдаемыми способами. Если сравнивать только заемщиков, отвечающих критерию площади земельного участка, вы ясняется, что при использовании методов простых различий и двой ных различий среднее потребление в деревнях с доступом к микро кредиту оказывается ниже, чем в контрольных деревнях. Отсюда можно сделать вывод о серьезных ошибках в адресовании средств программы, изза чего для анализа ее воздействия невозможно ис пользовать разрывную регрессию. Оценка также помогает сравнить результаты различных экономе трических методов. Результаты, полученные с помощью методов фик сированных эффектов, простых различий и двойных различий, зна чительно отличаются друг от друга. Оценка убедительно демонстри рует, что первый метод в меньшей степени подходит для ситуаций, в которых решения о распределении средств основываются на нена блюдаемых различиях в целевых группах. Впрочем, два последних подхода выдают противоречивые результаты относительно того, сни жает ли программа вариативность потребления и дохода; это подчер кивает потребность в лонгитюдных данных. После учета смещения выборки выясняется, что для воздействия на образование практичес ки справедливо обратное. Следует также отметить, что, хотя данный анализ показывает не значительное воздействие программы по сравнению с положением


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

123

контрольной группы, фактически у контрольной группы вряд ли не было доступа к финансированию, так как оно может предоставлять ся НПО. Таким образом, целесообразность расходования миллионов долларов на субсидирование программ микрокредитования ставит ся под вопрос.

VII. Приобретенный опыт Из результатов исследования можно сделать несколько очень серьез ных выводов. Первый: важно проверять, соответствует ли работа про граммы первоначальным планам. Второй: следует определить, на сколько применима модель разрыва регрессии по сравнению с мето дикой простых различий или двойных различий. Третий: следует рассматривать воздействие программы как на первый, так и на вто рой момент распределения, поскольку полезным результатом может быть снижение риска само по себе. Есть и более фундаментальный вывод, который в явном виде не звучит в исследовании, но тем не ме нее вытекает из него. Он связан с общеэкономическими вопросами: если существует значительная заинтересованность в том, чтобы на рушить правила, то эти правила будут нарушены.

VIII. Источники Morduch, Jonathan «Does MicroFinance Really Help the Poor? New Evi dence from Flagship Programs in Bangladesh». June 17, 1998. Processed. Khandker, Shahidur R. 1998. Fighting Poverty with Microcredit: Experience in Bangladesh. New York: Oxford University Press for the World Bank.


124

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Приложение 1.3. Программа «Продовольствие за образование» в Бангладеш: оценка адресной социальной программы при децентрализованном включении в нее I. Введение Описание проекта. Программа «Продовольствие за образование» (Food for Education, FFE) в Бангладеш была разработана с целью уве личить посещаемость начальной школы. Эта цель достигалась через снабжение отобранных домохозяйств рисом или пшеницей в каче стве стимула для родителей детей, посещающих школу. Программа начиналась как пилотная, однако со временем масштаб и значение ее возросли: доля программы в бюджете Отдела начального и массо вого образования (Primary and Mass Education Division) выросла с 11% в 1993–1994 гг. до 26% в 1995–1996 гг. Всего было охвачено 2,2 млн детей, или 13% от общего числа школьников. План проекта до статочно интересен: система выбора целевых групп имела иерархи ческий характер, в том смысле, что FFE проводилась во всех школах в выбранных экономически отсталых географических районах с низким уровнем посещаемости школ. Общинные группы сами вы бирали домохозяйства, которые должны были получить продукты, на основе определенных, хотя и несколько произвольных, критери ев (безземельные домохозяйства, домохозяйства, главой которых была женщина, и домохозяйства с низким уровнем дохода). Дети из таких домохозяйств должны были ежемесячно посещать не менее 85% занятий. Чем интересна оценка. Эта оценка очень полезна, так как она по казывает, что можно сделать, если план программы не допускает при менения стандартных методов оценки и когда оценку необходимо провести на основании существующих на данный момент источни ков данных. Фактически, используемый в FFE подход был почти пол ной противоположностью случайному отбору: не только географи ческие районы выбирались по соответствию определенным характе ристикам, но и люди из этих районов выбирались потому, что им бы ла нужна помощь. Поскольку данная программа была адресована бед нейшим гражданам, простой анализ привел бы к недооценке ее воз действия.


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

125

Схема построения программы затрудняет выведение альтерна тивного сценария, поскольку очевидно, что выбор участников про граммы определяется потребностью в ней домохозяйств. Оценка представляет нетрадиционный (и легко применимый к другим слу чаям) подход к решению проблемы итогового смещения, вызванно го децентрализацией процесса принятия решений. Иными словами, поскольку центральное правительство распределяет средства по гео графическим районам, а местные субъекты распространяют их внут ри района, то оценка использует методы инструментальных пере менных, основанные на географических характеристках; это позво ляет уменьшить смещение, характерное для процедуры внешнего от бора. Применение такой методики приводит к намного более высо кой оценке воздействия FFE, чем при обычных подходах, в которых используется обычный метод наименьших квадратов.

II. Вопросы исследования и план оценки Задача исследования — дать количественное выражение воздействия FFE на посещаемость школ учениками, измеряемую как уровень по сещаемости для каждого домохозяйства. Предварительное планиро вание здесь вряд ли поможет: оценка проводится на основании уже имеющихся данных, в частности на основании обследования расхо дов представительных (репрезентативных) для страны домохо зяйств и детального опроса общин. Вообще, для того, чтобы избежать необходимости проведения базисного исследования, была разрабо тана ретроспективная оценка. Для оценки было достаточно обследо ваний, дающих представление о характеристиках домохозяйств и специфике их географических регионов. Ниже более подробно по казано, как можно структурировать эти данные, чтобы получить до стоверную информацию о воздействии программы.

III. Данные Данные получены из обследования расходов домохозяйств (House hold Expenditure Survey, HES) 1995–1996 гг. — общенационального ис следования, проведенного Статистическим бюро Бангладеш, куда бы ли включены вопросы, касающиеся участия в FFE, а также компонен ты исследования на местном уровне. Авторы используют ответы на вопросы, касавшиеся демографических характеристик домохозяйств, владения землей, школ и программы, полученные от 3625 сельских


126

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

домохозяйств, что позволяет оценить воздействие программы на по сещаемость школ. HES непосредственно определяет посещение шко лы каждым ребенком. При этом считаются как пропущенные дни, так и дни, когда школа была закрыта. В ходе анализа была использована зависимая переменная, обозначающая долю среднего числа дней по сещения для домохозяйства от общего возможного количества дней посещения. Обе части этого исследования очень важны. С одной сто роны, информация о домохозяйствах помогает оценить воздействие демографических характеристик на посещаемость школы. С другой стороны, информация о географическом расположении помогает разработать стратегию принятия решения центральным правитель ством и уменьшить упомянутое выше смещение выборки.

IV. Эконометрические методы Данная оценка направлена на изучение двух очень важных проблем, возникающих перед исследователями на местах. Одна из них заклю чается в децентрализации решений об участии в программе, изза че го решение о распределении средств зависит от переменных, нена блюдаемых специалистом по эконометрике, но очевидных для лю дей, принимающих такое решение. Это значит, что при оценке необ ходимо выбрать единицу измерения, которая определит участие в программе на индивидуальном уровне и при этом не будет коррели ровать с ошибочным членом (и, таким образом, с результатами про граммы). Вторая проблема в том, что отсутствуют базисные данные об участниках; имеются лишь результаты одномоментного исследо вания, что затрудняет оценку чистого эффекта от программы. Оценка обладает новизной в том плане, что в ней используют в ка честве инструмента двухуровневый процесс распределения. Для это го необходимо, чтобы одномоментные данные включали в себя как характеристики домохозяйств, так и географические характеристи ки. В данном случае модель выглядит так: Wi = αIPi + β′Xi + η′Zi + μi.

(1)

Здесь W является конечным благосостоянием индивидуума, Х и Z включают характеристики домохозяйств и географические характе ристики, а IP представляет собой место индивидуума в программе и коррелирует с ошибочным членом. Очевидно (и важность этого не раз подчеркивалась в литературе по оценке), что оценка по методу наименьших квадратов будет смещенной.


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

127

Данная оценка использует географические различия в участии в программе как инструменты индивидуального отнесения к програм ме, поскольку это не коррелирует с ошибкой и с характеристиками домохозяйств. Таким образом, это отношение характеризуется сле дующим образом: IPi = γGPi + π′Xi + vi.

(2)

Важно обратить внимание на необходимость включения в Z всей информации, используемой при принятии решения об учас тии на основании географических характеристик. В данном случае применяются два набора географических переменных. Один набор достаточно стандартен и непосредственно влияет на решение о по сещении: расстояние до школы, тип школы и переменные, характе ризующие качественный уровень школы. Второй набор связан с са мим решением о включении в программу, и, хотя сам он достаточ но велик, его следует привести в целях иллюстрации. В этот набор входят: распределение земли; интенсивность ирригации; качество дорог; электрификация; расстояние и время в пути до местного ад министративного центра и столицы; расстояние до финансовых и медицинских учреждений; случаи стихийных бедствий; отношение к занятости женщин, образованию и контролю рождаемости; сред ний уровень образования главы семьи и супруги(а); основная рели гия в деревне; число жителей деревни. Эти данные рассчитываются на уровне деревни и позволяют достаточно хорошо прогнозиро вать отбор в программу: Probitрегрессия для 166 деревень дала до статочно хорошее соответствие (псевдоR2 = 0,55). Из этого следу ет, что указанные переменные действительно отражают общее уча стие в программе. Затем можно смоделировать этот ряд уравнений при помощи тре хэтапного метода наименьших квадратов (ТМНК) и сравнить его с результатами регрессии при использовании обычного метода наи меньших квадратов (ОМНК). V. Кто проводил оценку Оценка проводилась сотрудниками Всемирного банка Мартином Равальоном и Квентином Водоном как часть долгосрочной совме стной работы Статистического бюро Бангладеш с Отделом по борьбе с бедностью и управлению экономикой Регионального от дела Всемирного банка по Южной Азии.


128

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

VI. Результаты Существуют явные различия в двух предложенных подходах: оценка воздействия FFE при помощи трехэтапного метода наименьших ква дратов (ТМНК) была на 66% выше, чем оценка обычным методом на именьших квадратов (ОМНК) без учета географических факторов, и на 49% выше, чем с учетом этих факторов. Иными словами, простые расчеты, учитывающие только различия между разными домохозяй ствами (ОМНК без учета географических факторов), будут значи тельно занижать эффективность программы. Даже включение гео графических мер контроля при отнесении в программу на основа нии географической принадлежности не устраняет сопутствующего смещения. Если говорить о конкретных цифрах, то при использова нии рассмотренного выше метода оценки предоставление среднего количества зерна приводит к росту посещаемости и составляет 24%. Следует отметить, что ключевым фактором в обеспечении дейст венности такого подхода является наличие достаточно большого ко личества переменных для моделирования решения о выборе целе вых групп, а также то, что эти переменные должны быть близки к пе ременным, которые используют администраторы. Если все еще есть пропущенные переменные, то смещение будет продолжаться.

VII. Приобретенный опыт Во многих случаях при проведении оценки исследователи не могут позволить себе роскошь разработки стратегии сбора данных с нуля либо потому, что оценка не включена в проект с самого начала, либо просто изза высокой стоимости. Приведенный пример оценки по лезно изучить по двум причинам. Вопервых, она демонстрирует ту степень смещения, которую может обусловить неверный экономет рический подход. Вовторых, в ней представлен эконометрически корректный способ оценки воздействия программы без затрат и за держек, неизбежных в ситуации, когда оценку предполагают провес ти в перспективе.

VIII. Источники Ravallion and Wodon. 1998. Evaluating a Targeted Social Program when Placement is Decentralized. Policy Research Working Paper 1945, World Bank, Washington, D.C.


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

129

Приложение 1.4. Оценка деятельности Социального инвестиционного фонда Боливии I. Введение Описание проекта. Социальный инвестиционный фонд, СИФ (Social Investment Fund, SIF) Боливии был основан в 1991 г. как фи нансовая организация, обеспечивающая стабильное инвестирова ние социальной сферы, особенно здравоохранения, образования и водоснабжения. Стратегическая цель Фонда — направить инвести ции в те области, которые традиционно не получали должного вни мания со стороны государственных ведомств, в частности, на нужды бедных общин. Таким образом, средства СИФ распределяются в соот ветствии с муниципальным индексом бедности, однако в рамках са мих муниципалитетов данная программа реагирует на поступающие от общины запросы на проведение проектов на местном уровне. В 1994 г. деятельность СИФ подверглась еще большей децентрализа ции, причем была усилена роль отраслевых министерств и муници пальных властей в разработке и утверждении проектов. СИФ Боли вии стал первой в мире организацией такого рода и послужил образ цом аналогичных фондов, которые появились позднее в Латинской Америке, Африке и Азии. Оценка воздействия. Несмотря на широкое применение социаль ных фондов, в 1990х годах попыток детально оценить их влияние на сокращение бедности было немного. Оценка СИФ Боливии, прове денная Всемирным банком совместно с СИФ, была начата в 1991 г. и продолжается до сих пор. В этом исследовании применяются данные базисного (1993 г.) и последующего (1997 г.) обследований; их сочета ние позволяет провести сравнение ситуации «до» и «после». Оно включает отдельные оценки проектов в области образования, здраво охранения и водоснабжения и уникально тем, что в нем применяется несколько методик оценки и анализируются их плюсы и минусы. Ре зультаты по первоначальной оценке уже получены, в настоящий мо мент они представляются финансирующим организациям и государ ственным ведомствам, чтобы получить их отклик. Окончательные ре зультаты и вопросы методологии будут более подробно изучаться в связи с подготовкой Отчетов Социальных инвестиционных фондов за 2000 г.; также предусмотрен анализ «затраты–эффективность».


130

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

II. План оценки Процесс оценки боливийского СИФ начался в 1991 г. и продолжа ется до сих пор. План включает отдельные оценки проектов в обла сти образования, здравоохранения и водоснабжения, которые оп ределяют эффективность адресования средств программы бед ным, а также воздействие инвестиций в социальную сферу на по вышение посещаемости школ, состояние здоровья и доступ к воде. Данный пример демонстрирует передовые методики оценки с ис пользованием для анализа воздействия базисных данных. Оценка нетрадиционна еще и потому, что для анализа образовательных проектов в ней применяются две альтернативные методологии оценки (рандомизация и сравнение по подобию), и сопоставляют ся результаты, полученные в каждом случае. Это весьма полезный вклад, поскольку рандомизация (случайный отбор участников программы из группы тех, кто имеет право на участие в ней) часто рассматривается как более статистически надежный метод, в то время как сравнение по подобию (использование нерандомизиро ванного процесса при выборе контрольной группы, которая лучше согласуется с характеристиками участников программы) чаще ис пользуется на практике.

III. Методы сбора и анализа данных Сбор данных для оценки СИФ Боливии потребовал значительных усилий, поскольку включал как выполненное в 1993 г. базисное об следование до проведения инвестиций в рамках СИФII, так и после дующее обследование в 1997 г. Обследовались как организации, ко торые получали средства СИФ, так и домохозяйства и общины, кото рые получают выгоды от инвестиций. Аналогичные данные были также собраны для институтов и домохозяйств контрольной группы. Обследование домохозяйств позволило получить данные по целому ряду характеристик, включая потребление, доступ к основным услу гам, а также состояние здоровья и образовательный уровень каждого члена домохозяйства. Были выполнены отдельные выборки для про ектов здравоохранения (4155 домохозяйств, 190 медицинских цент ров), образования (1894 домохозяйств, 156 школ), водоснабжения (1071 домохозяйство, 18 проектов по водоснабжению) и обеспече ния канализации (231 домохозяйство, 15 проектов). Обследование домохозяйств состояло из трех подвыборок: а) слу чайная выборка из всех домохозяйств сельской Боливии плюс район


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

131

Чако (одна провинция); б) для образовательных проектов — выборка домохозяйств, расположенных недалеко от школ, из контрольной и экспериментальной групп; в) выборка домохозяйств, которые полу чат выгоду от проектов по сооружению систем канализации или во доснабжения. Чтобы определить степень адресности инвестиций СИФ, в этом обследовании применяются базисные данные (до инвестиций СИФ) и информация о том, куда вкладывались средства СИФ. Это позволя ет рассчитать вероятность участия людей в программах СИФ на ос новании их уровня доходов. Далее в обследовании базисные и после дующие данные сводятся вместе для оценки среднего воздействия СИФ на общины, получившие инвестиции СИФ; при этом использу ется регрессия. Помимо анализа среднего воздействия изучается во прос о том, можно ли определить характеристики общин, школ или медицинских центров, воздействие на которые значительно превы шало средний показатель. В области образования, где инвестиции СИФ распределялись случайным образом среди большого числа одинаково подходящих по условиям программы общин, исследование использует «идеаль ный» рандомизированный экспериментальный подход (когда можно непосредственно наблюдать альтернативный сценарий). В отношении проектов здравоохранения и канализации, где отбор был детерминирован, использован метод «инструментальной пе ременной», который позволяет компенсировать нехватку прямого альтернативного сценария. Инструментальные переменные кор релируют с программой, но прямой корреляции между ними и ре зультатами нет.

IV. Результаты Инвестиции СИФ II в образование и здравоохранение приводят к очевидному улучшению инфраструктуры и оборудования. Проекты в области образования оказали незначительное влияние на показате ли отсева, однако в школах, участвовавших в программе СИФ, резуль таты тестирования учеников шестых классов были значительно вы ше, чем в обычных школах. В области здравоохранения инвестиции СИФ приводят к увеличению коэффициента использования меди цинских услуг и снижению смертности. Проекты СИФ в области во доснабжения приводят к незначительному улучшению качества во ды, однако значительно увеличивают ее доступность и количество, а также приводят к снижению смертности.


132

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Сопоставление рандомизированных результатов с результатами сравнения по подобию в области образования показывает, что по следний подход дает менее сравнимые экспериментальную и кон трольную группы, что приводит к менее надежным результатам оценки при выявлении воздействия программы. В качестве иллюст рации к данному выводу можно заметить, что признаки улучшения школьной инфраструктуры (которое, безусловно, можно ожидать в школах СИФ) выявляются при рандомизированной оценке, но не при сравнении по подобию. И, наконец, результаты показывают, что адресность инвестиций СИФ II в отношении бедных обычно низка. От проектов в области здравоохранения и канализации выигрывают те домохозяйства, в ко торых относительно более высокий подушевой доход; кроме того, между уровнем дохода на человека и выгодами от образования, пре доставляемого в рамках проектов СИФ, связи нет.

V. Стратегические выводы Показатели адресности говорят о наличии принципиального проти воречия между целью (направить средства бедным) и природой СИФ (проекты следуют за спросом). После принятия в 1994 г. закона о «на родном участии» возникла необходимость представления подпроек тов на рассмотрение муниципальным властям. Показатели адреснос ти говорят о том, что даже в системе с высокой степенью децентрали зации важно контролировать процесс направления средств в целе вые группы. В случае Боливии более состоятельные и организован ные общины имеют больше шансов получить инвестиции СИФ, чем бедные. В проектах СИФ в области канализации такое смещение от бедных общин исправить может быть трудно. Инвестиции в созда ние базовых систем канализации наиболее эффективны в населен ных районах, где уже имеется доступ к воде, так чтобы в проекте мож но было воспользоваться экономией от масштаба. Тот факт, что инвестиции СИФ не оказали существенного влия ния на посещаемость школ, привел к пересмотру работы СИФ в этой области. Вместо того, чтобы обеспечивать исключительно ин фраструктуру, в проектах будет проводиться комплекс мер, при званных повысить качество школ. Кроме того, значительное внима ние привлекло к себе неудовлетворительное качество воды (после реализации проектов СИФ улучшение по сравнению с ситуацией до них не наступило), и сейчас структура проектов в этой области пе ресматривается.


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

133

VI. Приобретенный опыт Эффективность метода рандомизации. Рандомизированное ис следование, где контрольная группа выбирается случайным образом среди потенциальных участников программы, позволяет гораздо ре зультативнее выявить воздействие программы, чем метод сравнения по подобию, при котором контрольная группа искусственно «гене рируется». Необходимо с самого начала включать рандомизацию в план программы при определении метода подбора ее участников, когда это возможно. Впрочем, если средств программы недостаточ но для охвата всех бенефициаров, то можно осуществить случайный отбор из большего числа потенциальных участников. Важность институционализации процесса оценки. Оценка может быть очень сложной и требовать много времени. Оценка для Боливии проводилась в течение 7 лет; в ее рамках осуществлялась по пытка тщательно отразить воздействие проектов, и в этом отноше нии были достигнуты важные результаты. Однако с учетом такого большого числа разных участников (государственные структуры и финансовые учреждения) и столь длительного периода времени уп равлять ходом оценки было непросто. Управление и проведение оценки можно упростить, изначально включив указанные процессы в стандартную практику работы министерств. Кроме того, при прове дении полномасштабной оценки целесообразно ограничиться не большим числом программ, (например, крупными программами, ре зультаты которых весьма неопределенны), где отдача от проведения оценки будет максимальной.

VII. Стоимость оценки и администрирование Затраты. Общие затраты на оценку СИФ Боливии уже составили 878000 долл. США, т.е. 0,5% от общих затрат на проект. Относительно большая доля этих расходов (69%) приходится на сбор данных; ос тальные средства расходуются на оплату поездок, времени работы сотрудников Всемирного банка и работы консультантов. Администрирование. Оценка проводилась персоналом Всемир ного банка и финансировалась совместно Всемирным банком, KfW, а также правительствами Голландии, Швеции и Дании. Обследования проводились Национальным статистическим институтом Боливии (National Statistical Institute, INE); на первой стадии управление осу


134

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ществлялось партнерскими структурами СИФ, на второй — Минис терством финансов.

VIII. Источники Pradhan, Menno, Laura Rawlings, and Geert Ridder. 1998. «The Bolivian Social Investment Fund: An Analysis of Baseline Data for Impact Evalu ation». World Bank Economic Review, 12 (3). P. 457–82.


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

135

Приложение 1.5. Воздействие активных программ содействия занятости: Чешская Республика Введение Описание проекта. Многие развивающиеся страны после сокра щений на государственных предприятиях сталкиваются с пробле мой сохранения работников на рынке труда. Решать ее особенно сложно в условиях переходной экономики, для которой характерна высокая безработица, а заработная плата не меняется либо снижает ся. Впрочем, не все программы профессиональной переподготовки одинаковы: часть из них представляет собой замаскированное вы ходное пособие для уволенных рабочих; другие «маскируют» про граммы по борьбе с безработицей. Все это делает задачу по оценке таких программ особенно актуальной. Программы обучения оценивать особенно сложно, и оценка чеш ских программ — не исключение. Обычно существует несколько про грамм, предназначенных для разных категорий работников. Измерять результаты также можно поразному — с точки зрения показателей за нятости, самозанятости, месячного и почасового заработка. В данном случае степень влияния программ зависит от сроков проведения оцен ки больше, чем при других типах оценки: в зависимости от того, когда проводится оценка (через месяц, полгода, год или пять лет после про ведения программы), можно получить очень разные результаты. Чем интересна оценка. В рамках оценки осуществлялась попытка количественного выражения воздействия четырех активных про грамм содействия трудоустройству (АПСЗ) в Чешской Республике при использовании квазиэкспериментальных подходов — сравне ние по подобию участников АПСЗ со схожей группой неучастников. При ретроспективной оценке различных результатов использова лись как административная информация, так и данные последующих исследований: о длительности периода без работы, вероятности по лучения работы, самозанятости и заработке. Для оценки воздействия каждой из пяти программ на эти параметры используется регресси онный анализ с учетом базисных демографических характеристик. Эта оценка позволила сделать несколько важных выводов. Некото рые из них имеют чисто практический характер: как разработать мно гостороннюю оценку; как использовать административные данные;


136

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

как решать проблемы, возникающие при проведении обследования; каков механизм создания отобранной по подобию выборки? Другие выводы относятся к построению анализа для получения стратегически значимой информации (это возможно благодаря детальной оценке воздействия программы на отдельные подгруппы). Результатом стали рекомендации по адресованию программ AПСЗ конкретным группам. Кроме того, был сделан вывод о том, что один тип AПСЗ вовсе не при водил к изменениям с точки зрения занятости и заработка.

II. Вопросы исследования и план оценки Данное исследование является частью более глобальной оценки четы рех стран: Чешской Республики, Польши, Венгрии и Турции. Общим для этих стран является высокий уровень безработицы, который частично объясняется сокращениями на государственных предприятиях. Преж де эта проблема решалась посредством пассивных программ помощи, например выплаты пособий по безработице и предоставления соци альной помощи. К этим мерам добавили активные программы содейст вия занятости, которые и стали объектом оценки. К пяти AПСЗ относят ся: «Программа социальнополезных работ» (создание новых рабочих мест), «Программа общественнополезных работ» (краткосрочная за нятость в государственном секторе), Программы для выпускников школ (субсидии работодателям при найме выпускников школ), пере подготовка (профессиональная подготовка, длящаяся от нескольких недель до нескольких месяцев) и программы для инвалидов или людей с физическими недостатками. Масштаб последнего компонента доста точно невелик, и он не включен в настоящую оценку. Имеется два исследовательских вопроса. Первый: имеют ли участ ники различных активных программ содействия занятости больше шансов вернуться на рынок труда, чем неучастники, и есть ли разни ца в результатах между подгруппами и при разных условиях на рын ке труда? Второй вопрос: какова эффективность каждой AПСЗ по за тратам и как можно было бы ее усовершенствовать? Оценка осуществляется с использованием ретроспективной ква зиэкспериментальной модели, т.е. по сути отобранной по подобию когорты. Участники сравниваются по подобию со сконструирован ной группой неучастников (на основе информации, полученной из административной документации), которые зарегистрированы в го сударственной службе занятости, но не были выбраны для участия в АПСЗ. Основным моментом является то, что отбор из группы участ ников АПСЗ случаен. Далее результаты для отдельных лиц сравнива


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

137

ются с результатами представителей, не участвующих в AПСЗ (на ос новании возраста, пола, уровня образования, количества месяцев без работы, размера города, семейного положения и типа последней ра боты). Одной из сильных сторон оценки является подробный анализ группы участников и группы сравнения. При применении этого подхода неизбежно возникают проблемы, которые подробно рассматривались в других работах (Bartless, 1995; Heckman и Smith, 1995). Одной из очевидных проблем, которая при сутствует при любом случае нерандомизированного отбора, являет ся эффект «снятия сливок»: в программу обучения отбирают участни ков на основе ненаблюдаемых или не измеряемых исследователями характеристик. Вторая существенная проблема такова: в случае про фессиональной поддготовки неучастники могли заменить государ ственную программу другими типами подготовки. Третья проблема заключается в том, что субсидии, направленные на трудоустройство, могли привести к замене одной группы работников на другую.

III. Данные Весьма интересным аспектом данной оценки было использование государственных административных данных при формировании границ выборки для обследования. Специалисты, проводившие об следование, посетили Министерство труда и социальных проблем (МТСП) в Праге, а также три местных бюро по трудоустройству, что бы познакомиться с методикой управления и проведения AПСЗ и по лучить административные данные об участниках программ. На осно вании полученных результатов для обследования были выбраны 20 районов, исходя из их географического положения и различий в промышленных характеристиках. Районы сильно различались по уровню безработицы. В исследовании содержались как количествен ные вопросы, касающиеся ключевых результатов программы, так и качественные вопросы оценки программы ее участниками. Еще одной ценной составляющей было пилотное обследование, проведенное в четырех районах. Благодаря этому (а данный прием всегда важен) были выявлены не только технические, но и юридиче ские трудности, которые нередко могут возникнуть при использова нии административных документов. Проблема состоит в толковании закона о невмешательстве в частную жизнь: в данном случае MТСП не дало разрешения на прямую рассылку по почте, а потребовало, что бы потенциальные респонденты направили в бюро по трудоустрой ству официальное разрешение на предоставление их адресов. Изза


138

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

этого в реализации обследования возникли задержки, выросла стои мость, а число ответов значительно сократилось. Обследование проводилось в начале 1997 г. на основе случайной вы борки из 24973 человек, зарегистрированных в бюро по трудоустройст ву. Из них 9477 человек в 1994–1995 гг. принимали участие в АПСЗ. Доля откликов неучастников составила 14%; для участников она равнялась 24,7%; таким образом, общее число респондентов составило 4537 чело век. Такое катастрофически низкое количество откликов было прямым следствием юридического постановления: большинство людей не отве тили на первоначальный запрос, однако среди тех, кто согласился пре доставить свой адрес, доля откликов была высока. Еще более серьезной проблемой стало то, что данные об итоговом смещении отсутствовали.

IV. Эконометрические методы Трудность оценки сложного и изменчивого рынка рабочей силы можно представить по тому факту, что использовалось семь различ ных показателей результата: процент имеющих работу в настоящее время, процент имеющих собственное занятие, процент когдалибо имевших работу, продолжительность безработицы, продолжитель ность получения пособий по безработице, сумма выплат пособий по безработице и месячный заработок в настоящий момент. Впрочем, при оценке применялся достаточно простой подход: для определения воздействия программы использовались простые разли чия между группами и ОМНК со специальными бинарными перемен ными для групп. Было расчитано общее воздействие, затем воздейст вия для каждой из подгрупп (по возрасту, полу, образованию, и — для заработка по размеру компании). Это последнее исследование было особенно полезным, поскольку оно выявило подгруппы, для которых воздействие программ отличалось от обычного; это обусловливало со вершенно иные стратегические выводы. Действительно, основная ре комендация оценки состояла в том, чтобы повысить адресность АПСЗ.

V. Кто проводил оценку Данная оценка была частью исследования активных программ со действия занятости в четырех странах. Ее особая цель — получить представление о воздействии АПСЗ в различных экономических ус ловиях. Оценка проводилась под руководством Комитета по управле нию проектом, в состав которого входили представители Всемирно го банка, представители каждой из четырех стран, иностранных фи


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

139

нансовых учреждений и компаний, обеспечивавших техническую поддержку (Abt Associates и Upjohn Institute). Для проведения опроса группой была нанята частная фирма. Это было сделано для получения более качественных данных, а также для того, чтобы исключить возможность давления в случае проведения опроса местным бюро по трудоустройству. Следует отметить, что до стоверность обследования могла бы быть снижена в случае проведе ния опроса Службой занятости. Действительно, проблема морально го риска является, как правило, очень важной; она возникает в том случае, если агентство, отвечающее за переподготовку, занимается также и сбором информации о ее результатах.

VI. Результаты Полученные результаты типичны для оценки программ обучения. Неко торые программы, возможно, при определенных условиях оказывают определенное (хотя и относительно слабое) воздействие на некоторые категории работников. Сильной стороной оценки является то, что она позволила выявить одну программу, которая не давала никакой отдачи — не было положительного воздейстивия ни на ситуацию в целом, ни на от дельные подгруппы. Еще одной сильной стороной было представление самой оценки и ее результатов: это особенно важно, когда с оценкой зна комятся разработчики стратегии и лица, принимающие решения. В дан ном случае по каждой программе представлены таблицы, где показан вы игрыш в заработной плате и занятости, причем все данные приведены как в агрегированном виде, так и для каждой подгруппы. Большим же недостатком является отсутствие анализа затрат и выгод, хотя первоначально о его проведении сообщалось. Было бы очень полезно сопоставить данные относительно общей эффектив ности с явными и скрытыми затратами программы. Так, хотя оцен щики и обнаружили, что одна из программ увеличивала вероятность трудоустройства для всех, следует отметить, что «стоимостью» такого результата была 9месячная программа обучения. Полный расчет от дачи от инвестиций объединил бы явные затраты программы с аль тернативной стоимостью времени участников и позволил бы срав нить их с увеличением заработка и занятости.

VII. Приобретенный опыт Из исследования можно сделать несколько важных выводов. Вопер вых, следует отметить прагматические компоненты, которые были рас


140

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

смотрены во введении, в частности важность учета политической ситу ации при разработке плана оценки. Невозможность убедить Службу за нятости в важности проекта по оценке привела к тому, что эффектив ность применения инструмента обследования была значительно сни жена. Вовторых, данное исследование стало хорошим примером пост роения отобранной по подобию выборки. И, наконец, оценка показала важность проведения не только общего анализа, но и анализа для под групп, что позволяет осуществлять успешные адресные действия.

VIII. Источники Benus, Jacob, Grover Neelima, Jiri Berkovsky and Jan Rehak, Czech Repub lic: Impact of Active Labor Market Programs, Abt Associates, Cambridge Mass and Bethesda Md, May 1998. Burtless, Gary. 1995. «The Case for Randomized Field Trials in Economic and Policy Research». Journal of Economic Perspectives, 9 (2): 63–84. Heckman, James J., and Jeffrey A. Smith. 1995. «Assessing the Case for Social Experiments», Journal of Economic Perspectives, 9 (2) Spring 1995, p. 85–110.

Схема, использованная при разработке оценки активных программ содействия занятости в Чехии Успешная программа

Поступление выгод

Кредит

Доход и сбережения

Эффек тивность по затратам

Объединения женщин

Уверенность в себе и статус

Большой масштаб

Самосто ятельный институт

Финансо вая устойчи вость

⇔ Образование

Знания и практика

Ресурсы программы

Промежуточ ные выгоды

Повышение продовольст венной безо пасности до мохозяйств Повышение качества здоровья и питания

Более долгосрочные результаты


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

141

Приложение 1.6. Воздействие программы «Кредит с образованием» на состояние питания матерей и младенцев: программа Сельского банка Нижней Пра в Гане I. Введение Описание проекта. Программа «Кредит с образованием» сочетает элементы программы банка Грамин по обучению по таким вопросам, как основы здравоохранения, питания, контроль за рождаемостью и увеличение интервалов между родами, развитие навыков ведения мелкого бизнеса. Цель программы — улучшить состояние питания и его гарантированность для бедных домохозяйств Ганы. В рамках программы «Свобода от голода» совместно с Международной про граммой питания университета Калифорнии, Дэвис, бедным сель ским женщинам из восточного района Шама Аханта Западного реги она Ганы предоставлялись услуги программы «Кредит с образовани ем». Пять сельских банков стали партнерами в предоставлении тако го рода услуг. К марту 1997 г. было выдано более 9000 займов на об щую сумму 600000 долл. США, причем показатель возврата средств никогда не опускался ниже 92%. Чем интересна оценка. Данная оценка интересна по трем сообра жениям. Вопервых, это приемлемость структуры выборки. Програм ма осуществлялась в 19 общинах, и данные были собраны для трех различных групп женщин: участвовавшие в программе не менее од ного года; женщины, живущие в общинах, охваченных программой, но не участвующие в ней; женщины из контрольных общин. Вовто рых, в исследовании содержится четкое описание подхода, который лег в его основу: определяются и оцениваются как среднесрочные, так и долгосрочные результаты. Наконец, в оценке удачно сочетают ся качественные и количественные показатели, причем количествен ные результаты часто сопровождаются отдельными интересными примерами.

II. Вопросы исследования и план оценки Задача исследования — определить влияние программы на: а) состо яние питания детей; б) экономические возможности женщин (доход,


142

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

сбережения) вкладывать средства в питание и здравоохранение; в) знание и использование женщинами практики кормления грудью, отъема от груди, умения справиться с диареей и проведение профи лактических мероприятий; г) способность женщин обеспечить сво им детям здоровое питание. При проведении этих оценок были разграничены конечные цели (улучшениие состояния питания и обеспечение гарантированности питания на уровне домохозяйства) и промежуточные результаты (из менение поведения, сокращение бедности и повышение самостоя тельности женщин). Для оценки воздействия программы на состояние питания детей, экономические возможности матерей, самостоятельность женщин и использование матерями новых приемов в области питания и ухода за ребенком использовался квазиэкспериментальный подход (опро сы 1993 и 1996 гг.). В течение первого периода всего было обследова но 299 пар мать/ребенок, в течение второго периода — еще 290 дру гих пар, что позволило собрать как качественную, так и количествен ную информацию. Схема оценки была достаточно сложной. Сельский банк Нижней Пра определил 19 общин, которые еще не пользовались услугами программы «Кредит с образованием». Консультанты разделили об щины на крупные и малые (больше или меньше 800 жителей), после чего провели повторное разделение в зависимости от степени уда ленности общин от центральной дороги. На каждом этапе отбора 13 из 19 общин определялись либо в контрольную, либо в эксперимен тальную группу. Три общины были включены в программу по поли тическим соображениям. Еще три были выбраны в качестве контро ля по подобию с точки зрения их схожести, уровня коммерческого развития, размера и доступа к центральным дорогам. Две общины вы пали из программы изза отсутствия интереса и небольшого числа общин в классификации. Таким образом, в последующем обследова нии рассматривалось только 17 общин. Для базисных обследований были выбраны десять пар мать/ребе нок с детьми в возрасте 12–23 месяцев из небольших общин; еще тридцать пар были выбраны из крупных общин. В результате возник ли две серьезные проблемы. Вопервых, подобная схема не позволя ла в ходе обследований наблюдать одних и тех же женщин в течение всего периода, поскольку лишь у незначительного числа женщин из базисного обследования были младенцы и во время обследования 1996 г. Вовторых, ограничение по возрасту настолько сильно сокра тило вторую выборку, что при обследовании 1996 г. выборку при


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

143

шлось расширять за счет женщин с детьми в возрасте до трех лет. Главным преимуществом этого сложного метода оценки была воз можность классифицировать женщин в базисных выборках как буду щих участниц и неучастниц программы. Было проведено обследование женщин трех типов: участниц и неучастниц из адресных общин, а также женщин, проживающих в контрольных общинах. Все участницы были включены в исследова ние, а из последних двух типов выбирались на случайной основе женщины с детьми в возрасте до трех лет. Следует отметить, что об щий объем выборки (360 человек) был рассчитан исходя из средне квадратичных отклонений, обнаруженных в предыдущих исследова ниях, т.е. требования, согласно которому выборка должна была обна руживать разницу 0,4 в значениях zмножества между контрольной и экспериментальной группами при намеченном уровне значимости 0,05 и мощности 0,8.

III. Данные По домохозяйствам, матерям и детям были собраны как количест венные, так и качественные данные. Особое внимание уделялось промежуточным и долгосрочным показателям результатов, и осо бенно комплексной природе результатов. Для промежуточных результатов это вызвало ряд вопросов, оце нивающих экономический потенциал женщин (доходы; прибыль; вклад в общий доход домохозяйства; сбережения; предприниматель ские способности и расходы на продукты питания и ведение домаш него хозяйства). Аналогичным образом другой ряд показателей оце нивал знания женщин в области здоровья и питания (кормление гру дью, кормление ребенка, лечение и профилактика диареи, вакцина ция). Еще один ряд показателей отражал уровень самостоятельности женщины (уверенность в себе и надежда на будущее; статус и приня тие решений в домохозяйстве; статус и социальные обязанности в обществе). Для оценки конечных результатов (например, условия пи тания и гарантированность обеспечения продуктами) использова лись прямые показатели (антропометрические измерения — в пер вом случае, вопросы о голоде — во втором). Хотя запланированный объем выборки составлял 360 пар мать/ребе нок, в первом исследовании было опрошено всего 299 пар (основной причиной стало исключение двух общин из выборки), а во втором — 290. Характеристики матерей и домохозяйств сопоставлялись у всех трех групп. В результате сравнений значительных отличий выявлено не было.


144

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

IV. Эконометрические методы Примененные эконометрические методы были достаточно просты; они использовали сильные стороны плана исследований. Для каждо го из всех разнообразных показателей результата вычислялась сред няя величина по группе, после чего проводились проверки по крите рию Стьюдента (tстатистика), чтобы определить, являются ли разли чия между участниками программы и контрольной группой статис тически значимыми. Фактически это методика простых различий. Данные сопровождались большим количеством графиков. Вместе в тем ряд основных вопросов остался без ответа. Вопер вых, выборка была кластерной. Поскольку при конструировании вы борки результаты для каждой отдельной пары мать/ребенок будут коррелировать с другими парами в общине, то стандартные ошибки будут смещаться вниз, в то время как tстатистика будет ложно откло няться вверх. Если индивидуальные результаты идеально коррелиру ют друг с другом, то объем выборки фактически составляет 17, а не 300. Все это придает значимость тем результатам, которые на самом деле могут быть совершенно незначительными. Вовторых, хотя вы борка была явно стратифицированной, последствия применения по добного метода не были отражены: кто выиграл больше — крупные или малые общины, общины, расположенные близко к дороге или далеко от нее? Это особенно странно потому, что скорее всего выбор подобной схемы был обусловлен стремлением получить результаты, полезные для выработки будущей политики. Втретьих, несмотря на обсуждение вопросов смещения при отборе, не проводилось никако го формального анализа этой фундаментальной проблемы и не вно силось какихлибо поправок. И, наконец, несмотря на значительные различия в получении ответов на отдельные вопросы анкеты, что указывает на потенциальное смещение выборки даже в рамках само го опроса, эта проблема не была решена или рассмотрена.

V. Кто проводил оценку Международная некоммерческая организация «Свобода от голода» разработала программу «Кредит с образованием», оценка которой проводилась ею совместно с Международной программой пита ния университета Калифорнии, Дэвис. При реализации програм мы данная организация сотрудничала с Сельским банком Нижней Пра (независимым банком, управляемым Банком Ганы), а впослед ствии — и с четырьмя другими сельскими банками Ганы. Сельский


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

145

банк Нижней Пра сыграл важную роль в определении и отборе об щин для обследования.

VI. Результаты Промежуточные цели были в основном достигнуты: хотя доходы и расходы женщин не увеличились, их деловые навыки и сбережения значительно возросли. Произошел общий рост информированнос ти в области здоровья и питания. Женщины стали более самостоя тельными. Если говорить о конечных целях, то оценка указывает, что программа действительно повысила уровень продовольственной бе зопасности домохозяйств и улучшила состояние питания детей, од нако изменений в состоянии питания матерей не произошло.

VII. Приобретенный опыт Главным достижением данной оценки является очень интересный метод составления выборки: стратификация и выбор групп участни ков/неучастников в зависимости от их будущего участия представля ют собой очень полезный подход. Еще одним выводом является эф фективное использование многомерных результатов, причем иногда по неколичественным факторам, например по самостоятельности женщин. Другим важным уроком является ценность неколичествен ных данных для демонстрации валидности качественных выводов.

VIII. Источники MkNelly, Barbara and Christopher Dunford (in collaboration with the Pro gram in International Nutrition, University of California, Davis). 1998. «Impact of Credit with Education on Mothers’ and their Young Chil dren’s Nutrition: Lower Pra Rural Bank Credit with Education Program in Ghana», Freedom from Hunger Research. Paper № 4, March.


146

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Приложение 1.7. Учебники и результаты тестов: Пример итоговой оценки в Кении I. Введение Описание проекта. Оценка воздействия разного рода инвестиций в образование на учебные показатели особенно важна в развиваю щихся странах. Предыдущие исследования показали, что предостав ление учебников является рентабельным способом повышения успе ваемости учеников (по результатам тестирования). Удачным приме ром служит Кения, где ресурсы, которыми располагает система обра зования, крайне скудны. Оценщики отметили, что в третьем, четвер том и пятом классах у детей есть только один учебник на шестерых, в более старших классах — один на четверых; кроме того, в школах очень низкий уровень материальнотехнического обеспечения — многие дети вынуждены во время занятий сидеть на полу. В ходе оценки изучалось воздействие программы на результаты обучения. В рамках этой программы, проведенной в 1996 г., всем классам в случайно выбранном подмножестве начальных сельских школ Кении (25 из 100) были предоставлены учебники. Учебники ан глийского языка были выданы классам с 3го по 7й из расчета шесть учебников на 10 детей, учебники по математике 3му, 5му и 7му классам из расчета один учебник на двух детей, а учебники по естест венным наукам получили 60% учеников 8го класса. Кроме того, каж дому классу предоставлялось методическое руководство для учителя. Перед выдачей учебников школьникам были предложены тесты, про веряющие уровень их знаний. Через 10 месяцев тестирование было проведено повторно. Аналогичное тестирование было проведено в контрольных школах. Этот подход сочетает метод рандомизации с рефлексивным сравнением. Чем интересна оценка. Эта оценка является прекрасным приме ром разработки и применения продуманного плана обследования с последующим использованием соответствующих эконометрических методов. В ее ходе особенно удачно показано, как осуществлять про гнозы одноуровневых результатов на основе стратифицированных данных, как использовать показатели, полученные при использова нии метода двойных различий, как решать проблему смещения при отборе и смещении выбытия, а также что делать с ошибками измере


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

147

ний и вопросами вытеснения программой родительских взносов. Еще одной очень интересной составляющей оценки является при стальное внимание к воздействию программы на школьников во всех компонентах. Наконец, хорошим примером рассмотрения всех аспектов программы является определение и анализ возможных по бочных эффектов.

II. Вопросы исследования и план оценки Основная задача исследования — оценить воздействие наличия учебников на результаты обучения. Поскольку это понятие доста точно сложно, результаты определяются как различие между школа ми, получившими учебники, и контрольными школами по несколь ким параметрам: результаты после тестирования, улучшение резуль татов тестирования, различия между сочетаниями «предмет–год обучения» при полученных учебниках и в отсутствие, уровень актив ности детей и учителей. Данная оценка рассматривала также другие побочные эффекты (которым часто не уделяют внимания), в част ности возможность снижения активности родителей в поисках дру гих источников финансирования вследствие предоставления такой субсидии. Избранный метод оценки достаточно сложен. В 1995 г. Министер ство образования выбрало для участия в программе 100 нуждающих ся школ. Эти школы были разделены на четыре группы, сначала по географическому принципу, а затем — по алфавиту в рамках геогра фических районов. Далее, на основании алфавитного деления, было проведено упорядоченное распределение школ по четырем группам следующим образом. В соответствии с графиком помощь в виде учеб ников должна была поступить в первую группу в 1996 г., во вторую группу — в 1997 г. и т.д. Учебники по математике, английскому языку и естественным наукам предоставлялись различным классам, пре имущественно с 3го по 7й.

III. Данные Перед распределением учебников во всех этих классах в каждой из 100 школ были проведены экзамены по математике, английскому языку и естественным наукам. Однако непосредственно для оценки используются результаты предварительных тестирований, проведен ных в 3м–7м классах в октябре 1996 г., и последующих тестирова ний, проведенных в октябре 1997 г. Таким образом, имеются данные


148

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

об успеваемости 8800 школьников (из всех классов) по каждому предмету в 100 школах, и в совокупности — свыше 26000 наблюде ний. Поскольку за этот период учебники получили 25 школ, школь ники в этих школах стали группой «с учебниками» (эксперименталь ной), ученики остальных 75 школ были контрольной группой. Поми мо результатов тестов были собраны данные о финансовом положе нии школ и методиках преподавания. Информация об использовании учебников собиралась обученны ми наблюдателями, которые посещали каждую школу и поминутно фиксировали восемь возможных действий в классе (от общих дейст вий учителя и учеников до использования ими учебников). Подоб ные записи велись в течение 15 минут, затем они использовались для расчета процента времени, потраченного учителями и учениками на каждый вид деятельности в течение 551 занятия. Cотрудники на местах также опрашивали 4–5 школьников из каждого класса, запол няя анкету на основе их ответов. Наконец, были собраны данные о состоянии материальнотехни ческой базы школ. Они были получены с помощью анкетирования школ и школьных комитетов в 1997 г., в процессе которого были за даны вопросы о деятельности по сбору средств.

IV. Эконометрические методы Стоит отметить интересные вопросы, возникшие при использова нии подобного метода выборочного обследования. Вероятно, тесты внутри школы и внутри каждого класса коррелируют друг с другом. Аналогично будут коррелировать друг с другом результаты тестов по разным предметам для одного и того же ребенка. Кроме того, можно оценивать программу по воздействию на итоговый уровень знаний школьников или на прирост их знаний. Вообще, результаты програм мы должны быть устойчивы при использовании различных экономе трических методик и различных способов анализа данных, что и имело место в данном случае. Сначала были проведены расчеты на основе простой регрессии с бинарной переменной, с бинарными значениями воздействия для каждого сочетания «класс–предмет» со случайными эффекта ми школы, класса или предмета (зависимая переменная — измене ние в результатах, полученных при сравнении предварительного и последующего тестирования). Привлекательной чертой такого ме тода является возможность различных сочетаний бинарных пере менных:


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

149

• объединение нескольких классов для оценки воздействия учебни ков применительно к конкретному учебному предмету; • объединение всех результатов тестирования для оценки среднего воздействия учебников на класс; • объединение всех классов и предметов для оценки средневзве шенного воздействия учебников на все классы и предметы. Безусловно, способ учета случайных эффектов зависит от приме няемого подхода, и в ходе оценки это показано достаточно ясно. Далее при оценке используется метод двойных различий; он до статочно прост, так как преполагает сравнение результатов предва рительного и последующего тестирований, полученных в контроль ных и участвующих в программе школах. Третий подход немного сложнее, так как он имеет дело с вариа тивностью внутри школы, и на нем стоит остановиться подробнее. Используемая здесь регрессия предусматривает регрессию результа тов тестов по бинарным переменным, показывающим, относились ли ученики 1) к школе, снабженной учебниками, и 2) к сочетанию «класс–предмет», получившему учебники. Благодаря этому подходу можно снять проблемы, обусловленные неоднородностью школ и трудностями фомирования выборки. Проблема выборки решается так: учитывается, как получение (или неполучение) учебника повли яло на итоги тестирования для одних и тех же учащихся. Впрочем, допускается, что результаты тестирования в различных сочетаниях «класс–предмет» можно складывать и вычитать; столь сильное допу щение может стать той причиной, по которой данный поход дает весьма неодинаковые результаты. При проведении оценок постоянно возникает желание зафикси ровать не только средний эффект программы, но и влияние на под группы реципиентов. Данная оценка служит хорошей иллюстрацией использования показателей связи (взаимодействия) и квантильной регрессии. Первый подход рассматривает связь между первоначаль ными результатами тестов и бинарными переменными наличия учебников для выявления, воздействия на успевающих учеников по сравнению с воздействием на отстающих; применяются как факти ческие, так и выведенные значения (первоначальные результаты тес тов коррелируют с ошибочным членом, что приводит к смещению). Второй подход, использующий квантильную регрессию, также поле зен и становится все более популярным. Говоря конкретнее, посколь ку регрессия МНК отражает только среднее воздействие программы по предоставлению учебников, квантильные регрессии позволяют


150

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

показывать воздействие программы в зависимости от места школь ника в распределении. Еще одним плюсом оценки является то, как определяется смещение выборки и выбытия. В данной программе основной источник возмож ных проблем заключается в разных показателях перевода в следующий класс и повтора года в школах, получивших учебники, и в тех, что вхо дят в контрольную группу. Например, в школах, получивших учебники, перевод из 2го класса (не получавшего учебники) в 3й класс (получив ший учебники) может происходить дифференцированно. Разница в показателях перевода занижает результаты в классах, куда приходят худшие ученики, и, возможно, завышает результаты в классах, откуда они ушли. Эти два эффекта были зафиксированы в оценке благодаря повторному расчету модели двумя способами: исключением всех вто рогодников для обоих типов школ, а также исключением из рассмотре ния худших учеников в каждом классе. Устойчивость результатов при использовании обоих подходов подтверждает воздействие программы. Наконец, как пример учета важности побочных эффектов данная оценка предоставила количественное выражение воздействия пре доставления учебников на процесс сбора средств родителями. Было обнаружено, что программа действительно привела к «вытеснению» взносов родителей, поскольку сумма не связанной с программой по мощи, которую получили «контрольные» школы, составляла 465 долл. США; для школ, в которые были поставлены учебники, эта сум ма равнялась 267 долл. США (средняя стоимость учебников, предо ставленных в рамках программы, составляла 485 долл. США). При анализе методом простой регрессии была рассмотрена и подтверж дена гипотеза, согласно которой в небольших школах сокращение взносов было более существенным по сравнению с крупными. Кто проводил оценку. Проект финансировался голландской неком мерческой организацией International Chrestelijk Steunfonds. Оценка проводилась профессором Массачусетсского технологического ин ститута Кремером и двумя экономистами Всемирного банка Полом Глевве и Сильви Мулен. Часть расходов взяли на себя Национальный научный фонд (National Science Foundation) и Исследовательский ко митет Всемирного банка (World Bank research committee).

V. Результаты Результаты этой оценки значительно отличаются от других оценок программ по предоставлению учебников. Основной вывод заклю


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

151

чался в том, что учебники не оказывали значительного влияния на средние школьные показатели; однако применительно к наиболее успевающим ученикам результаты были существенны. Устойчивость данного вывода была подтверждена применением различных мето дов оценки и срезов данных.

VII. Приобретенный опыт Самым ценным уроком, извлеченным из этой оценки, была важ ность использования различных эконометрических методов для проверки устойчивости эмпирических результатов. Хотя сбор дан ных был близок к идеальному, очень важно, что оцениваемое воз действие программы остается примерно одинаковым при использо вании различных допущений и характеристик эконометрических моделей. Эффективным способом анализа воздействия на различ ные подгруппы стало также применение квантильной регрессии и показателей связи. Наконец, важно выявлять и определять побочные эффекты — в данном случае потенциальное вытеснение средств из других источников.

VII. Источники Glewwe, Paul; Michael Kremer; and Sylvie Moulin. 1998. «Textbooks and Test Scores: Evidence from a Prospective Evaluation in Kenya», Development Research Group (DECRG), World Bank, Washington, D.C.


152

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Приложение 1.8. Оценка Проекта создания сельскохозяйственной информационно& консультативной службы в Кении I. Введение Описание проекта. В рамках первого Национального проекта со здания сельскохозяйственной информационноконсультативной службы (ИКС) (National Extension Project, NEPI) в Кении в 1983 г. бы ла введена система «Обучение и посещение» (ОиП) (Training and Visit, T&V) для оказания информационноконсультационных услуг в сель ском хозяйстве. Проект преследовал две цели: институциональное развитие и предоставление информационноконсалтинговых услуг фермерам с целью поднять производительность сельского хозяйст ва. В 1991 г. за первым проектом последовал второй NEPII, призван ный закрепить достижения, полученные благодаря NEPI. Предусмат ривалось расширение непосредственных контактов с фермерами, повышение качества предоставляемых через ИКС информации и технологий, повышение квалификации сотрудников службы и фер меров, а также дальнейшее институциональное развитие. Чем интересна оценка. Показатели работы кенийской ИКС доста точно противоречивы и являются частью более широкой дискуссии о рентабельности подхода ОиП в предоставлении подобных услуг. Несмотря на напряженность дебатов, важность роли информацион ноконсультационных услуг в стратегии развития, поддерживаемой Всемирным банком для Африки, а также на значительный объем ин вестиций, было сделано очень мало попыток строгой оценки инфор мационноконсультационных услуг с применением ОиП. В случае с Кенией дополнительным поводом для споров была очень высокая оценка отдачи от ОиП, полученная в предыдущем исследовании, и отсутствие при этом убедительных наглядных результатов, в том числе — неудовлетворительные результаты работы сельского хозяй ства страны в последние годы. Разногласия между Департаментом оценки операций (ДОО) (Operations Evaluation Department) и Африканским региональным отделом Всемирного банка по поводу работы NEPI сохранялись до проведения данной оценки, в рамках которой делается попытка из мерить воздействие программы на сельское хозяйство с помощью тщательного эмпирического подхода. С помощью системы управле


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

153

ния, ориентированной на результат, в ходе оценки исследуется воз действие предоставляемых в рамках проекта услуг на производитель ность и эффективность работы ферм. Также выводятся показатели результатов программы (т.е. знакомство фермеров с новыми метода ми и их использование), ее отдачи (например, интенсивность и каче ство контакта) для оценки работы ИКС и подтверждения фактичес кого или потенциального воздействия.

II. План оценки Стратегия оценки служит примером удачного подхода к примене нию целого ряда методик оценки реализации программы, ее резуль татов и воздействия на производительность и эффективность рабо ты ферм. (Попыток изучить воздействие на благосостояние домохо зяйств, которое могло испытывать влияние целого ряда факторов, не связанных с мероприятиями в рамках ОиП, не предпринималось.) Данная стратегия опирается как на количественные, так и на качест венные методы, поэтому устойчивые и обоснованные эмпирические выводы о воздействии программы могли быть дополнены оценкой со стороны ее бенефициаров и интервью персонала, где подчеркива ются практические вопросы процесса реализации. В исследовании также применялся метод субъективной оценки для определения го товности фермеров оплачивать услуги ИКС. Методика субъективной оценки предполагает выявление той ценности, которую люди прида ют использованию или неиспользованию различных общественных и частных благ и услуг. Интервьюируемым предлагают обозначить свою готовность платить (принять) за то, чтобы избежать (принять) гипотетического изменения в объеме предоставляемых благ или ус луг, т.е. «субъективный» результат. В этом случае фермерам предлага ли указать, сколько они были бы готовы заплатить за продолжение предоставления информационноконсультационных услуг в том случае, если бы государство прекратило их предоставлять. Количественная оценка осложняется тем, что система ОиП была введена сразу на национальном уровне; изза этого стало невозмож ным сравнивать экспериментальные группы («с программой») и кон трольные группы («без программы»). Таким образом, при оценке предполагалось использовать имеющиеся данные о сельскохозяйст венной производительности домохозяйств до проекта с тем, чтобы провести ограниченное сравнение ситуации «до» и «после» при по мощи метода панельных обследований. Для этого существующие данные по домохозяйствам были дополнены новым опросом, что


154

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

позволило сформировать панель. Разработанные для этого исследо вания по оценке бенефициаров провести не удалось, но при анализе были использованы результаты двух недавно проведенных в Кении оценок бенефициаров. Особенности обследования в том, что в нем использованы существующие данные (обследования домохозяйств, оценка с участием общственности и т.п.), дополненные более инфор мативными данными, собранными специально для данной оценки.

III. Методы сбора и анализа данных Выбранная для проведения оценки стратегия предполагает использова ние нескольких существующих источников количественных и качест венных данных. Количественная оценка основана преимущественно на обследовании домохозяйств 1998 г., проведенном Департаментом оцен ки операций (ДОО) Всемирного банка. Это обследование формирует панельные данные при помощи повторного контакта с максимальным количеством обнаруженных домохозяйств, участвовавших в обследова нии 1990 г., которое проводилось Африканским техническим департа ментом (Africa Technical Department); оно, в свою очередь, использовало подвыборку Обследования бюджета сельских домохозяйств (Rural Household Budget Survey) в 1982 г. (Три указанных обследования форми руют панельные данные примерно для 300 домохозяйств. Обследования отражают демографические характеристики домохозяйств, характери стики ферм, а также данные об использованных ресурсах и полученных результатах в сельскохозяйственном производстве. В обследованиях 1990 и 1998 гг. также собиралась информация о контактах с ИКС, в том числе о знании и применении той информации, которая предоставля ется этими службами.) Эти данные были дополнены обследованием пер сонала ИКС, несколькими недавно проведенными или заказанными Ми нистерством сельского хозяйства анализами работы этих служб, а также результатами индивидуальных бесед и проведения фокусгрупп с со трудниками служб. В обследовании использованы также две недавние оценки бенефициаров, полученные в результате таких исследований, как Обследование 1997 г., проведенное «ЭкшенЭйд Кения» (ActionAid Kenya), в котором выявлялись взгляды фактических и потенциальных пользователей услуг ИКС, и Оценка бедности со стороны участников со ответствующих программ (Parcticipatory Poverty Assessment), проведен ная в 1994 г. Последнее исследование, в котором были поставлены во просы о предоставлении общественных услуг, включая работу ИКС, про водилось Всемирным банком совместно с Британской администрацией по развитию заморских территорий (British Overseas Development


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

155

Administration), Африканским фондом здравоохранения и исследова ний (African Medical and Research Foundation), ЮНИСЕФ и правительст вом Кении. Анализу были подвергнуты как реализация, так и результаты ке нийской программы ОиП. Исследование оценивает институцио нальное развитие, опираясь на вторичные и качественные данные: опросы персонала, интервью и министерские обзоры ИКС. Качество и количество предоставляемых услуг определялись сочетанием оце нок участников (бенефициаров), опросов персонала, уровня роста, а также характером и интенсивностью контактов между ИКС и ферме рами, которые были взяты из обследования Департамента оценки операций 1998 г. Данные этого обследования используются также для измерения результатов программы, определяемых как знание фермерами рекомендаций ИКС и их использование. Результаты программы (ее фактическое воздействие на произво дительность сельского хозяйства Кении) оцениваются соотнесением предложения информационноконсультационных услуг и измене ний производительности и эффективности на уровне ферм. С уче том панельных данных о домохозяйствах, воздействие программы оценивают на основе развернутого анализа данных (Data Envelop ment Analysis, DEA) — непараметрического метода, позволяющего из мерить изменения в эффективности и производительности ферме ров за определенный период. Также используется эконометрический анализ, посредством которого измеряется воздействие предложения информационноконсультационных услуг на производительность ферм. Для непосредственного выявления готовности фермеров оп лачивать информационноконсультационные услуги используются методы субъективной оценки.

IV. Результаты Институциональное развитие NEPI и NEPII было ограниченным. По прошествии 15 лет результативность работы информационнокон сультативных служб увеличилась ненамного. Хотя в последнее время подходы к ИКС были пересмотрены, в целом представление о на правлениях будущего развития программы отсутствует. Управление системой продолжает оставаться слабым, а информационных сис тем практически не существует. Качество и количество предоставля емых услуг неудовлетворительны. Как бенефициары, так и персонал ИКС сообщают о том, что посещения редки и нерезультативны. В то время как сохраняется неудовлетворенный спрос на технически по


156

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

лезные услуги, государственная информационноконсультативная служба продолжает делать основной упор на простые агрономичес кие вопросы. Вместе с тем принятый подход (интенсивные контакты с ограниченным числом фермеров) подходит скорее для предостав ления технической информации. В итоге система предоставления информационноконсультационных услуг оказалась дорогой и не эффективной. Деятельность ИКС в прошлом оказывала незначитель ное влияние на знание фермерами рекомендаций и применение их на практике, что указывает на ограниченный потенциал воздействия. С точки зрения фактического воздействия на сельскохозяйственную производительность и эффективность, имеющиеся данные свиде тельствуют о незначительном позитивном воздействии информаци онноконсультационных услуг на техническую эффективность, в то время как воздействие на эффективность распределения ресурсов или общую экономическую эффективность отсутствует вовсе. Кроме того, исходя из имеющихся данных, существенного воздействия на производительность ферм со стороны предложения информацион ноконсультационных услуг выявить не удалось. Впрочем, данные свидетельствуют о том, что воздействие было относительно более высоким в тех областях, где прежде производительность была ниже, т.е. там, где пробел в знаниях, очевидно, был максимальным. Эти вы воды совпадают с результатами субъективной оценки. Подавляющее большинство фермеров (как тех, кто пользуется информационно консультационными услугами, так и тех, кто не получает их) готовы оплачивать консультации, что говорит о наличии неудовлетворенно го спроса. Однако предполагаемая стоимость этой услуги исходя из той суммы, которую они готовы заплатить, оказывается гораздо ниже той, что государство в настоящее время тратит на ее предоставление.

V. Стратегические выводы Оценка ИКС Кении стоит несколько особняком с точки зрения коли чества применимых для практической деятельности выводов, кото рые были сделаны на основе полученных результатов. Многие из этих выводов актуальны для разработки будущих проектов сельско хозяйственных информационноконсультативных служб. Вопер вых, оценка обнаруживает необходимость повышения адресности соответствующих услуг, при этом особое внимание следует обратить на те регионы и группы, где разрыв между средними и лучшими по казателями наиболее велик и потому воздействие программы может быть максимальным. Кроме того, рекомендации необходимо адапти


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

157

ровать к запросам фермеров, учитывая различия в технологических и экономических условиях на местах. Для того чтобы успешно обес печить такой уровень адресности, необходимо наладить регулярные и своевременные потоки передачи текущей и надежной информа ции, а также создать систему монторинга и оценки; это позволит обеспечить постоянную обратную связь с бенефициарами по вопро сам содержания услуг. Чтобы повысить эффективность программы, необходимо сокра тить число сотрудников ИКС и расширить охват. Это позволит до биться большей рентабельности. Технических нововведений недо статочно для того, чтобы оправдать высокую частоту посещений, а те, на кого в настоящее время не распространяются действия этих служб, требуют предоставления информационноконсультацион ных услуг. Эффективность программы ограничивается также приня тым в ней подходом, который предусматривает всеобщее предостав ление услуг, и тем, что используется преимущественно всего один прием — посещение ферм и предоставление стандартных, простых рекомендаций. В настоящее время популярны радиопрограммы, мо лодые фермеры более образованны, и в сельских районах Кении на чинают появляться альтернативные «поставщики» услуг (неправи тельственные организации). Рентабельность программы скорее все го может повысить применение гибкого разностороннего подхода к предоставлению услуг, особенно с использованием менее затратных средств донесения информации. Наконец, основные результаты оценки говорят о необходимости проведения институциональной реформы. Как и с другими услугами, большей эффективности можно было бы достичь благодаря более рациональной институциональной организации. В центре внимания должен быть клиент (фермер). Децентрализация разработки про граммы, наряду с механизмами участия общественности, которые обеспечивают фермеру «право голоса» (в таких вопросах, как совме стное участие в расходах и создание фермерских организаций), должна стать неотъемлемой частью системы предоставления услуг. Огромное значение имеет их финансовая приемлемость. Объем и интенсивность предоставления услуг должны исходить из существу ющих пробелов в теоретических знаниях и в технологии, а также из темпов появления новых технологий. Возмещение издержек (даже если оно частично) имеет несколько преимуществ. Оно гарантирует заинтересованность фермеров, затрагивает вопросы увеличения по дотчетности и контроля качества, позволяет лучше реагировать на спрос и снижает нагрузку на бюджет. Подобные рекомендации в на


158

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

правлении децентрализации деятельности ИКС в Кении, равно как и во многих программах консультационноинформационных услуг в Африке и других регионах мира, остаются темой для дальнейших ис следований.

VI. Стоимость оценки и администрирование Затраты. Общий размер средств, выделенных на оценку, составил 250000 долл. США. Эти средства предназначались для сбора и обра ботки данных обследования домохозяйств (65000 долл. США — хотя, возможно, фактические затраты при этом были выше), для опроса персонала ИКС и отчета консультантов (12500 долл. США), покрытия других расходов, связанных со сбором данных (12500 долл. США), оплаты работы аналитика (8000 долл. США). Чтобы представить пол ную стоимость исследования, к указанным значениям следует приба вить еще около 100000 долл. США (не отражены в официальных за тратах) в виде стоимости работы сотрудников во время обработки и анализа данных, а также при составлении отчета. Администрирование. Для обеспечения объективности и незави симости опроса от государственных информационноконсультатив ных служб и от Всемирного банка, обследование домохозяйств про водилось Институтом Тегемео Эгертонского Университета, (незави симый исследовательскй институт в Кении). Анализ выполнен со трудником Всемирного банка Мадуром Гаутамом.

VII. Приобретенный опыт Сочетание теоретической оценки с практической частью работы мо жет создать прочную основу для оценки воздействия программы, особенно в том случае, когда достижение желательного результата определяется многими факторами. Схема оценки предусматривает измерение ключевых показателей на важнейших этапах проекта, связывая ресурсы проекта с ожидаемыми результатами для того, что бы получить достаточное подтверждение воздействия программы. Для проведения эмпирической оценки необходимо непрерывное и интенсивное наблюдение. Работу по оценке можно значительно упростить, если имеется хорошая система мониторинга и оценки (monitoring and evaluation system), особенно при наличии хороших базисных данных. Впрочем, все необходимые условия для подобной деятельности бывают в наличии редко. Данная оценка весьма выиг


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

159

рала благодаря доступу к некоторым (хотя и ограниченным) данным по состоянию дел на предпроектной стадии, а также к независимым источникам данных для сравнения. Для получения надежных подтверждений при использовании раз личных аналитических подходов и источников данных очень важно проводитть перекрестную проверку выводов. Несовершенство дан ных и проблемы с их использованием ограничивают степень надеж ности индивидуальных ответов на ключевые вопросы оценки. Коли чественные и качественные оценки хорошо дополняют друг друга. Опыт данной работы показывает, что даже при отсутствии оценки бенефициаров, в опрос могут быть включены правильно составлен ные вопросы для получения как количественной, так и качественной информации. Подобная информация может оказаться полезным до полнением количественных оценок. Полезным инструментом при условии правильного его использо вании может стать субъективная оценка, особенно при определении ценности имеющихся общественных услуг. Результаты применения этой оценки являются обнадеживающими, а ответы выглядят доста точно рациональными и разумными.

VIII. Источники World Bank. 1999. World Bank Agricultural Extension Projects in Kenya: An Impact Evaluation. Operations Evaluation Department, Report № 19523. Washington, DC. Кроме того, в Департаменте оценки операций Всемирного банка можно получить следующие рабочие доклады: The Efficacy of the T&V system of Agricultural Extension in Kenya: Results from a Household Survey. Awareness and Adoption of Extension Messages. Reconsidering the Evidence on Returns to T&V Extension in Kenya. Farmer Efficiency and Productivity Change in Kenya: An Application of the Data Envelopment Analysis. The Willingness to Pay for Extension Services in Kenya: An Application of the Contingent Valuation Method.


160

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Приложение 1.9. Воздействие программы профессиональной переподготовки на занятость и заработную плату (PROBECAT) (Мексика) I. Введение Данный пример достаточно необычен в том смысле, что программа оценивалась трижды. Первая оценка была осуществлена Всемирным банком на основе данных 1992 г. (Revenga, Riboud and Tan, 1994), вто рая — Министерством труда Мексики на основе данных 1994 г. (STPS, 1995), а третья представляла собой обновление оценки Всемирного банка (Wodon и Minowa, 1999). Методики, использованные в первой и второй оценках, были весьма схожи и дали сходные результаты. Усовершенствования методики при третьей оценке обсусловили ре зультаты и выводы в отношении стратегии, достаточно отличные от предыдущих. Тот факт, что полученные в ходе трех оценок результа ты значительно отличались друг от друга, указывает на важность при меняемой методологии и данных, а также на необходимость осто рожной интерпретации результатов во время оценки программы. Описание проекта. PROBECAT (Programa de Becas de Caritacitacion para Trabajadores) — принятая в Мексике программа краткосрочной подготовки, цель которой — увеличить заработок и обеспечить тру доустройство безработных и уволенных работников. Управление программой осуществляют государственные бюро по трудоустрой ству. В период обучения, который длится от одного до шести месяцев, участники программы получают минимальную заработную плату; за тем местное бюро по трудоустройству направляет их на работу. Пер воначально масштаб программы был небольшим (около 50000 уча стников), однако за последние годы он резко увеличился, и сейчас ею ежегодно охвачено свыше 500000 человек. Чем интересна оценка. Ниже приведены наиболее интересные ас пекты. • Оценка 1994 г. интересна по четырем причинам: нестандартное использование существующих данных; построение контрольной группы путем сравнения по подобию, ясное признание много гранности результатов программы, особенно для неоднородных групп работников; подробный анализ затрат и выгод. Результаты


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

161

оценки показали, что воздействие программы на бенефициаров было весьма положительным. • В оценке 1995 г. повторно применяется методика оценки 1994 г. с использованием обновленных данных. Результаты также демон стрируют положительное воздействие программы. Поскольку структура и результаты оценки 1994 и 1995 гг. весьма схожи, то мы их рассматривать не будем. • Оценка 1999 г. проводилась как часть исследования бедности в Мексике на основе данных, использованных в оценке 1995 года, но на базе других эконометрических моделей. Меры контроля, учитывающие эндогенность перераспределения участников про граммы в пределах отдельных регионов Мексики, показали, что воздействие программы на вероятность приема на работу и раз мер заработной платы по окончании обучения оказывается гораз до меньшим (по сравнению с предшествующей их оценкой). Этот результат говорит не об отсутствии выгод от программы, а о том, что она действует скорее в качестве временной системы социаль ного обеспечения безработных, а не программы подготовки.

II. Вопросы исследования и план оценки В оценке 1994 г. авторы определяли влияние обучения на: а) вероят ность трудоустройства после трех, шести или двенадцати месяцев обу чения; б) время, проходящее до момента трудоустройства; в) размер месячного заработка, количество рабочих часов в неделю и почасовую заработную плату; а также г) отдачу от инвестиций на подготовку. В ходе оценки 1999 г. рассматривались те же вопросы, за исключе нием количества рабочих часов в неделю и почасовой заработной платы. Учитывая, что влияния на занятость и месячный заработок в ходе оценки не обнаружено, отдача от инвестиций равна нулю, про грамму и здесь можно рассматривать как инструмент социального обеспечения. Схема обеих оценок интересна в плане построения контрольной группы. В обоих случаях оценка сочетает существующее панельное ис следование рабочей силы (Encuesta Nacional de Empleo, ENEU) с панель ными данными обучаемых за тот же период. Таким образом, для опре деления контрольной группы из ENEU используются критерии отбора программы. Изза ограниченности данных нет никакой альтернативы подобному комбинированию исследований, и потому построение объ единенной выборки (контрольная и экспериментальная группы) мо жет быть подвергнуто критике, что отмечалось в оценке 1999 г.


162

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

• При использовании безработных в ENEU для формирования кон трольной группы предполагается, что до1993 г. масштаб програм мы был небольшим, вероятно, лишь незначительное число людей из контрольной группы приняло участие в программе (для оцени 1999 г. использовались данные для 1993–1994 гг.) • Сочетание двух случайных выборок (участники PROBECAT и без работные из ENEU) случайной выборкой не является; поэтому при отсутствии стандартных характеристик для остатка результаты регрессии могут не обеспечить устойчивых оценок параметров, особенно потому, что используемые модели чувствительны к до пущению двумерного нормального распределения. Впрочем, в от сутствие лучших данных эту проблему решить практически не возможно. Основные различия между оценками 1994 и 1999 гг. заключаются в следующем. • В оценке 1994 г. авторы пытались решить проблему смещения при отборе, возникшую изза неслучайной выборки обучаю щихся в PROBECAT, рассчитывая с помощью Probitмодели веро ятность их участия. При этом состав контрольной группы огра ничен теми, для кого вероятность участия очень высока. В оцен ке 1999 г. авторы утверждают, что применение подобного мето да не позволяет снять проблему учета влияния внешних факто ров. Для того чтобы учитывать влияние внешних факторов на участие в программе, используются инструментальные пере менные. • При расчете заработков в оценке 1994 г. участие в PROBECAT кон тролируется, но не учитывается смещение выборки, вызванное решением начать работу. В исследовании 1999 г. принимаются во внимание обе проблемы смещения выборки.

III. Данные В оценке 1994 г. данные по обучаемым получены из ретроспективно го опроса 1992 г., проведенного для 881 мужчины и 845 женщин, ко торые проходили подготовку в 1990 г. На основании обследования домохозяйств 16 основных городских районов Мексики, были полу чены дополнительные данные по группе из 371 мужчины и 189 жен щин. Это обследование было частью ежеквартального обследования рабочей силы ENEU, которое проводилось статистическим бюро


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

163

Мексики. Авторы воспользовались тем, что структура опроса предпо лагала ротацию группы, чтобы охватить работников, не имевших ра боты в третьем квартале 1990 г., а затем наблюдали за ними в течение года. Кроме того, в течение девяти месяцев наблюдалась когорта тех, кто стал безработным в четвертом квартале 1990 г. Тот же метод при менялся в оценке 1999 г., но для более поздних данных.

IV. Эконометрические модели В качестве основных эконометрических моделей для определения вероятности трудоустройства использовались «анализ условий вы живания» (модели продолжительности), а в отношении заработной платы — регрессии Хекмана. Представленная ниже информация ос нована на оценке 1999 г.; отличия от оценки 1994 г. специально ого ворены. PROBECAT и продолжительность поиска работы. При «анализе условий выживания» функция «выживающего» S(t) представляет про должительность того периода времени после прохождения курса обу чения, в течение которого человек не имеет работы (в месяцах). При за данном S(t), функция риска λ(t), которая показывает вероятность полу чения работы или риск того, что человек попрежнему будет оставаться безработным в момент времени t, для людей, которые на этот момент еще не трудоустроены, выглядит как λ(t) = d(log S(t))/dt. Можно сказать, что «кривая выживания» есть функция участия в программе Р, индиви дуальных характеристик Х и характеристик состояния Z, так что λ = λ(t; X, Z, P). В пропорциональной модели риска Кокса (Сох), если i обозна чает домохозяйство, a j — район, в котором оно проживает, то:

λ(t; X, Z, P1, Р2) = λ0(t) exp(γ′Xij + δ′Zj + μPij).

(1)

Кокс предложил провести частичную оценку максимального правдоподобия этой модели, для которой не требуется конкретный вид базисной функции λ0(t). Если μ положительно и статистически значимо, то программа оказывает положительное воздействие на уровень занятости. Несколько упрощенно разницу между оценками 1994 и 1996 гг. можно представить так. • В оценке 1994 г. авторы рассчитывают через Probitрегрессию участие в программе и исключают из контрольной группы людей, вероятность попадания которых в программу невелика. Затем ре


164

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

шается уравнение (1) без дополнительных поправок на влияние внешних факторов. • В оценке 1999 г. авторы также рассчитывают участие в программе с применением Probitмодели, но в качестве дополнительного фактора (а не результата, зависящего от участия самого человека), который влияет на участие в программе, они использовали пока затель доступности программы на местном уровне (полученный из административных данных). Затем решается уравнение (1) не с фактическим значением переменной участия, а с прогнозируе мым значением (индексом), полученным после Probitрасчетов первого этапа. Здесь используется инструментальная переменная. В основе данного подхода — работы Ravallion and Wodon (2000) и Cord and Wodon (1999), посвященные оценке программ с исполь зованием децентрализованных характеристик. Авторы сопостав ляют свои результаты с другими методами, наглядно демонстри руя, что эти другие методы дают смещенную оценку параметра из за недостаточного учета воздействия эндогенных факторов. Влияние програмы PROBECAT на размер месячных заработ& ков. Для того чтобы определить такое влияние, в оценке 1999 г. ис пользовалась модель, учитывающая составление выборки из рабо чей силы и участие в программе (в 1994 г. контролировалось толь ко участие в программе). Пусть логарифм ожидаемой заработной платы — log w. Эта заработная плата отлична от нуля в том и только в том случае, если она больше оговоренной (т.е. той, при которой человек согласен остаться на работе, в противном случае он решит не работать). Пусть Δ∗ — ненаблюдаемое различие между ожидае мой и оговоренной заработной платой. Ожидаемая заработная пла та определяется рядом индивидуальных (вектор Е, состоящий пре имущественно из уровня образования человека и его прежнего опыта) и географических переменных, Z, а также участием в про грамме, Р. Разница между ожидаемой и оговоренной заработной платой определяется этими же переменными, а кроме того — коли чеством детей, и тем, является ли человек главой домохозяйства и состоит ли в браке (дополнительные факторы обозначены как D). Таким образом, модель имеет следующий вид:

Δij∗ = φΔ′Εij + πΔ′Dij + ηΔ′Ζj + αΔ′Pij + νij, где Δij = 1, если Δij∗ > 0, и 0, если Δij∗ < 0.

(2)


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

165

Log wij∗ = φw′Εij + ηw′Ζj + αwP + кij, где Log w = log w∗, если Δ = 1, и 0, если Δ = 0.

(3)

В «модели условий выживания» эндогенность участия в программе в оценке 1999 г. учитывается так: сначала рассчитывается уравнения с Probit, причем доступность программы на местном уровне служит фактором, определяющим индивидуальное участие. Затем приведен ные выше уравнения рассчитываются с прогнозируемым (индекс ным), а не истинным значением участия в программе. При оценке 1999 г. в модели не учитывается решение относительно работы, кото рое задано в уравнении (2). Вместо этого уравнения используют Рrobit уравнение участия, которое рассчитывается без учета доступности программы на местном уровне в качестве независимой переменной. Сопоставление различных моделей вновь показывает, что в отсутствие модели, предполагающей использование инструментальной перемен ной, имеет место смещение.

V. Кто проводил оценку Оценку 1994 г. проводили Ана Ревенга из Департамента II Всемирно го банка по Латинской Америке и странам Карибского региона, Ми шель Рибу из Департамента IV Всемирного банка по Европе и Цент ральной Азии и Хонг Тан из Департамента Всемирного банка по раз витию частного сектора. Оценку 1999 г. проводили Квентин Водон и Мари Минова, которые также являются сотрудниками Всемирного банка (по региону Латинской Америки).

VI. Результаты Результаты, полученные в различных оценках, значительно отлича ются друг от друга. Оценки 1994 и 1995 гг. обнаружили позитивное воздействие программы на занятость и заработки. Оценка 1999 г., бе рущая за основу те же данные, что и оценка 1995 г., не выявила ника кого позитивного влияния. Анализ затрат и выгод показывает, что первые две оценки благоприятны, в то время как последняя — нет. Неутешительные результаты последней оценки не являются неожи данностью. Было обнаружено, что большинство программ подготов ки в странах ОЭСР имели ограниченное воздействие; даже если про граммы оказывали реальное влияние, то через несколько лет оно пропадало (Dar and Gill, 1998). Тот факт, что по результатам послед


166

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ней оценки программа PROBECAT может не обеспечивать выгод для участников в среднесрочной и долгосрочной перспективе, вовсе не означает, что ее следует свернуть. Программу можно рассматривать скорее как временный инструмент социального обеспечения (сти пендия в размере минимальной заработной платы), чем обучение. Другим вариантом может стать ее усовершенствование таким обра зом, чтобы эффект обучения стал более долговечным.

VII. Приобретенный опыт Помимо инновационных характеристик, использованных в этих оценках, и выявления их недостатков, главным выводом является осознание того, что нужно быть очень осторожным при проведении оценок программы и использовании полученных результатов для стратегических рекомендаций. Необходимо всегда помнить, что по следующая оценка может вступить в противоречие с результатами предыдущей изза применения других эконометрических моделей. В литературе имеется немало подобных примеров.

VIII. Источники Revenga, Ana, Michelle Riboud and Hong Tan «The Impact of Mexico’s Retraining Program on Employment and Wages». World Bank Economic Review, 1994, 8 (2): 247–277. Wodon, Quentin and Minowa, Mari, «Training for the Urban Unemployed: A Reevaluation of Mexico’s PROBECAT» , World Bank, Government Pro grams and Poverty in Mexico, Report №. 19214ME,Vol. II.


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

167

Приложение 1.10. Мексика, национальная программа в области образования, здравоо& хранения и питания (PROGRESA): предложение по оценке I. Введение Описание проекта. PROGRESA является межотраслевой програм мой, направленной на борьбу с крайней бедностью в Мексике путем предоставления бедным семьям комплексного пакета услуг в облас ти здравоохранения, питания и образования. Правительство Мекси ки будет непрерывно предоставлять материальную помощь, продук ты питания, безвозмездные ссуды на обучение и пакет базовых ме дицинских услуг на протяжении не менее трех лет. К концу 1998 г. планируется расширить охват PROGRESA с нынешнего уровня в 400000 семей до 1–1,5 млн семей; общие расходы составят 500 млн долл. США. Чем интересна оценка. Оценка является достаточно сложной, по скольку необходимо исследовать три аспекта программы: ход ее ра боты, адресность и воздействие. Сложность оценки повышается еще и потому, что сами ее результаты являются многомерными. В оценку включено много различных компонентов: отбор бенефециаров, ме тоды оценки, неэкспериментальный аналитический подход, требо вания к данным, воздействие на образование, воздействие на состоя ние здоровья, воздействие на потребление продуктов питания и ра цион, воздействие на потребительские расходы и их распределение внутри домохозяйства, возможные побочные эффекты программы, моделирование изменений в выгодах от программы, вопросы соче тания затрат и выгод и рентабельности. Хотя данная оценка предполагает описание скорее идей, чем ре зультатов реализации, главный вывод заключается в осмыслении и структурировании оценки до ее фактического осуществления. В ча стности, полезно представление концептуальных и эмпирических проблем, связанных с оценкой, и путей их разрешения. Еще одним полезным компонентом оценки выступает ее широта: вместо про стого определения воздействия какойто программы она поможет выяснить, есть ли связь между полученным результатом и успехами (или неудачами) в процессе выполнения программы и обеспечения адресности.


168

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

II. Вопросы исследования и план оценки Основными вопросами исследования являются оценки следующих трех аспектов работы PROGRESA: проведение операций в рамках про граммы, адресность и воздействие. Аспекты непосредственного прове дения операций в рамках программы часто игнорируются, несмотря на то, что при внесении необходимых корректировок неудачу можно пре вратить в успех. Аналогичный довод можно привести и для адресности: программа может выглядеть неудачной изза неточной адресности, а не изза изъянов в самой программе. Оценка воздействия более типична, хотя даже эта задача весьма непроста, учитывая то, что анализируются как масштаб воздействия, так и способы его достижения. Наблюдение за выполнением программы осуществляется в два этапа. Группа экспертов разрабатывает последовательность этапов программы. Затем для оценки, анализа и возможного внесения изме нений в процессы программы эта группа использует наблюдение, опросы, фокусгруппы и семинары с заинтересованными сторонами. Домохозяйства, входящие в целевые группы PROGRESA, также оп ределяются в два этапа. На первом этапе с помощью индекса бедности выясняют, какие районы региона имеют право на участие в PROGRESA. На втором этапе в процессе общения сотрудников PROGRESA с местными лидерами определяются семьи из данного рай она, имеющие право на участие. Обоснованность такого выбора будет проверяться в ходе исследования следующим образом: а) сравнением уровней потребления домохозяйств в районах, охваченных програм мой, для участвующих (экспериментальных) и неучаствующих (кон трольных) домохозяйств; б) выведением порогового значения уровня потребления домохозяйства, дающего право на участие в программе и соответствующее общей численности домохозяйств, которое может принять PROGRESA; в) анализом специфичности и чувствительности домохозяйств, участвующих и не участвующих в PROGRESA, по сравне нию с домохозяйствами, выбранными или отвергнутыми на основа нии установленного порогового значения индекса бедности; г) изуче нием пригодности данных критериев для прогноза уровня потребле ния; д) определением альтернативных критериев на основе других ис точников данных; е) построением моделей, которые могли бы улуч шить адресность, базируясь при принятии решений на других крите риях (International Food Policy Research Institute 1998, р. 6). При оценке воздействия использовалась та же система. В итоге районы были случайным образом поделены на 296 эксперименталь ных и 173 контрольных групп. При этом в первую категорию вошли


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

169

14382, а во вторую — 9202 семьи. Имеющие право на участие семьи из контрольной группы получат доступ к программе не ранее чем че рез год. Консультанты предполагают проверить возможное отсутствие рандомизации, сравнив характеристики группы участников и кон трольной группы. Если эти характеристики систематически различа ются, то будут использованы три неэкспериментальных метода: функции контроля, методы отбора по подобию и методы регрессии.

III. Данные Рабочие данные формируются на основе наблюдений, интервью, проведения фокусгрупп и семинаров с заинтересованными сторо нами. Главный акцент делается на выявлении содержания и причин происходящего, уровня удовлетворенности ходом программы, а так же предложений по улучшению. Эти данные собираются по районам, и при их формировании будут в значительной мере использованы внутренние административные записи PROGRESA. Было проведено два обследования: исследование на основе мате риалов государственной переписи населения в декабре 1997 г. и ба зисные исследования в марте 1998 г. Основной переменной в крите рии адресности является, безусловно, уровень потребления домохо зяйств, и, хотя эти данные не были собраны при переписи, они были получены в мартовском исследовании. Тем не менее эта переменная не содержит информации об уровне самостоятельного потребления; хотя соответствующие данные будут получены позже, изза реализа ции PROGRESA возникнет искажение. Консультанты планируют ра ботать только с теми домохозяйствами в контрольных районах, ко торые имеют право на участие в программе или не имеют его. Оценка воздействия зависит от выбора показателей, описываю щих это воздействие. PROGRESA должна влиять как на количество, так и на качество предоставляемых услуг и инвестиций в здравоохра нение, питание и образование. Исходя из результатов воздействия, предлагается большое число показателей для оценки, и каждый из них имеет собственный источник данных. Благосостояние домохо зяйств, измеряемое их уровнем потребления, сбережений и накопле ния товаров длительного пользования, будет оцениваться в базисном и последующем исследованиях; качество (условия) питания и здоро вье детей будут измеряться на основе подвыборки по питанию в ба зисном и последующем обследованиях; успеваемость детей будет оцениваться стандартизированными национальными тестами; уро


170

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

вень потребления продуктов питания будет отражен в базисном и последующем обследованиях; посещение школы будет изучаться как в обследовании на уровне школ, так и в базисном, и в последующем обследованиях; значение показателя использования объектов здра воохранения можно отслеживать с помощью записей в медицинских картах и опросов персонала медицинских учреждений; статус жен щин также можно оценить с помощью обследований и анализа заин тересованных сторон. Привлекательность данной оценки заключается в аналитическом подходе к рассмотрению показателей текущих результатов и в по дробном обсуждении наиболее приемлемых показателей результата и контроля для образования, здравоохранения и уровня потребле ния. Планируется выполнить анализ затрат и выгод. Составлен набор выгод от программы, хотя по определению трудно дать денежное вы ражение качеству жизни и самостоятельности. Кроме того, определе ны два типа затрат: административные издержки на программу и прочие затраты, связанные непосредственно с программой. Первые включают расходы на предварительный отбор, адресные механизмы доставки программы и расходы на мониторинг; вторые включают упущенный доход.

IV. Эконометрические методы Выбор эконометрических методов зависит от того, какие зависимос ти будут рассчитываться. Консультанты рассматривают пригодность производственной функции (например, в отношении успеваемости), зависимости спроса (например, на услуги в области здравоохране ния и образования) и зависимости условного спроса (где некоторые переменные определяются скорее семьей, чем отдельными людьми). Наиболее интересный используемый эконометрический метод связан с оценкой функции расходов Воркинга–Лесера (Working Leser) в форме: Wj = αI+ β1j lpcexp +β2j lsiz + Σk δkj demk + Σs Θsj zs + β3jP + ej , где wj —доля в бюджете jго товара; lpcexp — логарифм общих рас ходов на душу населения; lsiz — логарифм размера домохозяйства; demk — доля демографической группы k в домохозяйстве; zs — век тор бинарных переменных, влияющих на местоположение домохо зяйства; Р — участие в PROGRESA и ej — погрешность.


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

171

Этот подход имеет немало преимуществ: он позволяет включать контрольные факторы, удовлетворяет ограничению по суммирова нию, широко используется, что позволяет проводить сравнения с другими исследованиями. Наконец, с помощью этой модели можно определить три различных способа, которыми PROGRESA воздейст вует на расходы, изменяя ресурсы домохозяйств (β1j, помноженное на предельную склонность к потреблению, рассчитывается отдель но), изменяя распределение доходов (меняя его так, чтобы включить долю взрослых женщин в домохозяйстве), обеспечивая больший эф фект от участия. Базисное и последующее обследования позволяют использовать метод двойных различий. Также выявляются основные эконометрические вопросы, кото рые могут встретиться: коллинеарность, ошибка измерения, невклю ченные переменные, одновременность и определение периода вре мени, по истечении которого можно ожидать проявления результа тов воздействия.

V. Кто будет проводить оценку Сотрудники Международного исследовательского института поли тики в области питания (Food Policy Research Institute), а именно Го рав Датт, Лоренс Хаддад, Джон Ходдинофф, Агнес Кисумбинг и Мари Руль. В группу входят также Джайр Берман, Пол Гертлер и Пол Шульц.

VI. Приобретенный опыт Основной вывод таков: очень важно определять вопросы оценки, мето дологию и источники данных (и подвергать оценку критическому рас смотрению) до того, как работа по проведению оценки началась. Такая схема оценки полезна при определении всех возможных вопросов и ошибок, с которыми может столкнуться оценщик. В частности, приме нительно к оценке воздействия можно указать некоторые моменты, под сказанные здравым смыслом: а) изза перекрестного замещения и изме нения поведенческих установок трудно прогнозировать изменение по литики; б) размер предельных выгод и предельных затрат зависит от ря да факторов: внешние эффекты (разница в ценности для общества и для частного сектора), участники (родители или дети); в) важность нена блюдаемых характеристик; г) важность внесения поправок на индиви дуальные, семейные и общинные характеристики; д) зависимость эмпи рических оценок от конкретной макроэкономической ситуации, состо яния рынка и стратегической и нормативной среды.


172

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

VII. Источники International Food Policy Research Institute, Programa Nacional de Edu cacion, Salud, Y Alimentacion (PROGRESA): A Proposal for Evaluation (with technical appendix), May 1998. Washington D.C.: IFPRI.


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

173

Приложение 1.11. Оценка школьной реформы в Никарагуа: комплексный количественно&качественный подход I. Введение Описание проекта. В 1991 г. правительство Никарагуа провело все объемлющую реформу системы государственного образования. В ито ге был централизован процесс управления школами (кадровое обеспе чение, бюджет, учебная программа и методическое обеспечение); фи нансовая ответственность была переведена на местный уровень. Реформы вводились постепенно, с указа 1991 г., согласно которо му во всех государственных школах были организованы советы с участием представителей общин и родителей. Затем в 1993 г. в рам ках пилотной программы в 20 выбранных средних школах эти сове ты были преобразованы в комитеты школьного самоуправления с большей долей ответственности в вопросах, связанных с кадровым обеспечением, бюджетом, учебной программой и методикой препо давания. К 1995 г. комитеты школьного самоуправления действовали уже в 100 средних школах и в более чем 300 начальных школах, во шедших в программу по принципу самоотбора; данный принцип предусматривал подачу заявления от учителей и директоров школ. Ожидалось, что к концу 1999 г. практически все школы обретут авто номию. Цель реформ в Никарагуа — улучшить обучение, изменив органи зацию работы средних школ таким образом, чтобы при принятии решений в центре внимания были интересы школьников. По мере того, как управление школами становится все более демократичным, и в нем участвует все больше представителей общественности, а ме стные доходы растут, расходы будут становиться все более рацио нальными, и средства будут направляться в области, непосредствен но улучшающие преподавание и стимулирующие успеваемость. Оценка воздействия. Оценка реформы образования в Никарагуа представляет собой одну из первых систематических попыток изме рения воздействия децентрализации школ на успеваемость. Оценка, проводимая совместно Всемирным банком и Министерством обра зования, началась в 1995 г. и будет завершена к концу 1999 г. Ее струк тура инновационна, поскольку сочетает методы как количественной, так и качественной оценки, а особенностью количественного ком


174

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

понента является то, что он включает отдельный модуль для оценки процесса принятия решений в школах. Оценка также служит приме ром использования передовых, зарекомендовавших себя методик в том случае, когда отсутствуют базисные данные и когда проведению экспериментальной оценки препятствует избирательное (диффе ренцированное) осуществление реформ. Цель качественного компонента оценки — определить, действи тельно ли в школах происходят ожидаемые изменения в управлении и финансировании, а также оценить, как различные заинтересован ные лица рассматривают процесс реформ. Качественная составляю щая конкретизирует эти результаты, отвечая на следующий вопрос: «Приводят ли изменения в управлении и финансировании школ к повышению успеваемости?» Качественные результаты показывают, что успешное проведение реформ во многом зависит от конкретной школы и ее окружения (т.е. уровня бедности в общине), в то время как количественные результаты говорят о том, что рост самоуправления в школах непосредственно связан с улучшением успеваемости.

II. План оценки Разработка оценки образовательной реформы в Никарагуа основана на методе сравнения по подобию, при котором данные по репрезен тативной выборке школ, принимающих участие в процессе реформ, сопоставляются с данными по выборке школ, не принимающих в нем участия. Выборка школ, не участвующих в реформах, проводится с учетом того, чтобы их характеристики максимально соответствова ли характеристикам участвующих школ. Это и обеспечивает альтер нативность сценариев деятельности. Была выбрана именно данная схема оценки, поскольку отсутствие базисных данных не позволило применить метод оценки «до и после программы», а также потому, что реформы применялись к различным школам не на случайной ос нове, изза чего экспериментальная оценка стала невозможной (при экспериментальном подходе выборка школ для проведения оценки должна быть случайной и репрезентативной для страны в целом).

III. Методы сбора и анализа данных Для качественного исследования использованы данные выборки из 12 школ, девять из которых участвуют в реформах, три — нет; эти три школы составляют контрольную группу. (Фактически данные были собраны для 18 школ, но в качественное исследование были включе


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

175

ны лишь 12 из них — изза задержек в расшифровке записей и реше ния оценочной группы сосредоточить анализ на участвующих в ре форме школах, которые обеспечили большую актуальность рассмат риваемого материала.) Выборка из 12 школ должна была представ лять как начальные, так и средние, как сельские, так и городские шко лы, а также исходить из результатов количественного исследования 1995 г., по школам с разной степенью фактической независимости в принятии решений. Были проведены 82 интервью и заседания фо кусгрупп. Внимание сосредоточивалось на том, как директора школ, члены советов, родители и учителя понимали процесс децентрализа ции и относились к нему. Все интервью проводились национальны ми специалистами. Посредством моделирования процесса составле ния интервью и проведения пробных тестов их обучили задавать на водящие вопросы, не подсказывая при этом ответ. Проводилась зву козапись интервью с последующей расшифровкой и изложением в 2–4страничном конспекте. Впоследствии конспект анализировался, и выявлялись отдельные данные и основные темы, возникавшие в различных школах и у различных лиц как в реформируемых школах, так и в контрольной группе. Сбор количественных данных включал в себя два компонента: панельное обследование школ, которое проводилось в два этапа (ноябрь–декабрь 1995 г. и апрель–август 1997 г.), и тесты успевае мости в этих школах (ноябрь 1996 г.). В результате исследований школ были собраны данные по условиям приема в школу, показате лям отсева и повтора года (т.е. по второгодникам), по используе мым материальным и людским ресурсам, процессу принятия реше ний в школе и по характеристикам директора школы, учителей, уча щихся и их семей. Модуль оценки процесса принятия решений в школе уникален: в нем предлагается 25 вопросов, призванных опре делить, изменила ли реформа процесс принятия решений в школах и каким образом такое изменение было достигнуто. Обследование охватывало 116 средних школ (73 участвующих в реформе и 43 не участвующих, входящих в контрольную группу) и 126 начальных школ (80 участвующих в реформе и 46 неучаствующих). Были вы браны контрольные группы, характеристики которых были подоб ны характеристикам реформируемых школ. В ходе исследования были также собраны данные по 400 учителям, 182 членам совета и по 3000 школьников и их родителей, причем из каждой школы вы биралось на случайной основе 10–15 школьников. Те школьники, которые продолжали обучение в школе и данные по которым мож но было отследить, прошли в конце 1996 учебного года тестирова


176

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ние по успеваемости; повторное тестирование было проведено на втором этапе сбора данных в 1997 г. При анализе количественных данных для построения производ ственной функции обучения используется метод регрессии. При этом рассматривается воздействие системы управления школой (степени ее децентрализации) на успеваемость с учетом ресурсов школы, а также характеристик домохозяйств и школьников. Анализи ровалось воздействие формальной и фактической децентрализации. Формальная децентрализация показывает, стала ли школа официаль ным участником программы реформ, в то время как фактическая де централизация оценивает степень реальной автономии школы. Фак тическая децентрализация измерялась как процент от 25 ключевых решений, которые могут быть приняты школой самостоятельно. При этом предполагалось, что изза постепенного характера осуществле ния реформ (поэтому школы из выборки будут находиться на разных этапах процесса реформ), а также изза того, что способность успеш но проводить реформы в разных школах также неодинакова (дан ный результат был определен в качественном исследовании), этот показатель в разных школах будет различным.

IV. Результаты Качественное исследование обращает внимание на то, что изменение политики на центральном уровне не всегда приводит к формирова нию причинноследственной цепочки с результатами, ощущаемыми на местном уровне. Вообще, реформы связаны с более активным уча стием родителей, а также совершенствованием всего процесса управ ления. Однако успешность внедрения реформ зависит от ситуации в конкретной школе. Особо важную роль играет уровень бедности об щины (в бедных общинах сложно увеличить финансирование школы из местных источников) и степень сплоченности персонала школы. Если такие ключевые лица, как учителя, не чувствуют себя частью про цесса реформ, успех децентрализации оказывается незначительным. При внедрении новых программ разработчики стратегии часто не принимают во внимание местную специфику. Согласно результатам качественных исследований, в условиях Никарагуа велика вероят ность того, что заявленной цели (увеличить объем финансирования школ из местных источников) будет сложно достичь, особенно в бед ных общинах, и потому ее целесообразно пересмотреть. Количественное исследование подтверждает полученные данные о том, что в реформируемых школах увеличился уровень самоуправле


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

177

ния, особенно в вопросах методического и кадрового обеспечения. Формальная автономия (объявила ли школа о своем участии в рефор мах?) не обязательно приводит к росту школьного самоуправления и не затрагивает все школы в равной мере. Степень достигнутой автономии зависит от уровня бедности общины и от продолжительности участия школы в реформах. Результаты регрессии показывают, что формальная автономия оказывает на успеваемость незначительное воздействие. В отличие от этого между фактической автономией (степенью реальной децентрализации, которой достигла школа) и улучшением успеваемос ти существует прямая связь. (В ожидании итогов изучения недавно по ступивших панельных данных этот результат считается предваритель ным.) Кроме того, моделирование ситуации показывает, что децентра лизация школ влияет на успеваемость в большей степени, чем улучше ние других показателей, на которые обычно обращают внимание при разработке политики, например увеличение числа учебников, подго товка учителей, сокращение численности учеников в классе и т.д.

V. Стратегические выводы Результаты оценки дают конкретные свидетельства того, что рефор ма школ Никарагуа привела к ощутимым результатам. В реформируе мых школах действительно возрос уровень самоуправления — де централизация проходит на практике, а не только в теории. Кроме того, расширение местного самоуправления действительно привело к росту успеваемости. Полученные результаты также показывают, где можно улучшить стратегию. На их основании Министерством образования был вне сен ряд изменений в программу реформы. Теперь программа обра щает большее внимание на роль учителей и содействует педагогиче ским аспектам реформы. Обучение преподавателей становится час тью программы, рассматривается создание методического совета. Кроме того, финансовые проблемы бедных общин побудили Мини стерство разработать схему субсидирования, в которой средства бу дут выделяться на основании «карты бедности». Наконец, ощутимые выгоды, полученные от данной оценки, заставили Министерство ввести в программу реформ постоянный компонент оценки.

VI. Стоимость оценки и администрирование Затраты. Общая стоимость оценки была около 495000 долл. США что составляло менее 1,5% от средств займа Всемирного банка. (Ука


178

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

занная общая сумма не включает стоимость работы группы нацио нальных специалистов из Министерства образования Никарагуа.) Из этой общей суммы 39% было израсходовано на оплату технической помощи со стороны иностранных консультантов, 35% — на сбор дан ных, 18% — на покрытие стоимости работы сотрудников Всемирно го банка и 8% — на покрытие транспортных расходов. Администрирование. Оценка проводилась Министерством обра зования Никарагуа и Всемирным банком. В Никарагуа группу по оцен ке со стороны Министерства возглавляли Патрисия Кальехас, Нора Гордон и Нора МайорхадеКальдера. Во Всемирном банке оценка проводилась как часть исследовательского проекта «Оценка воздейст вия образовательных проектов, включающих децентрализацию и приватизацию» под руководством Элизабет Кинг при участии Лауры Ролингз и Берка Озлера. Качественная оценка проводилась Брюсом Фуллером и Магдаленой Риварола из Гарвардской школы образова ния вместе с Лилиам Лопес из Министерства образования Никарагуа при координации со стороны сотрудников Всемирного банка.

VII. Приобретенный опыт Полезность комбинированного подхода. Сочетание количест венной и качественной методик исследования позволило получить выводы, полезные и значимые для разработки политики реформ. Ко личественный анализ дал широкий статистически валидный обзор состояния и результатов школ; качественный анализ дополнил эти выводы, показав, почему какието из ожидаемых результаты програм мы были получены, а другие — нет. Все это было полезным для выра ботки корректирующих мер. Кроме того, поскольку данный подход имеет более интуитивную природу, качественное исследование было более понятным и потому интересным для служащих Министерства; это, в свою очередь, облегчило быстрое формирование потенциала и доверия к процессу оценки в Министерстве. Важность развития местного потенциала. Формирование мест ного потенциала было сопряжено со значительными расходами и требовало частых контактов и координации с партнерами из Все мирного банка и иностранными консультантами. Тем не менее поль за заключалась в том, что процесс оценки в стране стал быстро раз виваться и признаваться «своим». Благодаря этому, результаты оцен ки (независимо от того, как они представляли программу — в поло


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

179

жительном или отрицательном свете) воспринимались Министерст вом с готовностью. Эти результаты внесли непосредственный вклад в реформу в ходе ее осуществления. Более высокое значение оценки для стратегии было также обусловлено сплоченностью группы оте чественных специалистов, в которой оценщики и лица, ответствен ные за принятие решений, работали вместе, а также тем, что в ее со став был включен министр образования, который поддерживал оценку «изнутри».

VIII. Источники Подробная информация по оценке реформы, направленной на уве личение автономии школ в Никарагуа, содержится в следующих документах. Fuller, Bruce and Magdalena Rivarola. 1998. Nicaragua’s Experiment to Decentralize Schools: Views of Parents, Teachers and Directors. Working Paper Series on Impact Evaluation of Education Reforms, paper № 5. The World Bank. Washington, DC. King, Elizabeth, and Berk Ozler. 1998. What’s Decentralization Got To Do With Learning? The Case of Nicaragua’s School Autonomy. Working Paper Series on Impact Evaluation of Education Reforms, paper № 9. The World Bank. Washington, DC. King, Elizabeth, Berk Ozler and Laura Rawlings. 1999. Nicaragua’s School Autonomy Reform: Fact or Fiction? The World Bank. Washington, DC. Nicaragua Reform Evaluation Team. 1996. Nicaragua’s School Autonomy Reform: A First Look. Working Paper Series on Impact Evaluation of Edu cation Reforms, paper № 1. The World Bank. Washington, DC. Nicaragua Reform Evaluation Team. 1996. 1995 and 1997 Question naires, Nicaragua School Autonomy Reform. Working Paper Series on Impact Evaluation of Education Reforms, paper № 7. The World Bank. Washington, DC. Rawlings, Laura. 2000. «Assessing Educational Management and Quality in Nicaragua». In Bamberger, Integrating Quantitative and Quanlitative Methods in Development Research. Washington, D.C.: World Bank.


180

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Приложение 1.12. Улучшение начального обучения математике в Никарагуа: экспериментальное исследование воздействия учебников и радиопрограмм на успеваемость I. Краткое содержание оценки В большинстве бедных стран средства на образование крайне огра ничены, и потому большое значение имеет эффективное их распре деление. Из трех наиболее распространенных вариантов (сокраще ние численности учеников в классах, более длительные программы подготовки учителей и предоставление учебников) лишь последний часто оказывал значительное позитивное воздействие на уровень знаний школьников. Данная оценка представила количественное вы ражение воздействия доступности учебников на успеваемость по ма тематике среди первоклассников Никарагуа. Согласно схеме оценки, планировалось предоставить учебники всем школьникам в подмножестве классов, которые первоначально были отобраны в качестве контрольных групп в проводящемся в на стоящее время исследовании эффективности учебных радиопро грамм. Одна половина классов получила учебники, а другая — нет. Все классы прошли в начале года предварительное, а в конце года — заключительное тестирование (выполнили контрольные работы). В исследовании были применены методы простой регрессии, которые позволили сопоставить средние результаты заключительного теста в зависимости от результатов предварительного теста и участия в про грамме. Основной вывод в отношении планирования оценки: рандомиза ция особенно хорошо спланирована и сочеталась с тестом, позволя ющим добиться максимальной сопоставимости классов. Еще один ценный вывод носил прагматический характер: оценка была разрабо тана так, чтобы избежать возможных серьезных общеэкономических проблем. Наконец, данная оценка дает ряд практических примеров тех решений, которые приходится принимать в ходе работы в поле.

II. Вопросы исследования и план оценки Схема оценки имеет два очень интересных компонента: обращение к результатам выполненной ранее оценки и предварительное уясне


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

181

ние той политической ситуации, в условиях которой проводится оценка. Главный вопрос исследования был прост: оценить воздейст вие большей доступности учебников на успеваемость первоклассни ков, уделяя особое внимание фактическому использованию учебни ков в классе. Поскольку уже имелась учебная радиопрограмма («Ра дио Математика»), была поставлена более широкая задача: сравнить результаты воздействия учебников не только с показателями кон трольной группы, но и с воздействием радиопрограммы. Следует отметить решение отслеживать фактическое использова ние учебников, изза чего оценка усложнилась. Многие программы в области образования предоставляют материалы для работы в учеб ных классах, но очевидно, что воздействие подобных программ зави сит от степени использования материалов. Однако, как указывают оценщики, это решение означает, что оценка «не занимается измере нием того потенциала, которым обладают учебники или радиоуроки, для повышения успеваемости учащихся в оптимальных условиях. Вместо этого проводится попытка оценить их воздействие в такой ситуации, которая может иметь место в типичной развивающейся стране» (Jamison, 1981, p. 559). Таким образом, простого предоставле ния учебников может быть недостаточно; необходимо будет также обеспечить, чтобы учителя использовали учебники в соответствии с их предназначением. При оценке использовался рандомизированный подход, который был привязан к выполненной ранее оценке проекта. В проводящем ся проекте «Радио Никарагуа» для оценки эффективности программ обучения по радио уже был задействован весь механизм применения случайного отбора распределения и процедур тестирования. В рам ках этого проекта все начальные школы в трех провинциях Никара гуа уже были разделены на участвующие в проекте (эксперименталь ные) и контрольные посредством случайной выборки по типу насе ленного пункта (около 30% школьников учатся в сельских школах, однако для каждого слоя было выбрано одинаковое число классов). При оценке воздействия учебников была использована эта уже го товая схема; экспериментальные и контрольные школы отбирались следующим образом. Сначала оценщики составили перечень всех школ с подходящими классами для каждой из шести категорий (три провинции; сельские и городские). Затем из этого перечня они слу чайным образом отобрали школы из каждой категории в адресную и контрольную группы, после чего школы выбирали в порядке пере числения (одна из школ, которая отказалась участвовать, была заме нена на следующую в списке). Заявки на участие, поступившие из


182

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

классов контрольных групп, были отклонены, а весь процесс исполь зования экспериментальных материалов контролировался автора ми. Следует отметить, что схема оценки заранее предусмотрела это возможное политическое затруднение. Команда, проводившая оцен ку, с самого начала объявила о своих намерениях, получила офици альное одобрение и поддержку применяемой стратегии и установи ла для программы четкие и последовательные процедуры. Таким образом, для исследования были случайным образом отоб раны 88 классов — 48 с радиообучением и 40 из контрольных школ. Двадцать контрольных школ получили учебники на каждого ребенка; учителя получили устные и письменные инструкции и варианты контрольных работ. Компонент с применением радио включал в се бя 150 ежедневных уроков математики, упражнения для школьников, а также письменные и устные инструкции для учителей. Было принято нестандартное решение: исследователи сознатель но отказались от наблюдения за экспериментальными группами. Та кое решение далось непросто, поскольку отсутствие контроля за трудняло определение того, насколько интенсивно используется программа. Однако неизбежную цену подобного контроля в виде воздействия на поведение сочли слишком высокой. Общепринятое компромиссное решение в виде неожиданных посещений в тот год, когда проводилась оценка, было неприменимо изза сложной поли тической ситуации, и поэтому такие посещения пришлось использо вать лишь в следующем году. Другое решение предусматривало проведение контрольных ра бот персоналом проекта, а не школьными учителями. Это, безуслов но, увеличило административные расходы, но уменьшило потенци альное смещение результатов теста. Во время первых трех недель учебы школьники прошли предварительное тестирование по мате матике. Заключительный тест, оценивающий успехи учеников, был запланирован на последние три недели учебного года, но изза поли тических осложнений был проведен на две недели раньше. По мере возможности ученикам предоставлялись идентичные условия для выполнения обоих тестов: для работы над заданиями отводилось одинаковое время, а инструкции были начитаны на магнитофон.

III. Данные По результатам процесса сбора данных можно сделать два основных вывода. Первый заключается в том, что нередко проблемы обеспече ния необходимой для оценки информацией оказываются неизбеж


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

183

ными. Несмотря на тщательное планирование, при разработке иде ального набора параметров сопоставления предварительного и за ключительного тестов возник ряд проблем. Хотя было всего 20 кон трольных классов, 20 классов с учебниками и 47 классов, где уроки проводились по радио, число баллов, полученных в ходе предвари тельных и заключительных тестов, было неодинаковым в каждой группе изза опозданий с регистрацией, отсева учеников, неявки или невозможности пройти тестирование вследствие слишком большого числа участников. Индивидуальная информация об учащихся собра на не была. Второй вывод заключается в необходимости творческого подхода к разработке заключительного теста, который позволил свести на грузку к минимуму и получить необходимую информацию. При этом исследователи столкнулись с рядом проблем. • В Никарагуа отсутствовали типовые/стандартизированные тесты. • Тест должен был оценить успешность достижения целей, постав ленных в учебной программе. • Тест должен был отражать достижения по каждой теме с тем, что бы облегчить оценку результативности программы в отношении каждой темы, равно как и в целом. Для решения этих проблем исследователи применяли метод множе ственного матричного выбора. Метод заключается в следующем. Тест состоял из вопросов двух видов: вопросы, предложенные всем учени кам в классе (40 вопросов G) и предложенные подгруппам учеников (44 вопроса I). В каждом классе предлагались все вопросы I и 1/4 всех во просов G. Это позволило исследователям осуществлять случайный от бор единиц по двум параметрам: школа и вид теста. Средние результаты заключительных тестов для экспериментальной и контрольной групп были получены путем сложения средних баллов по каждому тесту, а стандартная погрешность рассчитывалась на основе остаточной дис персии после устранения основных воздействий вопросов и учеников. Через год после окончания программы в 19 из 20 школ, использо вавших учебники, была также собрана информация об использова нии учебников.

IV. Эконометрические методы Структура оценки позволяла провести простое сравнение средних значений результатов для экспериментальной и контрольной групп,


184

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

что и было выполнено. Подобный подход может быть очень гро моздким, если имеется множество слоев и воздействий на них; в дан ной оценке имела место именно такая ситуация. Поэтому оценщики использовали также и метод простой регрессии. В этом случае класс являлся единицей анализа, а в отношении средних баллов заключи тельного теста класса рассчитывалась регрессия по средним баллам предварительного теста. Также в качестве независимых переменных применялись бинарные переменные для программ с использовани ем радиопередач и учебников, бинарная переменная, обозначающая принадлежность к городской или сельской школе, и среднее количе ство баллов предварительного теста класса. Важным компонентом любой оценки является выяснение того, оказывает ли одна и та же программа разное влияние на различные группы. В данном исследовании эта задача решалась с помощью творческого применения взаимодействующих переменных. Разли чия между городскими и сельскими районами были отражены взаи модействием между бинарными переменными, обозначающими принадлежность к сельским/городским школам, и программой. Раз ница во влиянии программы, основанная на результатах первона чальных тестов, была отражена во взаимодействии между програм мой и результатами первоначальных тестов.

V. Кто проводил оценку Данное исследование получало поддержку со стороны Всемирного банка, но являлось составной частью совместного проекта «Радио Математика», проводимого Агентством международного развития США и Министерством образования Никарагуа.

VI. Результаты Авторы обнаружили, что как программа радиопередач, так и про грамма предоставления учебников оказали на успеваемость зна чительное воздействие. Предоставление учебников улучшило бал лы заключительного теста школьников на 3,5 единицы; радиоуро ки — на 14,9 единиц; это значительный результат, учитывая то, что стандартное отклонение класса составило 8,3, а индивидуальных результатов — 11,8. Радиоуроки и учебники были наиболее дейст венны в сельских школах и потенциально могли сыграть большую роль в преодолении разрыва между качеством обучения в городах и в сельской местности. Как показали данные предварительных


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

185

тестов, эти результаты независимы от исходного уровня знаний в классе. Различия результатов программы по предоставлению учебников и радиопрограммы исследователи объясняют неодинаковым ис пользованием учебников, особенно при низкой квалификации пре подавателей.

VII. Приобретенный опыт Из данной программы можно извлечь три основных урока: важность учета политических аспектов при выборе схемы исследования, по лезность творческого подхода к разработке тестов и трудности при выполнении работы на местах. Вопервых, в этом исследовании бы ла выделена роль соображений общеэкономического характера при рандомизированном подходе: явно присутствует сильное политиче ское давление со стороны правительства, с которым необходимо справиться как можно раньше и заручиться его поддержкой. Вовто рых, при творческом подходе к разработке тестов исследователи смогли измерить многие параметры результатов обучения, не ис пользуя при этом тесты, выполнение которых потребовало бы слиш ком много времени. И, наконец, оценщики четко обозначили ряд во просов, связанных с работой на местах: способы и целесообразность отслеживания фактического использования учебников, выбор того, кто должен проводить тестирование.

VIII. Источники Jamison, Dean T., Barbara Serle, Klaus Galda and Stephen P. Heyneman «Improving Elementary Mathematics Education in Nicaragua: An Experimental Study of the Impact of Textbooks and Radio on Achieve ment». Journal of Educational Psychology, August 1981, 73 (4): 556–567.


186

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Приложение 1.13. Воздействие различных механизмов возмещения издержек на доступ к медицинским услугам и справедливость их предоставления в Нигере I. Введение Описание проекта. Способность возмещения части расходов на здравоохранение чрезвычайно важна для предоставления медицин ских услуг. Впрочем, данных о воздействии различных стратегий на качество предоставляемых услуг и конечное благосостояние пока не много. В рамках данного исследования по оценке измеряется то воз действие на спрос на медицинские услуги, которое оказали два пи лотных проекта по возмещению расходов на такие услуги в сфере первичной (амбулаторной) медикосанитарной помощи в Нигере. Нигер — бедная сельскохозяйственная страна; государственные рас ходы на здравоохранение составляют 5–6% бюджета, причем боль шая часть этих средств неверно адресована и ошибочно направляет ся больницам и их персоналу. Правительство было заинтересовано в оценке тех результатов, к которым приводит применение различных схем оплаты. В качестве объекта изучения были взяты две такие схе мы: традиционный метод «плата за услугу» и финансовый механизм «налог плюс плата за услугу». Внедрение обеих схем сопровождалось повышением качества услуг и улучшением управления. Правительст во особенно интересовало то, как менялся спрос на медицинские ус луги, прежде всего среди наиболее уязвимых групп, а также то, на сколько устойчивым будет подобное повышение качества. Чем интересна оценка. Указанные различные схемы оплаты были введены в трех районах — по одному району на каждый метод плюс один контрольный. Для оценки применялся квазиэксперименталь ный подход с использованием данных обследований домохозяйств и административных данных по показателям использования и эксплу атационным расходам. Особенно интересным моментом оценки яв ляется то, что она непосредственно обращает внимание на вопросы экономического характера. В анкете обследования содержится во прос о том, готовы ли респонденты платить за более качественную услугу. Такое явное признание того, что для обеспечения устойчивос ти проекта одних лишь значительных результатов (итогов) недоста точно, является очень ценным моментом. Еще одним полезным ас


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

187

пектом является открытая оценка воздействия программы на разные целевые группы (дети, женщины, деревни без государственных ле чебных учреждений и беднейшее население).

II. Вопросы исследования и план оценки Основные вопросы были связаны с воздействием программы на а) использование государственных медицинских учреждений и спрос на них; б) конкретные целевые группы (малоимущие, женщины и де ти); в) доступ к услугам с финансовой и географической точек зре ния; г) обращение к альтернативным услугам; д) устойчивость улуч шений в условиях возмещения издержек (расходы на пациентов и ле карства, а также поступления и готовность платить). На основании административного списка в различных провин циях были выбраны три района медицинского обслуживания. Не смотря на сходство всех районов с точки зрения экономических, де мографических и социальных характеристик, национальный состав их жителей был различным. В каждом районе имелся медицинский центр с отделением матери и ребенка, медицинский пункт, один врачтерапевт, а также сельские аптеки. В экспериментальных районах были осуществлены четыре меро приятия по совершенствованию качества и управления; в контроль ном районе изменений не проводилось. В частности, был создан на чальный запас лекарств, персонал прошел подготовку по диагности ке и лечению, была организована система управления финансами и запасами лекарств, и сотрудники прошли обучение по ее использова нию; кроме того, в целях укрепления управления был усовершенство ван надзор за подобного рода деятельностью. В это же время были введены два различных механизма ценообра зования. Первый предусматривал плату за обращение, причем для па циента старше пяти лет плата составляла 200 франков КФА∗ (0,66 долл. США), а с детей до пяти лет взимали 100 франков КФА (0,33 долл. США). Второй механизм сочетал уплату ежегодного налога в размере 200 франков КФА, который выплачивается налогоплатель щиками района, и плату в размере 50 франков КФА с пациента стар ше пяти лет, и 25 франков КФА — за детей в возрасте до пяти лет. Го довой доход составлял около 300 долл. США на душу населения. В обеих схемах целевые группы освобождались от выплат. Распоряже ние финансами осуществлялось на районном уровне. ∗ Национальная валюта Нигера. — Прим. перев.


188

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

III. Данные Три указанных района были отобраны на основании административ ных данных. Было проведено два обследования домохозяйств (одно из которых было базисным); их результаты совместили с админист ративными записями по объектам здравоохранения. В ходе каждого обследования была собрана демографическая информация на уров не домохозяйств и на индивидуальном уровне из случайной выборки в 1800 домохозяйств. Базисное исследование позволило получить данные по 2833 индивидуумам, которые обращались за медицинской помощью за две недели до проведения опроса, а также 1770 беремен ным женщинам; в ходе окончательного обследования были собраны данные о 2710 больных и 1615 беременных женщинах. Администра тивные данные содержали подробную информацию о ежемесячных расходах на лекарства и управленческих расходах, затратах на пер сонал и плату за прием, а также об использовании медицинских уч реждений. Эта информация была собрана за год до начала програм мы, в базисном году (май 1992 г. — апрель 1993 г.) и через год после окончания программы.

IV. Эконометрические методы Данное исследование сочетает сопоставление средних данных с по мощью простой программы Logit; последний применяется для отра жения изменений в степени использования услуг медучреждений. В частности, индивидуальный ответ на вопрос о том, использовалось ли медицинское учреждение (РI), применяется для описания следую щей модели. Logit (PI) = X∃ + ∗ (A+B). Данная модель, которая учитывает вектор индивидуальных харак теристик Х и бинарные переменные А и В, сравнивалась с Logit (PI) = X∃ + ∗a A+ ∗b B Фиктивные переменные А и В определяются поразному. В пер вой совокупности регрессий А относится к периоду действия про граммы, а В — к периоду до программы, причем регрессии рассчи тываются по подгруппам (заданные целевые группы) и по районам. Во второй совокупности регрессий А и В используются для выпол


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

189

нения шести парных сравнений каждого района с каждым из ос тальных районов во время действия программы. В каждом случае ав торы проверяют, действительно ли (∗a + ∗b) = ∗. Влияние доступа с ге ографической и финансовой точек зрения отражается в матрице Х временем, за которое можно добраться до медицинского пункта, и квартилями дохода, соответственно. Из рассмотрения непонятно, какая категория в каждом случае опускается. Неясно также, были ли исправлены среднеквадратичные ошибки оценок с учетом кластер ной природы выборки. Хотя метод с использованием программы Logit является эффек тивным способом решения сразу трех вопросов исследования (зако номерности использования, влияние на подгруппы, воздействие до ступа с географической и финансовой точек зрения), четвертый во прос (последствия изменений в механизме возмещения издержек) рассматривается с помощью административных данных и простого сопоставления средних арифметических значений. Очевидной про блемой последнего подхода (которая явно не обозначена) является возможность смещения в представлении результатов применения программы. В частности, если деятельность администраторов оце нивается в зависимости от успешного результата программы, присут ствует моральный риск. Влияние программы на использование альтернативных систем здравоохранения было выявлено эконометрическими методами, описанными в других источниках.

V. Кто проводил оценку Обследование проводилось Министерством общественного здраво охранения при финансовой и технической поддержке со стороны Агентства международного развития США и Всемирного банка. Не посредственно оценку осуществляли Франсис Диоп, Абоде Яцбек и Рикардо Битран из компании «Abt Associates».

VI. Результаты В ходе исследования обнаружилось, что метод «налог плюс плата» приносит больший доход с одного человека, чем метод, основанный только на оплате. Кроме того, первый метод оказался гораздо более популярным. Система оплаты с применением налога также привела к более позитивным результатам с точки зрения обеспечения доступа к более качественным медицинским услугам для бедных, женщин и


190

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

детей. Но поскольку основной преградой для доступности медицин ских услуг является географическое расположение объекта здравоо хранения, то система, основанная на налоге, фактически перерас пределяет расходы на здравоохранение, перенося их от людей, про живающих вблизи лечебных учреждений, на тех, кто живет вдали от таких учреждений. В районе, где использовалась обычная плата за услуги, наблюда лось некоторое снижение числа первичных посещений врача при одновременном повышении спроса на медицинские услуги; в райо не, где оплата применялась совместно с налогом, оба этих показате ля существенно выросли. В значительной степени такой результат можно объяснить улучшением качества услуг, которое более чем компенсирует увеличение стоимости. Сокращение расходов (особенно стоимости лекарств), связанных с изменением качества и управления, также оказалось действенным и устойчивым результатом. Возмещение затрат в районе, где применя лись оплата и налог, приблизилось к 100% и превысило эту величину, однако в районе, где использовалась только оплата, показатель был значительно ниже. Кроме того, в первом районе готовность платить была намного выше, чем во втором. Основным результатом стал вывод о том, что сочетание налога с оплатой является как более результативным с точки зрения достиже ния поставленных целей, так и более популярным среди населения механизмом. Вместе с тем оценка показала, что отсутствие географи ческого доступа к объектам здравоохранения — основная помеха для их использования. На основании этого можно предположить, что при переходе к сочетанию налога и оплаты присутствуют определен ные проблемы в области распределения: домохозяйства, расположе ные далеко от лечебных учреждений, будут скрыто субсидировать те домохозяйства, которые расположены в непосредственной близости от таких учреждений.

VII. Приобретенный опыт Из данной оценки можно сделать несколько важных выводов. Одним из них является многогранность подхода при оценке воздействия проекта на различные параметры, связанные с устойчивостью ре зультатов: не только на возмещение издержек, но и на качество и ре акцию адресных (экспериментальных) групп. Другой вывод таков: при сборе данных с помощью административных инструментов и инструментов обследования важно обращать внимание на детали —


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

191

это помогло точно определить, какие компоненты программы оказа лись успешными, и что этому способствовало. Наконец, анализ воз действия на каждую адресную группу оказался особенно полезен при составлении рекомендаций в отношении стратегии.

VIII. Источники Diop, F. A. Yazbeck and R. Bitran «The impact of alternative cost recovery schemes on access and equity in Niger» Health Policy and Planning, 10 (3): 223–240. Wouters, A. «Improving quality through cost recovery in Niger». Health Policy and Planning 10 (3): 257–270.


192

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Приложение 1.14. Результаты обучения в начальных школах Филиппин: оценка воздействия четырех экспериментов I. Введение Описание проекта. В большинстве развивающихся стран для раз работчиков политики причиной озабоченности служат факты зна чительного отсева учеников, а также то, что ученики начальной шко лы получают недостаточно знаний. Именно такая ситуация сложи лась на Филиппинах: почти четвертая часть детей в стране бросает школу, не закончив шестого класса. Те же, кто продолжает учиться, ус ваивают менее половины преподаваемого материала. Для решения этих проблем в 1990–1992 гг. правительством проводилась Програм ма предупреждения отсева учащихся (ППО). В рамках этой програм мы было проведено четыре эксперимента: предоставление диффе ренцированных учебных материалов (ДУМ), предоставление школь ных обедов (ШО), а также сочетание каждой из этих мер с созданием партнерских отношений между учителями и родителями (ПУР). Пер вый подход позволяет учителям строить темп обучения, исходя из потребностей разных учащихся, и обходится намного дешевле, чем организация питания в школе. Сотрудничество родителей с учителя ми не потребовало почти никаких затрат, но результатом явилось то, что дети смогут учиться не только в школе, но и дома. Чем интересна оценка. Данная оценка четко направлена на форми рование в стране соответствующего потенциала, чтобы оценка стала неотъемлемой частью новых программ, а требования к данным учиты вались бы еще до начала реализации проекта. Впрочем, в ходе работы возник ряд проблем, и результаты оценки четко указывают, чего следу ет ожидать. Еще одним существенным вкладом оценки является про верка устойчивости результатов при применении различных экономе трических подходов. И, наконец, важен итоговый анализ «затраты–вы годы», так как он ясно говорит о том, что получить одни лишь значи тельные результаты (итоги) недостаточно: недорогие программы вполне могут оказаться предпочтительнее, чем дорогостоящие.

II. Вопросы исследования и план оценки Основным вопросом исследования является оценка воздействия че тырех различных программ на отсев учащихся и успеваемость.


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

193

Оценка обуславливается не только потребностями программы, но и прагматическими соображениями. Команда ППО отбирала школы в три этапа. • Два района в каждом из пяти регионов страны определялись как му ниципалитеты с низким уровнем доходов. В одном районе меры, применяемые в рамках программы, распределялись как контроль ные, ДУМ или ДУМПУР; в другом — контрольные, ШО или ШОПУР. Выбор двух пакетов мер производился на случайной основе. • В каждом районе команда выбирала три школы, которые: а) име ли программу обучения для всех классов, причем на каждом году обучения имелось по одному классу; б) имели высокие показатели отсева учеников; в) не предоставляли питания в школе. • В каждом районе три школы на случайной основе относили к кон трольной группе или к одной из двух программ. Каждая программа случайным образом относилась ко всем клас сам в пяти школах; кроме того, в 1991 и 1992 гг. — ко всем классам во всех 20 школах, а также в 10 контрольных школах были предложены предварительные и заключительные контрольные работы (тесты).

III. Данные Порядок сбора данных сам по себе был достаточно поучительным. Сбор базисных данных начался в 1990–1991 гг.; программа была реа лизована в 1991–1992 гг. В течение каждого из двух лет была собрана детальная информация о 29 школах, приблизительно 180 учителях и примерно 4000 учениках. Хотя анкеты были очень подробными, вы яснилось, что необходимости в этом не было: пригодилась лишь не большая часть информации. Таким образом, эту часть расходов на процесс оценки можно сократить без ущерба для результата. В нача ле и в конце каждого учебного года проводились предварительный и заключительный тесты по трем предметам: математике, филиппин скому и английскому языкам. Данные как по ученикам, так и по школам имели лонгитюдный ха рактер. К сожалению, оказалось, что идентификаторы для учащихся в эти 2 года для учеников и школ не совпадали. Следует отметить, что об этом не было известно заранее, а выяснилось лишь после шести месяцев работы, когда проявились внутренние несоответствия. По лучить первоначальные идентификаторы из Департамента образова ния Филиппин было невозможно. К счастью, удалось восстановить


194

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

данные для первоклассников, что позволило провести определен ный лонгитюдный анализ.

IV. Эконометрические методы Структура выборочного исследования обусловила несколько инте ресных эконометрических проблем: одно подмножество было для бросивших школу и одно — для результатов тестирования. В каждом случае присутствуют два набора очевидных мер контроля: один — контрольная группа школ, другой — базисное обследование, прове денное в год, предшествовавший программе. Авторы использовали их поразному. При анализе отсева естественно применить методику двойных раз личий и сравнить изменение среднего показателя отсева в каждом уча ствующем в программе за два года, с изменением среднего показателя отсева в контрольных классах. Однако сразу возникли две проблемы. Во первых, хотя результаты и были достаточно масштабны, они являлись значимыми только для программы ДУМ, что, возможно, было связано с небольшими размерами выборки. Такая проблема не является редкос тью для подобных процедур. Вероятно, она неизбежна, если учесть недо статок финансирования больших экспериментов в развивающихся странах. Вовторых, краткая проверка того, были ли характеристики и успеваемость одинаковыми в разных школах за год до введения про граммы, показала, что наблюдались значительные различия. Эти два фактора привели к необходимости проверки авторами надежности ре зультатов методами логистической регрессии, где учитывались личные характеристики (personal characteristics — PC) и семейное положение (family background — FB); при этом главный результат остался неизмен ным. Тем не менее метод регрессии обнаружил важную косвенную при чину отсева из школы — плохую успеваемость. Это вызвало вторую ста дию анализа, на которой основное внимание уделялось успеваемости. Еще одна группа эконометрических вопросов возникла при оцен ке воздействия программы (INTER) на успеваемость учащегося i в школе s в период времени t (APist); авторы представляют это как: APist = δ0 + δ1 APist1′ + δ2 PCi+ δ3 FBi+δ4 LEst+ δ5 CCi +δ6 INTERjt + ε, где LE — среда обучения, СС — условия в аудитории. Сначала необходимо ввести поправки на кластерную корреляцию ошибок, которые, скорее всего, будут существовать в отношении учени


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

195

ков одного и того же класса и школы. Затем следует отразить ненаблюда емую разнородность. Третьим вопросом является смещение при отборе. Первый вопрос решается путем применения коррекции Губе ра–Уайта (Huber–White) к стандартным ошибкам. Второй аспект в принципе мог бы найти отражение на индивидуальном уровне, если использовать в качестве независимой переменной различия в ре зультатах тестов. Однако авторы утверждают, что подобный метод неприемлем, поскольку предполагается, что δ1 = 1, а это не под тверждается тестами. Поэтому они сохраняют запаздывающую зави симую переменную, но это порождает следующую проблему — сме щение эндогенной независимой переменной в уравнении регрес сии. Она решается через дополнение результатов предварительного теста по каждому предмету результатами по другим предметам. При этом авторы отмечают, что за уменьшение смещения приходится платить (это приводит к снижению эффективности), и приводят ре зультаты как метода наименьших квадратов, так и метода инструмен тальных переменных. Для того чтобы ввести поправки на ненаблю даемую разнородность среды обучения (learning environment, LE) и аудиторных условий (classroom conditions, CC), авторы используют фиксированные результаты для школ и преподавателей. Третья проблема (смещение выборки) также часто упоминается в ли тературе, и полного ее разрешения не существует. Очевидно, что, по скольку наблюдаются разные уровни отсева, индивидуальная успевае мость зависит от решения продолжать учебу. Хотя эту проблему часто пытались решить с помощью двухэтапной процедуры Хекмана, такой подход оказывался весьма неудовлетворительным по трем причинам: изза его чувствительности к допущению нормального распределения, его выбора и достаточности приемлемых переменных для использова ния на первом этапе, а также частой зависимости от идентификации в силу нелинейности первого этапа. К сожалению, до сих пор нет единого мнения относительно того, чем можно было бы ее заменить. Один вари ант был предложен Крюгером, который приписал бросившим школу их результаты предварительного теста и вернул их в регрессию. Таким об разом, авторы представляют три набора результатов: простой регрессии результатов по программе, подхода Крюгера и процедуры Хекмана.

V. Кто проводил оценку Сбор данных проводился Бюро начального образования Департа мента по образованию, культуре и спорту Филиппин. Анализ осуще ствляли сотрудник Всемирного банка и два исследователя.


196

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

VI. Результаты В рамках данного исследования осуществляется оценка воздействия программ на отсев учеников из 1–6го классов, а также на результаты тестов в 1ом классе при использовании метода двойных различий, метода инструментальных переменных и метода выборки Хекмана. Воздействие дифференцированных учебных материалов (особенно при сотрудничестве родителей и учителей) на решение бросить школу и на успеваемость устойчиво при различных характеристиках и весьма рентабельно. Воздействие программы школьных обедов бы ло в основном незначительным. Интересным компонентом исследо вания был анализ «затраты–выгоды». Его итоги показывают, что по лучения существенных результатов недостаточно. В частности, про стой расчет прямой и косвенной (альтернативной) стоимости про граммы позволяет заключить, что вариант ДУМ одновременно явля ется действенным и оправданным с точки зрения затрат. Впрочем, результативность программы школьного питания может оказаться заниженной. Возможно, при более высокой адресности та кие программы были бы вполне приемлемы. Кроме того, поскольку между реализацией программы и ее оценкой прошло совсем мало времени, долгосрочное воздействие программы увидеть сложно.

VII. Приобретенный опыт Во время оценки было сделано несколько выводов. Главный из них заключался в чрезвычайной значимости деталей — при потере соот ветствующих данных, например по причине несовпадения иденти фикаторов по годам, может быть упущено огромное количество цен ной лонгитюдной информации. Вовторых, из всей информации, полученной в ходе детальных исследований, была использована лишь незначительная часть; таким образом, можно было бы подвер гать респондентов меньшей нагрузке. Втретьих, данное исследова ние подчеркивает ценность различных эконометрических подходов, а также полезность обнаружения соответствия между ними. Вчет вертых, исследование служит образцом использования метода «затраты–выгоды». С его помощью затраты на проведение различ ных видов программ выявляются и получают стоимостное выраже ние. Наконец, несмотря на то, что при выполнении исследования яв но был допущен ряд ошибок, авторы отмечают, что главная цель ра боты состояла в формировании в стране потенциала для проведения оценки. Тот факт, что ППО была реализована и прошла оценку, озна


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

197

чает, что подобный потенциал вполне можно сформировать на базе Министерств образования.

VIII. Источники Tan, J.P, J. Lane and G. Lassibille «Schooling Outcomes in Philippine Ele mentary Schools: Evaluation of the Impact of Four Experiments» World Bank Economic Review, September 1999.


198

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Приложение 1.15. Вьетнам: оценка воздействия проектов по сооружению сельских дорог на бедность I. Введение Описание проекта. Всемирный банк и другие доноры активно под держивают строительство сельских шоссейных дорог, рассматривая их как инструмент для борьбы с бедностью. Проект сельского транс порта во Вьетнаме I (Rural Transport Project — RTP I) был начат в 1997 г. при финансовой поддержке Всемирного банка; предполагалось, что его реализация займет 3–5 лет. Цель проекта — повысить уровень жиз ни в бедных районах посредством восстановления существующих шоссейных дорог и мостов и улучшения доступа к рынку. В каждой уча ствующей (экспериментальной) провинции проекты по восстановле нию определялись на основе критерия наименьшей стоимости с уче том числа жителей, которое выиграет от проекта, и затрат на проект. Однако, чтобы повысить адресность в интересах бедных, допускается отвлечение 20% средств, предназначенных для каждой провинции, на охват малонаселенных горных районов, где проживают этнические меньшинства, и где проекты, вообще говоря, не отвечали бы критерию наименьшей стоимости его применения. Оценка воздействия. Несмотря на общее согласие по вопросу зна чимости сельских дорог, конкретных показателей размера и сущнос ти выгод от них на удивление немного. Цель Оценки воздействия проекта сельских дорог Вьетнама — определить изменения в благо состоянии домохозяйств общин, участвующих в нем, по сравнению с контрольными общинами. Главная задача оценки — успешно выде лить воздействие дорог из множества других факторов, которые ме няются сегодня в сельских районах Вьетнама в результате перехода к рынку. Работа над оценкой началась в 1997 г. одновременно с подготов кой к проекту и продолжается до сих пор. Результаты пока не получе ны. Однако уже ясно, что эта оценка станет одной из первых полных попыток исследовать воздействие сельских дорог на благосостояние. Это главный показатель при выявлении того, действительно ли по добные проекты способствуют сокращению бедности. Схема оценки будет усовершенствована по сравнению с предыдущими оценками инфраструктуры благодаря сочетанию в ней следующих элементов:


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

199

а) сбор данных базисного и дополнительного обследований; б) включение соответствующих мер контроля для обеспечения устой чивости результатов по отношению к ненаблюдаемым факторам, ко торые определяют участие в проекте и его результаты; в) достаточно длительное отслеживание проекта (будет проведено несколько по следовательных циклов сбора данных), что позволит оценить пол ное воздействие на благосостояние.

II. План оценки Схема Оценки воздействия Проекта сельских дорог Вьетнама (Viet nam Rural Roads Impact Evaluation) основывается на данных базис ного (до начала проекта) и последующего (после проведения про екта) исследования выборки общин, участвующих и не участвую щих в нем. Соответствующие меры контроля можно выделить из общин, не участвующих в проекте, методом сравнения по подобию. Базисные данные позволяют провести сопоставление показателей благосостояния в участвующих в проекте (экспериментальных) и контрольных общинах по методу «до и после» (метод рефлексив ных сравнений). Теоретически контрольная группа, выбранная ме тодом сравнения по подобию, идентична участвующей в проекте группе по своим наблюдаемым и ненаблюдаемым характеристи кам, и потому конечные результаты в «проектных» общинах можно объяснить воздействием программы.

III. Методы сбора и анализа данных Данные, собранные для оценки, включали в себя обследования на уровне домохозяйств и общин, а также базы данных на уровне райо нов, провинций и проекта. Базисные и последующие обследования общин и домохозяйств были проведены в 1997 и 1999 гг.; также с ин тервалом в два года планируется провести третий и четвертый циклы обследований. Выборка включала 100 участвующих и 100 не участву ющих в проекте общин, расположенных в шести из 18 провинций, которые охвачены проектом. Участвующие в проекте общины выби рались случайным образом из перечня всех общин с предлагаемыми проектами по каждой провинции. Затем составлялся список остав шихся общин в районах с предлагаемыми проектами, и из них слу чайным образом выбирались контрольные общины. (В идеале они отличаются от группы, участвующей в проекте, только своим неучас тием. Из соображений обеспечения работ, было желательно ограни


200

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

чить работу на местах несколькими конкретными регионами. Поэто му контрольные группы выбирались таким образом, чтобы они были расположены вблизи от общин, участвующих в проекте, или в тех же районах. Районы достаточно велики, и потому маловероятно, чтобы проект внес искажения в показатели группы, не участвующей в нем, однако тем не менее подобная возможность тщательно проверялась.) Для проверки выбора членов контрольных групп будут использо ваться методы отбора подобного по склонности, основанные на ха рактеристиках общин, а любые члены контрольных групп с нестан дартными по сравнению с участниками проекта характеристиками будут исключаться из выборки. Для того чтобы убедиться в идентич ности показателей склонности (прогнозируемые значения в модели Logit) для всех контрольных общин, будет рассчитана и использова на модель участия общин Logit. База данных по общинам формировалась на основе существую щей административной информации, получаемой ежегодно по всем общинам и включающей сведения о демографии, землепользовании, производственной деятельности. В дополнение будут использованы результаты обследования на уровне общин, которое проводилось специально в интересах оценки. Данное обследование охватывает общие характеристики, инфраструктуру, занятость, источники средств к существованию, сельское хозяйство, землю и другие акти вы, образование, здравоохранение, программы развития, общинные организации, систему финансов общины и уровень цен. Эти данные будут использоваться для построения ряда показателей благосостоя ния на уровне общин, а также для проверки воздействия проекта с те чением времени. Основная цель обследования домохозяйств — получить инфор мацию об их доступе к различным благам и услугам, а также об изме нениях в этом доступе с течением времени. Анкета для домохозяйств была предложена 15 выбранным случайным образом домохозяйст вам в каждой общине; вопросы анкеты касались занятости, имущест ва, производительной деятельности, уровня образования, состояния здоровья, маркетинга, кредита, общинной деятельности, доступа к социальному обеспечению и программам по борьбе с бедностью, а также транспорта. Изза ограниченных местных возможностей по проведению исследования попыток собрать сложный набор данных, необходимых для выведения показателя благосостояния домохо зяйств (например, дохода или потребления), не предпринимается. Однако в исследование был включен ряд вопросов, повторяющих во просы Исследования уровня жизни во Вьетнаме. Эта и другая инфор


АНАЛИЗ КОНКРЕТНЫХ СИТУАЦИЙ

201

мация о характеристиках домохозяйств, общая для обоих исследова ний, будет использована, чтобы представить место каждого домохо зяйства в распределении национального благосостояния, для этого будут применены методы регрессии. Была подготовлена также не большая база данных на уровне районов, с помощью которой данные с уровня общин (включая информацию о населении, землепользова нии, по экономике, социальным показателям и т.д.) можно поместить в более широкий контекст. Каждое из этих обследований будет про ведено повторно в соответствии с графиком обследования общин. На основании существующей информации были созданы еще две базы данных. Обширная база данных на уровне провинций была сформирована для того, чтобы помочь понять принцип выбора про винций для участия в проекте. Эта база данных охватывает все про винции Вьетнама и содержит информацию о большом количестве социальноэкономических переменных. Наконец, была также созда на база данных на уровне проекта для каждой из прошедших обсле дование областей проекта. С ее помощью в ходе оценки воздействия проекта вносились поправки на его масштаб и способ реализации. Для моделирования выбора мест реализации проекта с учетом ос новных экономических, социальных процессов и процессов полити ческой экономии будут использоваться базисные данные. В зависимо сти от результатов отбора последующие стадии оценки будут исполь зоваться для выявления выгод, измеряемых на уровне общин. В каче стве аналитического подхода избрана методика двойных различий в сочетании с методами отбора подобного. Методы отбора подобного будут использоваться для выбора идеальных контрольных групп из 100 выбранных общин, не участвующих в проекте. Результаты, полу ченные в участвующих в проекте общинах, будут сравниваться с ре зультатами контрольных общин в ситуациях как до, так и после осу ществления проектов. Воздействие проекта будет определяться так: разность между результатами, полученными в областях, участвовав ших в проекте, до и после его осуществления, минус соответствующая разность между результатами в отобранных по подобию контроль ных областях. Данный метод позволяет получить свободную от сме щений оценку воздействия проекта в присутствии ненаблюдаемых, не зависящих от времени факторов, влияющих как на выбор областей проекта, так и на полученный результат. Дополнительную надежность результатам придает то, что подмножества данных содержат большое число как показателей результата, так и объясняющих (независимых) переменных. Среди анализируемых показателей результата — сель скохозяйственный урожай на уровне общин, диверсификация источ


202

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ников доходов, возможность трудоустройства, использование и рас пределение земли, доступность товаров, услуг и организаций, а также наличие имущества и его распределение.

IV. Стоимость оценки и администрирование Затраты. К настоящему моменту общая стоимость оценки состави ла 222500 долл. США, или 3,6% от общих затрат на проект. Эта сумма включает 202500 долл. США на два этапа сбора данных, а также 20000 долл. США, предоставленных в виде гранта на исследования. Стоимость времени сотрудников Всемирного банка и расходы на переезды в указанные затраты не включены. Администрирование. План оценки был разработан сотрудником Всемирного банка Доминик ван де Валле. Для осуществления надзора за ходом исследования в стране был приглашен независимый кон сультант, имеющий подготовку в сфере экономики и научной дея тельности и занимавшийся вопросами сельской бедности и разви тия. Этот консультант сформировал и подготовил команду контроле ров, решал все вопросы, связанные с обеспечением работ, и вел над зор за сбором данных.

VII. Источники Van de Walle, Dominique. 1999. Assessing the Poverty Impact of Rural Road Projects. The World Bank. Washington, D.C. Processed.


Приложение 2

Типовое техническое задание Пример I. Проект по организации питания и раннего развития детей в Уганде Техническое задание консалтинговой фирме для оказания содействия при проведении оценки проекта I. Исходная информация Правительство Уганды обратилось в Международную ассоциацию развития (МАР) с просьбой выделить кредит для осуществления Проекта по организации питания и раннему развитию детей. Цель проекта — повысить уровень жизни детей в возрасте до шести лет и обеспечить семьям и общинам благоприятные возможности для воспитания детей. В частности, в задачи проекта входит обеспече' ние раннего развития детей благодаря улучшению питания, состоя' ния здоровья, психологического и когнитивного (познавательного, т.е. способности детей к познанию) статуса детей в Уганде в возрас' те до шести лет.

II. Обоснование инвестиций в раннее развитие детей Инвестиции в раннее развитие детей (РРД) приносят осязаемые ре' зультаты не только для самих детей и родителей, но и для всех общин и страны в целом. В младенчестве и в раннем возрасте происходят быстрый физический рост и умственное развитие. К двум годам мозг ребенка почти полностью сформирован. Способности к обучению также в значительной степени развиваются уже к четырем годам. До' статочный физический рост и умственное развитие в раннем возра' сте позволяют ребенку лучше подготовиться к школе, способствуют тому, что в школе остается больше детей, а также стимулируют увели' чение значимости человеческого капитала. Самые значительные вы' годы от заботы в раннем возрасте могут получить дети из неблагопо' лучной среды, — благодаря подобным программам устраняются раз' рывы и неравенство, связанные с бедностью.


204

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Хорошее здоровье и питание наряду с развитием умственных спо' собностей влияют на всю дальнейшую жизнь. Взаимосвязь между пи' танием, здоровьем и умственным развитием настолько важна, что осязаемых положительных результатов роста и развития ребенка можно добиться только при комплексном подходе.

III. Задачи и стратегические цели проекта Задача проекта с точки зрения развития — улучшить рост и развитие детей в возрасте до шести лет с учетом аспектов питания, состояния здоровья, психологических и когнитивных аспектов. Оценка того, смог ли проект по истечении пяти лет выполнить такую задачу, будет строиться на следующих показателях: a) сокращение числа детей'до' школьников с дефицитом массы в районах, охваченных проектом, на одну треть от уровня 1995 г.; б) сокращение числа детей с задержкой роста, отмечаемой на момент поступления в начальную школу, на од' ну четверть от уровня 1995 г. в районах, охваченных проектом; в) улучшение психо'социального и когнитивного развития у детей; г) сокращение числа второгодников и отсева учеников в начальных классах и д) развитие предпринимательских навыков и экономичес' кой самостоятельности матерей и лиц, воспитывающих детей. Проект проводится в поддержку Государственной национальной программы помощи детям Уганды (Ugandan National Program of Action for Children) и Плана действий по борьбе с бедностью (Poverty Eradication Action Plan). Этот проект в частности призван повысить уровень готовности детей младшего возраста к школе; тем самым он помогает достичь всеобщего начального образования. Главная стра' тегическая задача проекта — расширить возможности семей и об' щин по обеспечению лучшего ухода и воспитания детей дошкольно' го возраста (от нуля до шести лет), благодаря совершенствованию их знаний о росте и развитии ребенка, воспитании, питании и меди' цинском уходе, а также благодаря вовлечению женщин в коммерчес' кую деятельность.

IV. Методология проекта Данный проект нацелен на процесс (расширение возможностей се' мей по улучшению ухода и воспитания детей) и учитывает местные приоритеты развития. Он не содержит набора готовых рецептов. Ре' сурсы предоставляются общинам постепенно по результатам процес' са планирования с участием общественности. Это позволяет гаранти'


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

205

ровать чувство сопричастности и обеспечивает устойчивость проек' та. Проект предусматривает сотрудничество между государственны' ми ведомствами и общественными организациями (включая отечест' венные и международные неправительственные организации) и об' щинами. Будучи межотраслевой программой, которая включает в се' бя рассмотрение таких вопросов, как здравоохранение, питание, дет' ское раннее образование, уход за детьми, формирование сбережений и доходов, проект предусматривает налаживание контактов между различными государственными ведомствами и неправительственны' ми организациями, чтобы обеспечить всестороннюю поддержку дет' скому развитию. Проект будет поддерживать ряд вариантов, исходя из потребностей детей дошкольного возраста и их семей.

V. Компоненты проекта Компонент 1. Комплексные меры по уходу за детьми силами общин. Этот компонент помогает решить следующие задачи госу' дарства: a) повышение уровня информированности родителей по основным аспектам ухода за детьми и их развития через просвеще' ние родителей, наблюдение за ростом детей и его стимулирование, обучение и раскрытие важности этих моментов и б) расширение полномочий общин в плане оказания поддержки программам разви' тия детей благодаря формированию и приобретению навыков полу' чения дохода и предоставлению грантов. Цель — сократить количе' ство случаев дефицита веса у детей на одну треть к концу пятилетне' го срока в округах, задействованных в проекте, а также повысить уро' вень подготовки детей к школе и тем самым способствовать достиже' нию всеобщего начального образования. План правительства преду' сматривает охват в конечном счете всех округов, однако на этом эта' пе программа будет введена в действие в 25 округах, выбранных пра' вительством исходя из уровня недоедания, детской смертности и процента поступающих в начальную школу. Программа предусмат' ривает следующие взаимосвязанные меры. 1) Просвещение родителей. Этот подкомпонент проекта пре' дусматривает работу с родителями и воспитателями, направленную на достижение понимания по доведению основных аспектов, связан' ных с уходом за ребенком, его ростом и развитием, включая питание, здоровье, развитие когнитивных и психологических способностей. Проект призван повысить уровень компетенции родителей в этих вопросах. Усвоение родителями навыков и знаний по уходу за ребен'


206

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ком, в свою очередь, будет способствовать улучшению здоровья, пси' хо'социального развития и благополучия детей, а в конечном счете их готовности к обучению в системе начального образования. Про' ект предусматривает мобилизацию групп матерей (родителей) на уровне общин, предоставление им материалов на местных языках, технический надзор и их взаимодействие. В Уганде был успешно ап' робирован упрощенный учебный материал для взрослых с низким уровнем грамотности. Акцент предполагается сделать на расшире' ние такой практики ухода за детьми, которая обеспечит надлежащий рост и развитие детей, и включает аспекты питания и здоровья детей (кормление только грудью и практика отъема от груди, — в частнос' ти, период введения в рацион детей переходных продуктов, а также различные виды детского питания и способы его приготовления, стимулирование роста детей, дегельминтизация), а также вопросы психологического развития и стимулирования когнитивных способ' ностей и социальной поддержки, гигиены и совершенствования на' выков поддержания здоровья в семье. Указанные меры должны подкрепляться дополнительными меро' приятиями (например, проведение «Дня ребенка») на уровне церков' ного прихода, чтобы общины могли получать ряд услуг, связанных с уходом за ребенком, в одном месте. Кроме того, в некоторых прихо' дах как составляющая часть «Дней ребенка» предусмотрено изучение эффективности применения антигельминтного препарата альбенда' зола детьми младшего возраста. Будет также оцениваться то, как его использование каждые полгода влияет на прибавление в весе. 2) Наращивание потенциала общин и предоставление са мостоятельности в уходе за детьми. Эта часть программы включает в себя два взаимосвязанных мероприятия: а) развитие на' выков общин, — с этой целью будут проводиться практические семи' нары по планированию деятельности общин и доведению до них важности соответствующих аспектов и б) обучение предпринима' тельским навыкам с целью повысить доходы матерей и воспитателей. Компонент 2. Предоставление общинам социальных субси& дий в интересах развития детей. Для общин предусмотрены два типа субсидий. 1) Социальные субсидии предоставляются общинам при усло' вии их долевого участия. Эти субсидии и вклады общин предназначе' ны для финансирования мероприятий, проводимых в рамках про' граммы развития детей и соответствующих основным направлени' ям, отраженным в Руководстве по реализации проекта. Чтобы полу'


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

207

чить право на эту субсидию, общины должны внести равную долю средств. Взнос может быть сделан в виде товаров, работ или услуг. Примерами использования таких субсидий служат строительство и эксплуатация общинных центров развития детей, домашних цент' ров по уходу за детьми или производство и маркетинг продуктов дет' ского питания, заменяющих материнское молоко. Данный компо' нент будет осуществляться в тех же 25 округах, что и компонент 1. 2) Гранты на инновации — это субсидии, предоставляемые об' щинам для разрешения проблем, связанных с воспитанием и уходом за детьми. Гранты на инновации предназначены для проведения ме' роприятий, не вошедших в перечень основных действий, перечис' ленных в рамках социальных субсидий. Как следует из названия, «ин' новационный» фонд будет использоваться для поддержки общин разного уровня при реализации «инновационных идей» по улучше' нию жизни их детей. Инновационные гранты будут получаться об' щинами в том же порядке, что и социальные субсидии, т.е. предложе' ния, подготовленные общинами в результате совместного планиро' вания, будут изучены районным комитетом округа, а затем представ' лены для финансирования в рамках проекта. Компонент 3. Национальная программа поддержки развития детей. Этот компонент предусматривает осуществление мероприя' тий центральной программы и стратегических инициатив, призван' ных поддержать проекты, которые осуществляются на уровне райо' нов в рамках компонентов 1 и 2, а также обеспечение качества прове' дения первоочередных мероприятий на уровне общин. Компонент включает в себя: a) мониторинг и оценку программы, б) помощь в предупреждении дефицита питательных микроэлементов, в) разра' ботку учебных планов в интересах раннего развития детей, г) подго' товку преподавателей по раннему развитию детей, а также д) инфор' мацию, пропаганду и связь.

VI. Порядок реализации За реализацию проекта отвечает Правительство Уганды. В условиях децентрализации и передачи полномочий на нижние уровни власти, которые предусмотрены принятой в стране стратегией, содействие ему оказывают неправительственные организации. В качестве еди' ницы предоставления услуг выступает община, хотя структура коор' динации будет также включать церковный округ, район и админист' ративный округ.


208

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Кроме того, в проекте предполагается работать с заинтересован' ными сторонами (консультации и объяснение важности осуществля' емых мер), мобилизовать усилия общин, обеспечить планирование с участием общественности, создать возможности для устойчивого функционирования на всех уровнях, а также усилить взаимодопол' няемость с другими действующими национальными программами и структурами. Использование существующих политических и инсти' туциональных структур должно быть разносторонним. Также на всех уровнях должны быть обеспечены прозрачность и подотчетность.

VII. Координация проекта На национальном уровне. За общее руководство реализацией проекта будет отвечать Наблюдательный комитет, в состав которого входят отраслевые министерства, спонсоры и представители непра' вительственных организаций. Этот комитет, возглавляемый Постоянным секретарем Министер' ства финансов, планирования и экономического развития, будет обеспечивать руководство стратегическими вопросами, анализиро' вать и одобрять качество и эффективность выполнения проекта. На' блюдательный комитет будет также вносить предложения по опти' мизации годового бюджета административных округов и рабочих планов проекта. На базе Отдела социальных услуг Министерства финансов, плани' рования и экономического развития будет сформирована неболь' шая Группа координации проекта (ГКП); в ее состав войдут коорди' натор, его заместитель, квалифицированный бухгалтер и вспомога' тельный персонал. ГКП будет отвечать за текущую координацию ме' роприятий, проводимых в рамках проекта на национальном уровне. На уровне административных округов. Состав существующего меж' ведомственного комитета (Окружной координационный комитет — ОКК) будет руководителем проекта (РП) и будет отвечать за координа' цию проекта на окружном уровне. РП определит ответственного из чис' ла правительственных чиновников, который будет координировать ра' боту, связанную с деятельностью неправительственных организаций, и прочие мероприятия, осуществляемые в рамках проекта. Ведущая непра' вительственная организация будет включена в качестве члена ОКК. В тех административных округах, где не представляется возможным выявить или укрепить неправительственные организации с достаточным опы' том, чтобы они стали ведущими, реализация проекта будет осуществлять'


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

209

ся через администрацию округов. На уровне района. Существующий отраслевой комитет, сходный с тем, что действует на уровне округа, будет отвечать за координацию мероприятий, осуществляемых в рамках проекта на уровне района. Такой районный координационный комитет будет также содейство' вать налаживанию контактов между существующими структурами и структурами проекта и вместе с ведущей окружной НПО, утверждать годовые рабочие планы районных НПО/Организаций на базе общин (ОБО) и финансирование проекта в данном районе.

VIII. Оценка воздействия проекта Правительство Уганды заинтересовано в оценке долгосрочного ре' зультата от различных аспектов проекта, чтобы определить его дей' ственность и использовать эту информацию при создании будущих проектов в области питания и раннего развития детей (ПРРД). Кроме того, поскольку Всемирный банк рассматривает данный проект в ка' честве потенциальной иллюстрации услуг ПРРД для других стран, он включил этот проект в оценку программ РРД, проводимую в трех странах, и будет оказывать техническое содействие в форме грантов ГКП на поддержку конкретных исследований. В частности, в рамках общего проекта будут проведены два исследования по оценке воз' действия конкретных мероприятий. • Исследование результатов проведения «Дней здоровья ребенка» (Child Health Day Study) при церковных приходах для оценки ох' вата антигельминтными препаратами детей на уровне приходов и их воздействия на прибавление в весе детей до шести лет. В иссле' довании применяется рандомизированный экспериментальный подход. • Обследования, проводимые с использованием методологии ба' зисных данных и повторного обследования для оценки а) воздей' ствия антигельминтных мер и проекта в целом на развитие позна' вательных способностей, здоровье и питание детей в возрасте до шести лет; б) воздействия образовательного компонента про' грамм и кампании в средствах массовой информации на уровень знаний, отношение к ним и реально используемые методы ухода и воспитания, применяемые основными лицами, осуществляю' щими уход за детьми; и в) воздействие обучения широких масс на' селения управлению, мероприятий по оптимизации доходов на' селения и формирования ссудно'сберегательных групп, а также


210

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

предоставления социальных субсидий на благосостояние домо' хозяйствам и общинам. Будет выбрана фирма для предоставления технической поддерж' ки и материально'технического обеспечения в интересах указанных исследований; ей будет предложено в качестве местной исследова' тельской структуры осуществить разработку, сбор данных и анализ, которые необходимы для проведения двух исследований по оценке воздействия. Данная фирма станет основным партнером ГКП, нацио' нальных исследователей и исследователей из Всемирного банка и Оксфордского университета, которые возьмут на себя проведение оценки воздействия.

IX. Обзор исследований Исследование 1. Эффект антигельминтной программы, про& водимой в рамках «Дня здоровья ребенка» в приходах. Сущест' вует ряд исследований, наглядно показывающих результат лечения детей школьного возраста антигельминтными препаратами. Однако для дошкольников имеется только одно широкомасштабное, рандо' мизированное исследование, которое демонстрирует большое влия' ние этого лечения на прибавление в весе детей этого возраста. В свя' зи с этим возник вопрос: можно ли достичь такого эффекта для аф' риканских детей? Таким образом, в проект ПРРД войдет рандомизи' рованное исследование того воздействия, которое дало лечение де' тей младшего возраста антигельминтным препаратом альбендазо' лом; препарат использовался в рамках «Дней здоровья ребенка» в 25 отобранных церковных приходах. Также будет выявлен эффект от применения этого препарата для прибавления детей в весе в случае его использования через каждые шесть месяцев. Данные будут посту' пать от этих церковных приходов, а также от 25 контрольных групп, в которых также будут проводиться «Дни здоровья ребенка», но дети не будут регулярно принимать альбендазол. Если антигельминтное лечение будет успешным, и удастся продемонстрировать положи' тельные результаты для детей Уганды, то эта программа может быть рекомендована для проведения во всех округах. Поскольку это исследование проводится на научной и хорошо контролируемой основе, церковные приходы, где дети будут прини' мать альбендазол, будут отбираться ГКП из списка тех приходов, в ко' торых будут проходить «Дни здоровья ребенка» (этот список будет представлен НПО из соответствующих округов). ГКП также выберет


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

211

приходы, которые войдут в контрольную группу. Экспериментальный подход принципиально важен для успешного проведения оценки. Фирма обеспечит, чтобы местные НПО, отвечающие за проведе' ние «Дней здоровья ребенка» в приходах, были ознакомлены с обос' нованием данного экспериментального подхода и соблюдали требо' вания намеченной стратегии. Каждый ребенок в возрасте от 12 меся' цев до шести лет, участвующий в «детских ярмарках» в 25 отобран' ных церковных приходах, получит специально разработанную жева' тельную таблетку (400 мг) альбендазола. Альбендазол будет выдавать' ся каждые полгода. Даже если НПО решат проводить «Дни здоровья ребенка» чаще, дети все равно должны принимать антигельминтный препарат один раз в шесть месяцев. Дети в тех церковных приходах, где будет выдаваться альбендазол, так же как и дети в 25 намеченных контрольных церковных прихо' дах, при проведении каждого «Дня здоровья ребенка» будут взвеши' ваться; их вес будет регистрироваться в личных медицинских кар' точках и в реестре общины. Тех детей, которые слишком малы, чтобы встать на весы, будут взвешивать на руках матерей; после этого мать встает на весы одна и шкала устанавливается на нулевую отметку. Вес ребенка округляется в сторону ближайших 100 г. За регистрацию ве' са детей в реестрах общин будут отвечать местные НПО, однако фир' ма будет работать вместе с ними, чтобы гарантировать совмести' мость системы сбора данных со всеми задачами исследования. Консультант фирмы будет заносить вес детей в регистрационную форму, разработанную с участием технических консультантов Все' мирного банка и Оксфордского университета. Каждые полгода после проведения «Дней здоровья ребенка» в охваченных проектом райо' нах будет проводиться расшифровка этих данных. В дополнение к идентификационному личному коду ребенка (он представляет собой сочетание уникального идентификационного номера прихода, идентификационного номера деревни и индивидуального иденти' фикационного номера ребенка, который указан в его собственной медицинской карте и в реестре общины) в регистрационную форму будут вноситься данные о поле ребенка, дате рождения, которая ука' зана в медицинской карте ребенка или (если ее нет) — о дате рожде' ния, указанной в реестре общины, дате проведения «детской ярмар' ки», на которой ребенка взвешивали, а также отметка о том, прини' мал ли ребенок дозу альбендазола. Эти данные будут вводится в ком' пьютерную базу данных в Кампале. Индивидуальный идентификаци' онный номер будет служить основанием для совмещения данных, полученных за различные периоды, и, таким образом, идентифика'


212

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

ционный номер должен вноситься каждый раз, когда производится запись этих данных, и оставаться неизменным для каждого ребенка на протяжении всего времени реализации проекта. Также должны быть зафиксированы местные обстоятельства и ус' ловия проведения каждого «Дня здоровья ребенка», которые могут помешать матерям присутствовать на них. Сюда включены данные о состоянии урожая и погодных условиях, так как оба этих фактора мо' гут воспрепятствовать посещению мероприятий. Следует указать лю' бые особые способы и возможности, используемые для объявления о проведении каждого «Дня здоровья ребенка», так как различные виды рекламы могут обеспечить разные показатели участия. Регистраци' онные записи также должны включать оценку количества детей из других приходов, которые пришли на «День здоровья ребенка» и ко' торым его организаторы не присвоили личного идентификацион' ного номера. Эксперимент рассчитан на два года. Таким образом, консультант фирмы должен зафиксировать эти данные для каждого прихода пять раз. Он будет собирать данные в момент начала проекта и через шесть, 12, 18 и 24 месяца после него. Каждые шесть месяцев в ГКП будет направляться полный ком' плект данных. Эти комплекты будут рассматриваться как продукт/ре' зультат первого исследования в рамках проекта. Предварительный анализ будет проводиться в Оксфорде раз в полгода. Однако фирме поручено назначить представителя, который будет участвовать в процессе основного анализа через два года. Этому представителю бу' дут оплачиваться дорожные и прочие расходы во время его работы по проведению анализа в Оксфорде. Средства для этой поездки уже внесены в бюджет отдельной строкой, и поэтому нет необходимости включать их в тендерное предложение. Исследование 2. Общее воздействие мер ПРРД. В ходе обследо' ваний домохозяйств и общин будет получена базисная и дополни' тельная информация, необходимая для оценки воздействия различ' ных мероприятий, которые осуществляются в рамках проекта. Эти обследования будут включать в себя несколько модулей для измере' ния следующих аспектов. • Уровень развития когнитивных способностей и рост детей в воз' расте до шести лет, достигнутый в результате антигельминтного лечения и проекта в целом; в ходе второго исследования будет проведена оценка лонгитюдных показателей роста, психологиче'


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

213

ского и когнитивного развития в группе детей из общин, участву' ющих в проекте (с применением антигельминтных препаратов и без него) по сравнению с группой детей из общин, которые в про' екте не участвуют. Обе группы будут изучаться в течение двух или более лет. Таким образом, исследование дополнит изучение воз' действия антигельминтного лечения на уровне приходов и позво' лит лучше понять, что влияет на решение приводить детей на «Дни здоровья ребенка», а также определит, действительно ли участие в проекте влечет за собой со временем рост показателей когнитив' ного развития. Кроме того, благодаря рассмотрению общин, ко' торые не получают каких'либо услуг в области РРД, это исследова' ние сможет показать, приводит ли пакет таких услуг к улучшению условий питания и развитию когнитивных способностей. Изменение в знаниях, отношениях и практических методах ухода за детьми, которые произошли в результате проведения програм' мы просвещения родителей и кампании в СМИ. Улучшение здоровья и условий питания детей в возрасте до шести лет, выявленное в ходе мониторинга роста, профилактики заболе' ваний и обучения основам здорового питания, применения анти' гельминтных препаратов и других мероприятий по проекту в це' лом. Повышение уровня благосостояния домохозяйств, достигнутое в результате предоставления общинам субсидий, обучения основам управления, проведения мероприятий, направленных на получе' ние дохода, и формирования ссудно'сберегательных групп. Характеристики общины и изменения, произошедшие в результа' те действий проекта (или в силу других причин), которые могли бы сказаться на благополучии детей в период функционирования проекта.

Формирование выборки. В основе этого исследования будут лежать результаты базисного обследования, полученные к моменту начала предоставления услуг общинам, и данные последующего об' следования, полученные от тех же домохозяйств через два года после первоначального замера. Одна треть выборки будет взята из тех же 25 приходов, проводящих антигельминтную терапию, еще треть — из контрольных групп, изученных в ходе исследования 1. Кроме того, треть выборки будет получена из деревень в 25 приходах тех же ок' ругов, которые тоже участвуют в проекте, но не получают услуг по проекту ПРРД. В каждом приходе будут отобраны по тридцать домо' хозяйств, т.е. по 750 домохозяйств из каждого слоя (всего 2250) в пер'


214

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

воначальном обследовании. С учетом ожидаемого выбытия при по' вторном замере предполагается, что в повторном обследовании при' мет участие на 5–10% домохозяйств меньше. Для построения выборки из участвующих в проекте (экмпери' ментальных) и контрольных приходов, все домохозяйства в них (в среднем — примерно 700 домохозяйств в каждом приходе) будут за' несены в списки. Возможно, такие списки будет составлять один из жителей общины. В списке будут указаны имя и фамилия главы се' мейства, данные о месте расположения этого домохозяйства, а также количество в семье детей в возрасте до шести лет. Этот список выпол' няет две цели. Во'первых, выбор в каждом приходе 30 домохозяйств, имеющих по крайней мере одного ребенка в возрасте до шести лет, будет случайным. Во'вторых, общее количество детей, не достигших шестилетнего возраста, поможет оценить потенциальный охват де' тей мероприятиями, проводимыми в рамках «Дня здоровья ребенка» и, таким образом, определить уровень посещаемости. Поскольку в проекте ПРРД предусмотрено меньше контактов с те' ми общинами, где не проводятся текущие мероприятия ПРРД, при от' боре домохозяйств, которым не оказывают никаких услуг РРД, для снижения затрат на составление списков выборки следует использо' вать метод кластерной выборки. В частности, на каждый участвую' щий в проекте район должен быть выбран район, который не участ' вует в проекте, при этом предпочтительно, чтобы районы были со' седними. Все приходы в этих районах должны быть внесены в спи' сок, а из общего списка методом случайной выборки будут отобраны 25 приходов. Затем будут выбраны по две деревни от каждого отоб' ранного прихода, при этом снова используется список всех деревень в приходе. Этот шаг сокращает количество деревень, в которых по' требуется проводить перепись. Перепись населения (подобная той, что проведена в экспериментальных и контрольных приходах) даст список тех домохозяйств, из которых будет составлена выборка в объеме 30 домохозяйств по каждому приходу. Это будет третьим уровнем обследования. Первоначальное базисное обследование должно начаться в сере' дине 1999 г. Эти сроки обусловлены необходимостью ознакомиться с районами и приходами, в которых будут действовать НПО, чтобы иметь возможность применить предлагаемую структуру выборки. Этот срок также установлен исходя из предположения что отбор и обучение ведущих НПО будут завершены не ранее конца 1998 г. Тем не менее, чтобы быть готовыми к запуску проекта сразу после того, как НПО определят те приходы, в которых они будут действо'


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

215

вать, разработку и предварительное тестирование по анкете следует начинать намного раньше (в начале 1999 г.). Поскольку базисные данные необходимо собрать до первого антигельминтного лечения, идеальный момент для проведения базисного исследования совпа' дает с началом организационных мероприятий по подготовке к «Дню здоровья ребенка». Так как выборка из тридцати семей в каждом приходе достаточно мала по сравнению с общей численностью на' селения, то маловероятно, что сбор данных воспрепятствует другим мероприятиям или обременит общины. Сбор данных в контрольных группах (тех, что задействованы в мероприятиях НПО, но не прохо' дят антигельминтного лечения, и тех, которые не участвуют ни в том, ни в другом) должен осуществляться одновременно со сбором дан' ных в группе, участвующей в проекте. Инструменты обследования. Для обследования будут исполь' зоваться следующие основные анкеты: анкеты для домохозяйств (сбор данных на уровне домохозяйств и отдельных лиц) и анкеты для общин.

X. Обследование домохозяйств Данные о домохозяйствах будут собираться с помощью предвари' тельно кодированной схемы. Она будет составлена по модели «Обследований уровня жизни», которые проводились более чем в 30 странах. Первый вариант будет представлен исследователями из Всемирного банка. Однако этот инструмент будет так сокра' щен, чтобы отвечать конкретным потребностям проекта, и при' способлен к местным условиям (для этого фирма проведет пред' варительное тестирование и серию обследований фокус'групп). Анкета для домохозяйств будет содержать модули для сбора дан' ных по следующим аспектам. 1. Социально'демографические характеристики: список лиц, про' живающих в домохозяйстве в течение последних 12 месяцев, их возраст, пол, образование и тип работы (для работающих). Фор' мат кодирования будет указывать родителей всех детей, если они присутствуют (в отсутствие родителей — отметка о том, живы ли они). Индикатором социально'экономического статуса будет слу' жить подробная опись имущества. 2. Знания, отношение и практика: анкета также служит для сбора ин' формации о знаниях, отношении и реально используемых мето' дах ухода за детьми, применяемых основными воспитателями.


216

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

3. Антропометрические данные. Для всех детей в возрасте до шести лет вес при взвешивании округляется до ближайших 100 г. Для взвешивания будут предоставлены электронные весы. Кроме того, у всех детей в возрасте от двух до шести лет будут измерять рост. Предварительное тестирование будет использоваться для того, чтобы определить, возможно ли также собрать данные о весе ма' терей этих детей (если они проживают в домохозяйствах). 4. Определение уровня развития когнитивных способностей. Фир' ма будет сотрудничать с другими национальными и иностранны' ми научными консультантами, работающими с ГКП, чтобы интег' рировать тесты на развитие когнитивных способностей у детей в процесс общего сбора данных. В базисном исследовании будет проведен признанный на международном уровне тест степени развития когнитивных способностей для детей в возрасте от 4,0 до 5,99 лет. Этот тест будет проведен повторно с той же самой воз' растной группой на втором этапе исследования, что позволит сравнить эти когорты. Кроме того, этот же тест на втором этапе обследования пройдет подгруппа детей в возрасте от 6,0 до 7,99. (Краткое описание этого подхода см. в табл. 2.1 приложения.) Также для второго этапа исследования могут быть разработаны оценка полученных знаний на основе конкретного содержания программы и динамическая оценка. Решение о включении этих показателей будет сделано в ходе проекта. Наконец, будет разра' ботан показатель успеваемости школьников для оценки знаний, приобретенных за первый год обучения в школе; этот тест будет проводиться с подгруппой детей более старшего возраста во вре' мя повторного обследования. Возможна адаптация существую' щих тестов. 5. Здоровье детей: данные о заболеваемости (включая количество и вид симптомов, степень тяжести заболевания, его продолжитель' ность), схемы доступа к услугам здравоохранения и схемы их ис' пользования, состояние канализации, и т.д. 6. Домашнее хозяйство. На этапе предварительного тестирования, до завершения работы над анкетой, будет вестись поиск опти' мального способа сбора этой информации и его оценка совмест' но с консультантами из ГКП. Переменные могут включать в себя: расходы на продукты питания; земледельческую и скотоводчес' кую деятельность, потребление продукции собственного произ' водства; расходы на непродовольственные товары; характеристи' ки жилья; список товаров длительного пользования; занятость; хо' зяйственную деятельность; доход; землю; посевы и скот; доход от


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

217

мероприятий в рамках проекта; семейные предприятия; владение имуществом; информацию о кредитах и сбережениях; о количе' стве товаров и денежных суммах, которые были получены взаймы или предоставлены в кредит; о фактах заимствования денег и то' варов в течение последних 12 месяцев; сбережения и чистую сум' му долга на дату проведения опроса; информацию о ссудах, вклю' чая график погашения, основания для обращения за кредитом и количество ссуд, полученных из одного и того же источника; раз' мещение сбережений (если таковые имеются), включая банк, банк для жилищных ссуд, сельский сберегательный банк и т.д. Эта ин' формация будет входить только в базисные и заключительные ис' следования.

XI. Обследование общин Анкеты для общин будут использованы для сбора информации о ме' стных условиях, которые являются общими для всех домохозяйств в этом районе. На этапе предварительного тестирования, до заверше' ния работы над анкетой, будет вестись поиск оптимального способа сбора этой информации и его оценка совместно с консультантами из ГКП. К переменным могут относиться следующие параметры. 1. Демографическая информация: количество домохозяйств, общая численность населения, число детей в возрасте до шести лет, эт' нические и религиозные группы. 2. Экономическая информация, в том числе основные виды экономи' ческой деятельности и модели миграции с целью трудоустройства. 3. Инфраструктура: наличие дорог, электричества, водопровода, рынков, банков, а также общественного транспорта. Состояние местной инфраструктуры, например дорог, источников топлива и воды, наличие электричества и средств связи. 4. Местные условия сельскохозяйственной деятельности и методы ее ведения: вид культур, выращиваемых в общине, периодичность и сроки посева и сбора урожая, обычная практика реализации урожая, качественные показатели по атмосферным осадкам, кли' матическим условиям и сезонным колебаниям. 5. Образование: количество и виды дошкольных учреждений, офи' циальные и неофициальные мероприятия по РРД, удаленность школ, количество классов, показатели приема учащихся (общий и отдельно для мальчиков и девочек), посещаемость, переход уча' щихся из класса в класс, медицинские услуги и питание, которые


218

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

предоставляются в школе (например, школьные программы здра' воохранения, обеды в школе). 6. Здравоохранение: тип медицинского учреждения, расстояние и время, необходимое для посещения ближайшего медицинского учреждения каждого указанного типа (больница, аптека, меди' цинский пункт и т.д.). Расстояние и время в пути до каждого из ука' занных медработников (врач, медсестра, фармацевт, акушерка, работник здравоохранения, действующий в общине, и т.д.). 7. Прочее: количество и тип действующих местных НПО/ОБО, дру' гие проекты или программы, связанные с детьми (например, госу' дарственные кампании по вакцинации населения) и прочие про' екты развития общин. Предлагаемое кадровое обеспечение обследования. Штат со' трудников, проводящих исследование, должен включать в себя следу' ющие категории. • Основной штат обследования (руководитель обследования, руко' водитель исследований на местах, ответственный за сбор данных и отвечающие за ввод данных работники, которые будут осуще' ствлять общую координацию, надзор и мониторинг за сбором и вводом данных, а также их обработкой при работе на местах). • Штат обследования для работы на местах (работа на местах будет проводиться группами, состоящими из руководителя, двух или трех интервьюеров, в чьи обязанности входит заполнение основ' ных опросных листов и антропометрические измерения, а также водителя; схожая по численности группа будет отобрана и подго' товлена при участии национальных и иностранных экспертов для проведения тестирования когнитивного развития детей). • Координатор рандомизированного пробного исследования (координатор будет оказывать содействие при разработке инст' рументов сбора данных, при обучении; будет осуществлять на' блюдения за местными НПО, отвечающими за организацию «Дней здоровья ребенка» в церковных приходах, в вопросах ис' пользования экспериментального подхода, сбора и расшифровки данных, их ввода и обработки; а также будет участвовать в анали' зе, который должен быть проведен по завершении исследования). Организация работы на местах. Фирма примет участие в разра' ботке инструментов для работы на местах до предварительного тес' тирования (которое является частью исследования) и будет нести


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

219

главную ответственность за проведение этих тестов. После предва' рительного тестирования анкета будет переработана (при участии исследователей Всемирного банка) и переведена на местные языки. Фирма будет работать вместе с другими национальными и иност' ранными консультантами, выбранными ГКП, чтобы включить тесты на когнитивное развитие детей в общую работу по сбору данных. Нацио' нальные исследователи при поддержке иностранных консультантов будут отбирать и адаптировать основные когнитивные тесты, а также готовить тех, кто будет непосредственно проводить тестирование. Предлагается организовать работу на местах следующим образом. В основе организации будет лежать международный опыт; цель — обеспечить контроль качества. Некоторые видоизменения в данном подходе могут быть согласованы во время консультаций с исследовате' лями Всемирного банка исходя из опыта фирмы и других советников ГКП и информации, полученной при предварительном исследовании. Работу на местах будут вести небольшие группы в составе руково' дителя, двух (или трех) интервьюеров, ответственных за заполнение основных анкет и проведение антропометрических измерений, и та' кого же числа специалистов по проведению тестов на когнитивное развитие детей. Данный персонал будет обучаться в Кампале нацио' нальными исследователями при содействии иностранных советни' ков в области психологического тестирования. Подготовка будет включать в себя рассмотрение целей исследования, анализ каждого этапа опроса, обучение практическим навыкам в аудитории и упраж' нение в реальных условиях (на местах) с последующим разбором. По завершении обучения группы должны, по возможности, сохранять неизменный состав по возможности на протяжении всего цикла обсле' дования. Но, поскольку некоторые сотрудники могут не подойти для ра' боты на местах, целесообразно подготовить несколько «запасных». Не ре' комендуется привлекать сотрудников на несколько дней для работы в од' ном приходе, а затем использовать новых людей в другом приходе; из'за этого сотрудники не получат необходимого опыта. В начале повторного обследования все сотрудники должны проходить переподготовку. При проведении когнитивных тестов дети должны, по возможно' сти, во время тестирования быть наедине с интервьюером. Другие ли' ца (взрослые или дети) ни в коем случае не должны отвечать на во' просы, задаваемые ребенку. Однако во время повторного исследова' ния подмножества 8'летних детей тесты могут проводиться в груп' пах, если это будет удобным. Руководитель должен обеспечить проведение обследования до' мохозяйств в соответствии с выборкой, без замены их на другие, а


220

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

также охват тестами на когнитивное развитие всех детей в соответст' вующих возрастных группах. Кроме того, руководитель должен про' сматривать анкеты после их заполнения (до переезда группы специ' алистов в новый приход) во избежание пропусков в ответах и для проверки информации, которая представляется противоречивой. После того как данные будут собраны, фирма должна обеспечить мак' симально оперативный их ввод. Копии индивидуальных данных об об' щинах и детях, а также шкалы оценок вместе с документацией, необходи' мой для получения доступа к данным, будут направляться в ГКП проекта в электронном виде в конце базисного обследования. Оригиналы анкет должны сохраняться фирмой, поскольку, как правило, в процессе анали' за возникает необходимость доступа к первоначальным данным. Данные на уровне отдельного ребенка должны содержать точные идентифицирующие коды, которые могут сопоставляться с кодами домохозяйств, присвоенными для обследования. Хотя включать фа' милии членов домохозяйств или их точное местоположение в пред' ставляемые в ГКП уникальные индивидуальные коды и коды домохо' зяйств не нужно, данная информация должна сохраняться фирмой таким образом, который позволил бы повторно посетить данное до' мохозяйство. Поскольку на одном из этапов анализа предполагается сопоставление участников повторного исследования с результатами их тестов из базисного исследования, все индивидуальные коды и ко' ды домохозяйств должны оставаться неизменными на протяжении всех трех замеров.

XII. Конкретные задания для специалистов, участвующих в обследовании Фирма будет участвовать в следующих мероприятиях вместе с ГКП, на' циональными исследователями, а также исследователями Всемирного банка, Оксфордского университета и НПО, осуществляющими проект. • Пересмотр рабочих программ. • Разработка и адаптация инструментов сбора данных и сопутству' ющей документации, которая включает: перечни материалов, ан' кеты, руководства по кодировке, инструкции для интервьюеров и руководителей, порядок работы, руководство по вводу данных и методике работы на местах. • Доработка различных проектов документов, верстка, перевод, об' ратный перевод и тестирование на местах. Представление печат' ных копий и электронных версий всей документации в ГКП. Пере'


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

221

дача анкет исследователям Всемирного банка для анализа и дора' ботки перед пробным (пилотным) исследованием. Составление списка мест проживания и уточнение картографиче' ских данных. Обязанности по составлению перечня мест прожи' вания в каждом выбранном приходе подразумевают: получение базовой карты, подготовку материалов для составления списка, контакты с местными властями для информирования их о прово' дящихся работах, определение границ, составление карт, состав' ление систематизированного перечня домашних хозяйств, полу' чение предварительной информации о домохозяйствах, включая имя главы хозяйства, указание местонахождения домашнего хо' зяйства, а также количества детей в возрасте до шести лет. Доку' ментирование осуществляется во время составления выборки, по окончании работ на местах и после заполнения массива данных. Подготовка границ выборки (вместе со специалистом по выбо' рочному обследованию), подготовка персонала для проведения выборочного обследования, контроль на стадии осуществления с целью обеспечить качество выборки, а также предоставление по' дробных отчетов с изложением всех этапов, в ходе которых осу' ществлялись разработка и проведение выборки. При условии консультаций со Всемирным банком, определение соответствующей стратегии выбора контрольных групп (т.е. при' ходов, не участвующих в проекте). Отбор и подготовка работников на местах. Данное мероприятие включает в себя все, что необходимо для предоставления учебных материалов и инструкций для всех лиц, участвующих в работе на местах. Необходимо провести подготовку интервьюеров, руково' дителей групп интервьюеров, руководителей общих групп, со' трудников, отвечающих за ввод данных, и сотрудников, проводя' щих антропометрические исследования. Работа на местах, включая материально'техническое обеспече' ние сбора данных, а также получение согласия общин и отдель' ных лиц. Регистрация всех исследуемых домохозяйств. Составление отчета о проделанной работе. Фирма будет готовить отчеты о выполнении работ на местах (каждые шесть месяцев), копии которых будут направляться в ГКП и Всемирный банк. Кро' ме того, фирма обязана предоставить базовое описание обследо' вания. Оно должно охватывать содержание обследования, план выборки и порядок ее формирования, а также использованные методики работ на местах. В качестве приложений должны вклю' чаться полные анкеты и основная документация.


222

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

• Разработка программы ввода данных с использованием про' граммного обеспечения, способного проверять диапазоны и не' противоречивость данных, а также выдавать отчеты с указанием пропущенных данных, показателей, выходящих за границы при' нятого диапазона и противоречивых ответов. • Проверка и ввод данных, управление базами данных и составле' ние табличных сводок, в том числе разработка программ ввода данных, руководств по вводу данных, подготовка операторов вво' да данных, проверка качества данных, а также рекомендации по использованию данных. Кроме того, кодирование открытых во' просов, проверка данных, сопоставление антропометрических данных со стандартными справочными таблицами. • Исполнение Соглашения о порядке использования данных: фир' ма и исследователи, участвующие в процессе сбора и анализа дан' ных, подпишут меморандум о взаимопонимании с ГКП, в котором будет четко определена политика в отношении таких вопросов, как доступ к данным, предполагаемые пользователи, порядок по' лучения копий наборов данных и документации, а также публика' ция и авторские права. • Проведение анализа данных: фирма будет проводить анализ дан' ных исследований (например, частотные, процентные табличные сводки и таблицы соотнесенности) по ключевым переменным и их коррелятам. Фирма будет осуществлять современное статисти' ческое моделирование воздействия после 2'го и 3'го циклов, что' бы определить общее продвижение в отношении социальных по' казателей (например, качество питания, состояние здоровья, до' ходов, общинное развитие), а также факторов, которые объясня' ют их изменения или отсутствие. • Предоставление аналитических отчетов: фирма представит отче' ты о своих выводах и заключениях после окончания 2'го и 3'го циклов обследования на основании анализа социальных показа' телей и других независимых переменных. Фирма будет согласо' вывать с ГКП и Всемирным банком обследование в рамках «Дня здоровья ребенка» в приходах, а также сбор информации о воз' действии на когнитивное развитие, но не будет отвечать за окон' чательный отчет по результатам этих исследований. Конкретные задания для обследования общин: • Работа с советниками ГКП по разработке анкеты для общин и все' стороннему поиску оптимального подхода к сбору данной ин'


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

223

формации на этапе предварительных исследований. • Тесное сотрудничество со структурами, участвующими в реализации проекта (ведущими и местными НПО), в сборе данных об общинах. • Контакт с местными властями и главами общин для разъяснения подхода к оценке воздействия проекта и получения согласия об' щины на проведение обзорного обследования и обследования в рамках «Дней здоровья ребенка». • Опрос основных экспертов, получение карт, списков и других данных по общинам. • Получение списка учреждений здравоохранения и образования (дошкольные учреждения и начальные школы), включая геогра' фическое положение, район охвата и тип учреждения (например, частное, государственное). • Получение демографической информации об общине, включая сведения о количестве домохозяйств, о половом и возрастном со' ставе населения. • Получение других сведений, предусмотренных в анкетах для общин. Конкретные задания для обследования в рамках «Дней здоровья ребенка»: • Участие в разработке протокола обследования. • Создание инструментов сбора данных. • Подготовка местных НПО, отвечающих за проведение «Дней здо' ровья ребенка» в приходах, для участия в исследовании на основа' нии экспериментального подхода. • Надзор за сбором данных во время «Дней здоровья ребенка». • Расшифровка данных. • Ввод и управление данными. • Участие в основном анализе, осуществляемом в конце исследования. Проверка валидности. В дополнение к вышеуказанному будет проведено еще одно небольшое лонгитюдное исследование; с его помо' щью будет проверена валидность показателя, полученного до поступле' ния в школу, в отношении прогнозируемых результатов учебы по завер' шении первого года обучения. Во время базисного обследования будут протестированы по два ребенка в возрасте от 6,0 до 6,9 лет (еще не посе' щающие школу) в каждой общине, а общее число составит N=150. Эти дети будут внесены в список повторной проверки, и через два года будут проанализированы результаты их учебы в школе; к этому времени дети достигнут возраста от 8,0 до 8,9 лет.


224

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Приложение: таблица 2.1. Предлагаемые объемы выборки для оценки воздействия Проекта по организации питания и раннего развития детей, Уганда

Категория

Отсутствие де Дегельминтизация гельминтизаци, но Отсутствие и просвещение есть просвещение дегельминтизации родителей и просвещения родителей

Количество цер ковных приходов Период Количество домохозяйств Количество детей, взвешенных во время «Дней здоровья ребен' ка»b Количество детей с результатами антропометрии в возрасте 0'5,99 лет (в среднем два ре' бенка в семье)с Количество детей, прошедших ког' нитивные тесты : тестирование всех детей в воз' расте 4,0'5,99 лет в домохозяйст' вах Количество детей в возрасте 6,0'7,99 лет, прошедших когнитивные тесты и антропо' метрические исследования Показатель зачисления в школы

25

25

25

Всего

Базис ный

Второй цикла

Базис ный

Второй цикл

Базис ный

Второй цикл

750

700

750

700

750

700

5000

5000

5000

5000

1500

1395

1500

1395

1500

1395

11580

500d

465e

500

465

500

465

2895

Подмно' жествоf

Подмно' жество

25 общин

25 общин

25 общин

25 общин

25 общин

2250

20000

Подмно' Подмно' жество жество 25 общин

а. С учетом незначительного выбытия в размере 8% в течение двух лет. b. Предполагается, что на каждом «Дне здоровья ребенка» будет присутствовать около 200 детей. с. Предполагается наличие двух детей в семье, однако семьи будут учитываться при любом количестве детей младше шести лет. В данном случае под семьей подразумевается пара «мать (или лицо ее замещающее) — ребенок». d. Это максимальное значение, фактическое количество может варьироваться в зависимости от числа учтенных 4–5 летних детей. e. Предполагается наличие такого же выбытия — 8% в течение двух лет; тестироваться будут только дети родителей, прошедших интервью. f. Количество будет представлять собой подмножество детей в данном возрасте, чьи родители прошли интервью. Они будут сопоставлены с более ранним показателем. Даже если количество протестированных детей будет увеличиваться во втором цикле, время на интервью может сократиться, поскольку не будет необходимости повторно оценивать большое количество информации. Кроме того, возможно уменьшение размера данной группы. Источник: Документ о проекте Всемирного банка.


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

225

График работы. Предварительный временной график осуще' ствления работы выглядит следующим образом. Месяц 1'й. Начало процесса разработки показателей когнитивно' го развития совместно с иностранными консультантами и в соответ' ствии с техническим заданием. Данный процесс может продолжать' ся до шести месяцев. Месяц 2'й. Первоначальное предварительное обследование и до' работка анкеты. Месяц 5'й. Начало составления списка домохозяйств для проведе' ния выборки. Данный этап зависит от выбора ведущих и местных НПО. Он может проводиться только после того, как ГКП и НПО выбе' рут церковные приходы, где будут проводиться «Дни здоровья ребен' ка», и определят места для осуществления первоначальной програм' мы дегельминтизации. В это же время анкета должна быть переведе' на и снова опробована на местах. Месяц 7'й. Начало сбора данных в ходе «Дней здоровья ребенка» в рамках исследования дегельминтизации. Данные будут собираться во время подобных дней с шестимесячными интервалами. Как указа' но выше, определение сроков осуществления данного шага зависит от выбора ведущих и местных НПО. Месяц 8'й. Подготовка сотрудников для работы на местах в рам' ках обследования домохозяйств и начало этого обследования. Об' следование должно занять приблизительно 3–4 месяца в зависимос' ти от количества работающих команд. Ввод данных должен происхо' дить одновременно со сбором информации. Месяц 14'й. Первоначальный анализ базисных данных. Анализ бу' дет осуществляться постоянно. Месяц 20'й. Посещение персоналом фирмы Оксфордского уни' верситета для участия в анализе первоначальных данных. Месяцы 20–36'й. Сбор данных для второго цикла исследования дегельминтизации. Промежуточное и окончательное обследование домохозяйств будет проведено через 2 и 4 года после базисного.

Содействие фирме Для выполнения заданий фирме не будет предоставляться какой'ли' бо особой поддержки. Фирмам рекомендуется включать в свои пред' ложения все требования, необходимые для результативного выпол' нения задания.


226

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Пример II. Оценка воздействия Проекта строительства сель& ских дорог: базисное обследование 1997 г. во Вьетнаме* Техническое задание: проведение базисного обследования для изучения воздействия сельских дорог

I. Исходная информация Целью изучения является оценка воздействия Проекта строительства сельских дорог во Вьетнаме, который финансировался Всемирным банком, на жизненный уровень населения. Данный проект проводился в 15 бедных провинциях с 1997 г. в течение 3–5 лет. Исследование будет сосредоточено на том, как изменились с течением времени факторы, определяющие уровень жизни, в общинах, где осуществлялся данный проект, по сравнению с общинами, которые в проекте не участвовали. Для этого необходимо собрать базисные данные до начала осуществле' ния проекта как в районах его проведения (экспериментальных), так и в контрольных районах; кроме того, требуется провести несколько по' следующих циклов сбора данных, которые характеризуют период по' сле реализации проекта, с интервалом в два года. Подробные базы дан' ных на уровне общины будут частично основаны на записях, которые собираются на этом уровне ежегодно. Они будут дополнены ретро' спективными данными на уровне общины и другими источниками до' полнительной информации. Краткое обследование на уровне округа поможет включить данные на уровне общины в общий контекст. В за' ключение из списков общинного уровня будут случайно выбраны от 10 до 15 домохозяйств, и им будет предложена краткая анкета. Данное ис' следование будет проводиться в шести провинциях из 15, участвующих в проекте. Эти шесть провинций будут представлять шесть географиче' ских регионов Вьетнама. Будет произведена случайная выборка поряд' ка 200 общин, участвующих и не участвующих в проекте. Будет создано шесть групп для одновременного изучения каждой провинции. Иссле' дование начнется в апреле и завершится приблизительно в августе. Дан' ные исследований будут доступны в октябре–ноябре.

II. Подход к обследованию Формирование выборки. Формирование выборки будет осуще' ствляться на трех уровнях. * Данное техническое задание подготовлено Доминик ван де Валле.


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

227

1. На уровне провинции: 15 провинций, участвующих в проекте, расположены в шести географических регионах Вьетнама. Критерии выбора провинций для проведения опроса будут следующими: а) в каждом географическом регионе будет выбрана одна провинция; б) если в каждом регионе имеется более одной провинции — потенци' альной участницы проекта, осуществляется случайный выбор. 2. На уровне общины: необходимо опросить 200 или более общин, которые выбираются случайным образом. Около половины из них или менее (но не более) должны участвовать в проекте развития дорожной сети, остальные будут контрольными. Будет составлен список общин из этих шести провинций, которые не участвуют в проекте (либо один спи' сок для каждой провинции), и проведена случайная выборка. Аналогич' ным образом составляется список всех участвующих в дорожных проек' тах общин в этих шести провинциях (либо по каждой провинции). В данном случае возможно, что на одну дорогу будет приходиться более одной общины; все общины должны быть включены в границы выбор' ки. Из них также будет составлена случайная выборка. Данная выборка не обязательно будет включать в себя обе общины, связанные проектом строительства дорог. Если доступ к некоторым выбранным общинам не' возможен, они заменяются любой другой общиной в сходном округе. 3. На уровне домохозяйства: в каждой выбранной общине проводится опрос 15 домохозяйств. Эти домохозяйства (а также, возможно, несколько «запасных» домохозяйств) выбираются случайным образом из списка до' мохозяйств общины. После того как выбор осуществлен, от руководителей общины будет получена информация об имущественном статусе этих до' мохозяйств (очень бедные, бедные, средние, небедные или богатые).

III. Порядок проведения опроса Для проведения обследования в шести провинциях будут наняты шесть соответствующих специалистов. После их подготовки и апроба' ции анкет на местах они одновременно приступают к обследованиям в каждой провинции. В округах среди специалистов, проводящих об' следование, должен быть по крайней мере один сотрудник из окруж' ной группы управления проектом округа для оказания содействия при контакте с местными властями и в некоторых случаях — при поиске подходящих проводников и переводчиков в районах проживания меньшинств. По мере необходимости нанимаются помощники и при' влекается поддержка со стороны Отдела управления проектом округа. Каждый специалист по проведению обследования собирает дан' ные в среднем по 35 общинам, по округу, к которому они принадле'


228

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

жат, и по примерно 15 домохозяйствам в каждой общине. На обследо' вание каждой общины потребуется три–четыре дня. Время работы на местах будет составлять приблизительно от 100 до 140 дней (4–5 ме' сяцев). Общая продолжительность обследования составит 6 месяцев. В ходе обследования руководитель осуществляет выезды на места во все шесть провинций для надзора за ходом сбора данных и обес' печения высокого качества работы. Собранные данные проверяются и вводятся в систему с использо' ванием программы ввода данных. В табл. 2.2. приложения представлен предполагаемый график об' следования. Приложение 2: таблица 2.2. График обследования по оценке воздействия, Вьетнам

Разработка анкет Апробация анкет на местах Доработка анкет Адаптация программ ввода данных, перевод и печать анкет Набор и подготовка специалистов по проведению обследования Обследование на местах Проверка данных Ввод данных

Янв.

Фев.

∗∗∗∗

∗∗∗∗ ∗∗∗∗

Март

Апр.

Май

Июнь

Июль

Авг.

∗∗∗∗

∗∗∗∗

∗∗∗∗

∗∗∗∗

∗∗∗∗ ∗∗∗∗

Сент.

∗∗∗∗

∗∗∗∗

∗∗∗∗

∗∗∗∗ ∗∗∗∗

IV. Прочие положения Оборудование. Оборудование, закупаемое в рамках проекта, будет принадлежать проекту на время проведения исследований (в тече' ние будущих циклов), однако в периоды, когда оно не будет исполь' зоваться рабочей группой, оборудование будет размещаться в Группе управления проектом. Выделение средств. Бюджет исследований (за исключением опла' ты работы основного исследователя, который будет пополняться


229

ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

ежемесячными выплатами) будет расходоваться тремя частями. Пер' вая часть после подписания контракта будет составлять 20% от всех средств. Вторая часть (50% от общего бюджета) будет выделена после завершения работы над анкетами для общин, домохозяйств и окру' гов и их утверждения руководителем проекта Всемирного банка. Вы' деление этих средств намечается на конец марта. Третья, заключи' тельная часть будет выделена в конце июля или в середине процесса сбора данных. Подробная смета приведена в табл. 2.II.2. Приложение 2: таблица 2.II.2. Смета исследования

1. Основной исследователь 2. Специалисты по проведе' нию обследования 3. Командировочные расхо' ды для шести групп об' следования, шести мест' ных проводников и пере' водчиков 4. Автомобиль и другой транспорт для шести групп обследования Стоимость аренды автомо' биля для основного иссле' дователя 5. Авиабилеты Ханой — Хо' шимин — Ханой — для проводящих обсле' дование (южные провин' ции); — для основного исследо' вателя. 6. Подготовка проводящих обследование — оплата — поездка на места — суточные 7. Апробация анкеты на мес' тах (общины на севере и юге) 8. Проверка и ввод данных 9. Материалы исследования 10. Средства связи (факс, теле' фон, электронная почта, ксерокс) 11. Оборудование — Компьютер (ГУП*18) — принтер (ГУП18) — аппарат факсимильной связи (группа обследования) — портативный компью' тер (группа обследования)

Численность

Период

Стоимость (долл. США)

Итого (долл. США)

1

9 месяцев

1000

9000

6

6 месяцев

400

14400

12

125 дней

8

12000

6

125 дней

40

30000

1

30 дней

50

1500

200

1200

6 3 чел. 3 поездки 12

1 2

1338 1 неделя 3 дня/3 машины 3 дня

50 50 8

2 недели 2 месяца

200

2000 800 2000 2000 5000

1 1

1700 1000

1

500

1

1800 (Продолжение таблицы на следующей странице)


230

ОЦЕНКА ВОЗДЕЙСТВИЯ ПРОЕКТОВ РАЗВИТИЯ НА БЕДНОСТЬ

Таблица 2.II.2. (продолжение) 12. Перевод (анкеты, руководства, документация) 13. Распечатка, ксерокопирова' ние 14. Непредвиден' ные расходы Итого

8/страница 200 страниц

1600 800 1362 85000

∗ PMU — лат.

Техническое задание. Руководитель обследования или ведущий исследователь I. Описание работ Руководитель обследования на территории страны/основной исследо' ватель будет отвечать за проведение базисного обследования на терри' тории Вьетнама. Круг его обязанностей включает в себя: определение имеющейся в наличии информации на уровне общин; помощь при про' верке и окончательном оформлении анкет для округов, общин и домо' хозяйств; тестирование анкет на местах; доработка анкет; обеспечение перевода анкет; подбор и подготовка ассистентов; планирование мате' риально'технического обеспечения работ на местах; подготовка доку' ментации по проведению обследования и анкетам; надзор за осуществ' лением обследования и контроль качества работ; управление базой дан' ных проекта, а также организация проверки и ввода данных. Кроме того, данное лицо будет выступать в качестве посредника между группой уп' равления проектом (ГУП18) Министерства транспорта, постоянным представительством Всемирного банка, представителем Канадского агентства международного развития (CIDA) в Ханое и руководителем Проекта во Всемирном банке в Вашингтоне. Данное лицо будет отчиты' ваться непосредственно перед руководителем Проекта и приступит к своим обязанностям в январе 1997 г.; контракт может быть оформлен на 9'месячный срок с оплатой в размере 1000 долл. США в месяц.

II. Конкретные задачи Конкретные задачи включают в себя следующее. 1. Ответственность за подбор персонала, составление подробных технических заданий, подготовку и руководство шестью основ'


ТИПОВОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ

2.