Page 1

Методическое руководство по проведению оценки государственных стратегических программ. Оглавление Введение....................................................................................................................................................2 Цели устойчивого развития и организация их мониторинга и оценки...........................................3 Что такое мониторинг, оценка, чем они отличаются от контроля.......................................................5 Контроль................................................................................................................................................5 Мониторинг и оценка...........................................................................................................................5 Соотношение между мониторингом и оценкой...............................................................................8 Мониторинг программы..................................................................................................................8 Оценка программы...........................................................................................................................8 Задачи проведения мониторинга и оценки...........................................................................................9 Постановка задания на проведение оценки......................................................................................9 Планирование оценки..........................................................................................................................9 Проверка оцениваемости программ и выбор подходов............................................................11 Методология оценки..........................................................................................................................12 Анализ всех заинтересованных групп...........................................................................................12 Планирование выборки.....................................................................................................................13 Сбор и анализ данных........................................................................................................................14 Методы сбора данных....................................................................................................................14 Обработка данных..............................................................................................................................20 Проведение анализа данных.............................................................................................................20 Отчет по результатам оценки............................................................................................................23 Обсуждение и принятие решений по результатам оценки............................................................24 Логика формирования программ.........................................................................................................25 Управление по результатам и теория изменений при формировании программ......................25 Логическая матрица программ - Цели-индикаторы - Доказательства.........................................26 Квалификация команды, проводящей оценку...................................................................................29 МОНИТОРИНГ..........................................................................................................................................29 Литература:..............................................................................................................................................39

1


Введение Из истории реформ по внедрению МиО. В Кыргызской Республике было несколько попыток внедрить мониторинг и оценку. Первый раз раздел по мониторингу и оценке появился в Национальной Стратегии Сокращения бедности (ННСБ), в 2000 году. Тогда впервые была предпринята попытка разобраться с тем, что может дать мониторинг и оценка (МиО) в реализации программы в стране. С тех пор разделы по МиО включались практически во все страновые программы. Например, в 2008-2009 годах была создана информационная система МиО, которая так и не начала действовать в соответствии с задуманными целями и задачами. К настоящему моменту времени уже очевидно, что внедрение системы МиО необходимо, однако технология МиО вызывает затруднение до сих пор и связано это с рядом факторов.  Большое количество программы, которые на деле не всегда реализуются  Программы на деле не поддерживаемые руководством и могут не финансироваться.  Программы разрабатываются и спускаются «сверху» без учета мнения благополучателей и партнеров.  Существующая культура управления (контроля) связана с наказанием, а поэтому в государственных ведомствах существует боязнь оценок.  Слабое качество данных  Сопротивление формулированию реальных целей и индикаторов  Ограниченные навыки и высокая текучесть специалистов в государственных органах. Однако тенденции развития эффективности управления в мире, показывают, что необходима перестройка управления, чтобы добиться ясных точных целей с результатами, которые можно подсчитать. Кыргызстан также находится на этом пути. В Кыргызстане в 2014 году принят Закон с поправками к пяти законам, которые требуют проведения МиО. Кыргызстан присоединился к Повестке 2030 в 2015 году и теперь необходимо участвовать в отчетах о их адаптации и достижении. Чем вызвана необходимость проведения мониторинга и оценки. Управление, ориентированное на результат, означает переход от фокусирования на ресурсах и мероприятиях (процедурах) к фокусу на результатах, по сути – тех изменениях, которые должны были произойти в обществе (социальных группах) в результате воздействия программы (стратегии). Изменения, которые происходят благодаря воздействию программы и предполагают изменения в поведении индивидуумов, групп интересов, организаций, госорганов или общества. Существующие форматы оценки пока стандартные операции контроля не позволяют определить результат воздействия программ, потому что деятельность людей на местном 2


уровне не нормирована и контролю не подлежит. Возможны только проведение исследовательских операций, которые позволят выявить мнение заинтересованных людей, или людей, для улучшения положения которых планировались изменения. В Кыргызстане разработана и действует

Цели устойчивого развития и организация их мониторинга и оценки На Саммите Генеральной Ассамблеи ООН по устойчивому развитию, который прошел в сентябре 2015 года, Кыргызская Республика в числе 136 стран приняла участие и выразила приверженность страны реализовывать Повестку дня в области устойчивого развития до 2030 года, объективно отражающей современные вызовы, стоящие перед развивающимися государствами, не имеющими выхода к морю, горными странами, к числу которых относится и Кыргызстан. В Кыргызстане создан Координационный комитет по адаптации, реализации и мониторингу ЦУР до 2030 года, под председательством Премьер-министра страны. В Комитет вошли представители законодательной ветви власти, министерств и ведомств, международных и неправительственных организаций. В текущий период времени в Кыргызстане ведётся разработка долгосрочных приоритетов устойчивого развития в КР до 2030 года и среднесрочной стратегии, так называемой НСУР-2 на последующие пять лет. В этом контексте перед Правительством стоит задача разработать национальную политику развития в привязке к долгосрочным приоритетам адаптированных целей устойчивого развития. Успех реализации целей в области устойчивого развития зависит в значительной степени от эффективного мониторинга, анализа и контроля процесса. Лидирующую позицию в этом процессе должен занимать Министерство Экономики. В повестке дня на период до 2030 года предусмотрена глобальная структура отчетности, включающая в себя вклады на всех уровнях - местном, национальном, региональном, и завершающаяся на политическом форуме ООН высокого уровня, а, следовательно, необходимо организовать эффективный процесс отслеживания прогресса в деле достижения ЦУР. Опыт работы по достижению Целей развития тысячелетия (ЦРТ) наглядно показал, что индикаторы – неотъемлемый элемент такого отслеживания. Но в то же время в процессе работы по достижению ЦРТ при выборе индикаторов и способов их измерения возникали существенные трудности, особенно на национальном уровне. Данные, которые использовались для определения значений индикаторов, часто были низкого качества и предоставлялись несвоевременно. Но главной проблемой стало то, что эти данные не использовались в процессах принятия решений. Политический форум высокого уровня, который отвечает за отслеживание прогресса по ЦУР, подчеркивают, что страны с самого начала работы по ЦУР должны спланировать деятельность по мониторингу и оценке этой работы. К настоящему моменту после длительных консультаций были утверждены 169 задач для 17 ЦУР и определено 230 индикаторов: глобальных, тематических, региональных и национальных. До сих пор внимание было сосредоточено на выборе оптимальных индикаторов и определении соответствующих требований к национальным системам сбора статических данных. 3


Учет национального контекста. В Повестке 2030 открыто признается, что страны отличаются друг от друга. Это значит, что не все цели и соответствующие им задачи и индикаторы будут в разной мере значимы для той или иной страны. Например, цель 14 сохранение и рациональное использование океанов, морей и морских ресурсов в интересах устойчивого развития будет не значима для Кыргызстана и может не учитываться. В свою очередь, цель 15: «Защита и восстановление Экосистем суши и содействие их рациональному использованию, рациональное лесопользование, борьба с опустыниванием, прекращение и обращение вспять процесса деградации земель и прекращение процесса утраты биоразнообразия чрезвычайно актуальна для Кыргызстана. Кроме того, важно учитывать различные факторы, которые влияют на процессы реализации ЦУР на национальном уровне и в различных регионах страны, и соответствующим образом согласовать программы развития, адаптировать индикаторы ЦУР по интересы страны. Однако, одного измерения значений индикаторов будет недостаточно. Повестка 2030 выделяет оценку как один из важнейших инструментов отслеживания прогресса по ЦУР. Данный процесс не должен ограничиваться простым измерением значений индикаторов, а должен обеспечить постоянный анализ получаемого опыта и его использование для совершенствования работы всеми заинтересованными сторонами. Такое «обучение на практике» повышает эффективность процессов развития. Оценка национальных планов, политик и программ в процессе их реализации и использование результатов оценки для принятия управленческих решений – один из механизмов такого обучения, который поможет отвечать на вызовы современности. Критерии оценки определяются совместно с заинтересованными сторонами оцениваемых стратегий и программ, в том числе донорами, разработчиками и исполнителями, а также благополучателями. Часто для оценки используются такие критерии как результативность, устойчивость, степень соответствия потребностям благополучателей, устойчивость результатов, получение новых знаний, учет культурных особенностей. Оценка должна позволять понять, каким образом происходят процессы изменений в сложных динамичных ситуациях, что необходимо для принятия решений о том, как обеспечить дальнейший прогресс по ключевым показателям страны, включающим ЦУР. Оценка позволит анализировать, как работают программы развития в разных условиях, и корректно интерпретировать выявляемые результаты. Таким образом, оценка является ключевым элементом процесса отслеживания прогресса по ЦУР и сопутствующего обучения на практике. Однако, проведение оценки требует тщательного планирования и не менее тщательной реализации процессов сбора и анализа информации, что, соответственно, связано с существенными финансовыми затратами, а также требует времени и высокого уровня подготовки специалистов, которые проводят оценку. Поэтому Министерство экономики подготовило данное пособие, чтобы располагать соответствующими методами и инструментами оценки. Помимо этого, планирует подготовить специалистов, для планирования и проведения оценок по различным отраслям, регионам.

4


Что такое мониторинг, оценка, чем они отличаются от контроля Контроль. Контроль, мониторинг и оценка являются управленческими инструментами. Контроль - одна из основных функций системы управления, широко используется в административном управлении и руководстве1. Контроль — это процесс, обеспечивающий достижение целей организации. Он необходим для обнаружения и разрешения возникающих проблем раньше, чем они станут слишком серьезными, и может также использоваться для стимулирования успешной деятельности. Контроль, один из процессов обеспечивающий достижение системой поставленных целей. Для того, чтобы контроль мог реализоваться, необходимо, чтобы в системе были организованы также следующие управленческие процессы (элементы управления) [1]:     

установление стандартов деятельности системы, подлежащих проверке; корректировка управленческих процессов, если достигнутые результаты существенно отличаются от установленных стандартов.

Контроль направлен на недопущение разрастания проблемы (отклонения фактического состояния системы (объекта) от заданного). Важнейшей составляющей контроля является обратная связь. Контроль не должен быть чрезмерным, так как несущественные отклонения фактического состояния объекта (управляемой системы) от заданного, вызывающие срабатывание контрольных механизмов, делают эту систему неэкономичной.

Контроль измеряет одну величину -норму выполнения каких- либо действий. Мониторинг и оценка проводится с тем, чтобы определить изменения, произошедшие в обществе под воздействием программы. Мониторинг и оценка не измеряют норм. Их задача измерить именно воздействие, которое оказала или (не) оказала программа. Воздействие программы намного шире, чем должностные обязанности конкретного человека или даже группы людей, поэтому по итогам мониторинга и оценки, в отличие от контроля, наказаний не предусматривается.

Мониторинг и оценка Мониторинг – процесс отслеживания или измерения того, что происходит при реализации программы. Для этого проводят постоянный и систематический сбор информации о значениях заранее разработанных индикаторов для обеспечения руководителей программ и других заинтересованных сторон сведениями о том, насколько успешно 1 Контроль как управленческий инструмент широко обсуждался на конференции в Лиме. Была принята Лимская Декларация руководящих принципов контроля. 1977 г. 5


выполняется программа, в какой степени достигаются поставленные цели и как используются фонды, выделенные на данную программу. Система мониторинга разрабатывается на стадии разработки программы и является ее частью. Как правило, различают два вида мониторинга: •

Мониторинг исполнения предполагает измерение хода процесса относительно изначального плана вмешательства в ситуацию (например, программы, стратегии, политик) и степени достижения конкретных целей; Мониторинг ситуации предполагает измерение того, как изменяется – или не изменяется - определенный параметр или набор параметров (например, положение детей и женщин или ситуация в стране в целом). Назначение мониторинга:     

Обеспечить контроль, чтобы работы выполнялись согласно плану программы; Улучшить выполнение программы; Определить, когда нужно быстро адаптировать программу, особенно в условиях кризиса и нестабильности; Служить источником информации для оценки; Обеспечить информацию для обоснования необходимости изменить политику и программы (особенно мониторинг ситуации).

Зачастую, осуществление мониторинга производится специалистами программы, хотя для разработки системы мониторинга могут быть приглашены внешние эксперты. Информация о результатах мониторинга поступает к руководителю программы. Основой для проведения мониторинга является система индикаторов. Индикаторы, как правило, должны разрабатываться совместно - экспертами в той предметной области, в которой реализуется программа и экспертами в мониторинге и оценке. Совместная работа должна осуществляться до тех пор, пока в организации не появится культура оценки и она станет приверженной к оценочному мышлению. Потому что разработка системы индикаторов является сложной профессиональной задачей, когда изменения в объекте воздействия программы должны быть описаны математическими способами. Важно, чтобы совокупность индикаторов адекватно отражала все важнейшие рабочие процессы и результаты программ. Оценка - – периодический анализ соответствия исполнения, эффективности, воздействия, по сравнению с установленными целями. Это аналитический инструмент или процедура, предназначенная для измерения прямых эффектов, результативности и долгосрочных последствий реализации государственных программ, отраслевых политик. Таким образом под оценкой понимается сбор и объективный анализ свидетельств в отношении государственной политики, программ, проектов.

6


В последние годы в связи с распространением идей управления качеством и управления, ориентированного на результат, спрос на профессиональную оценку во всем мире растет очень интенсивно. Более того, страны, которые смогли внедрить в управление систему оценки действительно показывают повышение эффективности управления. Оценка изучает что и почему делают программы и каково их влияние по итогам мониторинга и оценки разрабатывается план поддержки и помощи реализации программы. Наказаний по результатам мониторинга и оценки не бывает. Если мы введем наказание по итогам МиО это позволит специалистам на всех уровнях скрывать реальные результаты, которые нуждаются в коррекции. Причем зачастую, конкретное должностное лицо не имеет достаточных полномочий, чтобы оказать влияние на изменение ситуации в целом. Оценка бывает нескольких типов: Промежуточная или формирующая оценка Такая оценка может проводиться достаточно часто, если есть достаточное финансирование, то ежегодно. Основывается на данных мониторинга, собранных при помощи стандартных форм. Ежегодная оценка проводится внутренними силами. Промежуточная оценка в середине программы предполагает привлечение внешних экспертов. Это материал для принятия решений руководству программой, отчетность перед партнерами2, финансирующими организациями, благополучателями программы, ЖК. Итоговая оценка или оценка результатов Проводится в конце программы. Основывается на аккумулированных результатах формирующих оценок (если они проводились). Включает опросы с широким кругом всех сторон, задействованных в программе. Проводится внешними оценщиками(м). Такая оценка – это извлечение позитивного опыта и уроков для руководства и партнеров программы, отчетность перед благополучателями, финансирующими организациями и широкой общественностью. Оценка воздействия. Такая оценка проводится через несколько лет после окончания программы, чтобы убедиться или проверить, какие институциональные результаты программы продолжают действовать. Как правило, такая оценка проводится донорскими организациями. Оценка воздействия государственных программ, как правило, не проводится, потому что государственные программы идут непрерывно и крайне сложно выделить специальные эффекты какой-либо из завершившихся программ. Логика простая: если нужный эффект важен, то программа продолжается, если какой-то эффект не важен, то зачем его измерять. 2 Многие государственные программы в настоящий момент становятся межведомственными. Поэтому оценка промежуточных результатов важна для всех сторон.

7


Оценка как правило, проводится независимыми экспертами или независимыми профессиональными организациями, с тем, чтобы получить объективный взгляд на значимость и актуальность, эффективность, воздействие и устойчивость результатов программы.

Соотношение между мониторингом и оценкой Мониторинг программы

Оценка программы

Частота

Периодически, регулярно

Эпизодически

Основное действие

Отслеживание

Определение значимости

Основное назначение

Улучшить ход исполнения, повысить эффективность, скорректировать план работ

Улучшить качество, эффективность, влияние, будущие программы

Временной горизонт

Краткосрочный

Долгосрочный, выходящий за рамки конкретной программы

Рассматриваемы е элементы программного цикла

Используемые ресурсы, процесс, продукты

Также результаты и влияние программы

Нормативные документы

Планы работы, целевые характеристики работы и контрольные индикаторы (в том числе для раннего выявления проблем)

Цели и стратегия программы, целевые характеристики работы и исполнения программы, а также общепризнанные нормы и стандарты, например, права человека, организационная политика

Источники информации

Рутинные и контрольные системы, полевые наблюдения, отчеты о ходе работ, краткосрочные исследования

Материалы мониторинга, а также специальные опросы и исследования

Исполнители

Специалисты по мониторингу и оценке программы, либо внешние эксперты

Те же, если используется оценка с участием, или внешние независимые оценщики

Отчет предоставляется

Руководителям программы, партнерам программы, основным заинтересованным сторонам, тем, кто предоставляет финансирование

Тем же, если используется оценка с участием, а также политикам и широкому кругу внешних заинтересованных сторон

8


Задачи проведения мониторинга и оценки Постановка задания на проведение оценки Постановка задания на оценку или запрос на оценку – является неотъемлемой частью управления программы. Оценка может быть плановой и поставлена в график проведения контрольных действий, но если руководство программы или партнеры программы не заинтересованы в оценке, то оценка как правило не проводится. Постановка задания на проведение оценки должна предусмотреть два уровня оценки: - уровень логики разработки программы; - уровень реализации программы. Логика разработки программы, как правило включает восстановление взаимосвязей между планируемым воздействием, результатами, и услугами, или запланированными мероприятиями программы. Цель Результат Продукт

Результат Продукт

Результат Продукт Продукт

Продукт

Продукт

Для такой работы можно воспользоваться анализом документов, консультациями с разработчиками программы. В итоге должна быть восстановлена полная картина, за счет которой предполагалось провести воздействие. (формулировка)

ИНДИКАТОРЫ

ИСТОЧНИКИ ПОДТВЕРЖДЕНИЯ ДАННЫХ

РИСКИ реализации

ЦЕЛИ ЗАДАЧИ ПРОДУКТЫ ДЕЙСТВИЯ РЕСУРСЫ

Планирование оценки Планирование оценки, представляет собой процесс формирования исследовательских операций по поиску и анализу информации в соответствии с техническим заданием (ТЗ) на проведение оценки. Задание на проведение оценки, сформированное на редыдущем этапе, теперь детализируется и трансформируется в конкретные инструменты сбора и анализа данных, а также в подробные планы действий. 9


Первоначально необходимо обратиться к вопросам, на которые надлежит ответить. Например, один из вопросов задания может выглядеть так: «В какой мере ход программы соответствовал плану? Если были отклонения, то с чем они были связаны?». Определить, что нужно узнать для ответа на вопросы ТЗ. Проводится уточнение объекта оценки, в соответствии с ТЗ. Формируются списки всех заинтересованных сторон и благополучателей программы. Происходит формирование выборки Планирование проведения сбора данных Проведение сбора данных и обработка данных Анализ данных Подготовку отчета В планировании определяется подробный график проведения оценки и назначаются ответственные за выполнение всех работ. Теперь нужно уточнить, что нужно для проведения оценки с организационно-технической точки зрения. Роль логической модели программы в планировании оценки При планировании оценки программы, логическая модель программы (восстановленная) служит основой:     

Для определения приоритетных вопросов оценки. Она помогает определить риски, допущения и компоненты программы, относительно которых существует наибольшая неопределенность. Она помогает выявить результаты, которые различные заинтересованные стороны считают наиболее важными. Для определения сроков проведения оценки. Разделить вопросы оценки, касающиеся ресурсов, действий и продуктов, которые расположены ближе к началу причинно-следственной цепи, и вопросы оценки, относящиеся к результатам и влиянию, (которые достигаются обычно на более поздних сроках реализации программы). Это также помогает определить, где можно использовать различные виды оценки, чтобы ответить на вопросы оценки, требующие одного и того же уровня анализа (на каких участках цепи причинноследственных связей можно найти источники информации для ответа на определенный вопрос).

Преимущества выстраивания логической модели при проектировании оценки  Разработка логической модели программы даже при разработке или уточнении технического задания (ТЗ) на оценку или в начале проведения оценки поможет определить приоритетные вопросы оценки. При проведении оценки с участием разработка логической модели программы поможет различным заинтересованным сторонам достигнуть единого понимания относительно объекта оценки.

10


 Это полезный инструмент для анализа логической обоснованности проекта программы и его соответствия ситуации, который позволит выявить логические нестыковки или неожиданные внешние факторы.  Логические модели программ позволяют продемонстрировать ожидаемую значимость внешних факторов, влияющих на получение продуктов, результатов и влияния программы.  Логическая модель программы помогает проследить, насколько продвинулась реализация программы согласно исходному проекту, и какие коррективы были внесены в программу по ходу её реализации.

Проверка оцениваемости программ и выбор подходов Многие программы в Кыргызстане строятся без использования теории изменений или логической матрицы. Это требование не заложено в нормативных документах по созданию программ. Поэтому специальное время оценщикам нужно потратить на то, чтобы проанализировать какими методами можно оценивать программу, какой тип логики заложен в программу. 3 Анализ оцениваемости программ помогает установить в какой степени можно надежно и достоверно оценить программу или проект. Анализ оцениваемости нельзя путать с процессом оценки программы, который призван сделать суждение о достижениях и ценности программы. Зачастую в основе некачественной оценки могут лежат проблемы низкого качества самих программ. В международной практике многие дорогостоящие исследования по оценке дают нулевой или негативный результат, потому что: 

Программы полностью не реализуются или существуют «на бумаге»

Цели программы написаны «под финансирующую организацию», без учета мнения благополучателей и партнеров

В дизайне программы отсутствует логика

Результаты оценки не используются в связи с отсутствием «хозяина процесса», кто был бы реально заинтересован в результатах.

Цели программы противоречат реальности, в которой существует программа.

Цели программы слишком завышены и агрегированы.

Многие из этих проблем можно выявить и устранить на этапе разработки программы посредством анализа оцениваемости, который как и оценка является одним из инструментов управления. Анализ оцениваемости может проводиться для: 3 Шаблон на проведение оценки оцениваемости в Приложении 1. 11


Уточнения дизайна программы с рекомендациями по доработке программы

Формирования дизайна оценки

Принятия решения о проведении оценки

Анализ оцениваемости уместно проводить: 

при разработке программы, но до начала ее реализации

непосредственно до проведения оценки

Инициатор Анализ оцениваемости инициирует руководитель органа, координирующий или управляющий программой, или те, кто будет заказывать оценку программы, кто заинтересован в результатах оценки. Для отраслевых программ инициатором может быть Аппарат Правительства КР или ответственный отдел Министерства Экономики. Кто должен проводить анализ Анализ оцениваемости может проводиться: 

Внутренними экспертами государственного органа, владеющими соответствующими знаниями и полномочиями - приемлемая практика.

Внешними независимыми экспертами – лучшая практика. Применение которой желательно для крупных стратегических программ.

Методология оценки Методология оценки предполагает разработку логично связанных методов и инструментов сбора данных, подходящую для полного охвата всех заинтересованных сторон, а также измерения других результатов, полученных программой.

Анализ всех заинтересованных групп Заинтересованные стороны- это: любой человек, группа или организация, которые могут повлиять, и/или быть подвержены влиянию … результата или процесса реализации проекта. Это могут быть партнеры проекта, благополучатели проекта, организации, предоставляющие услуги проекту. 

первичные заинтересованные стороны - благополучатели – те, на кого программа непосредственно влияет и/или

которые влияют на программу – (целевые группы). В сложных программах целевых групп может быть несколько. 

вторичные заинтересованные стороны - доноры – партнеры – правительство – другие группы

12


третичные заинтересованные стороны – коммерческие торговцы – основные провайдеры услуг.

Анализ всех заинтересованных сторон в проекте предполагает получение ответов на следующие вопросы:      

Каковы ожидания заинтересованных сторон от программы? Какую пользу заинтересованные стороны скорее всего извлекут? Какие ресурсы заинтересованные стороны представят или не предоставят программе? Какие интересы заинтересованных сторон могут противоречить интересам программы? Как одни заинтересованные стороны относятся к другим категориям заинтересованных сторон? Какие другие вещи по мнению заинтересованных сторон программа должна или не должен делать?

Для упорядочивания всех категорий заинтересованных сторон, обычно составляют специальный список или таблицу заинтересованных сторон. Иерархия заинтересованных сторон Первичные Вторичные третичные

Почему вовлечены?

Как вовлечены?

Когда Журнал вовлекаются? данных мониторинга

После анализа всех заинтересованных сторон уточняются вопросы для опросников и интервью, при проведении оценки.

Планирование выборки Существует две принципиально разных стратегии формирования выборки: вероятностная (случайная) и целевая. Вероятностная выборка используется в тех случаях, когда нам необходимо перенести результаты изучения источников, включенных в выборку, на всю совокупность источников. Вероятностная выборка применяется, например, когда нужно выяснить мнение жителей города, региона по какому-то вопросу. При соблюдении правильной процедуры отбора респондентов можно узнать мнение большого количества населения (до нескольких миллионов), опросив всего около полутора тысяч человек 4. При этом вероятность ошибки при переносе (обобщении) полученных данных с выборки на все население города не превысит трех процентов. Такое свойство вероятностной выборки называют репрезентативностью. Когда мы говорим, что выборка является репрезентативной, это означает, что результаты ее изучения могут быть перенесены на всю совокупность интересующих нас элементов с небольшой и известной заранее вероятностью ошибки. Целевая стратегия формирования выборки используется либо когда общее количество источников относительно невелико, либо когда задачей является глубокое изучение 4 Опросы домохозяйств, которые проводит НСК

13


какого-либо явления или процесса, а обобщать полученные данные не требуется. Исходя из того, какое именно явление и зачем мы собираемся изучить, мы определяем состав и количество источников информации, которые позволят нам достичь цели. Здесь главное – выбрать информационно насыщенные источники. Информационная насыщенность означает, что из этих источников можно узнать многое из того, что связано с целью оценки. Другими словами, в зависимости от цели оценки нам нужно будет найти либо наиболее знающих людей, либо людей, принимавших участие в чем-то, либо людей, переживших что-то, и т.п. Если речь идет о наблюдении, то нужно выбрать значимые для нас события и процессы. Другой тип выборки «Снежный ком» – используется, когда трудно очертить границы генеральной совокупности. Опрашивается небольшая группа заранее выбранных респондентов. В ходе интервью им задается вопрос относительно того, с кем еще следует поговорить. При беседе с рекомендованными ими людьми, тем задается аналогичный вопрос и т.д. Получается, что выборка формируется по принципу «снежного кома» – новые источники выявляются по мере проведения интервью. Выборка в соответствии с установленными заранее критериями. Еще одна выборка - целесообразная случайная выборка. Повышает достоверность, но не репрезентативность. В ней должна быть встроена проверка чтобы исключить подозрения в субъективном выборе случаев. Удобная выборка – выбираем то, что наиболее доступно. Но в этом случае обязательна триангуляция результатов

Сбор и анализ данных К сбору данных относятся различные методы и подходы. Первой информацией, которой можно воспользоваться – это документы по выполнению программы. Это включает в себя: административные записки и протоколы, реестры, списки, и прочие документы, которые велись при реализации программы. Вторым типом документов являются управленческие отчеты. Затем обязательна для ознакомления доступная статистика. И одним из очень важных и информативных источников является итоги проведенных опросов, интервью, наблюдений. Здесь также применим принцип триангуляции. Речь идет о методологической триангуляции – использованию разных методов для повышения надежности эмпирических данных. В частности, мы могли бы изучить документацию, провести индивидуальные интервью, а также провести групповое интервью и затем сравнить итоги. Методы сбора данных Методы сбора данных – это инструменты и процедуры, позволяющие собрать информацию, которая даст ответы на вопросы оценки и подтвердит выводы в отношении проекта. Собранная информация должна быть надежной (взятой у реальных и достоверных источников адекватными методами), полной (показывать общую картину, представлять взгляды разных сторон) и соответствовать вопросам оценки Существует два типа информации: 1) описания и 2) суждения. Примеры описательной информации включают:  Характеристики проекта  Фактические навыки сотрудников проекта или бенефициаров 14


    

Уровень участия целевой группы Уровень производительности Типы участников Демографические данные Правила пользования системой

Примеры информации, относящейся к суждениям:  Мнение экспертов или консультантов  Предпочтения населения  Ценности и убеждения бенефициаров  Воспринимаемые приоритеты бенефициаров  Качество государственных услуг в восприятии населения  Трактовка населением правил пользования системой водоснабжения5 Информация, полученная в рамках мониторинга или оценки, должна быть сбалансированной, для чего важно собирать разные типы информации (как описания, так и суждения), и из разных источников (например, информацию о распределении гуманитарной помощи брать не только из отчетов властей или доноров, но и опрашивать самих получателей). От чего зависит выбор метода для сбора данных? От целей оценки Проанализируйте цель проведения оценки.  Вопросы оценки, которые вы определите на первом этапе оценки, помогут вам определиться с методами и инструментами сбора данных. Для каждого вопроса оценки, которые вы определили на первом этапе планирования оценки, решите какие данные уже имеются (у вас или партнерских организаций) и насколько они достоверны или полны.  Помните о целевой аудитории - кому нужны результаты этой оценки? Какие данные они ожидают в результате оценки?  Какая дополнительная информация вам нужна для получения ответов на вопросы оценки? Из каких потенциальных источников ее можно получить? Как часто ее нужно собирать? Какие данные нужно собрать количественными методами (массовые опросы, замеры…), а какие уместнее будет собрать качественными (индивидуальные беседы, фокус групповые дискуссии и тд…) От дизайна оценки и операционных вопросов.  Проанализируйте сколько времени у вас есть на оценку и определите, что будет реалистичным с учетом имеющихся у вас сроков. Некоторые методы требуют больше времени и средств, чем другие. 5

В данном разделе использованы материалы из следующих источников: «Пособие по мониторингу и оценке для гражданского общества мониторинг и оценка с учетом равных прав и равных возможностей», Проект ЮНИФЕМ «Улучшение экономической безопасности сельских женщин в Кыргызстане», Бишкек, 2009, Program Evaluation: A Practitioner’s Guide for Trainers and Educators, by R.O. Brinkerhoff, D.M. Brethower, T. Hluchyj, and J.R. Nowakowski, Kluwer-Nijnoff Publishers, Boston, 1983; EDGE Guide to Evaluation: Analyzing Qualitative Data, prepared by T.M. Archer, Shelby County Extension, The Ohio State University, 1988; EDGE Guide to Evaluation: Constructing a Questionnaire, prepared by C. Leeds, Union County Extension, The Ohio State University, 1992.

15


o Кому нужна информация по результатам оценки и когда? o Какой метод и в каком масштабе реалистично реализовать за этот срок? Решите, как вы будете выбирать лиц, у которых вы будете собирать информацию (те на кого проект влияет, и те, кто влияет на проект)? Как вы обеспечите их участие, согласие на опрос? Какие подготовительные действия вам нужно запланировать, например, получение форм поддержки, пилотирование инструментов?

От наличия ресурсов для оценки. Внимательно изучите наличие ресурсов для проекта оценки (например, доступность людей для опроса, бюджет проекта, наличие сотрудников). Вопросы, на которые вы должны ответить:  Сколько средств у нас есть на оценку?  Сколько средств и времени вы можете выделить на сбор данных?  Сколько сотрудников (волонтеров, партнеров) могли бы с вами работать в рамках оценки?  В чем они сильны? Какие их знания или возможности могут пригодиться при оценке?  Нужно ли вам нанимать специалиста со стороны, чтобы провести эту оценку?  С каким размером участников программы мы имеем дело? Сколько людей нам нужно будет опросить? Необходимо отметить, что степень точности полученных данных сильно зависит от используемого метода. Некоторые методы требуют больше средств и времени (массовые опросы населения, физические замеры), но считаются более точными, другие могут потребовать меньше усилий и средств (анализ документов, кейс стадии), но считаются менее точными. Именно поэтому важно четко знать, как вы будете использовать информацию, и для чего она нужна, прежде чем приступите к использованию того или иного метода для мониторинга или оценки. В процессе сбора данных для обеспечения надежности и достоверности, важно вести подробный письменно документированный учет происходящего (кого, где, когда опрашиваете, с использованием какого метода). В данном разделе представлен обзор основных методов, используемых при мониторинге и оценке проектов. Представленные методы можно использоваться двояко: 1: Метод можно применять регулярно как инструмент мониторинга. Для этого, сначала с помощью метода формируется базовый замер показателей ситуации или состояния. А последующие применения метода могут сравниваться с базовыми показателями для определения изменений. 2: Метод можно применить ретроспективно (анализ прошлого) для оценки изменений, произошедших на проектной территории за определенный период времени. При таком варианте текущая ситуация берется за основу, а людей спрашивают о ситуации в прошлом (например, год или два назад). В число наиболее распространенных методов, используемых при оценке, входят: 16


1. 2. 3. 4. 5. 6. 7. 8.

Анализ документов Физические замеры Визуальные наблюдения Анализ затрат и выгод Опросы/анкетирование Интервью/беседы Описание показательных примеров (кейс стади) Фокус групповые дискуссии

Анализ документов Анализ доступных документов и материалов является самым распространенным методом. Процесс начинается со сбора всех имеющихся материалов (у партнерских организаций, доноров, местных органов власти и т.д.) и анализа этих документов в свете вопросов оценки. К таким документам могут относиться существующие записи, журналы регистрации, отчеты, финансовые отчеты и т.д. Плюсами метода считается то, что он относительно малозатратный и использует уже имеющуюся информацию. К минусам относится ограниченность, ненадежность и давность информации. Физические замеры Целью данного метода является замер изменений в физических параметрах с течением времени по любому индикатору (например, уровень посещения ФАПов, расходы на семена, число построенных колонок, число выплаченных кредитов и т.д.), используя любую единицу измерения и процедуру. С точки зрения мониторинга и оценки данный метод позволяет получить надежные, статистически проверяемые данные, которые составляют важную основу для измерения изменений и воздействия. При использовании метода, важно обращать внимание на гендерные аспекты (например, сколько кредитов было выдано женщинам, сколько мужчинам? Каков уровень посещения ФАПов мужчинами и женщинами и о чем на это говорит). Визуальные наблюдения Иногда простой метод измерения, который дает хорошие примерные данные, лучше, чем неправильно примененный точный и более сложный метод, который выдает неверные данные. С точки зрения мониторинга и оценки метод визуальных наблюдений критически важен для дополнения других полученных данных, помогает лучше понять контекст, в котором информация собирается, и объяснить результаты, полученные другими методами. Для использования данного метода нужно: а) сформировать группу наблюдателей (из числа тех, кто постоянно проживается на выбранной территории ИЛИ лиц, не проживающих на выбранной территории, для проведения наблюдений во время визитов), б) четко определить объекты и характеристики для наблюдения и в) провести сессии по обсуждению выводов. При использовании метода, обращайте внимание на гендерный разрез: при формировании группы наблюдателей учитывайте половой состав (мужчины-женщины), который может быть важен при наблюдении за определенными объектами проекта, имеющими гендерную специфику. Плюсами метода считается то, что событие, организация или процесс изучаются в его естественном состоянии и среде, что дает более глубокое понимание предмета. Например, посещение малого предприятия позволит лучше понять специфику работы предприятия, чем простое изучение отчетов об этом предприятии. Это также позволяет 17


выявить проблемы и сложности, которые сотрудники не могли бы адекватно описать или выразить сами. Минусами данного метода могут считаться возможная предвзятость наблюдателя, а также то, что сам процесс наблюдения может искажать наблюдаемое поведение. Наблюдения могут использоваться, когда нужно выявить проблему с реализацией, оценить процесс, провести инвентаризацию существующих объектов или оценить качество ресурсов, информация о котором не доступна из других источников. Так как метод требует времени и ресурсов, наблюдения нужно проводить выборочно, и наблюдать только за теми ситуациями и процессами, которые тесно связаны с вопросами оценки. Для использования этого метода важно разработать стандартную форму наблюдений, в которой должны быть перечислены показатели, предметы и события, которые нужно наблюдать, а напротив них оставлено место для фиксации фактических наблюдений. Эти формы могут быть аналогичны анкетам для опроса бенефициаров, но в этом случае, наблюдатели будут записывать свои собственные наблюдения, а не ответы респондентов. Стандартные формы наблюдений помогают стандартизировать процесс наблюдений и обеспечить учет важных моментов. Анализ затрат и выгод Данный метод позволяет численно выразить выгоды и затраты, возникающих как следствие принятых решений, для того чтобы избавиться от затратных действий, дающих мало выгод. С точки зрения мониторинга и оценки, стандартное использование данного метода направлено на оценку проекта через сравнение фактических финальных замеров затрат (стоимости) и выгод (пользы) по сравнению с теми, что были предусмотрены при проектировании проекта. Метод также может использоваться для оценки стоимости и пользы от различных элементов проекта (действий, показателей…). Для применения данного метода, как правило, нужно привлечь экономиста, так как метод предполагает использование формул и финансового расчета стоимости и выгод. При использовании метода, обращайте внимание на гендерный аспект: имеют ли мужчины и женщины равные возможности пользования выгодами проекта? Справедливо ли распределялись средства проекта в плане удовлетворения потребностей мужчин и женщин? Анкеты и опросы (более подробная информация по использованию данного метода представлена в Приложении) Данный метод позволяет получить структурированную информацию от большого числа людей, на базе конкретных вопросов. С точки зрения мониторинга и оценки, анкеты и опросы формируют базу для многих исследований по мониторингу и оценке, так как они позволяют собрать данные по конкретным вопросам реализации проекта или индикаторам. При разработке анкет нужно четко знать для чего задается тот или иной вопрос, и формулировать вопросы однозначно и понятно, иначе весь опрос может оказаться бесполезным. При проведении опросов, зачастую устанавливается квота по выборке респондентов (опрос примерно равного числа мужчин и женщин). При опросе одни и те же вопросы задаются разным участникам опроса. Опросы могут проводиться как разовое мероприятие, периодично, как формирующая оценка, или, в начале и в конце проекта. Если используете опрос и анкету для большой группы людей обязательно протестируйте ее на нескольких людях из вашей выборки. То есть если вы собираете опрашивать фермеров, протестируйте анкету на двух-пяти фермерах, прежде чем проводить массовый опрос по данной анкете. Убедитесь, что вопросы понятны и логичны. Также после 18


тестового опроса протестируйте анализ ответов. Что вам дадут эти ответы, о чем они вам говорят. Если они не дают ответы на нужные вам вопросы, попробуйте переформулировать вопросы или последовательность вопросов, чтобы вы действительно получили информацию, которая будет иметь значение. Выборка респондентов для опроса может осуществляться случайно (например, каждый 10й дом в данном селе, начиная с крайнего дома) или адресно (только женщины села или только участники кредитного союза или только жители одного дома). Выбор метода выборки будет зависеть от оцениваемых мероприятий и их целей. Если целью оцениваемого проекта было повышение благосостояния всего населения района, то выборка должна быть случайной выборкой домохозяйств в данном районе. В случае, если проект был адресным и ставил задачей изменение методов работы и эффективности, например, сельскохозяйственных кооперативов района, то выборка должны быть адресной – опрос из среды членов кооперативов). В Приложении представлена таблица примерных размеров выборки в зависимости от оцениваемого населения. Более подробная информация по применению данного метода представлена в приложении. Полу-структурированные интервью Данный метод аналогичен опросам и позволяет получить информацию из первых рук от отдельных физических лиц или групп людей, используя набор общих вопросов, которые будут направлять дискуссию по определенному руслу. В отличие от стандартных анкет, ответы в рамках полу-структурированных интервью, как правило, не ограничиваются вариантами ответов. С точки зрения мониторинга и оценки, данный метод позволяет глубже понять различные вопросы и ситуации, а также непредвиденное влияние (положительное или негативное), узнать более детальные мнения о полезности и качестве услуг, товаров и т.д. При проведении полуструктурированных интервью, зачастую устанавливается квота по выборке респондентов (опрос примерно равного числа мужчин и женщин), для адекватной представленности мнения мужчин и женщин. Кейс стадии (описание конкретного случая) (более подробная информация по использованию данного метода представлена в Приложении) Данный метод позволяет документировать историю или последовательность событий, связанных с конкретным человеком, местом, сообществом, семьей или организацией для того, чтобы оценить влияние проекта. Например, этот метод может помочь оценить, как люди справляются с изменениями и почему изменения происходят именно так, а не иначе. С точки зрения мониторинга и оценки данный метод позволяет вдохнуть жизнь в безликие данные и глубже понять человеческий фактор, стоящий за данными, собранными другими методами. Так как кейс стадии не считается репрезентативным методом (отражающим общую ситуацию и мнение большинства), его лучше использовать в комбинации с другими методами. Метод может оказаться особо полезным для анализа ситуации с фактическим соблюдением прав человека и наличия равных возможностей для различных групп населения. Более подробная информация по применению данного метода представлена в приложении. Фокус групповые дискуссии (более подробная информация по использованию данного метода представлена в Приложении) Целью данного метода является использование групповых дискуссий для сбора общей информации, уточнения деталей, получения мнений относительно определенного вопроса от небольшой группы людей (как правило, 8-10 человек), представляющих целевую аудиторию. Для целей мониторинга и оценки обсуждения в фокус группах 19


полезны для сбора мнений о происходящих изменениях, оценки качества услуг проекта и определения сфер для улучшения. Как правило, они дают более многогранную и глубокую информацию, чем простое анкетирование или массовый опрос. Для проведения результативной фокус группы важно иметь модератора, владеющего техникой проведения фокус групп. Для использования метода нужно а) определить участников (в зависимости от целей это может быть однородная группа (только женщины, только мужчины, только молодежь, только пожилые…) или смешанная; б) задать группе один общий или несколько вопросов, например, про возможное влияние проекта; в) обсудить вопрос в течение нескольких минут, г) документировать ответы и обсуждения на бумаге или аудио кассетах, д) проанализировать дискуссию на предмет выявления общих повторяющихся тем и ответов на заданные вопросы. Более подробная информация по применению данного метода представлена в приложении. При выборе метода важно понимать, какая информация нужна кому, когда и для чего. Новые техники сбора данных SMS опросы, фотографии, обсуждения на Форумах, и пр.)

Обработка данных Обработка данных, как правило достаточно трудоемкая процедура. Все полученные данные нужно систематизировать, и подсчитать. Одним из самых простых инструментов подсчета являются программа Excel. Она позволяет обработать достаточно большие массивы количественных данных. И имеет возможность различных встроенных подсчетов, а также визуализации данных. Качественные денные, как правило обрабатывать достаточно сложно. Необходимо выделить первоначально смысловые единицы, требующие учета. Во всех случаях анализ количественных данных включает две фазы: математическую обработку и смысловую интерпретацию полученных результатов. Несмотря на то, что многие способы математической обработки данных содержат слово «анализ» (корреляционный анализ, факторный анализ, кластерный анализ и т.д.), этот анализ нельзя считать законченным с точки зрения проведения оценки. Вычисления позволяют лишь выявить определенные математические закономерности, связанные с полученными данными. Для ответа на вопросы исследования эти закономерности необходимо наполнить смыслом.

Проведение анализа данных Анализ данных – одна из важных частей оценки. Под анализом, как правило понимают сравнение данных с каким-либо шаблоном, который может быть задан изначально, либо появился относительно пунктов выполнения программы. При анализе также следует придерживаться принципа триангуляции Триангуляция предполагает использование более чем двух типов данных, собранных различными методами. Идея заключается в том, что мы можем быть более уверенны в результате, если различные методы приводят дают один и тот же ответ. Если используется только один метод, то результаты могут быть приняты без вопросов; если два метода, то результаты могут быть противоречивыми; используя три метода мы надеемся получить последовательные и согласованные результаты, которые можно перепроверить. 20


Цель триангуляции в качественных исследованиях – повысить достоверность и надежность результатов с учетом более детальной и сбалансированной картины ситуации. Общая схема анализа данных6 Независимо от характера и объема данных, общая схема анализа при проведении оценки программы выглядит следующим образом: 1. Что обнаружено? (Излагаются факты, эмпирические данные). 2. Как это можно объяснить? Эти факты и взаимосвязи между ними обсуждаются, интерпретируются, наполняются смыслом. 3. Какой из этого следует вывод? На основании интерпретаций делаются выводы, выносятся суждения: хорошо или плохо, много или мало, в нужном ли направлении развивается или нет и т.п. 4. Что теперь делать? На основании выводов даются рекомендации. При проведении оценки всегда приходится иметь дело с большими объемами информации. Чтобы можно было на ее основании сделать выводы, полученные данные необходимо каким-то образом организовать, структурировать и уменьшить в объеме. Целью анализа количественных данных является сведение массива полученной информации к относительно небольшому числу значимых для нас результатов. Самый простой подход к анализу количественных данных называется описательным анализом. К нему относятся: – создание частотной таблицы; – вычисление статистических характеристик; – графическое представление данных. Другая группа методов анализа количественных данных называется аналитической статистикой. Эти методы позволяют, в частности: – оценить вероятность ошибки, – выявить связи между двумя переменными (корреляционный анализ), – спрогнозировать значение одной переменной в зависимости от значения другой переменной (регрессионный анализ), – объединить заданные наблюдения в группы со схожими проявлениями переменных (кластерный анализ), – свести большое число переменных к меньшему числу независимых факторов влияния (факторный анализ). Подходы к анализу качественных данных Общая направленность анализа качественных данных - от большого количества фактов к обобщениям, моделям, теориям. Поскольку качественные данные носят описательный характер, стратегия качественного анализа связана с классификацией данных, объединением их в группы (категоризацией), установлением взаимосвязей (в том числе приведенный ниже список методов лишь иллюстрирует некоторые возможности аналитической статистики. Оценка программы на стадии реализации причинно–следственных) между отдельными фактами и группами данных. Конечной целью всегда являются ответы на вопросы задания. Управленческие вопросы, на которые необходимо ответить при проведении анализа. 6 Есть ряд схем, предлагаемых различными авторами по анализу данных, но анализ всегда означает последовательное сравнение полученной информации с каким-либо начальным результатом. На практике анализ не представляет ничего загадочного, кроме точного умения поставить управленческий вопрос о причинах достижимости целей программы.

21


Насколько отраслевая программа увязана со страновой:     

Определите основную цель программы. Определите национальные или областные стратегии, которые поддерживают цель проекта Определите, как программа внесет вклад в национальные Подготовьте краткий текст о том, какой вклад проект внесет в стратегию (используя количественные и качественные индикаторы)

Связь со стратегией - О чем нам это говорит? Программа значима и/или вносит вклад в национальные/региональные планы развития. Поддержит ли национальная программа пользу от отраслевой в долгосрочном плане?

Анализ благо- получателей и партнеров программы.

      

Каковы ожидания благополучателей от проекта? Какую пользу благополучатель скорее всего извлечет? Какие ресурсы благополучатели и партнеры представят или не предоставят программе? Какие интересы благополучателей или партнеров могут противоречить интересам программы/проекта? Как одни категории благополучателей относится к другим категориям благополучателей? Какие другие вещи по мнению благополучателей и партнеров программа\ проект должен или не должна делать? Ведут ли они себя благополучатели и партнеры как ожидалось? Вносят ли они вклад и используют ресурсы? Получают ли они пользу?

Анализ логики реализации программы 

Убедитесь, что вертикальная иерархия целей в восстановленной логической матрице логичная, четкая и связана таким образом, что одна цель ведет к следующей.

Проверьте каждую Цель на предположения (риски)7 (реализовались ли предположения)

 

Убедитесь, что каждая Цель имеет четкий и измеримый индикатор Достигаются ли промежуточные продукты и продукты как было запланировано?

Анализ плана действий. Соответствует ли реализация программа плану действий за период времени. Если есть отклонения, то почему они произошли. Анализ результатов 7 Реализовались ли предположения, риски?

22


 

Начинают ли целевые группы использовать продукты программы, например, используют ли они свои новые навыки в работе и улучшает ли это их работу? Начали ли работать новые институты? Насколько они удобны для багополучателей?

Результаты оценки: Кроме этого анализа существует общий анализ программ, на которые должна ответить оценка. 

Значимость/уместность – соответствуют ли цели проекта потребностям благополучателей и будет ли политика и стратегии поддерживать запланированные выгоды в долгосрочном плане?

Рациональность – обеспечат ли ресурсы рациональное управление и использование продуктов и действий? Есть ли у проекта правильные навыки, ресурсы и системы для достижения целей?

Эффективность – Насколько эффективно продукты программы достигли целевые группы, и поддерживались партнерскими организациями?

Результативность – будут ли благополучатели и партнерские организации использовать продукты проекта и получать пользу?

Устойчивость – будет ли польза от проекта признана и повлияет ли она на изменение поведения или работы благополучателей.? Будут ли результаты интегрированы в партнерские организации?

Воздействие – сможет ли программа обеспечить изменения и внесет ли это вклад в достижение национальных/региональных стратегических показателей и целей программы?

При проведении конкретной оценки из всех вышеприведенных вопросов следует выбрать те, которые в большей степени соответствуют

Отчет по результатам оценки Если на долгосрочную программу проводится плановая оценка, то целесообразно разработать формат отчета. Так же для начинающих оценщиков можно пользоваться стандартными формами отчетов. Но как правило, написание отчета является творческой задачей. Организация объединенных наций разработала «Стандарты оценки в системе ООН». Этот документ переведен на русский язык и доступен в интернете 8. В нем подробнейшим образом описываются требования ООН к оформлению отчетов о результатах оценки. Прочитав отчет, человек должен получить следующую информацию: – какова цель оценки; – что именно оценивалось; 8 file:///C:/Users/user/Downloads/UNEG%20Norms%20&%20Standards%20for%20Evaluation_Russian.pdf

23


– как разрабатывалась и проводилась оценка; – какие данные были получены; – какие выводы были сделаны; – какие рекомендации были вынесены; – какие уроки были извлечены. Как правило, отчет об оценке включает следующие разделы: 1. Титульный лист 2. Оглавление 3. Аннотация 4. Перечень сокращений 5. Введение 6. Общие сведения об оценке 7. Полученные данные 8. Выводы и рекомендации 9. Приложения На титульном листе указываются название организации-заказчика; название программы, в рамках которой выполняется программа; название отчета (включает название программы\проекта); информация о тех, кто проводил оценку (с указанием адреса организации-исполнителя, контактного телефона и электронной почты); дата сдачи отчета. В аннотации на одной-двух страницах приводится краткое содержание отчета. Введение задает контекст, предоставляет читателю информации о проекте, которая может понадобиться для понимания отчета. Сюда включается объяснение истории возникновения программы; описание проблемы, на решение которой направлена программа; описание сущности и основных характеристик программы; ситуация, предшествовавшая оценке. Общие сведения об оценке включают описание того, с какой целью проводится оценка и как будет использоваться полученная информация. В этот раздел также включается краткое изложение методологии проведения оценки. Полученные эмпирические данные приводятся в объеме, достаточном для изложения последующих интерпретаций и выводов.

Обсуждение и принятие решений по результатам оценки Этот этап завершает проведение оценки. Именно поэтому он исключительно важен как переход от формального письменного отчета к решениям, влияющим на программу. Оценка начиналась с разговора между заказчиком и исполнителем, и завершиться она должна разговором, в ходе которого исполнитель представит результаты оценки заказчику и стороны смогут вместе их обсудить. Часто сообщение о результатах оценки

24


сопровождается подготовленной в программе презентацией, предоставление которой в качестве обязательного продукта оговаривается в задании на проведение оценки. Результаты оценки должны быть представлены лицами, принимающими решения, и по результатам должно пройти обсуждение и приняты необходимые корректирующие изменения. Наказания мониторинг и оценка не предусматривают, по крайней мере, на первом шаге. Это связано с тем, что что мониторинг и оценка анализируют гораздо более широкий круг вопросов, чем те, за которые отвечает конкретный сотрудник или даже подразделение. По результатам МиО можно судить о принципиальных направлениях и отклонениях в реализации программы или проекта.

Логика формирования программ Логическая модель описывает программу, представляя правдоподобное и разумное объяснение того, каким образом эта программа при определенных условиях будет решать заявленные проблемы. Логическая модель ясно и наглядно описывает связи между ресурсами, которые использует программа, действиями в рамках данной программы и изменениями, которые должны произойти благодаря данным действиям. Логическая модель – очень удобный и полезный способ описания того, зачем нужна программа и как она должна работать.

Управление по результатам и теория изменений при формировании программ Логическая модель программы состоит из следующих элементов: Ресурсы – которые использует программа. Вопрос, на который нужно ответить при разработке модели: Какие ресурсы нужны для эффективной реализации программы? Действия– то, что программа делает с ресурсами, чтобы выполнить свою миссию. Вопрос, на который нужно ответить при разработке модели: 25


Что нужно сделать, чтобы достичь целей программы и выполнить ее миссию? Благополучатели, партнеры – лица, группы людей или организации, на которых распространяются непосредственные результаты программных действий. Непосредственные результаты – продукты действий. Вопрос, на который нужно ответить при разработке модели: Что мы получим, выполнив те или иные действия? Результаты– изменения, которые должны произойти с людьми, группами людей или организациями во время или после того, как они примут участие в программных действиях. Вопрос, на который нужно ответить при разработке модели: Каким образом мы хотим изменить положение наших клиентов? Воздействие – параметры ситуации, в которой реализуется программа, находящиеся вне контроля ее исполнителе

Логическая матрица программ - Цели-индикаторы Доказательства В готовом виде логическая матрица используется как основа для написания проектного предложения; для написания должностных инструкций и организации работы; для внесения изменений в структуру проекта во время реализации; и, в конце концов, для оценки проекта. Логическая матрица представляет собой фундамент проекта и задает четкую иерархию целей, начиная с ресурсов (внизу матрицы) и до воздействия (вверху матрицы). Чем четче будет иерархия целей и теснее связь между ними, тем легче будет отслеживать и измерять прогресс, вносить изменения в проект и отслеживать последствия каждого изменения. Если у проекта, в котором вы проводите оценку, логической матрицы нет, то первым этапом оценки, по возможности, следует сделать формулировку этой матрицы вместе с сотрудниками проекта и заинтересованными сторонами. 26


Напротив каждой цели на уровне продуктов проекта устанавливаются индикаторы: с указанием количества, времени, качества и целевых групп. Индикаторы должны подтверждаться данными: с уточнением ответственных за сбор и анализ данных. Индикаторы и предположения используются для анализа результатов.

Логическая матрица Цели (Objectives) Индикаторы (Indicators)

Доказа-тельства (Evidence)

Цель/ Воздействие (Impact/ Outcome)

Предположения (Assumptions)

1

7

8

Результат проекта (Project Purpose/Outcome2)

9

10

6

3

11

12

5

13

14

15

16

Продукты (Outputs)

Действия (Activities)

Предпосылки (Preconditions)

4

Структура логической матрицы заставляет команду разработчиков: 

определять критические предположения, которые могут повлиять на реализуемость проекта и его долгосрочное воздействие; и

формулировать индикаторы и подтверждающие данные (доказательства), которые будут использоваться для отслеживания реализации.

Логическая матрица технически не сложна, но может стать интеллектуальным вызовом, потому что при создании иерархии целей она требует от разработчиков структурированного мышления. Вертикальная иерархия имеет прямое отношение к последовательным шагам по достижению целей, от действий внизу, до общей цели на самом верху. Важно установить взаимоотношения между мероприятиями проекта и их воздействием (посредством цепочки событий) на политику: вертикальная колонка тестирует последовательность логики. Горизонтальные ряды логической матрицы требуют горизонтального мышления потому, что они связанны с заинтересованными сторонами и внешними влияниями, которые мы не можем контролировать. Для того чтобы позволить проекту вписаться в уникальную социальную, культурную и физическую среду бенефициаров, важно выделить достаточно времени и ресурсов на этап дизайна 27


(разработки) проекта. Важно признать, что хотя проблема и решение могут быть общими, внутренние взаимоотношения, ценности, история и то, как заинтересованные стороны будут реагировать на инициативу (предпринимаемые действия) будут уникальными.

Разработка индикаторов. Подтверждающие данные. Разработка ясных и измеримых индикаторов формирует основу для системы мониторинга и оценки проекта. Уровни индикаторов должны измерять и соответствовать уровню целей; для каждой цели, от воздействия/результата до продукта, должен быть указан свой индикатор. Индикатор должен быть объективно проверяем и определять цель в виде конкретной и измеримой формулировки. Индикаторы мероприятий в логическую матрицу не включаются; их отражают в детальном Плане действий. Индикаторы не должны быть жесткими; они являются базовыми целевыми показателями и могут изменяться в свете фактической реализации. Они должны быть разработаны таким образом, чтобы предоставлять информацию для проверки прогресса по отношению к достижению заявленной цели и для принятия корректирующих мер, при возникновении проблемы. Хорошо разработанные индикаторы придадут проекту высокий уровень детальности. Например, при обсуждении целевой группы, индикаторы не должны говорить просто о населении, а детализировать - мужчины это или женщины, молодые или пожилые, занятые или безработные и т.д. Таким образом, индикаторы учтут ‘трудно доступные группы’ и определят какой тип сотрудников будет необходим для работы с такими группами.

Индикаторы также покажут, какой стиль управления будет нужен. Чем больше деталей можно будет предусмотреть в индикаторах, тем легче будет оценить реализуемость. Индикатор должен описывать то, что должно измеряться, чтобы продемонстрировать изменение от одного состояния к другому, например: Цель: Жители Района X имеют доступ к медицинским услугам. Индикатор: Открытие новых клиник 

Укажите количество – количество созданных клиник – сколько?

Укажите время – количество клиник открытых к году X – когда?

Укажите качество – тип предоставляемых медицинских услуг – какие?

Целевая группа – новые клиники доступные для местных жителей – для кого?

Каждый индикатор должен подтверждаться доказательствами. Они должны описывать, откуда будет браться информация, чтобы вы могли отслеживать индикатор; кто будет ответственным за регулярный сбор информации; когда информация будет доступна, чтобы руководство могло отслеживать прогресс достижения цели в указанное время; и описывать, как информация будет собираться.

Доказательства (подтверждающие данные): 

информация необходимая для измерения достижения индикатора

28


должны отражать источник; информация должна быть отслеживаемой по информационной цепочке, достоверной и иметь дату ввода

данные должны измерять индикаторы по разумной стоимости существующими средствами или посредством процедур, которые проект специально для этого предусмотрит

ответственность за сбор доказательств должна быть четко распределена

информация должна быть доступна в нужное время

Подтверждающие данные в основном будут браться из отчетности по проекту, однако, иногда сбор подтверждающих данных может добавить дополнительные мероприятия к проекту. Например, если источником подтверждающих данных будет опрос бенефициаров, проведенный через 6 месяцев после завершения проекта, то опрос нужно будет заложить в структуру проекта как мероприятие с соответствующим бюджетом.

Квалификация команды, проводящей оценку Проведение оценки – это высококвалифицированная работа, потому что необходимо определить эффективность управления, которое само по себе является одной из сложных профессиональных задач. Поэтому оценщики так же должны быть высококвалифицированными. Не всегда оценщики, прошедшие курс в университете способны провести самостоятельную оценку на практике, зачастую опыт и умение системно мыслить играет достаточно большую роль. Тем не менее существующие потребности в оценке программ в стране требуют начинать проведение оценок. Поэтому при проведении первых оценок, лучше всего воспользоваться сопровождением консультантов, которые проводили оценку. Если нанимается внешняя команда или эксперт в проведении оценки, то он должен также иметь опыт проведения оценок, участие в конференциях и встречах по МиО.

МОНИТОРИНГ Процесс управления проектом зависит от понимания того, что работает, а что нет. Хорошие процессы по сбору данных жизненно важны для управления мониторингом проекта, предоставления руководству своевременной информации о прогрессе планов проекта и содействия принятию решений на основе подтверждающих данных. Отчетность должна быть регулярной, форматированной, четкой, сфокусированной и должна ссылаться на результаты действий, а не описывать мероприятия. Управление мониторингом может включать проведение мероприятий, вовлекающих другие заинтересованные стороны для сбора информации, анализа данных и принятия решений, прежде чем, решить нужны ли дополнительные мероприятия, прекратить ли проект или перейти на следующий этап.

29


Шаблон 1. Связь стратегии и проекта

Данный шаблон предназначен для идентификации соответствующей стратегии или политики управляющего агентства, внешних ключевых заинтересованных сторон, таких как местные органы управления, финансирующее агентство и т.д., и описания того, как проект вносит вклад в эту стратегию или политику. Если изменяется стратегия/политика высокого уровня, или меняется направление проекта, важно документировать какое влияние это будет иметь и какие промежуточные действия нужно предпринять, чтобы обеспечить продолжающуюся актуальность проекта и способность достичь важные результаты. Если проект не вносит вклад в политику/стратегию, вероятно, что польза от проекта, в конце периода реализации не будет поддерживаться и соответственно перестанет существовать. Шаблон 1: Связь проекта и стратегии Проект:

Период мониторинга

Соответствующ ая проекту стратегия региональных или местных органов

Запланировано Соответству ющая проекту стратегия финансирую щих агентств

Мониторинг Как проект вносит вклад в стратегии?

Какие действия следует реализовать, если стратегия/политика изменились?

Изменились ли стратегии/политика?

Нет

Да

Если да, что изменилось и как это влияет на проект?

Шаг 6. Любые действия, которые нужно предпринять должны быть включены в следующий период планирования и мониторинга в соответствующем месте. Перенесите данные в раздел мониторинга в отчете и поясните, что произошло за этот период и что нужно сделать в следующем периоде.

Шаг 1.

Шаг 3.

Укажите начало и конец периода мониторинга

Определите Для каждой стратегии /политики, стратегии/ политики относящиеся к проекту Шаг 5. опишите вклад проекта. В каждый период мониторинга проверяйте, произошли ли какие-либо изменения, если нет, то укажите «нет», если да укажите «да» и поясните что изменилось и какие действия проект должен предпринять.

Шаг 2. Определите и укажите стратегии/политики, относящиеся к вашему проекту

Шаг 4.

Как использовать этот шаблон для мониторинга и отчетности в рамках Управления по результатам 30


 

Сбор данных - существующие документы политики исполнительного агентства, руководящего агентства, а также местных и региональных органов власти. ‘Действия, которые нужно предпринять’ в отношении стратегии могут повлиять на мероприятия и запланированные продукты проекта: возможно, их нужно будет изменить, если политика и стратегия изменились. Изменения нужно будет внести в Продукты и связанные Мероприятия в Шаблоне 4 «Логическая матрица мониторинга» и Шаблоне 5 «План действий». Какие-либо добавления или изменения могут потребовать дополнительных ресурсов, поэтому убедитесь, что они доступны. Отразите в отчете как программа вносит вклад в долгосрочную политику высокого уровня указывает на потенциальное воздействие проекта и вероятную устойчивость и мейнстриминг выгод проекта.

Шаблон 2. Оценка проблем и возможностей Данный Шаблон предназначен для учета проблем или возможностей, которые создают обоснование проекта, и определения базовых данных по отношению к которым проект будет отслеживаться и оцениваться.

Информация в этот Шаблон должна поступать из первоначального анализа, либо по результатам семинара с заинтересованными сторонами или/и статистических подтверждающих данных от правительства или других органов. Шаблон 2 используется для обеспечения того, что проект фокусируется на достижении целей. Если проблемы или возможности меняются в течение реализации проекта, важно внести поправки и в Шаблон и внести изменения во всех других соответствующих документах. Как использовать этот шаблон для мониторинга и отчетности в рамках Управления по результатам

31


Сбор данных будет происходить от первичных заинтересованных сторон, которые сталкиваются с проблемами и/или которые определили возможность для развития целей проекта.

‘Действия, которые следует предпринять’ - если новая ситуация сводит первоначальное обоснование на нет, то цели проекта следует переоценить. Это может иметь несколько последствий вплоть до прекращения проекта, если он уже не имеет ценности и пользы. Продукты или Мероприятия в Логической матрице также возможно нужно будет изменить, что может потребовать дополнительные ресурсы.

Отразите в отчете, фокусируется ли все еще проект на решении соответствующих проблем или использовании возможностей. Если проблемы или возможности изменились во время реализации, остается ли проект актуальным? Или ему следует сменить курс и ориентир?

Шаблон 3 Анализ стейкхолдеров/заинтересованных сторон

Проект: Запланировано

Период мониторинга

Стейкхолдеры/ заинтерес. стороны

Зачем они вовлекаются ?

Как они вовлекаются?

Когда их можно вовлечь?

Мониторинг Фактическая реакция стейкхолдеров на проект

Первичные

Вторичные

Третичные

Шаг 2. Шаг 1. Укажите начало и конец периода мониторинга

Шаг 3.

Из карты стейкхолдеров Попытайтесь ответить на вопросы в перепишите стейкходеровтрех по колонках на против каждого иерархии. стейкхолдера, иногда для разных стейкхолдеров ответы могут совпадать.

Шаг 4. Запишите как стейкхолдеры фактически отреагировали, и как это влияет на проект, ведите регулярный учет (описание) их реакции. Ведите учет вовлеченности стейкхолдеров в проект, чтобы получить такую информацию.

Данные будут поступать от первичных и вторичных заинтересованных сторон, вовлеченных в мероприятия (списки участия в мероприятиях, отзывы на курсы). Также полезно собирать данные о том, как заинтересованные стороны используют какие-либо виды поддержки, оказываемые проектом.

32


Попытайтесь заполнить как можно больше информации на вопросы «почему», «как» и «когда» заинтересованные стороны вовлечены. Когда будете описывать ответы на вопрос «почему» можете сопоставить заинтересованные стороны с проблемами или возможностями и целями и/или мероприятиями, чтобы была четкая связь и причина для конкретной заинтересованной стороны. Этим самым мы хотим как можно раньше узнать, реагируют ли заинтересованные стороны на проект в том виде в котором мы ожидаем, остается ли он на пути, или заинтересованные стороны не делают того, что проект от них ожидал, и если да, то как это повлияет на проект? Если заинтересованные стороны не отреагировали в том виде в котором проект планировал, означает ли это, что мероприятия или продукты следует изменить? Шаблон 4. Логическая матрица мониторинга Данный Шаблон содержит запланированные цели проекта, индикаторы и предположения на мониторинговый период: их нужно взять из Логической матрицы. Используя индикаторы в Логической матрице, вы должны быть в состоянии определить долю количественно измеримых Продуктов, которые запланированы на этот период и какие предположения должны реализоваться. Предположения представляют риски (если не осуществятся) и связаны с целями. При измерении каждой цели, важно изучить связанные с ней предположения, чтобы дать взвешенную и полную картину прогресса. Шаблон 4. Мониторинг на основе Логической матрицы Название проекта: Программа/под-программа Номер проекта:

Период мониторинга:

Запланировано

Продукты периода

Запланировано

Фактическ и

Мониторинг Если фактически получилось больше или меньше запланированного, какое влияние это окажет на проект?

Какие действия, при необходимости следует реализовать

Продукт 1: Индикатор: Предположения: Продукт 2: Индикатор: Предположения: Продукт 3: Индикатор: Предположения:

Шаг 1.

Шаг 2.

Шаг 5.

Шаг 3 Если какие-либо различия можно Шаг 4. Укажите начало и Из Логической матрицы легко скорректировать в следующий конец периода перенесите каждый В конце Периода укажите Если между период, не указывайте их здесь. Если фактические Результаты в мониторинга Продукт за период в запланированным и нужно предпринять действие или соответствующей секции фактическим будет изменить целевые параметры, то колонке. Указывайте «Запланировано». различие, опишите и опишите здесь. только фактическое поясните это различие. состояние.

Как использовать данный Шаблон для мониторинга и отчетности в рамках Управления по результатам Данные будут поступать из оценки мероприятий по отношению к запланированным. Также, оцените использованные и заложенные в бюджет ресурсы, чтобы убедиться, что мероприятия

33


были проведены в рамках бюджета. Фактические результаты записываются и проверяются. Различия между запланированным и фактическим описываются вместе с корректирующими планами действий, которые следует реализовать. Обеспечивают ли мероприятия достижение Продуктов, реализуются ли Предположения, сделанные проектом. Скопируйте в мероприятия в План действий и какие-либо изменения бюджета в бюджет.

Шаблон 5. План действий В данном Шаблоне фиксируются детальные ежемесячные запланированные действия и ведется мониторинг путем проверки фактических результатов и их сопоставления с запланированными. Действия напрямую связаны с каждым Продуктом в Логической матрице и должны планироваться ежегодно с указанием напротив каждого действия в правой колонке ответственных лиц. Страна Название проекта: реализации: Программа/ подМенеджер программа проекта: Номер проекта: Действия/ мероприятия

Курирующий Департамент: Квартал 1 1 2 3

Квартал 2 4 5 6

Квартал 3 7 8 9

Квартал 4 10 11 12

Ответственный

Продукт 1

Продукт 2

Продукт 3

Продукт 4

Шаг 1. Перенесите Продукты и ежегодные соответствующие действия из Логической матрицы и разместите их в левой колонке.

Шаг 2.В строке каждого действия, запланируйте и укажите, когда они должны начаться и закончиться. Ежемесячно регистрируйте фактический прогресс. Это можно сделать, используя ручки/карандаши различного цвета.

Шаг 3. Напротив каждого действия укажите, кто несет ответственность за реализацию действия.

Как использовать данный Шаблон для мониторинга и отчетности в рамках Управления по результатам

34


Данные будут браться из действий проекта: того, что он делает на ежедневной основе и того, что он поручает другим заинтересованным сторонам или подрядчикам. Ответственные за реализацию мероприятий должны вести заметки о том, как обеспечивается реализация действия и как заинтересованные стороны реагируют. В отчете отразите: реализуются ли мероприятия проекта по графику, достижимы ли они в рамках сроков и выделенного бюджета и считают ли заинтересованные стороны мероприятия полезными.

Шаблон 6.

Управление проектом и отчетность

Данный Шаблон предназначен для обеспечивается управление проектом.

учета

и

мониторинга

того,

насколько

хорошо

Проекты по усилению потенциала являются сложными и трудными. Управление проектом нужно критически оценивать, что он имел полную поддержку всех заинтересованных сторон. Данный Шаблон используется сотрудниками проекта, партнерами и другими заинтересованными сторонами для выражения их взглядов и восприятия того, как осуществляется управление проектом. Он может использоваться для того, чтобы позволить более широкому кругу заинтересованных сторон быть вовлеченными в мониторинг и соответственно позволяет проекту понять, как другие заинтересованные стороны воспринимают его работу. Название проекта: Программа/под-программа

Менеджер проекта:

Номер проекта:

Курирующий Департамент:

Вопросы

Нет нужно что-то делать

Нет - чтото уже делается

Да можно улучшить

Да - все прекрасно

Какие действия необходимы ?

Ответственны й за реализацию действий?

Проект Ясна ли для Вас цель проекта? Считаете ли Вы, что цель проекта соответствует решаемой проблеме? Реалистичны/достижимы ли продукты проекта? Реалистичны/достижимы ли мероприятия проекта? Ясны ли Вам предположения и риски проекта? Адекватны ли ресурсы для реализации действий? Поступают ли ресурсы вовремя? Реализуете ли Вы запланированные действия вовремя и в рамках бюджета? Общее Ясна ли Вам структура проекта? Ясна ли Вам Ваша роль в проекте? Получаете ли Вы достаточно..

Шаг 1.

Шаг 2. Оцените общий список вопросов и Попросите самых разных убедитесь, что они уместны для проекта и стейкхолдеров заполнять этот сектора. Адаптируйте список, добавив или Шаблон раз в пол года и попросите удалив некоторые вопросы. их также предложить, какие

Шаг 3. Все Действия и ответственных за их реализацию следует оценить и собрать в список действий для улучшения функции управления. Реализацию списка нужно

35


Как использовать данный Шаблон для мониторинга и отчетности в рамках Управления по результатам 

 

Данные нужно собирать у сотрудников проекта, партнеров, и других ключевых заинтересованных сторон. Данный Шаблон следует заполнять каждые 6 месяцев и затем обобщать в один лист для анализа и планирования корректирующих действий. В отчете отразите: вопросы рациональности и результативности управления проектом для управления задачами, отчетностью и вовлечения заинтересованных сторон. Используйте информацию из Шаблона для обоснования каких-либо изменений в организационной структуре проекта, описания должностных инструкций, технических заданий для консультантов и какихлибо контрактов с внешними поставщиками.

Шаблон 7. Воздействие проекта Данный Шаблон предназначен для руководства проекта и используется для того, чтобы начать формировать понимание вероятного воздействия проекта. Воздействие проекта определяет его успех или провал; важно начать тестировать наличие воздействия проекта как можно раньше для того, чтобы направлять проект к успеху, когда такая возможность еще есть. Данный Шаблон лучше использовать во второй половине проекта для тестирования наличия воздействия от действий, продуктов и результатов проекта. Рекомендуется, чтобы шаблон заполнялся каждые 6 месяцев ответственным лицом. Название программы

Менеджер проекта:

Номер проекта:

Курирующий Департамент:

Источники данных (ПРИМЕР) Используют ли участники тренингов полученные навыки?

Наблюдения на рабочем месте. Пост-тренинговый опрос. Высокопост. гос. чиновники. Представители частного сектора.

Стали ли участники тренингов более информированным ио международного торговле?

Наблюдения на рабочем месте. Пост-тренинговый опрос. Высокопоставл. гос. чиновники.

Стали ли коллеги в министерствах разрабатывать меры политики в результате деятельности проекта?

Наблюдения на рабочем месте. Интервью. Высокопоставл. государственные чиновники.

Возникли ли новые или усилились ли старые торговые сети?

Высокопоставл. гос. чиновники. Представители частного сектора.

Шаг 1. Оцените общий список вопросов и убедитесь, что они соответствуют проекту и сектору. Адаптируйте список, добавив или удалив некоторые вопросы.

Слишком рано, сложно сказать

Нет - нужно что-то делать

Шаг 2. Определите место и лиц, которые могут служить источником данных, и попросите их ответить на вопросы.

Нетдействия уже предприн имаются

Да - но можно улучшит ь

Да - все прекрас но

Какие действия нужно предпринят ь?

Ответст венный за действ ия?

Шаг 3. Все Действия и ответственных за их реализацию следует оценить и собрать в список действий для улучшения функций проекта. Реализацию списка нужно отслеживать в следующем периоде.

36


Как использовать данный Шаблон для мониторинга и отчетности в рамках Управления по результатам Сбор данных – информация будет поступать от сотрудников проекта, партнеров и других ключевых заинтересованных сторон. Отразите в отчете следующее: начинает ли проект решать первоначально определенные проблемы и влияет ли на соответствующие заинтересованные стороны таким образом, что они обеспечивают изменения. Определите потенциальные заинтересованные стороны, которые могут быть вовлечены в мейнстриминг. Если Шаблон указывает на то, что вероятно незначительное или нулевое воздействие, руководство проекта должно задуматься над изменением курса проекта, закрытием проекта или продолжением проекта в существующем виде. Скопируйте в Цель Проекта и Продукты в рамках целей в Логической матрице.

Шаблон 9. Оценка институционального потенциала Данный Шаблон предназначен для сотрудников проекта и партнерских организаций для использования в оценке сильных сторон, слабых сторон, возможностей и угроз их собственного организационного потенциала по управлению проектом и какими-либо партнерскими организациями.

Что нужно предпринять незамедлительно?

Что нужно препринять в средне- и долгосрочном периоде?

Какие действия предпринять и ответственные по каждому

Сильные стороны

Слабые стороны

Возможности

Угрозы

Шаг 2.Перенесите список из Шага 1 и ответьте на три вопроса в шаблоне.

Шаг 3.Скопируйте действия в соответствующие секции Логической матрицы и Плана действий на следующий период мониторинга.

Схема анализа данных с использованием шаблонов 37


Анализ уровней воздействия: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12.

Решил ли результат проекта проблему? Внесла ли стратегия программы вклад в процесс, в котором заинтересованы все стороны? Внесла ли отраслевая программа вклад в национальную? Стали ли выгоды от проекта устойчивыми? Применяются ли результаты программы широко в районе/стране/регионе? Сравните первоначальную проблему с текущей ситуацией. Оцените применение стейкхолдерами новой практики. Приняли ли для себя стейкхолдеры новую практику или политику? Используют ли они новую практику/политику? Можно ли подсчитать фактические результаты? Может ли правительство заявить, что их стратегия работает? Статистические подтверждения повышенного использования.

38


Литература: 1) Оценка программ: методология и практика. Москва 2009 2) Нормы и стандарты оценок. UNEG 2016 г. 3) Агентство ООН по борьбе с наркотиками и преступностью. Шаблон для проведения

оценки оцениваемости. UNODC. Evaluability Assessment Template. http://www.unodc.org/documents/evaluation/Guidelines/Evaluability_Assessment_Tem plate.pdf 4) ДФИД, «Планирование оценок оцениваемости. Обзор литературы с рекомендациями.» Октябрь 2013 г., Рик Дэйвис, (Planning Evaluability Assessments. A synthesis of literature with recommendations. Rick Davies for DFID, Oct 2013)

39

Методическое руководство по мониторингу и оценке программ  
Методическое руководство по мониторингу и оценке программ  
Advertisement