Обзор
1.1 Цель
УВКБ ООН применяет для понятия «оценка» следующее определение ООН:
«Оценка — это оценивание мероприятия, проекта, программы, стратегии, политики, тематики, направления деятельности, сектора, операционной области или институциональной эффективности, проводимое настолько систематически и беспристрастно, насколько это возможно. Оценка анализирует уровень достижения как ожидаемых, так и неожиданных результатов путем изучения цепочки результатов, процессов, контекстуальных факторов и причинно-следственной связи с использованием соответствующих критериев, таких как актуальность, эффективность, результативность, воздействие и устойчивость1. Оценка должна предоставлять достоверную и полезную информацию, основанную на фактических данных, которая позволяет своевременно включать выводы, рекомендации и извлеченные уроки в процессы принятия решений организациями и заинтересованными сторонами».
Результаты оценки ложатся в основу выбора, принимаемого на всех уровнях организации в рамках стратегического планирования, программной деятельности и принятия решений на основе своевременных, заслуживающих доверия и беспристрастных данных. Такие фактические данные прямо или косвенно отражают мнения и перспективы подмандатных УВКБ ООН лиц и принимающих сообществ относительно защиты и помощи, предоставляемых организацией.
Оценки чрезвычайных ситуаций анализируют степень, в которой УВКБ ООН (в целом) обеспечивает соответствующие, своевременные и эффективные ответные меры на страновой или региональный гуманитарный кризис, принимая во внимание совокупность благоприятствующих и сдерживающих факторов в стране/регионе.
Цели оценок ответных мер на чрезвычайные ситуации можно в общих чертах классифицировать следующим образом:
- укрепление структуры операций УВКБ ООН, а также его готовности к чрезвычайным ситуациям путем оценки того, в какой степени стратегия УВКБ ООН в стране соответствует наиболее важным потребностям беженцев и ВПЛ, сильным сторонам и ответственности учреждения и учитывает возможности и операции других партнеров;
- повышение эффективности деятельности УВКБ ООН и достигнутых результатов в интересах подмандатных лиц посредством анализа мероприятий, партнерских отношений, непосредственных результатов и потенциала долгосрочного воздействия мероприятий УВКБ ООН;
- оказание помощи УВКБ ООН в дальнейшем укреплении его политики, руководящих принципов и систем, взаимосвязи между гуманитарной деятельностью и развитием и подходов для более эффективного реагирования на чрезвычайные ситуации с извлечением уроков из ответных мер УВКБ ООН в целом;
- предоставление УВКБ ООН надежного источника объективной информации о деятельности учреждения, которая может быть в дальнейшем использована для обеспечения гарантий и подотчетности партнерам.
1.2 Руководящие принципы и критерии
Оценка в УВКБ ООН основана на фундаментальных принципах беспристрастности, надежности и полезности. Эти взаимосвязанные и поддерживающие друг друга принципы включают ряд определенных норм, которыми руководствуется УВКБ ООН в своей работе по внедрению, проведению и поддержке использования оценки.
Оценки, включая оценки ответных мер на чрезвычайные ситуации, в соответствии с общепринятыми нормами, стандартами и руководящими указаниями ООН основываются на гендерных соображениях, равенстве и правах человека. УВКБ ООН использует критерии КСР ОЭСР и ALNAP, адаптируя их для оценки гуманитарной деятельности. УВКБ ООН выбирает и применяет критерии не машинально, но адаптивно, чтобы гарантировать, что оценка отражает стандарты надлежащей практики и потребности пользователей.
Оценки должны проводиться при полном соблюдении политики УВКБ ООН с учетом возраста, пола и разнообразия и приверженности УВКБ ООН подотчетности затронутому населению8 для обеспечения того, чтобы все группы и идентичности в составе подмандатных групп населения обладали равными возможностями для участия и внесения вклада в оценку, независимо от возраста, пола, этнической принадлежности, политических взглядов, религии или сексуальной идентичности.
Relevance for emergency operations
2.1. Управление оценкой чрезвычайной ситуации уровня L3
Оценки чрезвычайных ситуаций уровня 3 проводятся по требованию Управления оценки и под его руководством. В соответствии с политикой УВКБ ООН в области оценки, оценки должны проводиться не позднее, чем через 15 месяцев после объявления чрезвычайной ситуации уровня L3. Все оценки ответных мер на чрезвычайные ситуации уровня L3 проводятся независимыми внешними оценщиками и финансируются за счет призывов к финансированию мер реагирования на чрезвычайные ситуации уровня L3.
В зависимости от целей оценки и контекста операции оценка может начаться раньше, чем через 15 месяцев, чтобы гарантировать, что ее результаты внесут свой вклад в рассмотрение ситуации в режиме реального времени и позволят определить степень выполнения рекомендаций обзора в режиме реального времени.
Основные шаги:
После объявления чрезвычайной ситуации уровня L3 глава Управления оценки назначает руководителя по вопросам оценки.
После завершения обзора в режиме реального времени руководитель по вопросам оценки инициирует обсуждения с соответствующими подразделениями штаб-квартиры, региональным бюро и страновым отделением для согласования целей, сферы охвата и сроков оценки.
Управление оценки заключит контракт с независимой оценочной организацией, поставщиком услуг, для проведения оценки.
Впоследствии должны быть подготовлены и согласованы концептуальная записка по оценке (2 страницы) и техническое задание оценки (ТЗ).
Руководитель по вопросам оценки несет ответственность за управление аспектами процесса оценки на ежедневной основе. Страновые отделения УВКБ ООН/Региональные бюро назначают координатора по оценке.
Руководство на глобальном, региональном и страновом уровнях оказывает поддержку проведению оценки на всех уровнях. В их обязанности входит:
- Заранее информировать все соответствующие стороны (коллег из УВКБ ООН, партнеров из ООН и НПО, правительство, доноров), представлять группу оценки и указывать на то, что к сотрудникам и партнерам могут обращаться в целях интервью.
- Назначать координатора по основным вопросам, а также для материально-технической и административной поддержки.
- Предоставлять в распоряжение группы оценки документы, отражающие ключевые события, решения и результаты, относящиеся к операции в чрезвычайной ситуации; оказывать группе оценки поддержку в организации интервью с ключевыми заинтересованными сторонами.
- Интервью должны проводиться с участием подмандатных лиц и основываться на подходе, учитывающем возраст, пол и разнообразие (AGD). Представителю (представителям) и страновому отделению (отделениям) также может быть предложено оказать материально-техническую поддержку (с учетом оперативных ограничений). В целях обеспечения достоверности и объективности оценки сотрудники УВКБ ООН не могут участвовать ни в одном из интервью группы оценки.
На протяжении всего процесса Управление оценки УВКБ ООН формирует библиотеку справочных документов и данных для обмена с группой оценки и постоянно обновляет ее.
2.2 Охват оценки чрезвычайной ситуации
Оперативный охват оценок мер реагирования на чрезвычайные ситуации может отличаться, и Управлению оценки следует обсудить его в сотрудничестве с соответствующими страновыми операциями, региональным бюро и штаб-квартирой. Однако важно помнить, что необходимо обеспечить оперативный охват оценкой всех уровней учреждения, поскольку реагирование на чрезвычайную ситуацию уровня L3 предполагает ответные меры в рамках всей организации.
Географический охват должен отражать оперативный охват. Оценка может охватывать только районы мер реагирования на чрезвычайные ситуации или всю страну/регион. Решение о включении регулярных программ (например, не связанных с чрезвычайными ситуациями) в охват оценки должно быть принято в каждом отдельном случае и отражено в техническом задании.
Все вышесказанное также применимо для оценки мер реагирования на чрезвычайные ситуации уровня L1 и L2, несмотря на ограничения во времени и оперативном охвате. Ознакомьтесь с Политикой УВКБ ООН в области обеспечения готовности к чрезвычайным ситуациям и реагирования на них для получения информации о ключевых особенностях мер реагирования уровня L1 и L2.
В некоторых случаях оценки ответных мер УВКБ ООН на чрезвычайные ситуации могут дополняться межучрежденческими гуманитарными оценками, основное внимание которых сосредоточено на общесистемной результативности, оперативных барьерах и достижениях.
Main guidance
3.1. Техническое задание / ключевые области исследования
Критерии оценки КСР ОЭСР являются основными критериями оценки развития и гуманитарной помощи. После обновления 2019 года в список из шести критериев вошли: эффективность, актуальность, результативность, воздействие, устойчивость и согласованность. Руководство ALNAP за 2006 год интерпретирует критерии для применения в гуманитарной деятельности следующим образом: эффективность, уместность/актуальность, результативность, воздействие, охват, согласованность и взаимосвязанность.
Дополнительные критерии могут включать сквозные темы, такие как координация, подотчетность перед пострадавшим населением, возраст, пол и разнообразие. Весовой коэффициент каждого критерия обсуждается с руководителем по вопросам оценки УВКБ ООН на начальном этапе оценки.
Учитывая временные и оперативные ограничения, оценка должна быть сосредоточена на приоритетных вопросах, которые окажут поддержку в процессе сбора и предоставления доказательств масштабных ответных мер УВКБ ООН и гуманитарной помощи. Вопросы для ориентировочной оценки могут включать следующее:
- Насколько стратегия УВКБ ООН учитывала внешние условия, включая меняющийся контекст и роль правительства и других субъектов гуманитарной деятельности и развития (ООН, НПО, гражданское общество/местные субъекты)?
- В какой степени УВКБ ООН выполнило рекомендации обзора в режиме реального времени (RTR) в связи с развивающейся кризисной ситуацией?
- Учитывая наличие ресурсов, в какой степени ответные меры УВКБ ООН удовлетворяют потребности наиболее уязвимых слоев населения? Насколько эффективной была стратегия адресного подхода учреждения?
- В какой степени УВКБ ООН достигло намеченных результатов и целевых показателей и внесло свой вклад в достижение запланированных результатов? Существуют ли какие-либо признаки непреднамеренных или негативных последствий ответных мер уровня L3?
- Насколько эффективными и своевременными оказались ответные меры, например, степень расширения масштабов процессов, управления персоналом, закупок, финансирования, технической поддержки и других аспектов? Была ли четко определена внутренняя подотчетность?
- В какой степени успехи и неудачи в области ответных мер объясняются факторами, связанными с самой системой? Какую роль в этом сыграли ключевые подразделения УВКБ ООН (отделы, бюро, штаб-квартира, операции)?
Области рекомендаций, как правило, рассматривают:
- Что еще следует сделать? Что следует сделать по-другому, чтобы улучшить программы ответных мер УВКБ ООН в интересах беженцев, ВПЛ и их сообществ?
- Какие уроки УВКБ ООН может извлечь из своих усилий по обеспечению готовности? Какие уроки могут быть использованы на региональном уровне и в других регионах проведения операций УВКБ ООН?
- Как УВКБ ООН может адаптировать свои ответные меры на чрезвычайные ситуации к долгосрочным потребностям в восстановлении и реинтеграции?
В связи со спецификой каждой оценки вопросы оценки обсуждаются и формулируются на этапе разработки технического задания. Представленные здесь вопросы предназначены исключительно для ознакомления.
УВКБ ООН поощряет использование стандартной матрицы оценки. Эта матрица формирует основную аналитическую рамочную структуру для оценки. Она предлагает объяснения для каждого вопроса и критерии оценки. В ней также содержатся основные вопросы, разбитые на подвопросы и сопоставление с вопросами методов сбора и анализа данных, показателей или/и тематики, инструментов сбора данных и источников информации. Оценочная матрица содержит указания о том, где будут использоваться вторичные данные и где необходимо собрать первичные данные. Более того, она направляет анализ, гарантирует, что все собранные данные проанализированы и проведена их триангуляция, что позволяет повысить доверие и снизить субъективность в оценочных суждениях.
3.2. Методология
Для каждой оценки чрезвычайной ситуации ожидания УВКБ ООН должны быть представлены в техническом задании. Также необходимо в каждом конкретном случае обсудить наиболее подходящую методологию.
Тем не менее, при проведении оценок всегда следует стремиться использовать подход, предполагающий совокупность методов, который опирается на различные первичные и вторичные источники данных. Учитывая характер оценок чрезвычайных ситуаций, трудоемкие или времязатратные методы сбора и анализа данных (например, экономическое моделирование, крупномасштабные обследования, систематические обзоры) могут оказаться неподходящими. Подход всегда должен основываться на широком участии, однако количество интервью с ключевыми информаторами и обсуждений в фокус-группах может быть сокращено или, по возможности, проводиться удаленно, чтобы уменьшить работу миссии по оценке.
3.3. Результаты и сроки осуществления
Основные результаты представлены ниже. Они являются ориентировочными и могут меняться в зависимости от объема оценки, сроков и ожиданий УВКБ ООН, как указано в техническом задании.
Основные результаты оценок реагирования на чрезвычайные ситуации включают:
- первоначальный отчет (7-15 страниц) и всесторонний аналитический обзор (10-15 страниц), подтверждающие охват оценки, вопросы для оценки, используемые методы, все инструменты сбора данных, а также аналитическую основу и обобщенные выводы, полученные в результате анализа существующей документации;
- презентации/доклады после начальной фазы, полевой миссии (или удаленного сбора данных) и представление окончательного отчета, включая ppt или вспомогательную документацию;
- семинары с соответствующими сотрудниками в штаб-квартире, региональных бюро и страновых отделениях для подтверждения выводов; проекты и финальные версии отчетов об оценке (30-50 страниц), включая отдельное резюме объемом 4-6 страниц;
- копии инструментов сбора данных, обучающих материалов и любых других материалов, подготовленных в течение периода оценки;
- любые информационные материалы, подготовка которых была запланирована в рамках этой оценки (например, инфографика, подкаст);
примерный график проведения оценки чрезвычайной ситуации с момента найма/заключения контракта со сторонней группой оценки.
3.5. Ответ руководства
Ответ руководства должен быть подготовлен в течение 3 месяцев после завершения отчета об оценке. Управление Помощника Верховного комиссара и операции несут ответственность за координацию и согласование ответа руководства на оценку чрезвычайной ситуации уровня L3, который при необходимости будет опираться на материалы заинтересованных СО, РБ и подразделений и способствовать через 12 и 24 месяца представлению последующих отчетов о выполнении принятых мер.
3.6. Консультативная группа по оценке
Консультативная группа по оценке (ERG), которая выступает в качестве консультанта и включает репрезентативную группу основных пользователей оценки, оказывает поддержку Руководителю и группе по вопросам оценки. ERG, как правило, включает в себя представителей нескольких внешних заинтересованных сторон. Представители лиц, с которыми работает УВКБ ООН, должны, по возможности, стать членами консультативной группы по оценке.
Ожидается, что группа оценит качество работы в области оценки и предоставит обратную связь, в особенности в рамках определенных встреч и семинаров, организуемых в ходе оценки. Рамочная структура сотрудничества Группы по вопросам оценки и Консультативной группы по оценке (а также ее членский состав) должна быть определена на ранней стадии начального этапа.
3.7. Целевая аудитория
Выводы и рекомендации по оценке чрезвычайной ситуации в основном предназначены для руководителей высшего звена, директора Отдела по чрезвычайным ситуациям, безопасности и снабжению (ОЧСБС) и других соответствующих подразделений (DIP, DSPR, DRS и т. д.) и кластеров (GPC, CCCM и т. д.), директора соответствующего регионального бюро и представителя (представителей) в стране.
Вторичная целевая аудитория включает партнеров ООН и правительства, доноров, целевые группы населения и партнеров-исполнителей.
Оценка операций в чрезвычайных ситуациях — точки принятия управленческих мер
Возглавляя чрезвычайную операцию, выделите время для проведения обзора в режиме реального времени в течение 3 месяцев и оценки в течение 15 месяцев с момента внедрения ответных мер на чрезвычайную ситуацию.
Назначьте координатора (FP) в рамках операции для сотрудничества с руководителем по оценке в штаб-квартире по вопросам контента и административного координатора для решения вопросов материально-технических потребностей.
Перед координатором должна быть поставлена задача собрать документы, данные и информацию, относящиеся к согласованному охвату оценки.
Координатор определяет заинтересованные стороны в качестве ключевых информаторов на этапе сбора данных (выезд группы по вопросам оценки на место) и направляет KI запрос на участие.
Проинформируйте персонал операции об официальном начале оценки, группе по вопросам оценки, сроках и ожидаемых вкладах.
Посещайте брифинги/представления докладов с группой по вопросам оценки, просматривайте проекты отчета и указывайте, какие рекомендации приняты/частично приняты или отклонены, а также причину отклонения.
Подготовьте ответ руководства на отчет и согласованные последующие действия.
Ссылки
Main contacts
Руководитель Управления оценки УВКБ ООН: [email protected]
В этом разделе:
Мы хотели бы узнать, что Вы думаете о новом веб-сайте. Помогите нам улучшить взаимодействие с пользователями!
Мы хотели бы узнать, что Вы думаете о новом веб-сайте. Помогите нам улучшить взаимодействие с пользователями!