Прошедший 2015 год был объявлен Организацией Объединенных Наций годом оценки. Благотворительный фонд «Даунсайд Ап» в этой связи оказался на пике общемировой тенденции, проведя аналитическое исследование собственной программы поддержки детей с синдромом Дауна и их семей. Для фонда такая комплексная оценка стала первым опытом, который планируется продолжать.
Что же такое оценка и почему современной организации, как негосударственной, так и государственной, важно иметь представление об этой деятельности? Об этом мы говорим с Александром Боровых, руководителем отдела стратегий фонда «Даунсайд Ап».
Александр, первый вопрос – зачем организации заниматься оценочной деятельностью?
— Вряд ли можно ожидать универсального ответа на этот вопрос. Но любому специалисту важно понимать, что оценка – это важная часть реализации любой программы, любой деятельности. Как правило, многие составляют планы работы на год и следуют им. А вот анализом этих планов и результатов их реализации мало кто занимается. Самое большое, что способны сделать специалисты, это подвести количественные итоги: провели за год столько-то мероприятий, столько-то уроков, столько-то консультаций. Много всего было? Значит, хорошо поработали. Но что означают эти цифры? Почему именно такие методики применялись? Говорят ли все эти цифры о том, что работа была эффективной и принесла результат? И был ли изначально вообще запланирован какой-то результат? Если специалист задает себе подобные вопросы, он уже вступает на поле оценки или анализа деятельности – последнее слово нам как-то привычнее. Важно понимать, что оценка в данном случае — это не штампы в категориях «хорошо» / «плохо». Она необходима для того, чтобы понять, в какой точке мы сейчас находимся, что собою представляем, каковы наши достоинства и слабые места. И как следствие — в каком направлении мы будем двигаться дальше. Кроме того, многим организациям, особенно некоммерческим, нужно отчитываться перед налоговыми органами, перед донорами, и данные оценочных исследований могут помочь сделать отчеты и грантовые заявки более качественными и убедительными.
Кто из сотрудников организации может проводить оценку: только руководитель или любой специалист?
— Любой специалист, в том числе педагог, может мыслить категориями анализа, а не категориями одной консультации или занятия. Чем больше в организации будет таких сотрудников-аналитиков, тем лучше, ведь результат комплексной программы складывается из результатов конкретных занятий. Что касается руководителей, то им оценка поможет на разных этапах деятельности организации. На этапе планирования руководители часто решают, каким образом предоставлять услуги, полагаясь на собственную интуицию, а не на серьезный анализ ситуации. Оценка поможет этого избежать. На этапе реализации программы оценка помогает удостовериться, что программа реализуется в соответствии с имеющимся планом, целями и задачами. Именно на этом этапе аналитическая деятельность особенно полезна, так как зачастую долгосрочные проекты – а в сфере педагогики большинство проектов именно таковы, — сталкиваясь с реалиями жизни, работают не так, как было запланировано, и их необходимо корректировать.
Оценить можно что угодно: и административные процедуры, и действия персонала, и внутреннее устройство программы, и ее содержание. Что именно оценивал фонд «Даунсайд Ап»?
— Мы в фонде начали оценку с программы сопровождения семьи – это основа нашей организации, ее становой хребет. Причем в центре внимания были именно результаты программы. Нам было важно лучше представить, как функционирует программа сопровождения семей с детьми с синдромом Дауна, каковы ее сильные стороны и недостатки; работает ли она в соответствии с изначальным планом; приводит ли программа к достижению запланированных результатов и, наконец, какие изменения необходимо в программу внести, чтобы сделать ее более эффективной.
Какие ресурсы вам потребовались, чтобы провести оценочное исследование?
— Сразу скажу, что существуют профильные организации, которые занимаются исключительно оценкой. Однако их услуги стоят довольно дорого, а по итогам работы организация получает только отчет. Поэтому мы решили пойти по другому пути и обучить основам оценочной деятельности некоторых сотрудников фонда. В результате они освоили новые компетенции, а организация получила специалистов в этом виде деятельности, тем самым повысив свой интеллектуальный потенциал. Что касается затраченных ресурсов, то это в основном время сотрудников, потраченное на сбор и анализ информации. Для того чтобы оценка была объективной, было принято решение привлечь к ее проведению Майкла Гуральника, специалиста мирового уровня, директора Центра развития человека и изучения проблем инвалидности, профессора психологии и педиатрии университета штата Вашингтон, председателя Международного общества раннего вмешательства. Вот его экспертное мнение о работе нашей программы: «Даунсайд Ап, безусловно, является одной из ключевых ресурсных организаций в регионе, успешно внедряющих передовые технологии раннего вмешательства, проводящих семинары, публикующих научно-практические материалы и руководства для родителей. Высокий уровень профессионализма сотрудников Даунсайд Ап обеспечивает результативность программ и распространение эффективных методов ранней помощи».
Чему именно научились сотрудники фонда?
— Для всех сотрудников проводился семинар, посвященный ключевым вопросам понимания, планирования и проведения оценки проектов и программ. Участникам семинара была предоставлена возможность задать вопросы и обсудить аспекты проведения оценки в фонде. Такой семинар был необходим для формирования у руководства и ключевых сотрудников фонда позитивного отношения к оценке. Для непосредственного проведения оценки программы ранней помощи была определена команда, в которую вошли специалисты отдела стратегий и представители Центра сопровождения семьи. В этом случае обучение носило более глубокий и практический характер. Курс состоял из серии тренингов, к примеру «Составление технического задания на проведение оценки», «Инструменты сбора информации», «Анализ собранных данных». В ходе тренингов участники выполняли практические упражнения, связанные с проведением реальной оценки в фонде.
Пройдя обучение, сотрудники были готовы провести оценочное исследование. Расскажите, что оно собою представляло?
— Как правило, оценка понимается как проведение опросов. Да, мы проводили опрос, но он был лишь составной частью работы. И ему предшествовал большой подготовительный этап, ведь для того, чтобы составить опрос правильно, нужно понимать, а что, собственно, мы будем спрашивать – и, главное, для чего. Поэтому мы узнали, чего ожидают заинтересованные стороны (администрация, учредители, сотрудники фонда, а также родители наших подопечных) в результате проведения оценки, и на этой основе разработали план исследования. Далее можно было начинать сбор информации. Для него мы использовали различные методы: анализировали документацию по программе, проводили интервью с руководителями и сотрудниками Даунсайд Ап, изучали документацию о семьях — участниках программы. Особая часть работы – рассылка семьям анкет в электронном виде, а также проведение очных интервью с родителями и представителями образовательных учреждений, которые посещают дети — участники программы, а также наблюдение за этими детьми в образовательных учреждениях.
Каковы результаты работы и в каких показателях они выражаются?
— В ходе оценочного исследования был получен большой массив данных, который поможет не только Центру сопровождения семьи, но и другим подразделениям и руководству организации в целом. Важной частью оценочного исследования были опросы семей. Мы разослали анкеты в 2,5 тысячи семей, к нам вернулось 530 заполненных анкет – по нашему мнению, это вполне репрезентативная выборка. Данные опроса довольно интересны. К примеру, его результаты опровергают миф, что большинство отцов уходит из семьи после рождения ребенка с синдромом Дауна. Оказалось, что 84 % наших подопечных живут в полной семье, с мамой и с папой. При этом заставляют задуматься и данные посещения учреждений: 41 % детей младше 3 лет не посещает никаких учреждений, а 59 % семей испытывает сложности при устройстве ребенка в детский сад. Что касается детей с синдромом Дауна дошкольного возраста (3—8 лет), то 39 % из них не охвачены дошкольным образованием, 42 % ходят в обычные или инклюзивные детские сады и только 19 % — в коррекционные.
Отдельный блок данных касался того, какие именно услуги Даунсайд Ап получают семьи и насколько они удовлетворены их качеством. Приятно, что все, кто получал наши услуги, ставили им высшие баллы. Также подтвердились наши предположения о том, что многие семьи нуждаются в бόльшем количестве услуг, оказываемых удаленно (интернет-форум, статьи, видеосеминары и онлайн-консультации). Именно это направление работы фонд начал активно развивать в 2015 году. Очень многие результаты оценочного исследования касаются Центра сопровождения семьи и будут учитываться при планировании его дальнейшей работы. Как заметила Татьяна Нечаева, директор Центра сопровождения семьи, оценка дала ей как руководителю основания, цифры и факты для того, чтобы принимать управленческие решения по развитию услуг программы.
Александр, планируете ли вы передавать свой опыт проведения оценки организациям-партнерам, в том числе из регионов России?
— Мы надеемся, что проведенное исследование даст нам стимул анализировать и описывать успешные подходы и технологии, которые другие организации ранней помощи могли бы использовать в качестве моделей. Но сама по себе технология проведения оценки может быть полезна и интересна нашим партнерам, государственным учреждениям и НКО. Поэтому мы планируем проводить вебинары по данной технологии, которые будут выложены на портале downsideup.wiki. Там же появятся материалы, посвященные оценке. В планах – составить и оформить вводный дистанционный образовательный курс по проведению оценочных исследований, который будет доступен всем желающим на нашем портале.
Полезные ресурсы и литература, посвященная оценке
- Ассоциация специалистов по оценке программ и политик (АСОПП): http://www.eval.ru/
- Международная сеть «Оценка программ» (IPen): http://www.eval-net.org/
- Оценка проектов и программ: курс лекций / А.Э. Боровых, Е.В. Грешнова и др. М. : ЦПНКО, 2003.
- Сайт «Об оценке просто»: http://ozenka.info/
