Система измерения результатов деятельности как необходимое условие для развития программ помощи семьям

Систему измерения результатов специалисты отдела стратегий Благотворительного фонда «Даунсайд Ап» начали внедрять в свою деятельность в 2015 году. Сегодня фонд успешно применяет все инструментами этой системы. О том, как она функционирует, кто может ей пользоваться и как это влияет на работу общественных организаций, а также на качество жизни семей с детьми с синдромом Дауна, рассказывает Александр Боровых, директор отдела стратегий Даунсайд Ап.

 — Мы говорим о системе измерения результатов. Александр, объясните, пожалуйста, о каких результатах идет речь, что именно измеряет отдел стратегий?

– Организации, которые оказывают прямые социальные услуги, часто сосредоточены исключительно на процессе предоставления этих услуг, другими словами, на своей текущей деятельности. Результатом текущей деятельности является количество услуг.

Фонд «Даунсайд Ап» стремится к социальным изменениям. Мы заинтересованы, чтобы человек с синдромом Дауна не только мог приобрести навыки и компетенции, но и имел возможность их применить в благоприятных для себя условиях. Мы несем ответственность за то, как наши услуги меняют качество жизни людей с синдромом Дауна. Для организаций, которые, так же как и мы, фокусируются на социальных изменениях, результат – это улучшение в жизни благополучателей.

Поэтому отдел стратегий фонда Даунсайд Ап измеряет не количество оказанных фондом услуг, а то, как в результате получения этих услуг меняется жизнь людей с синдромом Дауна и их семей.

– Что имеется в виду под этими изменениями, как и для чего их измерять?

– Сегодня есть много разрозненных услуг на начальном этапе жизни человека с ментальными особенностями, в том числе с синдромом Дауна. Система ранней помощи пробивает себе дорогу, есть зачатки инклюзии, предприняты некоторые шаги в области профориентации. Дальше – темное пятно. В случае со взрослым человеком с ментальными особенностями остается проблема, где он окажется, когда его родители умрут: в ПНИ или запертым в стенах дома. Не секрет, что на данный момент нет ни законодательной основы, ни системы для того, чтобы такой человек имел возможность осуществлять свои жизненные помыслы, развиваться, быть интегрированным в общество. Специалисты Даунсайд Ап строят свою работу, понимая и учитывая это.

Мы понимаем: чтобы ребенок успешно развивался в семье, нужно создать в ней такое взаимодействие, при котором ресурсы родителей и ресурсы ребенка помогали бы друг другу. А чтобы ребенок развивался в образовательном процессе в условиях дошкольного или школьного учреждения, нужна правильно и грамотно организованная инклюзивная среда. Если продвигаться дальше по жизненному маршруту, то мы можем говорить о профориентации – получении информации о различных профессиях – и о том, что подросток с синдромом Дауна должен иметь возможность получить профессиональное образование и в конечном счете быть трудозанятым. И так далее, вплоть до поддерживаемого или даже независимого проживания.

Улучшение качества жизни людей с синдромом Дауна и их семей – наша цель и тот результат, которого мы хотим добиться. Мы прокладываем к нему маршрут через оказание услуг, занятия с родителями, специалистами, людьми с синдромом Дауна. Чтобы изменения происходили, ими нужно управлять, а чтобы грамотно управлять – их нужно измерять.

– Расскажите о системе управления и измерения результатов. Из чего она складывается?

– Управление по результатам – это систематический и организованный подход, позволяющий формулировать цели, фокусироваться на их достижении и добиваться наилучшего результата с помощью доступных ресурсов.

Измерение необходимо для того, чтобы знать состояние объекта управления и оценивать эффективность управленческого воздействия. Это контроль, который позволяет своевременно реагировать на отклонения от намеченного плана и способствует достижению поставленной цели.

Сердцем системы управления результатами, ее ключевым элементом является рамка результатов. Это схематичное изображение социальных изменений, к которым стремится благотворительный фонд.

У Даунсайд Ап есть миссия, которая заключается в том, что люди с синдромом Дауна должны иметь определенное качество жизни. Фонд стремится к тому, чтобы эти люди жили полноценной жизнью в условиях, которые обеспечивают их достоинство, а также способствуют активному участию в жизни общества и уверенности в себе. Люди с синдромом Дауна должны иметь равные с остальными возможности реализовать свои жизненные устремления. Мы понимаем, что это качество жизни можно обеспечить при соблюдении ряда условий. К ним относятся жизнь в семье, обучение в образовательном пространстве, трудовая занятость, участие в жизни общества в разных формах.

Таким образом, у нас есть миссия и есть ее составляющие. Если мы их достигнем, то получится, что вырастет качество жизни людей с синдромом Дауна. Мы смотрим, как мы можем добиться этого, и разрабатываем план: мы будем взаимодействовать с родителями, со специалистами, с детьми, подростками и взрослыми людьми с синдромом Дауна по всем этим четырем составляющим. Плюс будем стараться менять отношение общества к людям с особенностями, продвигая идею, что люди с синдромом Дауна не должны быть изолированы. Это и есть результаты, к которым мы стремимся (рамка). Эти результаты принято располагать в иерархической последовательности (рис. 1).

Если спускаться ниже, то все целевые группы, которые я обозначил, должны поддерживать друг друга: родители детей, дети родителей, специалисты родителей и т. д. Они смогут это делать, если будут обладать соответствующими компетенциями, для этого они должны получить знания. Эти знания они получают на наших занятиях.

Наша деятельность направлена на формирование комплекса знаний и умений у всех участников процесса, чтобы они могли их применять, поддерживать друг друга и тем самым способствовать тому, чтобы качество жизни людей с синдромом Дауна было выше, чем сейчас.

Рамку результатов можно применять и для работы над каким-то одним проектом. Например, мы проводим обучающий семинар. На семинаре участники получают знания и умения – это один уровень результатов. Затем они эти знания и умения применяют на практике – это второй уровень. И третий уровень – это эффект от полученных знаний и умений и их применения на практике. Он-то и должен привести к изменениям в жизни нашего благополучателя (рис. 2).

Итак, у нас получается рамка результатов, которые расположены в определенном порядке подчиненности и основаны на причинно-следственных связях, на логике.

– Хорошо, мы определились с тем, к каким результатам и в какой последовательности мы хотим прийти, а как ими можно управлять? Говорят, управлять можно только тем, что можно измерить.

– Все верно, поэтому в системе управления результатами есть такой элемент, как комплекс показателей.

В нашей рамке есть результаты, каждый из них должен быть измеримым, и люди, которые осуществляют деятельность по достижению этого результата, должны понимать, как его мерить. Поэтому под каждый результат подбирается показатель. Он должен быть понятным, адекватным, привязанным к результату, которого мы хотим достичь. Показатель – это некий инструмент, как бы линейка, с помощью которой мы измеряем степень продвижения к запланированному результату (рис. 3).

Если мы вернемся к примеру с организацией семинара, то, чтобы доказать, что семинар состоялся, мы должны, как минимум, сказать, сколько участников на семинар пришло. Они пришли, значит их заинтересовала тема. Они слушали презентацию лектора, получали знания. Дальше слушатели попробовали сделать то, что услышали, у себя на местах, применили в своей практике, внесли новое в свою работу. В результате этого повысилась эффективность их работы, а семьи, где растут люди с синдромом Дауна, получили более качественные услуги и сумели изменить свою жизнь. На всех уровнях мы должны иметь эти показатели. Если на первом уровне это просто количество участников, отсидевших до конца семинара, то на следующих уровнях это может быть количество участников семинара, применивших полученные знания на практике, еще выше – количество успешно примененных практик, новых технологий, количество случаев, когда участник внес в свою работу что-то услышанное на семинаре, еще выше – количество случаев, когда благодаря этим новым технологиям семьи смогли изменить детско-родительские отношения или свое понимание, как нужно развивать ребенка, либо сам ребенок смог освоить новые компетенции.

У каждого результата должны быть количественные показатели: сколько мы планируем специалистов обучить, семей обслужить, у скольких семей благодаря нашим стараниям появились знания и умения, сколько людей их применили. В конечном итоге получается качественное изменение, так называемый социальный эффект.

Если говорить упрощенно, то, расположив основные результаты в цепочку и «приклеив» каждому результату показатель, получится «линейка», которой мы измеряем, насколько продвинулись от начала пути к достижению цели. Например, мы планировали за год обучить 100 специалистов, а к концу года обучили только 50 – вот наш показатель. Эти цифры – тот самый индикатор, который нам сигнализирует, продвигаемся ли мы к достижению результатов. Ведь может оказаться, что на семинар вместо ожидаемых 100 придет только 2 человека, и это будет красная лампочка – значит, что-то не так в нашей деятельности. Тогда нужно анализировать и, как говорил классик, «в консерватории что-то подправить».

Комплекс показателей со своими исходными и целевыми значениями помогает управлять результатами. Для нашего отдела стратегий деятельность – вторичный элемент, мы деятельность подстраиваем под результат, но не результат под деятельность.

– Как именно и на каком этапе проводится анализ и обработка этих показателей?

– В этом нам на помощь приходит таблица данных. Таблица, в которую заносятся исходные и целевые значения каждого показателя. Допустим, мы решили проводить вебинары, исходное значение в нашей таблице данных будет 0 человек. Но к концу года мы хотим собрать на вебинарной площадке 100 человек – это будет целевым показателем. А в результате в конце года я, сложив ежемесячные показатели, получаю 150 слушателей за год. Тут у меня должен возникнуть вопрос: а правильно ли я определил свое целевое значение в 100 человек? Может быть, я ошибся с востребованностью темы? Или, наоборот, у меня недобор. Тогда я тоже должен проанализировать, понять, почему недобор, и скорректировать целевое значение. Это и есть управление результатами или мониторинг деятельности.

Я придумываю систему мониторинга, сигнализирующую о том, что происходит по проекту, как он двигается. А если я хочу понять, почему это происходит, то погружаюсь в сферу анализа причин и их оценки. В этом мне могут помочь все участники процесса. И я начинаю думать, как именно я буду собирать у них информацию.

– Есть ли какие-то методы сбора информации, которыми вы пользуетесь чаще всего? Как проводятся опросы среди целевых групп Даунсайд Ап?

– В зависимости от того, продвижение к какому результату мы хотим измерить, мы выбираем, каким способом наиболее эффективно получить данные. Это может быть анкетирование, интервью, организация фокус-групп, наблюдение (рис. 4). Как только мы определились со способом сбора данных, нужно разработать для него инструменты: будет ли это список вопросов, или, если это наблюдение, будет ли оно структурированным или нет. Если, например, цель – измерить количество семей, удовлетворенных нашими услугами, то самый явный способ – это анкета. Мы продумываем структуру анкеты, вопросы, шкалы ответов и т. д.

Следующий этап – проверка и тестирование анкеты. Мы идем к людям и спрашиваем, всё ли им понятно в анкете, не допущены ли нами некорректные формулировки. Только после этого начинаем ее использовать. Тут тоже есть варианты: можно выложить ее в интернет и разослать ссылку родителям с просьбой заполнить, можно опрашивать очно.

Есть еще один важный момент подготовки: нужно знать целевую аудиторию, к которой вы выходите с таким опросом. Например, наша практика показывает, что в случае опроса семей лучше предусмотреть вариант с возможностью анонимного ответа, а также объяснить семьям, зачем именно нужна эта анкета, какие цели она преследует. Это нужно, чтобы увеличить количество ответов на наши вопросы. Если же опрос проводится очно, то надо уделить время подготовке интервьюера: он должен быть нейтрален, не давить, не выражать свое мнение. Всё это касается и телефонных опросов, где вопросов вообще не должно быть много.

Если же мы хотим понять, чем именно довольны или недовольны семьи, то собираем фокус-группы. Они призваны работать не с количественной информацией, это инструмент качественного характера.

Собрав информацию должным образом, обрабатываем первичные данные: вычленяем самый распространенный или типичный ответ и анализируем все ответы. Опрос может считаться завершенным только после того, как все данные получат интерпретацию, то есть когда мы объясним значение того, что получили. Потом на этой основе можно делать выводы, формулировать рекомендации и менять ситуацию. Формула проста: данные + анализ + интерпретация = получение полезной информации для принятия управленческого решения.

– Как именно результаты опросов влияют на развитие программ Даунсайд Ап? Что отдел стратегий узнал благодаря такому сбору информации и что в результате этого изменилось?

– Не так давно мы проводили опрос участников нашей образовательной программы для специалистов. Он показал, что люди хотели бы, чтобы обучение проходило не раз в неделю, а каким-то более интенсивным образом. Откликаясь на это, специалисты Образовательного центра изменили подход к формату предоставления информации, разработали интенсивный курс и в этом году впервые внедрили ежедневное обучение протяженностью в неделю. Так же, согласно опросу, многие специалисты из регионов хотели бы проходить дистанционное обучение, а опрошенные нами семьи, воспитывающие детей с синдромом Дауна, выражали желание получать дистанционные консультации со специалистами. Такие консультации теперь широко применяются, у родителей есть возможность пообщаться со специалистами фонда через скайп или другое программное обеспечение, фонд активно вкладывается в развитие дистанционного формата обучения.

Или пример, который стал уже классическим, – появление программы для подростков «7+». Эта программа появилась, в числе прочего, и благодаря опросу родителей, в котором они высказывали желание, чтобы сопровождение их детей продолжалось и после того, как им стукнуло 7–8 лет. Уже два с лишним года Даунсайд Ап инвестирует в эти программы и продолжает искать формы, удобные и наиболее эффективные для наших благополучателей.

Подводя итоги, я должен отметить, что для того, чтобы мне правильно рассчитать свои силы, ресурсы, время, я должен составить график деятельности по измерению результатов: когда я буду собирать данные, когда – разрабатывать анкету, когда – проводить опрос. Весь перечень действий должен быть интегрирован в общий рабочий план организации. Зачастую об этом забывают и получается деятельность отдельно, а управление результатами отдельно. Нужно понимать, что вся система управления результатами должна сочетаться с общей деятельностью организации и быть ее составной частью. Частью рабочего плана. Это всё должно быть в рамках или в соответствии со стратегическим планом деятельности организации. Если она имеет стратегию, то деятельность по управлению результатами должна быть в рамках стратегии. Не должно быть такого, что стратегия сама по себе, а план управления сам по себе.

Это всё взаимозависимо: результаты должны соответствовать стратегическим целям, и всё это вместе – вести к выполнению миссии. В зависимости от складывающихся внутренних и внешних условий мы можем корректировать стратегические цели, а в соответствии с этим – менять шаги по достижению необходимых социальных изменений.

– Все ли НКО могут пользоваться и пользуются именно такой системой измерения результатов?

– Вопрос не в одинаковой системе измерений, а, скажем, в одинаковом походе, методике. Содержание и внутреннее наполнение будет разным в зависимости от деятельности организации.

Существуют два основных инструмента – это рамка результатов и логическая рамка проекта. Логическая рамка проекта – это самая простая цепочка действий, приводящих к необходимому результату. Кто-то для измерения результатов пользуется только логической цепочкой. Это подходящий инструмент для проектов небольших организаций или просто небольших проектов. Если у вас запланирована серия семинаров для специалистов, то хватит и такой прямой зависимости, простого, понятного всем изображения результатов, к которым вы стремитесь. Если у организации много направлений деятельности: обучение специалистов, работа с семьями, родителями, обществом, – то тогда на одной схеме нужно отразить несколько цепочек этих результатов и свести их воедино. Это будет называться рамкой результатов. Такая схема показывает взаимосвязь результатов разных уровней. Приведу пример для наглядности: вы плетете ковер и завязали первый ряд узелков. От этих узелков тянутся нити. Логическая рамка проектов – это каждая нить сверху донизу, а рамка результатов – это весь ковер. Если у вас не будет рамки результатов, то рисунка на ковре вы не увидите. Рамка результатов более четко и наглядно демонстрирует деятельность компании. Она многогранна. Одной цепочкой результатов эту многогранность не продемонстрируешь и не измеришь.

- Чем пользуются другие зарубежные и отечественные НКО в разработке стратегий организации, ее организационного развития и аналитических исследованиях деятельности?

– Мы не изобретаем велосипед. Огромное количество международных НКО давно руководствуется принципами построения системы измерения результатов. Используют ее не только для управления деятельностью организации в целом, но и для работы над большими и малыми проектами. В западной культуре планирование – неотъемлемая часть работы любого менеджера, тем более если организация осуществляет постоянную деятельность.

Зачатки этого подхода есть и в российских НКО. Как минимум, они о такой системе знают. Такой подход к управлению у нас применяется volens nolens. Например, готовя заявку на финансирование, авторы заявки должны описать в ней логическую цепочку действий, приводящих к успешным результатам. Внедрено ли это в постоянную практику наших НКО в полном объеме? Нет, не внедрено. Я бы сказал, это только начало приобретать какое-то значение. Постепенно повышение конкуренции, требования донорского сообщества и зрелость самих организаций заставляют их менять подход от текущей деятельности к управлению результатами.

К сожалению, пока еще многие некоммерческие организации настолько замучены выполнением текущих задач по обеспечению финансирования своей деятельности, что у них просто не хватает рук сесть и разработать такую систему. Небольшие организации ищут себя, им не до того, чтобы разрабатывать план, им бы нащупать свою парадигму деятельности, найти постоянные финансовые и человеческие ресурсы.

Есть понимание, что эта система важна для тех организаций, которые работают на более или менее устойчивой основе и оформились в организационные структуры, а не представляют из себя общественные группы.

Для средних и больших международных организаций планирование, мониторинг и оценка результатов – всё то, что входит в систему измерения результатов, – это абсолютно естественный процесс. Для таких организаций это жизненная необходимость. Ведь кроме управленческой составляющей применение этой системы имеет значение и для маркетинга НКО, и для PR. А именно это влияет на то, как организация представляет себя внешнему пользователю: как коллектив, который организует прямые услуги, или как агент социальных изменений, который осознанно стремится к запланированным положительным изменениям в жизни благополучателя.

– Какой горизонт планирования определяет для себя отдел стратегий Даунсайд Ап, над чем сейчас работает и какие у него дальнейшие планы?

– Сейчас мы работаем над дальнейшим усовершенствованием системы измерения результатов. Прошлой весной мы провели замер показателей одного уровня, в этом году повторим и разработаем инструменты для более высокого уровня. Мы хотим, чтобы на каждом уровне результатов у нас регулярно замерялся прогресс, на основании которого мы могли бы определять на каждый учебный год исходное и целевое значения по каждому показателю. А это можно делать только на основе таких замеров.

Горизонт планирования у каждой организации зависит от целей, которые она пред собой ставит. Что касается Даунсайд Ап, мы бы очень хотели, чтобы все изменения, которые мы планируем, происходили быстрее. Но мы понимаем, что для того, чтобы, например, все люди с синдромом Дауна (а их в России по нашим подсчетам 51 000 человек) были трудозаняты и интегрированы в общественное пространство, явно должен пройти не год и даже не пять лет. Так что рамка результатов может быть как краткосрочной, так и достаточно долгосрочной.