Показатели, которые нужно отслеживать при обучении

У образовательных проектов сотни метрик, которые можно отслеживать. Например, с точки зрения студента и маркетинга, сколько человек закончили обучение, получили обещанный результат. Существуют метрики для методистов — поведение участников обучения на разных этапах, их оценки при тестировании. Наконец, есть показатели для бизнеса — оправдывает ли образовательная программа инвестиции. Рассказываем, какие показатели стоит отслеживать, чтобы оценить эффективность образовательного проекта.

Completion Rate, COR

Эта метрика показывает процент студентов, которые успешно прошли курс. Подсчитывают обычно так: число окончивших курс делят на общее количество студентов, которые начинали учиться.

COR — метрика, позволяющая оценить качество курса: насколько он соответствовал ожиданиям участников обучения, был ли интересным и адекватным их уровню. Если COR низкий, нужно изучать содержание курса или маркетинговые активности:

• Достаточно ли курс понятен, нет ли мест, где студенты не могут понять содержание и поэтому бросают обучение?

• Соответствует ли содержание рекламных материалов программе? Нет ли в маркетинговых материалах неоправданных обещаний?

COR стоит рассматривать как основную метрику любого образовательного проекта.

Net promoter score, NPS

Это маркетинговая метрика, которую применяют в любом бизнесе, в том числе и образовательном. NPS — это индекс лояльности пользователей. Чтобы его рассчитать, нужно спросить выпускников курса, насколько велика вероятность, что они порекомендуют вашу программу (бренд) своим друзьям и знакомым. Оценки выставляются по шкале от 1 до 10. Затем всех участников опроса нужно разделить на три группы:

• Ответившие от 1 до 6 — это «критики» бренда, те, кому не понравилось содержание проекта.

• Ответившие 7 и 8 — это «нейтралы», которые и не против бренда, но и не удовлетворены им полностью.

• Оценки 9 и 10 ставят «адвокаты» бренда — люди, которым понравился проект, и они полностью удовлетворены им.

Индекс NPS рассчитывают так: процент адвокатов минус процент критиков. Например, критиков бренда 10%, адвокатов 30%, а нейтралов 60%. NPS = 30-10 = 20. Показатель намного выше нуля, значит, все в порядке.

Если результат положительный, продукт в целом удовлетворяет пользователей. Если отрицательный — нужно поработать с содержимом курса или изменить маркетинговую упаковку.

Иногда расчет NPS модифицируют, например, вместо десятибалльной шкалы вводят трехбалльную. Или вычисляют NPS для какой-то конкретной составляющей образовательного курса. Например, спрашивают мнение студентов о самом курсе в целом, преподавателях, качестве обратной связи, содержимом лекций и семинаров.

Customer Satisfaction Index, CSI

Подвид индекса NPS, Customer Satisfaction Index (индекс удовлетворенности пользователя), также используется не только в образовательных продуктах, но и в бизнесе в целом.

Рассчитывают его так же: просят поставить оценки по шкале от 1 до 10, затем от числа адвокатов отнимают число критиков. Можно использовать бинарную систему, когда пользователи просто ставят лайк или дизлайк курсу в целом или конкретному уроку.

Если NPS оценивают обычно после того, как студент окончил курс, то CSI — это процессная метрика, которую нужно собирать и анализировать постоянно, по мере прохождения учебной программы. Это помогает улучшать конкретные блоки курса, делать их понятнее для следующих групп слушателей и эффективнее.

Расчет CSI помогает маркетингу: например, можно заявить, что студенты получают безлимитный доступ к обновляемому курсу, который меняется в зависимости от индекса удовлетворенности. И слушатель, который прошел курс сейчас, может зайти на платформу через полгода и увидеть обновленные лекции. Такой подход повышает лояльность.

Конверсии воронки продаж

Есть несколько маркетинговых метрик, которые могут применяться к образовательным курсам. Они не только помогают повысить бизнес-показатели, но и дают представление о том, насколько «упаковка» курса, то есть обещания в рекламных и маркетинговых материалах, соответствуют ожиданиям потенциальных клиентов.

Обычно бизнес-воронка состоит из нескольких условных этапов:

• Неизвестность — человек не знает о курсе, у него еще не сформировалась потребность в содержимом учебной программы.

• Потребность — о курсе человек может не знать, но нужда в знаниях и навыках у него уже сформировалась. Например, менеджер по продажам изучил аналитику рынка труда, оценил свой потенциал, почитал статьи в профильных СМИ и понял, что хочет расти.

• Перспектива — потенциальный покупатель узнал об образовательном проекте. Например, увидел рекламу, у него сформировался интерес, а понимание того, что ему нужны дополнительные знания, стало сильнее.

• Запрос — человек готов записаться на курс, его устраивает содержимое, он оставил запрос на сайте, попросил связи с менеджером проекта.

• Согласие на обучение — после общения с менеджером человек стал клиентом.

• Прохождение курса — клиент изучил и заключил договор, прошел курс.

• Повторные сделки — клиент удовлетворен курсом, получил нужный результат, попал в воронку еще раз, потому что решил пройти углубленный курс, повысить квалификацию.

Добиться стопроцентной конверсии из каждого этапа невозможно — инструмент потому и называют воронкой, что на начальном этапе людей много, а затем на каждый следующий переходит все меньше. Задача маркетолога и предпринимателя — изучать данные в динамике, оценивать, на каком этапе уходит больше всего клиентов, и проверять, что конкретно их отталкивает. Например, с помощью гипотез или опросов.

Прогресс клиентов

Это отчет, который обычно создают на онлайн-курсах — оценивают, сколько пользователей переходит от урока к уроку, сколько из них бросают курс и на каком этапе. Все эти метрики называют прогрессом пользователей. В них входят и результаты студентов, в том числе промежуточные. 

Понимать прогресс обучения необходимо преподавателям и методистам. Например, если первые несколько тестов студенты проходят хорошо, а третий большинство сдает неудовлетворительно, стоит или пересмотреть сам тест, или изучить содержимое учебного материала. Может быть, слушатели получают недостаточно информации или в тесте есть ошибки.

Модель Киркпатрика — Филлипса

Это совмещенная версия двух моделей оценки образовательных проектов, которые используют в системе дополнительного образования и бизнес-обучения. В ней используются следующие критерии:

• Реакция клиентов — как участники реагируют на обучение, как его воспринимают. Обычно оценивают NPS и CSI.

• Знания клиентов — нужно выяснить, насколько эффективно прошел курс с точки зрения получения навыков. Можно использовать тестирование, проанализировать оценки студентов.

• Результаты клиентов — смогли ли слушатели добиться поставленной цели или нет. Например, если человек стремится стать руководителем и для этого повышает квалификацию, нужно выяснить, справился ли он с этой задачей после обучения.

• Бизнес-результаты. Эту метрику используют, если обучение проходит на базе компании или бизнес оплачивает услуги стороннего провайдера. Оценивают выполнение KPI до и после курса и выясняют, насколько обучение оказалось полезным бизнесу.

Если оценку по модели проводит студент, то он может посчитать окупаемость курса. Сначала нужно определить, сколько денег он заработал с помощью полученных навыков и знаний. А затем сравнить результат со стоимостью обучения. Если заработок больше — обучение прошло не зря.

Разработчик курса может оценивать эффективность курса с точки зрения ROI — показателя рентабельности инвестиций:

ROI (показатель возврата инвестиций) = (доход — инвестиции) / инвестиции × 100%.

Проще говоря, ROI — это метрика, которая помогает понять, какой доход получит бизнес, вкладывая средства в образовательный курс.

В нашем корпоративном обучении несколько уровней отслеживания метрик. Сначала нужно измерять наличие и прирост компетенций в разрезах «знает», «умеет», «применяет». Знания измеряются тестами, сформированный навык кейсами, а применение в работе — ассесментом.

Другие модели оценки курсов

В образовании есть и другие, менее распространенные модели оценки образовательных курсов:

• Модель Стаффлбима. Сначала нужно понять, кого будет обучать проект, чему и зачем. Затем выяснить, на каком уровне находятся студенты на входе в курс, сформулировать критерии эффективности. После подготовить критерии оценки процесса. Наконец, после обучения сравнить с показателями, которые студенты демонстрировали в начале — если они улучшились, курс можно считать эффективным.

• Модель Берна работает аналогично, но с упором на эмоции. Сначала также проводится оценка содержимого курса, выясняется, кого и чему нужно обучить. После проводят оценку входа студентов, формируют KPI. Затем в процессе оценивают эмоции студентов, уточняют, насколько им комфортно, и, в зависимости от ответов, меняют процесс. В конце проводят оценку результатов.