Показатели, которые нужно отслеживать при обучении

Показатели, которые нужно отслеживать при обучении

Как измерить эффективность образовательного проекта и понять, насколько программа востребована у участников обучения
666

У образовательных проектов сотни метрик, которые можно отслеживать. Например, с точки зрения студента и маркетинга, сколько человек закончили обучение, получили обещанный результат. Существуют метрики для методистов — поведение участников обучения на разных этапах, их оценки при тестировании. Наконец, есть показатели для бизнеса — оправдывает ли образовательная программа инвестиции. Рассказываем, какие показатели стоит отслеживать, чтобы оценить эффективность образовательного проекта.

Completion Rate, COR

Эта метрика показывает процент студентов, которые успешно прошли курс. Подсчитывают обычно так: число окончивших курс делят на общее количество студентов, которые начинали учиться.

COR — метрика, позволяющая оценить качество курса: насколько он соответствовал ожиданиям участников обучения, был ли интересным и адекватным их уровню. Если COR низкий, нужно изучать содержание курса или маркетинговые активности:

  • Достаточно ли курс понятен, нет ли мест, где студенты не могут понять содержание и поэтому бросают обучение?

  • Соответствует ли содержание рекламных материалов программе? Нет ли в маркетинговых материалах неоправданных обещаний?

COR стоит рассматривать как основную метрику любого образовательного проекта.

Net promoter score, NPS

Это маркетинговая метрика, которую применяют в любом бизнесе, в том числе и образовательном. NPS — это индекс лояльности пользователей. Чтобы его рассчитать, нужно спросить выпускников курса, насколько велика вероятность, что они порекомендуют вашу программу (бренд) своим друзьям и знакомым. Оценки выставляются по шкале от 1 до 10. Затем всех участников опроса нужно разделить на три группы:

  • Ответившие от 1 до 6 — это «критики» бренда, те, кому не понравилось содержание проекта.

  • Ответившие 7 и 8 — это «нейтралы», которые и не против бренда, но и не удовлетворены им полностью.

  • Оценки 9 и 10 ставят «адвокаты» бренда — люди, которым понравился проект, и они полностью удовлетворены им.

Индекс NPS рассчитывают так: процент адвокатов минус процент критиков. Например, критиков бренда 10%, адвокатов 30%, а нейтралов 60%. NPS = 30-10 = 20. Показатель намного выше нуля, значит, все в порядке.

Если результат положительный, продукт в целом удовлетворяет пользователей. Если отрицательный — нужно поработать с содержимом курса или изменить маркетинговую упаковку.

Корпоративный онлайн-университет — идеальный инструмент для развития персонала компании. С его помощью вы сможете:

  • Удержать ключевых и перспективных сотрудников.

  • Улучшить процесс адаптации нового персонала.

  • Сделать обучение эффективным для сотрудника и компании.

  • Обучить с минимальным отрывом от основной деятельности.

  • Обеспечить развитие карьеры.

Корпоративный онлайн-университет как пульт управления компетенциями: решает ваши задачи и поможет компании достичь намеченных целей.

Иногда расчет NPS модифицируют, например, вместо десятибалльной шкалы вводят трехбалльную. Или вычисляют NPS для какой-то конкретной составляющей образовательного курса. Например, спрашивают мнение студентов о самом курсе в целом, преподавателях, качестве обратной связи, содержимом лекций и семинаров.

Customer Satisfaction Index, CSI

Подвид индекса NPS, Customer Satisfaction Index (индекс удовлетворенности пользователя), также используется не только в образовательных продуктах, но и в бизнесе в целом.

Рассчитывают его так же: просят поставить оценки по шкале от 1 до 10, затем от числа адвокатов отнимают число критиков. Можно использовать бинарную систему, когда пользователи просто ставят лайк или дизлайк курсу в целом или конкретному уроку.

Если NPS оценивают обычно после того, как студент окончил курс, то CSI — это процессная метрика, которую нужно собирать и анализировать постоянно, по мере прохождения учебной программы. Это помогает улучшать конкретные блоки курса, делать их понятнее для следующих групп слушателей и эффективнее.

Расчет CSI помогает маркетингу: например, можно заявить, что студенты получают безлимитный доступ к обновляемому курсу, который меняется в зависимости от индекса удовлетворенности. И слушатель, который прошел курс сейчас, может зайти на платформу через полгода и увидеть обновленные лекции. Такой подход повышает лояльность.

Конверсии воронки продаж

Есть несколько маркетинговых метрик, которые могут применяться к образовательным курсам. Они не только помогают повысить бизнес-показатели, но и дают представление о том, насколько «упаковка» курса, то есть обещания в рекламных и маркетинговых материалах, соответствуют ожиданиям потенциальных клиентов.

Обычно бизнес-воронка состоит из нескольких условных этапов:

  • Неизвестность — человек не знает о курсе, у него еще не сформировалась потребность в содержимом учебной программы.

  • Потребность — о курсе человек может не знать, но нужда в знаниях и навыках у него уже сформировалась. Например, менеджер по продажам изучил аналитику рынка труда, оценил свой потенциал, почитал статьи в профильных СМИ и понял, что хочет расти.

  • Перспектива — потенциальный покупатель узнал об образовательном проекте. Например, увидел рекламу, у него сформировался интерес, а понимание того, что ему нужны дополнительные знания, стало сильнее.

  • Запрос — человек готов записаться на курс, его устраивает содержимое, он оставил запрос на сайте, попросил связи с менеджером проекта.

  • Согласие на обучение — после общения с менеджером человек стал клиентом.

  • Прохождение курса — клиент изучил и заключил договор, прошел курс.

  • Повторные сделки — клиент удовлетворен курсом, получил нужный результат, попал в воронку еще раз, потому что решил пройти углубленный курс, повысить квалификацию.

Добиться стопроцентной конверсии из каждого этапа невозможно — инструмент потому и называют воронкой, что на начальном этапе людей много, а затем на каждый следующий переходит все меньше. Задача маркетолога и предпринимателя — изучать данные в динамике, оценивать, на каком этапе уходит больше всего клиентов, и проверять, что конкретно их отталкивает. Например, с помощью гипотез или опросов.

Прогресс клиентов

Это отчет, который обычно создают на онлайн-курсах — оценивают, сколько пользователей переходит от урока к уроку, сколько из них бросают курс и на каком этапе. Все эти метрики называют прогрессом пользователей. В них входят и результаты студентов, в том числе промежуточные. 

Понимать прогресс обучения необходимо преподавателям и методистам. Например, если первые несколько тестов студенты проходят хорошо, а третий большинство сдает неудовлетворительно, стоит или пересмотреть сам тест, или изучить содержимое учебного материала. Может быть, слушатели получают недостаточно информации или в тесте есть ошибки.

Модель Киркпатрика — Филлипса

Это совмещенная версия двух моделей оценки образовательных проектов, которые используют в системе дополнительного образования и бизнес-обучения. В ней используются следующие критерии:

  • Реакция клиентов — как участники реагируют на обучение, как его воспринимают. Обычно оценивают NPS и CSI.

  • Знания клиентов — нужно выяснить, насколько эффективно прошел курс с точки зрения получения навыков. Можно использовать тестирование, проанализировать оценки студентов.

  • Результаты клиентов — смогли ли слушатели добиться поставленной цели или нет. Например, если человек стремится стать руководителем и для этого повышает квалификацию, нужно выяснить, справился ли он с этой задачей после обучения.

  • Бизнес-результаты. Эту метрику используют, если обучение проходит на базе компании или бизнес оплачивает услуги стороннего провайдера. Оценивают выполнение KPI до и после курса и выясняют, насколько обучение оказалось полезным бизнесу.

Если оценку по модели проводит студент, то он может посчитать окупаемость курса. Сначала нужно определить, сколько денег он заработал с помощью полученных навыков и знаний. А затем сравнить результат со стоимостью обучения. Если заработок больше — обучение прошло не зря.

Разработчик курса может оценивать эффективность курса с точки зрения ROI — показателя рентабельности инвестиций:

ROI (показатель возврата инвестиций) = (доход — инвестиции) / инвестиции × 100%.

Проще говоря, ROI — это метрика, которая помогает понять, какой доход получит бизнес, вкладывая средства в образовательный курс.

В нашем корпоративном обучении несколько уровней отслеживания метрик. Сначала нужно измерять наличие и прирост компетенций в разрезах «знает», «умеет», «применяет». Знания измеряются тестами, сформированный навык кейсами, а применение в работе — ассесментом.

Оксана Гриценко, руководитель направления обучения, развития и мотивации DSSL:

«Мы измеряем корреляцию с показателями бизнеса. Смотрим на развитие конкретной компетенции и ее влияние на конкретный процесс. Например, изучаем конверсию сделок в продажи, прирост среднего чека клиента, прирост лояльности и удовлетворенности клиента. Управленческие компетенции прямо влияют на рост производительности сотрудников, поэтому смотрим на средний процент выполнения планов по KPI, а также на вовлеченность сотрудников. Измерение метрик должно быть регулярным и системным. Только так можно добиваться значимых результатов».

Другие модели оценки курсов

В образовании есть и другие, менее распространенные модели оценки образовательных курсов:

  • Модель Стаффлбима. Сначала нужно понять, кого будет обучать проект, чему и зачем. Затем выяснить, на каком уровне находятся студенты на входе в курс, сформулировать критерии эффективности. После подготовить критерии оценки процесса. Наконец, после обучения сравнить с показателями, которые студенты демонстрировали в начале — если они улучшились, курс можно считать эффективным.

  • Модель Берна работает аналогично, но с упором на эмоции. Сначала также проводится оценка содержимого курса, выясняется, кого и чему нужно обучить. После проводят оценку входа студентов, формируют KPI. Затем в процессе оценивают эмоции студентов, уточняют, насколько им комфортно, и, в зависимости от ответов, меняют процесс. В конце проводят оценку результатов.

Константин Сахнов, преподаватель ВШЭ и основатель Vengeance Games:

«Я преподаю в ВШЭ и запустил там же программу «Менеджмент игровых проектов». К нам приходят люди, которые хотят перейти в игровую индустрию, поэтому ключевая метрика для нас — доля трудоустроенных слушателей. Например, сейчас это 70—75%.

Чтобы доводить студентов до конца курса, используем промежуточные метрики. Их две. Ретеншн, то есть доля слушателей, которые остались на курсе до конца обучения. И вовлеченность в проект — то есть количество людей, которые разрабатывают во время обучения игровой продукт или прототип».

Не обязательно применять модели оценки в их классическом виде. Современные образовательные проекты обычно используют модифицированные системы: берут несколько показателей из разных моделей, добавляют маркетинговые метрики и помощью такого инструмента определяют, насколько курс эффективен, приносит ли он пользу студентам и прибыль бизнесу.
Любое использование материалов медиапортала РШУ возможно только с разрешения редакции.
Сложно выбрать? , мы поможем!
Заявка на бесплатную консультацию
Хотите быть в курсе самых выгодных предложений и получать полезные материалы - *

*1 раз в неделю только самое важное и интересное из области бизнес-образования!

Заполните форму регистрации