Скрольте вниз

Какие значения метрик являются нормальными.

Где искать данные для метрик;

Как считаются ключевые метрики;

Как оценить, достигнет ли студент образовательного результата;

Какие модели проверки достижения образовательного результата существуют.

Вы уже сформулировали учебное обещание, собрали архитектуру, и у вас есть понимание программы образовательного продукта.

Но как отследить и понять, что студент достигает образовательного результата и выполняется учебное обещание?

Дональд Киркпатрик — американский исследователь, почетный профессор в Университете Висконсина и бывший президент Американского общества по обучению и развитию (ASTD) предложил модель из четырех уровней, которая позволяет оценивать эффективность обучения.

Первый уровень модели Киркпатрика для оценки эффективности обучения — «Реакция».

Понять реакцию студентов на этом уровне также поможет анкетирование с помощью шкалы оценок и вопросов, касающихся отношения студентов к обучению. Можно спросить, как вы оцениваете формат уроков, и поставить оценку от 1 до 10. Благодаря результатам опросов студентов вы сможете скорректировать обучение — изменить формат уроков, подачу эксперта или другое.

Но данный уровень является самым субъективным из четырех, так как цифры часто расходятся с отзывами, которые оставляет клиент. Например, в БК «Методология» есть случаи, когда студенты ставят максимальную оценку модулю, но при этом оставляют негативную обратную связь.

На этом уровне производится оценка реакций студентов на обучение. Например, понять, как студенты оценивают ваш образовательный продукт, можно с помощью метрик CSI, NPS, CSAT, CES.

Здесь мы пытаемся понять, применяют ли студенты полученные навыки и знания на практике.

Четко ответить на вопрос, использует ли студент полученные навыки в своей работе мы можем, если в нашем обучении есть трекер — человек, который отслеживает и помогает внедрять результаты во время обучения. Например, на программе «Фокус» студенты в режиме ежедневных созвонов вместе с трекером проверяют метрики своего бизнеса и внедряют новые процессы в свой бизнес.

Но чаще всего, мы не можем на 100% знать, будет студент использовать информацию с нашего курса или нет.

Чтобы проверить, насколько закрепился навык, можно использовать итоговые работы в конце модулей или в конце курса.

Например, в БК «Методология» мы даем несколько примеров эталонных архитектур и предупреждаем, что создавать такую же архитектуру точь-в-точь для своего курса не нужно. Также мы рассказываем, структурно из чего состоит архитектура, какие элементы используем, как выделяли крупные камни и писали тезисы, какие приемы из методологических карт добавляли.

Такой формат называется «проверка делом». Это комплексное задание, которое максимально приближено к реальности. Задание студента — создать артефакт, который будет доказывать освоение навыков студентом. Эксперт, в свою очередь, оценивает артефакт с помощью тех дистинкций, которым учит студента.

Например, для промежуточного задания «создайте главный экран одностраничного сайта» эталоном будет главный экран лендинга с определенной структурой и элементами: заголовком, подзаголовком, дескриптером, кнопкой и другим.

А в курсе по выпечке тортов, где итоговое задание — готовый торт, эталоном будет приготовленный по определенной рецептуре торт с определенным декором.
В некоторых образовательных продуктах повторение эталона один в один — необходимое условие, например, при выпечке тортов, рисовании или в воркшопах по созданию лендинга в портфолио.

Но иногда эталон — это ориентир для студента, а не то, что нужно повторить точь-в-точь. Например, в курсе по настройке таргета студенты настраивают рекламную кампанию именно для своего продукта, а в курсе по упаковке личного бренда студенты используют направляющие, но пишут посты на разные темы, которые подходят именно им.

Третий уровень в модели Д. Киркпатрика — это «Поведение».

Определить хороший артефакт можно с помощью эталона. Эталон — это идеальный вариант ответа или задания, который отражает действительное усвоение материала студентом. Эталон — это трафарет для студента, основываясь на котором он может воспроизвести или повторить технику, но в своей теме/нише.

Эталон — это пример правильно выполненного задания. Создавать эталоны можно для домашних заданий или для итоговой работы курса.

Как избежать того, чтобы студенты не копировали эталон:

показывать эталон, но не в начале обучения, а когда студент благодаря урокам понимает структуру и алгоритм его создания.

показывать несколько эталонных примеров;

предупредить о том, что эталон повторять не нужно;

Четвертый уровень в модели Д. Киркпатрика – «Результаты».

Модель Д. Киркпатрика оценивает в основном качество образовательного продукта. Мы считаем, что качество образовательного продукта – это зона ответственности методолога. С помощью модели Киркпатрика можно увидеть методологические сбои, которые возникают во время обучения. Например, если у образовательного продукта низкий COR, это значит, что студентам сложно и неинтересно проходить курс. Вы можете добавить социальные механики, чтобы увеличить вовлеченность студентов или добавлять модули с живым общением спикера и студентов.

Эти четыре уровня являются базовыми, которые Д. Киркпатрик заложил в 1954 году. Многие ученые используют модель как базу для создания собственных моделей, например, Джек Дж. Филлипс, доктор философии, член Консультативного совета KnowledgeAdvisors, Inc., председатель Института ROI, присоединил к модели пятый уровень и назвал его ROI.

На этом уровне измеряется в какой степени были достигнуты намеченные заранее результаты.

ROI (Return of investment) — это показатель возврата инвестиций, которые были вложены в образовательный продукт.

Для расчета ROI мы используем формулу: доход от продукта — затраты на продукт. Затем нужно разделить полученное число на затраты на продукт и умножить на 100%. На основе этого показателя можно принимать решения о целесообразности инвестирования в продукт. Чем ближе значение ROI к нулю, тем меньше прибыли принесет продукт.

COR (англ. Completion Rate) или доходимость курса – это процент студентов, которые зашли на курс и дошли до конца. Для расчета этого показателя нужно разделить количество студентов, завершивших обучение, на количество студентов, начавших обучение и умножить на 100%. Смысл данного показателя – узнать количество студентов, полностью завершивших курс, то есть они полностью посмотрели теорию и прошли практику, если без выполнения практики не открывался следующий урок. Также доходимость можно рассчитывать для определенных этапов обучения.

Процент успешных кейсов – это процент студентов, которые успешно закончили обучение и достигли каких-то результатов, например, заработали сразу на обучении или нарисовали картину высокой сложности. Для расчета процента успешных кейсов необходимо провести опрос студентов спустя какое-то время после обучения, чтобы узнать количество студентов, которые достигли высоких результатов. Формула расчетов: успешные кейсы разделить на кол-во учеников на курсе и умножить на 100%.

На этом уровне рассчитываются:

Кроме ROI мы выделяем несколько других экономических метрик, которые можно считать, чтобы понять, получите вы прибыль после завершения курса или нет.

LTV (англ. Lifetime Value) – это прибыль, которую средний пользователь принесет за все время использования продукта. Чтобы рассчитать LTV, необходимо общий доход за выбранный период разделить на количество клиентов за этот же период. Эта метрика показывает сколько прибыли в среднем приносит 1 студент. Например, этот показатель может помочь сравнить старую тарифную модель оплаты курса с новой подписной моделью, чтобы понять какая модель более выгодная. Или сравнить 1 и 2 поток курса, чтобы понять что принесло большую прибыль, количество студентов или модель оплаты.

Если ваш курс строится на подписной модели, где студенты каждый определенный период продляют доступ к материалам, то для вас также будет важен показатель Churn Rate (CR, показатель оттока клиентов) — это процент клиентов или подписчиков, которые прекращают быть клиентами компании в течение определенного периода.

Он рассчитывается как количество клиентов в начале месяца плюс новые клиенты минус количество студентов в конце месяца, разделить получившиеся на количество студентов в начале месяца и умножить на 100%.

Получившееся число может быть как положительным, так и отрицательным. Если процент положительный, это значит, что есть процент клиентов, которые отписываются от вашего продукта, и этот отток не компенсируют новые клиенты.

CAC (англ. Customer Acquisition Cost) — стоимость привлечения клиента. Как рассчитать: расходы на канал трафика разделить на количество полученных клиентов. Метрика отражает, как дорого обходится привлечение одного студента. Если стоимость высокая, стоит задуматься об оптимизации каналов привлечения студентов.

Если вы будете использовать модель Д. Кирпатрика, вы сможете ответить на вопросы:

Насколько прибыльный образовательный курс?

Сколько студентов доходят до конца курса?

Нравится ли студентам ваш образовательный продукт?

Как студенты усваивают материал образовательного продукта?

Достигают ли студенты образовательного результата?

Для оценки эффективности образовательного продукта можно использовать модель Дональда Киркпатрика.

Модель Киркпатрика состоит из четырех уровней: реакция, обучение, поведение и результаты.

На первом уровне «Реакция» оценивается, как студенты реагируют на обучение — нравится им обучение или нет? Чтобы это определить, используйте показатели: CSI, NPS, CSAT, CES.

На третьем уровне «Поведение» проверяется, достигают ли образовательного результата студенты. Это можно проверить с помощью промежуточного или итогового задания и демонстрации эталона.

На втором уровне «Обучение» необходимо оценить, как студенты проходят обучения. Для этого можно использовать тестирование или устный опрос.

Если вы можете влиять и принимать решения по экономической модели курса, то используйте пятый уровень, предложенный Джеком Дж. Филлипсом, – ROI. Для этого нужно рассчитывать показатели ROI, LTV и CAC.

На четвертом уровне «Результат» оценивайте показатели, которые покажут, сколько студентов дошли до результата, который вы планировали, с помощью показателей: COR и процент успешных кейсов.

Поздравляю! Это последний лонгрид.

Привет! Это Сергей Фобэско, дизайнер лонгридов Большого курса «Методология». Передо мной стояла задача сделать их эстетичными и облегчить восприятие материала. Судя по вашим оценкам и комментариям, я справился. Спасибо за теплые отклики.

Если тебе нужен дизайнер-смысловик, напиши мне в Telegram.