редакции
Как оценить эффективность в e-learning
Ответ на эти вопросы может дать анализ дистанционного обучения.
Что можно анализировать в дистанционном обучении
Учебные материалы в e-learning стоят на двух столпах — вовлечение слушателей и результат обучения.
Вовлечение слушателей необходимо, потому что в дистанционном обучении нет фигуры преподавателя: пользователь должен сам проявить интерес и мотивацию к изучению.
Главное для вовлечения — качество проработки материала и его полезность для слушателя. Читать внимательно и с интересом можно даже простой текст, если он хорошо написан и применим на практике.
Также для привлечения внимания в курсах используются приемы из сферы психологии и видеоигр: яркая графика, интригующий сюжет, соревновательные элементы, интерактивность, динамичные видеоролики, анимационные вставки и т. д.
Точно измерить вовлечение невозможно: это субъективный параметр, поэтому для сотрудников с разными интересами, образованием и жизненным опытом увлекательными будут разные вещи. О вовлечении можно строить гипотезы, опираясь на опыт из других сфер жизни.
Зато возможно измерить поведение пользователя во время обучения. Это способ понять, насколько внимателен был пользователь, какие материалы вызвали у него затруднения и как он на эти затруднения отреагировал — раздраженно пропустил или попытался понять. Например:
1. Имея точные данные о том, как два сотрудника вели себя во время прохождения курса, можно понять, почему один из них лучше запомнил материал, а второй забыл все после прохождения итогового теста.
2. Собрав данные для ста сотрудников, можно найти слабые места в подаче материалов — например, если из этих ста больше семидесяти ошиблись в одном и том же вопросе.
3. Детально изучая статистику прохождения учебных курсов всеми сотрудниками, можно сделать обоснованный вывод об эффективности того или иного формата, платформы или разработчика — и продолжать развивать e-learning, который работает
Поведение пользователя — не аналог вовлечения. Нельзя измерить, с каким настроем пользователь проходил курс.
При этом данные о поведении помогают могут выйти за рамки простой передачи знаний и указать на личные качества сотрудников. Если один новичок внимательно изучает каждый раздел вводного курса, а второй пролистывает экраны за секунду, кто из них более заинтересован в развитии компании?
Когда стало возможным анализировать курсы
В течение десятков лет после внедрения стандарта SCORM учет статистики обучения сводился к общим показателям: сотрудник «начал/закончил изучать курс», «начал/закончил изучать урок в курсе» и «выполнил проверочное задание».
Более точные параметры было невозможно отследить: сколько по времени пользователь читал слайды, сколько минут видеоролика посмотрел, на какие вопросы теста ответил неправильно и как долго размышлял над ответом в упражнении. Инструментов для их учета и анализа не существовало.
С появлением в 2013 году стандарта Tin Can API ситуация изменилась: теперь учебные курсы могут накапливать подробную информацию о поведении пользователей и передавать ее в подходящем для изучения виде.
При этом наличие возможности не значит ее использование. Стандарт Tin Can позволяет собирать массив данных, но не анализировать их. В системах дистанционного обучения, созданных в эпоху SCORM, таких функций тоже не было.
Курсометр — сервис аналитики электронного обучения
ЦРММ первым в России и СНГ разработал и вывел на рынок сервис аналитики e-learning-курсов. Мы назвали его «Курcометр».
«Курcометр» отслеживает и фиксирует действия пользователей при прохождении учебного курса. В систему встроено более 200 метрик, сформулированных совместно с крупнейшими заказчиками e-learning в России.
Задача сервиса — поиск слабых мест в существующих учебных курсах. При этом слабое место может быть и в конкретном сотруднике — «Курсометр» поможет проверить и эту гипотезу.
Примеры использования Курсометра
Сценарий 1. Поведение при изучении материала
Сервис отслеживает, сколько времени пользователь потратил на изучение материалов курса — урока, модуля, раздела. Детализацию можно настроить до уровня конкретного слайда или страницы.
Без «Курсометра»:
Пользователь изучал урок 1 в течение 15 минут
Этого времени достаточно, чтобы изучить материалы урока в обычном ритме, но никаких дополнительных сведений мы из этих данных извлечь не можем.
С «Курсометром»:
Пользователь изучал урок 1 в течение 15 минут
Детализация по слайдам:
Слайд 1 — 02:34 (средний показатель: 02:46)
Слайд 2 — 03:02 (средний показатель: 02:54)
Слайд 3 — 07:12 (средний показатель: 01:46) — аномальное поведение
Слайд 4 — 02:17 (средний показатель: 02:26)
Слайд 5 — 00:04 (средний показатель: 02:12) — аномальное поведение
Слайд 6 — 00:05 (средний показатель: 02:33) — аномальное поведение А вот со слайдами 5 и 6 сложнее. Пользователь пролистал их в считаные секунды, хотя другие пользователи внимательно их изучали. Почему? Либо ему стало скучно, либо он уже знает этот материал. Нужно посмотреть на результаты промежуточного или итогового тестирования. Сценарий 2. Результаты тестирования Сервис учитывает не только ответы на конкретные вопросы тестирования, но и время ответа. Также в курсе может быть предусмотрено деление на вопросы повышенной и пониженной сложности — «Курсометр» будет это учитывать. Без «Курсометра»: Пользователь набрал 80 % в тестировании после урока 1 Это очень общий параметр. Допустим, мы знаем, что в промежуточном тестировании пять вопросов. Значит, слушатель ответил на четыре. Но на какие именно? В чем он ошибся? С «Курсометром»: Пользователь набрал 80 % в тестировании после урока 1 Детализация по вопросам: Вопрос 1, легкий — верно (время ответа — 09 секунд, среднее — 10 секунд) Вопрос 2, средний — верно (время ответа — 12 секунд, среднее — 14 секунд) Вопрос 3, средний — неверно (время ответа — 24 секунды, среднее — 15 секунд) Вопрос 4, сложный — верно (время ответа — 07 секунды, среднее — 24 секунды) — аномальное поведение Вопрос 5, сложный — верно (время ответа — 09 секунд, среднее — 22 секунды) — аномальное поведение С вопросами 1 и 2 все прозрачно: пользователь подумал и дал правильный ответ. Примерно так же отвечали другие пользователи. Вопрос 3 вызвал сложности: пользователь думал дольше обычного, сомневался. Возможно, попробовал угадать. Из этого случая следует, что слушатель не вспомнил правильный ответ. А если бы такое поведение регулярно встречалось у других пользователей, значит, вопрос сформулирован непонятно либо в учебном материале эта тема раскрыта неявно. С вопросами 4 и 5 ситуация интереснее. Ответ на сложные вопросы дан очень быстро. С чем это может быть связано? Из предыдущего примера мы помним, что слайды с этими темами пользователь пролистал. Но с тестом справился, значит, действительно знал эту тему из другого курса или из опыта работы. Сценарий 3. Просмотр видеоролика Сервис отслеживает действия пользователя с аудио- и видеоматериалами. Такая статистика доступна в популярных видеосервисах вроде YouTube и используется для анализа предпочтений аудитории. С «Курсометром» эти данные становятся доступны для учебных видеороликов. Без «Курсометра»: Пользователь запустил видеоролик в уроке 2 В стандарте SCORM видеоролик учитывается как любой другой вид материала в учебном курсе. СДО отслеживают факт открытия и закрытия страницы со встроенным видеороликом. Как именно пользователь его смотрел и смотрел ли вообще, система не отслеживает. С «Курсометром»: Пользователь запустил видеоролик в уроке 2 Детализация по хронометражу: 00:00 — начало ролика 1. На моменте 00:32 перемотал вперед на 02:40 2. На моменте 02:48 перемотал вперед на 03:30 3. На моменте 02:46 перемотал назад на 00:41 4. На моменте 03:55 перемотал назад на 03:10 5. На моменте 04:01 перемотал назад на 03:13 6. На моменте 04:03 перемотал назад на 03:09 7. На моменте 04:54 закрыл ролик 05:00 — конец ролика Для одного сотрудника такая статистика не будет очень полезной. Здесь поведение пользователя соответствует типичному поведению интернет-пользователя: «полистать видео в случайном порядке, потом вернуться в начало и смотреть до конца». Внимания заслуживают повторяемые перемотки назад: что-то в четвертой минуте ролика было пользователю непонятно. Если такое поведение повторяется у многих пользователей, значит, именно в этой части видео есть какая-то проблема. Нужно выяснить, почему этот фрагмент приходится пересматривать. Если диктор говорит невнятно или анимация слишком быстрая, это нужно поправить и загрузить в систему обновленное видео. Сценарий 4. Оценка добросовестности Не всегда проблема обучения связана с качеством материалов. Низкая мотивация, лень, склонность к списыванию — все эти причины могут влиять на учебный процесс. Возможности «Курсометра» позволяют узнать, в чем именно проблема. Без «Курсометра»: Пользователь завершил курс на 100 % Большинство СДО отмечают только факты о прохождении курса: просмотр всех слайдов, чтение всех страниц, запуск всех видеороликов, результаты тестирования. Как именно пользователь изучал материал, система не знает. С «Курсометром»: Пользователь завершил курс на 100 % со следующим поведением В предыдущих сценариях мы рассмотрели примеры добросовестного прохождения курса. В них у сотрудника были основания пропустить слайды, и быстрый ответ на вопросы по их содержанию подтверждал эту гипотезу. Представим другую ситуацию: Есть только один «законный» сценарий такого прохождения — проверка работоспособности курса в СДО автором курса, менеджером обучения или представителем разработчика. Во всех остальных случаях это аномалия. Если такое поведение демонстрирует рядовой пользователь, он не изучает курс, а прощелкивает его. Каким бы хорошим ни был материал, ожидать от такого пользователя усвоения новых знаний не приходится. В e-learning такое поведение называется fraud — по-английски «обман, мошенничество». Существующие СДО никак не могут его обнаружить, для этого нужен сервис аналитики поведения. «Курсометр» позволяет выявить обман, а работодатель сможет сделать выводы. До сегодняшнего дня не существовало инструментов для изучения поведения пользователей в учебном курсе. Все исследования эффективности e-learning опирались на результаты, т. е. на изменения в работе сотрудника после прохождения обучения. Этот параметр косвенный. Кроме электронного курса, на эффективность сотрудника могут влиять советы коллег, мотивация со стороны начальника, личная заинтересованность или даже просто хорошее настроение. Более объективная оценка возможна на основе большого количества точных данных. Стандарт Tin Can API сделал возможным сбор таких данных и открыл электронное обучение для феномена BigData. «Курcометр» создан, чтобы эти возможности могли использовать все. В ближайшие годы оценка эффективности электронных курсов станет обязательным этапом внедрения e-learning и создания новых учебных материалов. Компании, которые раньше других начнут принимать обоснованные решения об эффективности учебных курсов, сэкономят время и средства на развитие корпоративного обучения, поиск работающих форматов и выбор провайдеров.
Мы понимаем, что на слайде 3 сотрудник задержался сильно дольше обычного. Вряд ли материал на слайде сложный, ведь все остальные сотрудники справляются быстрее. Скорее всего, он просто отвлекся от прохождения курса, и в этой аномалии нет злого умысла.
Как аналитика повлияет на индустрию e-learning