Как учебная аналитика помогает делать обучение гибким

Сережа Иванчиков пишет тест на 10 баллов из 10, умница. А через неделю пишет похожий же тест уже на 6 баллов. Так что, он в первый раз списывал? Или причина в другом? А как понять и проверить?

Без образовательной, или учебной, аналитики не обойтись.Она помогает обратить внимание на само обучение, а не на отчетность. Так мы получаем ответы на вопросы: как справляются ваши ученики и студенты? Какие темы даются им тяжело? Какие задания получаются отлично и выполняются с удовольствием?

Ладно, а что же такое учебная аналитика?🤨

Давайте разбираться и применять в своей преподавательской практике 👇

О чём на самом деле говорит учебная аналитика?

В до-онлайновую эпоху инструментами аналитики были оценки, длинные характеристики от преподавателя и записи в блокнот, вроде: “На занятии разобрали тему Х. Были проблемы с Y”. Потому несчастный преподаватель со своим чутьем и опытом перерабатывал эти данные и как-то менял учебный процесс.

Аналитика обучения, или учебная аналитика (learning analytics) — измерение, сбор, анализ и представление данных об обучающихся и образовательной среде с целью понимания особенностей обучения и максимальной его оптимизации. (источник)

Нам повезло, мы преподаем при поддержке автоматических систем, которые сами собирают статистику обучения. Moodle, LMS или другая виртуальная площадка для обучения собирает разные данные: время на прохождение теста, количество выполненных заданий, обратную связь от студентов и пр. И потом выдает нам в виде таблиц и графиков. 

Много цифр и столбцы разных слов. В этом надо разбираться. Но главное – надо разбираться в том, что стоит за этими цифрами. 



Образовательная аналитика – это не про цифры, а про учеников, их поведение и их особенности обучения. Аналитика позволяет делать нам, преподавателям, адаптивные курсы, такие, которые будут учитывать возможности и прогресс студентов.

Как происходит учебная аналитика?

Чтобы дойти до собственно аналитики, преподаватель при помощи цифровых инструментов проходит несколько этапов:

1. Собирает данные. Обычно этим занимаются встроенные механизмы на платформах, например, на Классапере.
2. Проводит первичный анализ. Он обычно заключается в количественных измерениях: сколько людей успешно решили задания, сколько времени потратилось и пр. Выдается в формулировках вроде “Процент успеваемости”.
3. Углубляется в анализ и выходит на следующий уровень “А что это значит?” Если раз за разом все студенты “лажают” на одном и том же вопросе, то справедливо спросить себя: а адекватен ли вопрос материалу, который преподаватель дает студентам?
4. Делает предположения о том, что же идет не так. И выдвигает идеи, как это можно исправить. Например, дать больше материала на тему Х или облегчить задание.
5. Изменяет что-то в учебном процессе и смотрит, как изменилось качество знаний.

А потом – повторяем все пункты с первого до пятого. И ещё раз. И ещё.

❗В идеале, второй и третий шаги сопровождаются сложными статистическими вычислениями. Какие-то из них за вас совершает площадка. Но в любом случае, надо понимать, что значат цифры...

Как меняется обучение благодаря аналитике?

Ответ на этот вопрос зависит: от платформы и её инструментария, от фокуса интереса преподавателя и от вопроса, “заданного” аналитике.

“Это что, мы с аналитикой разговариваем? Психбольница какая-то” 🤔 Нет-нет, всё в порядке. Но нам действительно надо сначала задать вопрос, а потом идти анализировать параметры и менять обучение.

Тут помогают типы вопросов.

По типам учебную аналитику можно разделить на три больших вопроса, на которые она дает ответы:

1. Что сейчас происходит в учебном процессе?
2. Что может происходить дальше и почему?
3. Что надо сделать, чтобы изменить учебный процесс в лучшую сторону?

Ответ на каждый из этих вопросов, в свою очередь, складывается из разных параметров.

Первый два пункта дают основу для принятия решений на третьем этапе. Поэтому нужно относиться очень критично и аккуратно ко всей поступающей информации.

Что и как анализируется?

Давайте рассмотрим в приближении🔬, с чем сталкивается преподаватель, шагнувший в учебную аналитику.

1. Анализ успеваемости учащихся. Площадка показывает, сколько заданий выполнено, какой процент верных ответов. Плюс ещё может быть дана статистика об активности ученика на самой платформе, если он или она оставляют вопросы или комментарии. В этом случае к оценке успеваемости добавляется оценка вовлеченности в курс.
2. Анализ форм обучения. Что лучше усваивается – текстовое представление информации или аудио/видео? Какие задания набирают наибольший процент прохождения? Преподаватель получает ответ на эти и подобные вопросы.
3. Анализ этапов обучения. В учебной аналитике МООС (массовых образовательных онлайн-курсов) есть важный порог прохождения: если слушатель курса дошел до третьего домашнего задания и пошел дальше – курс оправдывает свое существование. Так же и преподаватель и репетитор оценивают свой курс, анализируя, как учащиеся преодолевают этапы курса.
4. Анализ вовлеченности учащихся. Любая сверх-учебная деятельность в онлайне (комментирование, вопросы, лайки и пр.) показывает, сколько времени тратят учащиеся на ваш курс. Если они не просто из-под палки делают задания, а ещё интересуются доп. материалами или комментируют работы других студентов – кажется, вы стали звездой.
5.  Анализ трендов. Например, творческие свободные задания могут показать, что какая-то тема интересует учащихся больше, чем другие. Тогда можно в следующий раз остановиться на этой теме подольше.
6. Анализ удовлетворенности учащихся. Обычно данные по этому пункту собираются напрямую со студентов и учеников после проведения курса. В некоторых университетах практикуют оценивание качества преподавания. Но вы можете создать и собственный анонимный опросник, чтобы узнать, что стоит изменить или усилить в вашем курсе. 

Пример: анализируем задания на сложность

Представим, что вы провели в группе два-три теста примерно одного уровня сложности и хотите понять, можно ли усложнить и дать более заковыристые вопросы. Давайте посмотрим, что нам скажут цифры.

Возьмем гуманитарное направление – историю. 

Вы знаете о своих заданиях, что каждое из них – это определенный тип, который проверяет разные навыки и знания. Например:

• Задание 1 – проверка запоминания дат.
• Задание 2 – установление последовательности причины и следствий.
• Задание 3 – проверка терминологических знаний.
• Задание 4 – вставка недостающей информации в текст.
• Задание 5 – восстановление порядка событий.

В Классапере, например, есть возможность проанализировать отчеты по тестам и по заданиям. Щелкаем по иконке с “Отчет по прохождению тестов”. 

Далее мы можем анализировать либо прямо в интерфейсе Классапера или скачать статистику в формте xslx (эксель-таблица) или csv. И уже проводить анализ результатов используя электронные таблицы. Например Microsoft Excel или Google Sheets.

Здесь уже в зависимости от наших задач можем строить соответственные отчеты. Например успеваемость каждого ученика в процентах 

Помня о типе каждого задания, начинаем анализировать. На компьютере в экселе считаем среднее по каждому заданию и получаем: 

• Средний процент прохождения задания 1 = 76%. Значит, студенты справляются с ним стабильно, пусть и допускают ошибки в датировании. Задание адекватно их возможностям.
• Процент по заданию 2 = 59%. Стоит пересмотреть: что вызывает сложности у тех, кто получает не выше 50-60%. Возможно, будет полезно обсудить с группой. Проблема может быть как в непонимании причинно-следственных связей, так и в формулировке заданий.
• Процент по заданию 3 = 63%. Если с каждым новым тестом процент растет, значит, студенты лучше и лучше запоминают термины. Вы препод-молодец 😎
• Процент по заданию 4 = 83 %. Кажется, информацию учащиеся запоминают хорошо. Попробуем усложнить тексты и дать больше перифразов?
• Процент по заданию 5 = 75%. Как и в случае с заданием 3, это может стать показателем прогресса. Но! Обратите внимание, что четверо студентов не сделали ничего по этому заданию. Не хватило времени? Или же задание оказалось чересчур сложным?

❗ NB ❗ Однако с заданием 4 не всё так просто, как может показаться. Обратите внимание на тех учащихся, кто по другим вопросам набрал невысокий процент, но вдруг на задании 4 скакнул до 100%. Возможно, вы сделали дословный пересказ лекции или учебника в тексте задания. Возможно, дали недостаточное количество заданий внутри: обратите внимание, что разнообразие процентов – 100, 55, 38. Вероятно, стоит сбалансировать задание, чтобы уменьшить разрывы.

Вывод: усложнять тесты пока рановато, но стоит подумать об изменении формулировок заданий или о времени прохождения.

“И что мне делать с этими результатами и анализами?”

Учебная аналитика – огромная область в современном образовании. Есть отдельные специалисты, которые занимаются исключительно анализом учебных данных.

Но мы преподаватели, и нам интересно, как и что мы можем сделать. Ведь наша цель – повышение качества знаний.

📍 Обращайте внимание на повторяющиеся данные и паттерны. Постоянные ошибки в одном и том же вопросе от всех студентов или одинаковые ответы на какой-то вопрос, – всё это может указать на слабые места.

📍 Отмечайте, где учащиеся зависают. Тут вам поможет анализ времени на тестах, заданиях и иногда на страницах с самим материалом. 

📍 Следите за снижением качества успеваемости. Одно дело, если у одного конкретного учащегося проблемы. Но если все студенты или ученики вдруг пошли по наклонной – есть что-то за этим. Надо разобраться 🦸

📍 Аналитика – не только для преподавателя, но и для учащихся. Объясните вашим подопечным, что показывают разные параметры на платформе, и научите их обращаться внимание. Пусть ученики понимают, когда им трудно или легко, почему и как это отражается на их успеваемости. Осознанное отношение к обучению – это важный мягкий навык современного человека.

На что вы обращаете внимание при анализе обучения ваших учеников и студентов? Адаптируете ли вы материал, если видите негативные результаты учащихся? 📊

If you like this article you can share it on social media: