Итоговое оценивание: от тестов до академических рубрик

образовательный процесс
планирование занятия
оценка
таксономия Блума
Дата публикации

26 февраля 2023 г.

Продолжаю конспектировать интересную книгу Teaching and Learning STEM. В этот раз коснулся темы итогового оценивания. В предыдущих постах можно почитать о том с чего можно начать планирование занятия и о том как использовать методы активного обучения.

Тесты

С помощью тестов с открытыми вопросами и вопросами с множественным выбором можно проверить не только способность вспомнить изученное, но и понимание. Чтобы сформулировать такие вопросы, стоит снова обратиться к таксономии Блума.

Вопросы с множественным выбором

Вопросы этого типа чаще всего встречаются в тестах. Их легко оценивать, но не так просто составить хорошие вопросы и подобрать варианты ответов к ним. Вот как формулируются вопросы исходя из разных уровней таксономии Блума.

Уровень 1 - Запоминание. Задаём вопрос, ответ на который может быть только один. Определяем, знает ли учащийся о явлении, определение термина.

Какая алгоритмическая конструкция используется для многократного повторения команд?

  1. Цикл
  2. Условие
  3. Следование

Уровень 2 - Понимание. Предоставим учащему несколько альтернативных объяснений явления или формулировок определения термина и попросим выбрать наилучший из предложенных вариантов.

Программа выдаёт следующее сообщение об ошибке, после обработки одномерного массива: индекс вышел за пределы допустимого диапазона. Почему возникла эта ошибка?

  1. В массиве слишком мало элементов.
  2. Переменная цикла стала больше количества элементов массива.
  3. Массив не содержит элементов.

Уровень 3 - Применение. Формулируем задачу и просим учащегося выбрать вариант с правильным решением, корректным методом её решения или первым шагом решения.

Уровень 4 - Анализ. Описываем систему и просим предсказать её поведение, или описываем поведение системы и просим выбрать правильную причину такого поведения системы.

Какое сообщение об ошибке возникнет после выполнения данной программы на языке Python:

a = "Строка"
for i in range(10):
    print(a[i])
  1. IndexError: string index out of range
  2. NameError: name ‘a’ is not defined
  3. IndentationError: unindent does not match any outer indentation level

Уровень 5 - Оценивание. Опишем ситуацию, в которой нужно принять решение и попросим выбрать наилучший вариант. Или выбрать объяснение, почему было принято указанное в вопросе решение.

Коле нужно выбрать алгоритм поиска. Массив, в котором будет происходить поиск выглядит следующим образом:

mas = [1, 2, 4, 5, 6, 11, 23, 45]

Коля выбрал алгоритм бинарного поиска. Объясните, почему?

  1. Это самый быстрый алгоритм поиска среди всех возможных.
  2. Алгоритм хорошо работает для упорядоченных значений.
  3. Остальные алгоритмы плохо работают с числовым типом данных.

Уровень 6 - Создание. С помощью тестов не получится оценить умение создавать что-то новое.

Вот список рекомендаций, которые могут быть полезны.

  • Текст вопроса и ответов не должен быть слишком длинным.
  • Дистракторы1 должны выглядеть правдоподобно, не отличаться по структуре и длине от правильных ответов. Правильный ответ всегда должен находиться в случайной позиции.
  • Постараться избегать отрицательных частиц и, тем более, двойного отрицания. Например вопрос Что из перечисленного не будет ложным высказыванием? точно вызовет недоумение учащихся. А чтобы добить их окончательно, можно добавить ответ Ничего из перечисленного.
  • Для одной иллюстрации, таблицы, диаграммы или программы можно подготовить несколько идущих друг за другом вопросов.
  • Готовый тест обязательно нужно попробовать пройти самому или дать доступ коллеге. Взгляд со стороны будет полезен.

Если тест планируется использовать многократно, после большого количества завершённых попыток, нужно провести анализ вопросов. Для проведения анализа сравниваются результаты учащихся с самыми высокими и самыми низкими баллами. Стоит обратить внимание на слишком простые вопросы (почти все ответят на них правильно), слишком сложные вопросы (почти никто не ответит на них правильно, включая учащихся с высокими баллами) и вопросы с низким коэффициентом дискриминации (группа учащихся с высокими баллами отвечают на такие вопросы хуже, чем группа с низкими баллами).

Концепт-тесты и борьба с заблуждениями

Концептуальное понимание изучаемых явлений имеет большое значение в естественных науках. С фундаментальных понятий и представлений начинается изучение темы и уже потом происходит переход к заучиванию определений, формул и способов решения задач2. Важно проверять, обладают ли учащиеся концептуальным пониманием изучаемых явлений и предметов, нет ли у них сформированных или устоявшихся заблуждений.

Например, есть крупные публикации в которых подробно изучаются такие недопонимания и заблуждения, которые появляются при обучении программированию и алгоритмизации. Вот пример такого неверного представления:

Присваиваемые значения не копируются, а перемещаются. Т.е. после операции a = b в переменной b будет пустое значение.

Таким ложным представлениям будет посвящена своя статья. А сейчас нужно решить, каким образом увеличить концептуальное понимание изучаемого предмета, а также избавится от заблуждений.

Первый вариант - задания, выполнение которых невозможно без понимания изученного:

  • Дайте определение … своими словами.
  • Спрогнозируйте поведение [системы, устройства] в следующих условиях: …
  • Проведите мозговой штурм причин некорректной работы [системы, устройства].

Чтобы бороться с имеющимися заблуждениями, можно следовать такому плану:

  1. Определить, какое заблуждение существуют у учащихся;
  2. Попросить учащихся обосновать свою правоту;
  3. Показать пример или демонстрацию, которая не вписывается в озвученное объяснение;
  4. Предоставить корректную, обоснованную интерпретацию для этого примера или демонстрации.

В случае с программированием может быть достаточно показать фрагмент кода, вызвавший затруднения, попросить предсказать результат его работы, выполнить его и объяснить, почему результат отличается от того, что ожидали учащиеся.

Ещё одна методика, предназначенная для борьбы с заблуждениями и некорректным пониманием - взаимное обучение.

Оценивание отчётов и презентаций

С помощью теста не получится оценить отчёт по лабораторной, устную или письменную презентацию проекта или публикацию. В случае с подобными отчётами велика вероятность субъективной оценки. По этому нужны формы оценки, которые будут следовать четырём принципам:

  • Достоверность. На оценку влияет только то, насколько хорошо учащийся справился с задачей. Предыдущие оценки или личные качества не должны влиять на оценку.
  • Постоянство. Результат учебной деятельности будет оценён двумя независимыми преподавателями приблизительно одинаково.
  • Справедливость. Учащиеся имели возможность получить необходимые компетенции, а также знали заранее критерии оценки их работы.
  • Эффективность. Преподаватель может оценить работы и дать конструктивные комментарии не тратя большое количество времени и усилий.

Чтобы следовать перечисленным принципам нужно чётко сформулировать критерии оценки. Сделать это бывает не просто. Есть соблазн сказать себе “Сразу ясно, какая работа хорошая, а какая - плохая, пойму, когда увижу”. Но такой подход ничем не поможет учащимся.

В таком случае для оценивания можно использовать две формы - чек-листы и академические рубрики.

Чек-листы

В простейшем варианте чек-лист содержит список критериев оценки, максимальный балл по каждому критерию и полученный балл. Критерии могут вносить разный вклад в итоговую отметку. На рисунке показан пример чек-листа для оценки проекта, в котором учащимся нужно разработать мобильное приложение:

Чек-лист оценивания проекта

Чек-лист оценивания проекта

Академические рубрики

Рубрика, как и чек-лист, содержит список критериев оценивания. Но каждый критерий оценивается по дискретной 3-х, 4-х или 5-ти бальной шкале. Каждый балл сопровождается своим описанием. В следующем примере показана рубрика для оценивания Scratch-проекта:

Рубрика для оценивания Scratch-проекта

Рубрика для оценивания Scratch-проекта

В этой форме есть колонка с весом категории. В случае с проектами было важно оценить алгоритм решения, поэтому бал в категории Скрипты больше влияет на итоговую отметку, чем стилистическое оформление и презентация проекта. Если приоритеты оценивания поменяются, рубрику можно адаптировать, изменив вес категории.

Развитие навыков через оценивание

Теперь критерии оценивания приняли осязаемый вид. Осталось ознакомить с ними учащихся. Один из способов - дать им возможность применить эти критерии оценивания на практике. Работу можно построить по следующему плану:

  1. Нужно найти или создать несколько образцов готовых отчётов или проектов. Эти образцы должны плохо соответствовать критериям оценивания и демонстрировать те ошибки, которые могут допустить учащиеся: технические огрехи, плохое визуальное оформление и т.д.
  2. На занятии, перед тем как начать работу над собственными проектами учащиеся объединяются в пары и получают три листка с формой оценивания. Преподаватель даёт краткие пояснения по критериям оценивания.
  3. Учащиеся индивидуально оценивают предоставленную работу. Затем обсуждают полученные отметки и выставляют их в третью форму.
  4. Выставленные отметки обсуждаются всей аудиторией. Преподаватель озвучивает свою отметку для предоставленного проекта. Если она кардинально отличается от отметки учащихся, нужно разобраться почему и обсудить этот вопрос.

Процедуру можно адаптировать и для оценки устных выступлений. Учащимся демонстрируется видео или преподаватель сам выступает с презентацией. Как и в предыдущем задании, презентация должна содержать ошибки: дословное чтение с бумажки, отсутствие зрительного контакта с аудиторией, нечитаемый текст на слайде и т.д. После этого учащиеся в парах оценивают презентацию с помощью предоставленной формы.

Когда будет готов черновой вариант собственных отчётов или презентаций, перед оцениваем преподавателем, стоит дать учащимся возможность оценить работы друг-друга. Работая в парах, они презентуют друг-другу свои наработки. Оценивая чужую работу, они непроизвольно подметят неточности и в своей, посмотрят на другие возможные подходы к решению задачи.

Некоторые из советов уже использовал в своей работе, некоторые только предстоит применить на практике. В любом случае тяжело быть объективным, когда оцениваешь чужую работу. Чётко прописав критерии хорошей работы и ознакомив с ними своих учеников, добиться объективности проще.

Сноски

  1. Умное название для неправильных ответов. От англ. distract - отвлекать.↩︎

  2. Речь, конечно, не о буквальном заучивании без понимания.↩︎