Максим Скрябин

Тестирование в электронных курсах

12 октября 2013 г.

Когда-то электронные курсы представляли собой громоздкий электронный учебник, который заканчивался не менее громоздким тестом. И даже когда я спрашивал, чем отличается электронный курс от электронного учебника, то мне отвечали, что наличием теста в конце.

Прошло время. И громоздких «монстров» теперь не увидишь, и электронные курсы стали другими. Однако все равно попадаются (но уже относительно небольшие) электронные курсы формата «контент тест». И вот изучаешь такой курс, а в конце курса проходишь тест и видишь итоговую надпись: «Вы ответили верно на 7 вопросов из 12 (58,3%)». Что это значит? Получил ли я «зачет» по курсу или нет? И почему?

На самом деле, число правильных ответов (сырой балл) не значит ничего! Мы в этом случае не учитываем ни сложность тестовых заданий, ни связь заданий с целями обучения и тестирования, ни согласованность заданий между собой. И использовать сырой балл в целях измерения это все равно, что использовать линейку с неизвестными делениями.

Я часто сталкивался с мифом о простоте разработки тестов: «А давайте быстренько сделаем тест и вставим его в конец электронного курса!» Но быстренько не получится. И дело не только в том, что создать много тестовых заданий требует времени. Дело в том, что это лишь один из первых шагов при разработке тестов. Если тесты используются как инструмент измерения (речь сейчас идет о тестах достижений, которые направлены на оценку достигнутого уровня знаний, умений и навыков), то необходимо производить стандартизацию теста и рассчитывать различные характеристики теста и тестовых заданий. Процедура эта достаточно затратная по ресурсам, и ее нужно повторить, как минимум, дважды (апробация теста и непосредственно сама стандартизация).

Однако существует и другой способ использовать тесты в электронных курсах, а именно в качестве учебной активности. Это тесты для самопроверки, основное назначение которых дать учащемуся обратную связь (немедленную или отложенную). Для того чтобы обеспечить обучающий эффект, обратная связь в таких тестах должна быть развернутой: почему ответ учащегося верен или неверен. И, конечно же, никаких цифр и процентов правильных ответов: зачем учащегося вводить в заблуждение в виде «ложного оценивания»?

Для того чтобы лучше почувствовать разницу между двумя видами тестов (а точнее, между двумя подходами к использованию тестов), приведу следующую таблицу.

 

Тест как инструмент измерения
(тесты достижений)

Тест как учебная активность
(тесты для самопроверки)

Измерение характеристик

Обратная связь учащемуся

Объективны (стандартизованы)

Субъективны

Более стрессовые

Менее стрессовые

По форме (чаще всего):

один правильный вариант из многих

Разнообразная форма, главное, обеспечить развернутую обратную связь

Обучающий эффект не желателен

Ярко выраженный обучающий эффект

Примеры:

Измерение «до» и «после», измерение сдвига от обучения для внешних отчетов

Итоговая оценка, аттестация

Примеры:

Измерение сдвига от обучения в «глазах учащегося»

Указать на сделанную учащимся ошибку



В заключение приведу несколько рекомендаций.

  • Различайте приведенные два вида тестов, не подменяйте один вид другим.
  • Если вы разрабатываете тесты достижений самостоятельно, то обязательно проводите стандартизацию; недостаточно только составить сами тестовые задания.
  • Если закупаете тесты достижений у внешних провайдеров, спрашивайте паспорт теста (который содержит информацию о стандартизации и много другой полезной информации).
  • И подумайте, стоит ли измерять результаты обучения с помощью тестов. Есть и другие способы.




Комментарии (4)
 
 

Рейтинг 100
От Вахид Хамидов, 13 октября 2013 г. в 07:48
Спасибо!
ссылка на это сообщение
 
 
 

Рейтинг 200
От Максим Скрябин, 13 октября 2013 г. в 08:38
Не за что. Если есть вопросы, буду рад ответить. :)
ссылка на это сообщение
 
 
 

Рейтинг 466
От Вячеслав Лебсак, 9 ноября 2013 г. в 15:13, изменено в 15:17
Максим, я тоже много думаю на эту тему и экспериментирую методом «проб и ошибок». На настоящий момент я нахожусь на следующем уровне.
1. Для студентов и повышающих квалификацию тесты должны учитывать возрастные особенности их психологии (педагогика и андрагогика). Пример: студенты боятся неизвестного, а «взрослые» «потерять лицо».
2. И «тесты достижений», и «тесты самопроверки» носят «обучающий эффект».
3. Из триады «знать-понимать-уметь» тесты могут обеспечить только «знать-понимать». «Уметь» обеспечивают только «упражнения» (задачи, дискуссии, «тренажёры» и, наконец, проекты).
И это только «грубая обработка» рассматриваемой проблемы. При чистовой обработке нужно учитывать массу «нюансов».
К сожалению, многие платформы для курсов из разряда МООС не позволяют разместить разработанные мной «тесты самопроверки». Для них нужно создавать специальные «тренажёры».
ссылка на это сообщение  уже поддержал 1 участник
 
 
 

Рейтинг 200
От Максим Скрябин, 26 декабря 2013 г. в 21:34
Добрый вечер!

Простите, похоже, пропустил Ваш комментарий. Отвечу с позиции, на каком уровне нахожусь я сам.

1. Для студентов и повышающих квалификацию тесты должны учитывать возрастные
особенности их психологии (педагогика и андрагогика). Пример: студенты боятся
неизвестного, а «взрослые» «потерять лицо».

Любая учебная активность должна учитывать возрастные особенности учащихся (а также культурные различия и т.п.). Чем более разнообразная целевая группа, тем больше особенностей нужно учитывать. Однако Ваш пример мне кажется слишком общим. И даже если предположить, что это действительно так, то как это влияет на результаты тестирования?

2. И «тесты достижений», и «тесты самопроверки» носят «обучающий эффект».

Тесты достижений носят, скорее, мотивирующий эффект, т.е. заставляют к ним готовиться, как и к любому экзамену. Если у них сильный обучающий эффект (например, в них можно разместить подсказки), то, скорее всего, измерительные способности не очень хорошие. Также обучающий эффект может быть в рефлексии учащегося относительно результатов тестирования но это не характеристика самого теста. :)

3. Из триады «знать-понимать-уметь» тесты могут обеспечить только
«знать-понимать». «Уметь» обеспечивают только «упражнения» (задачи, дискуссии,
«тренажёры» и, наконец, проекты).

Почему только «знать-понимать»? «Уметь» могут обеспечиваться такими тестовыми заданиями, в которых необходимо ввести правильный ответ решение задачи (особенно хорошо для задач из формальной области, в которых ответ если и не единственный, то точно определяется несколько ответов). При желании, могу привести пример заданий и мы обсудим, что обеспечивают.

И это только «грубая обработка» рассматриваемой проблемы. При чистовой
обработке нужно учитывать массу «нюансов».

Какие именно «нюансы» Вы имеете в виду?

К сожалению, многие платформы для курсов из разряда МООС не позволяют
разместить разработанные мной «тесты самопроверки». Для них нужно создавать
специальные «тренажёры».

Я не большой фанат МООС (или, скорее, большой нефанат:) ). Скорее, фанат специальных платформ. Так что не вижу здесь противоречия. ;)
ссылка на это сообщение
 
 

Цитатник

Всего 0 цитат из статьи и её обсуждения.
 

©  www.e-learning.by
: el-info (at) e-learning by Пишите письма!: el-info (at) e-learning by