Насколько надежны и точны ваши онлайн-тесты?

Наверняка, приложив усилия по разработке теста, вы хотите, чтобы он был точным и измерял верно те знания и навыки, которые ученики получили, обучаясь у вас.

Но важно понимать, что:

• ваш тест не может оценить все содержание курса
• возможно, вы проверили с его помощью наименее значимый контент
• наиболее важным аспектом обучения на рабочем месте обычно является применение знаний в реальном мире. Проверка знаний в искусственной среде имеет свои ограничения

Чтобы сделать ваши тесты более точными показателями качественного и осмысленного обучения, необходимо учитывать 2 критерия эффективных тестов: валидность и надежность.

Валидность (достоверность) тестов 

Давайте сначала определим, что же такое валидность тестов. Это соответствие методик и результатов оценивания поставленным задачам, т.е. насколько ваш тест измеряет то, что он должен измерять.

В электронном обучении важно сосредоточить внимание на том, насколько ваш тест лучше всего представляет интересующий контент. Поскольку вы хотите, чтобы тест точно оценивал знания и навыки (насколько это возможно), вопросы должны соответствовать наиболее важным целям обучения или действиям.

Как взвесить учебные цели/действия

Один из способов добиться большей достоверности – взвесить цели, чтобы убедиться, что вы тестируете наиболее важный контент. 

Вот достаточно быстрый способ сделать это:

1. Просмотрите цели курса, чтобы помнить про них
2. Создайте схему, чтобы определить ценность каждой учебной цели или действия
3. Оцените каждую цель/действие с точки зрения ее важности для работы учащегося, сложности и частоты, с которой она встречается в курсе. Например, по 5 или 10 бальной шкале
4. Затем суммируйте баллы
5. Цели с низким баллом имеют низкий приоритет и не будут проверяться; цели с наивысшими баллами будут проверены. Примечание: если курс вы еще не разработали, подумайте о том, чтобы полностью исключить из него элементы с низкими баллами

Другие способы повысить валидность онлайн-тестов

1. Задания теста должны соответствовать высокоприоритетным целям обучения
2. Разработайте тестовые задания, которые измеряют применение знаний, как в заданиях на основе сценария
3. Поручите эксперту, который понимает, какие навыки требуются на рабочем месте, ознакомиться с тестовыми заданиями
4. Попросите нескольких представителей вашей целевой аудитории прочитать вопросы теста, чтобы убедиться, что они сформулированы четко и понятно
5. Дорабатывайте тест, отслеживая успеваемость учащихся. Пересмотрите вопросы, которые вызывают затруднения, или внесите изменения в контент курса

Надежность теста

Надежность – это попытка свести к минимуму случайные ошибки и погрешности, возникающие во всех тестах. 

Способ уменьшить погрешности – сделать тест последовательным и согласованным. Надежный тест имеет несколько вариаций внутри себя и со временем дает аналогичные результаты.

Приведем пример. Если вы взвешиваетесь каждый день и ваш вес достаточно постоянен, вы считаете весы надежными. Если весы изо дня в день показывают совершенно разные цифры, вы не будете считать эти показатели надежными.

Если мы говорим про электронное обучение, то онлайн-тест с высокой степенью надежности будет более точно измерять знания и навыки учащегося, чем тест с низкой надежностью.

Надежность теста отвечает за вопрос: «В какой степени тест соответствует тому, что он измеряет?»

Что делает тест последовательным и согласованным?

Надежный тест будет иметь определенную степень согласованности, о чем свидетельствуют следующие характеристики:

• Тестовые задания кажутся похожими или тесно связанными. Тест представляет  единое целое
• Нет больших скачков в сложности, формулировке и тоне. Должно создаваться впечатление, что тест составлял один человек
• Если бы тест проводился в аналогичных группах, вы бы увидели сходство в оценках во всех группах
• Тест достаточно длинный, чтобы оценить знания ученика. На очень короткие тесты больше влияет «фактор удачи»

Как повысить надежность теста?

• Убедитесь, что тест измеряет связанный контент. Избегайте создания одного теста для нескольких различных курсов
• Убедитесь, что условия тестирования одинаковы для каждого учащегося. Например, если ваше программное обеспечение для тестирования хорошо отображается в конкретном браузере, то обязательно используйте этот браузер
• Добавьте больше вопросов в тест. Более длительный тест будет более надежным
• Формулируйте вопросы очень четко, чтобы никакие другие интерпретации не были возможны
• Напишите инструкции по тестированию так, чтобы их было легко понять
• Убедитесь, что варианты ответов явно отличаются друг от друга и что неправильные из них на 100% неверны
• По возможности создавайте тестовые задания аналогичной сложности
• Дважды протестируйте участников одной и той же группы, в идеале с разницей в месяц. Если распределение баллов аналогично, тест, скорее всего, будет надежным. Если оценки сильно различаются, улучшите вопросы, в которых было расхождение. Учтите, что баллы по второму тесту могут быть немного выше

Отношение надежности и валидности

Надежный тест не обязательно является валидным. Тест может быть последовательным и согласованным (надежным), но не измерять точно то, что по вашему мнению должен измерять (быть валидным).

Учитывая рекомендации, данные выше, вы сможете создать точные и надежные тесты, которые помогут эффективно измерить результаты, полученные знания и навыки  ваших учеников.