Заявка на систему тестирования





StartExam в коммерческих компаниях
Нажимая на кнопку "Отправить", Вы даете согласие на обработку персональных данных.
+7 495 665 50 83

Мастерство создания тестов

В уроке рассмотрены основополагающие приемы и правила для создания качественного теста и проведения оценки знаний. Урок отлично подойдет для новых авторов тестов, которые хотят разрабатывать педагогические тесты и использовать систему тестирования StartExam для проведения тестирования.

Тестирование как метод

Рассмотрим где и для чего может использоваться тестирование, какими преимуществами и недостатками оно обладает, как можно устранить недостатки и построить идеальную систему проверки и анализа.

Виды тестирования

Тестирование (от англ. test – опыт, проба) – метод измерения и диагностики, использующий стандартизированные задачи и определенную шкалу значений.

Тестирование имеет самые разнообразные формы и сферы применения. Например, для измерения индивидуально-психологических особенностей личности используется Психологическое тестирование.

В данном уроке речь пойдет о другом виде тестирования – Педагогическом тестировании, важнейшей задачей которого является оценка и контроль знаний человека. Педагогический тест имеет свои собственные методы и инструментарий и состоит из:

  1. Системы тестовых заданий.
  2. Стандартизованной процедуры проведения тестирования.
  3. Стандартизованной процедуры обработки и анализа результатов.

Длина теста – это количество тестовых заданий, предъявляемых участнику в тесте.

Педагогический тест бывает двух основных видов: традиционный и адаптивный.

  1. Традиционный тест. Имеет фиксированную длину теста. Каждое задание оценивается в определенное количество баллов. Итоговый результат зависит от количества заданий, выполненных правильно.
  2. Адаптивный тест. Длина теста зависит от ответов кандидата. Тест начинается с задания легкого или среднего по сложности. Ответивший правильно получает более трудный следующий вопрос; а неправильно – вопрос уменьшенной трудности. Процесс продолжается до тех пор, пока не будет определен уровень знаний кандидата.

На чем сфокусирована система тестирования StartExam

Система тестирования StartExam сфокусирована на применении традиционных педагогических тестов для контроля знаний в процессах профессиональной подготовки и отбора персонала, таких как:

  1. Обучение персонала (промежуточный и итоговый контроль знаний).
  2. Оценка знаний персонала.
  3. Оценка знаний кандидатов в процессе интервью.
  4. Сертификационное, квалификационное тестирование.

Система StartExam позволяет специалисту по предметной области сфокусироваться на создании системы тестовых заданий, а организатору тестирования – на анализе полученных результатов. Все рутинные, математические и специфичные задачи тестирования StartExam берет на себя.

Автоматизация и компьютеризация лучших методик тестирования позволяет бизнес пользователям решать задачи оценки персонала, используя новейшие достижения тестологии и информационных технологий и без дополнительных затрат времени или привлечений сторонних специалистов.

Функции тестирования

Тестирование выполняет три основные взаимосвязанные функции: диагностическую, обучающую и воспитательную:

  1. Диагностика
    Выявление уровня знаний, умений, навыков. Это основная и самая очевидная функция тестирования. По объективности, широте и скорости диагностирования, тестирование превосходит все остальные формы педагогического контроля.
  2. Обучение и мотивация
    Тестирование мотивирует к активизации работы по усвоению материала. Для усиления обучающей функции тестирования могут быть использованы дополнительные меры стимулирования: раздача примерного перечня вопросов для самостоятельной подготовки, наличие наводящих вопросов и подсказок, совместный разбор результатов теста.
  3. Дисциплина
    Периодичность и неизбежность тестового контроля дисциплинирует, организует и направляет деятельность, помогает выявить и устранить пробелы в знаниях, формирует стремление развить свои способности.

Преимущества тестирования

  1. Тестирование является более качественным и объективным способом оценивания, его объективность достигается путем стандартизации процедуры проведения, проверки показателей качества заданий и тестов целиком. Тесты логичны и непротиворечивы, интерпретация их однозначна, организация тестирования регламентирована.
  2. Тестирование – более справедливый метод, оно ставит всех учащихся в равные условия, как в процессе контроля, так и в процессе оценки, практически исключая субъективизм преподавателя. По данным английской ассоциации NEAB, занимающейся итоговой аттестацией учащихся Великобритании, тестирование позволяет снизить количество апелляций более чем в три раза, сделать процедуру оценивания одинаковой для всех учащихся вне зависимости от места проживания, типа и вида образовательного учреждения, в котором занимаются учащиеся.
  3. Тестирование имеет более широкий охват и может включать в себя задания по всем необходимым темам, в то время как устная оценка включает обычно 2-4 темы, а письменная – 3-5 тем. Это позволяет исключить элемент случайности при выборе оцениваемых тем. При помощи тестирования можно установить уровень знаний как по предмету в целом, так и по отдельным его разделам.
  4. Тест это более точный инструмент. Шкала оценивания теста из 20 вопросов состоит из 20 делений, в то время как обычная шкала оценки знаний – это четыре значения.
  5. Тестирование более оперативно и экономически эффективно. Основные затраты при тестировании приходятся на разработку качественного инструментария, то есть имеют разовый характер. Затраты же на проведение теста и контроль результатов значительно ниже, чем при письменном или устном контроле, особенно, с применением компьютерного тестирования. Проведение тестирования и контроль результатов в группе из 30 человек занимает полтора-два часа, а устная или письменная оценка — не менее четырёх часов.
  6. Тестирование – это более мягкий инструмент, он ставит всех участников в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению нервных напряжений участников.

Ограничения тестирования как метода и методы их устранения

  1. Разработка качественного тестового инструментария — длительный, трудоемкий и дорогостоящий процесс.
    Как устранить ограничение? Привлекайте для создания системы тестовых заданий профессионалов в предметной области. Перед созданием тестов дайте им задание изучить основные правила создания качественных тестов, например, на нашем сайте. Используйте для тестирования самый качественный инструментарий, например, систему StartExam. После проведения тестирования авторам необходимо провести доработку заданий по полученной статистике. Помните, что затраты на разработку качественных тестов имеют разовый и в основном временной характер.
  2. Данные, получаемые в результате тестирования, хотя и включают в себя информацию о пробелах в знаниях по конкретным разделам, но не позволяют судить о причинах этих пробелов.
    Как устранить ограничение? Одним из самых эффективных действий после тестирования является обсуждение результатов тестирования с участником. В процессе этого обсуждения руководитель, менеджер по найму или преподаватель может принять очень объективное и продуманное решение о дальнейших шагах и предоставить участнику столь необходимую обратную связь.
  3. Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания.
    Как устранить ограничение? Тестирование предназначено для контроля знаний, грамотности, основ предмета. В этом его сила. Не следует использовать инструмент тестирования для решения творческих и высокоуровневых задач.
  4. Широта охвата тем в тестировании имеет и обратную сторону. Участник тестирования, в отличие от устного или письменного ответа, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.
    Как устранить ограничение? Тестирование может быть дополнено устным или письменным ответом или обсуждением.
  5. Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внести изменения в тестовые задания по статистике предыдущего тестирования.
    Как устранить ограничение? Если Вы используете систему StartExam, создайте разумную избыточность тестовых заданий и включите случайную выборку в каждой секции теста. У каждого участника будет уникальный вариант теста. Делайте тест доступным только на официальное время проведения оценки. Логин и пароль для доступа к системе следует передать только автору и организатору теста.
  6. В тестировании присутствует элемент случайности. Например, кандидат, не ответивший на простой вопрос, может дать правильный ответ на более трудное задание. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.
    Как устранить ограничение? Пользуйтесь автоматизированными системами тестирования, такими как StartExam, которые учитывают эти процессы.

Композиция теста

Шаг 1. Напишите SMART-цель

Прежде всего, необходимо сформулировать цель, ради которой будет проводиться тестирование. Хорошо, если цель будет должна строиться на методике SMART.

Пример цели: Тест «Мастерство создания тестов» предназначен для всех новых пользователей и авторов StartExam и помогает создавать неравнодушным авторам качественные тесты, которые будут служить стратегическим задачам организаторов и участников тестирования. Тест проверяет знание принципов, описанных на нашем сайте, имеет шкалу «Высокий, средний, низкий» и отдельную оценку по каждому разделу для поиска пробелов в собственных знаниях. Тест доступен с 14 ноября 2011 года.

S (Specific) Конкретная Что будет измеряться? Кто будет участвовать в тестировании? Кто и как будет анализировать результаты?
Пояснения к примеру: Тест «Мастерство создания тестов» измеряет понимание основных правил и идей, изложенных в этом документе. Пройти тест должны все новые авторы тестов, предварительно прочитавшие данный документ. Результаты теста нужны только самим авторам, чтобы лучше запомнить материал и устранить пробелы в знаниях.
M (Measurable) Измеримая Какая шкала теста будет использоваться? Есть ли промежуточные цели?
Пояснения к примеру: Нужна шкала с уровнями «Высокий, средний, низкий» и отдельной оценкой по каждому отдельному разделу и с рекомендацией по повторному изучению разделов.
A (Ambitious) Амбициозная Какой истинной цели служит тест? Соотносится ли она со стратегическими или другими целями более высокого уровня?
Пояснения к примеру: Настоящая цель теста – помочь авторам создавать качественные тесты, которые будут служить стратегическим задачам организаторов и участников тестирования.
R (Realistic) Реалистичная Достижима ли цель, согласована ли она, обеспечена ли ресурсами? Цель не должна быть слишком простой или слишком сложной.
Пояснения к примеру: Цель, безусловно, достижима, если прохождению теста предшествует чтение основного материала. Также авторы должны быть мотивированы создавать качественный контент, иначе они потратят впустую свое время и время участников.
T (Time-bound) Определенная во времени Когда тест будет готов, когда будет проведено первое тестирование?
Пояснения к примеру: Тест должен быть готов к такому-то числу, такого-то месяца и года. Первое тестирование будет проведено тогда-то.

Шаг 2. Создайте тест

После того, как Вы записали SMART-цель, Вы можете приступить к работе в StartExam:

1. Создайте шкалу оценивания (Проекты -> Шкалы)
Шкала оценивания – это балльная или процентная градация результатов с названием каждого уровня, например:

Шкала оценки

2. Создайте Анкету для участников (Проекты -> Анкеты), включив в нее минимальные данные, которые Вам необходимо знать об участниках, например:

Данные участников тестирования

3. Создайте новый тест в Вашем проекте (Проекты –> Тесты), указав:

  1. Название теста
  2. SMART-цель в качестве описания теста
  3. Анкету (Тест -> Авторизация)
  4. Шкалу оценки (Тест -> Результаты)

Не тратьте время на настройки теста, которые Вам пока непонятны. К ним можно будет вернуться позже.

Шаг 3. Разработайте модель теста

В основе теста должна находиться адекватная модель измеряемых знаний. Перед тем как приступать к созданию тестовых заданий, потратьте немного времени и разработайте древовидную структуру разделов/тем по той области знаний, которую Вы будете контролировать.

Это чем-то похоже на Содержание книги в той предметной области, где будет проводиться тестирование.

В Системе StartExam перейдите в Контент теста и создавайте вложенные друг в друга секции теста (разделы). Степень вложенности секций определяется Вами, однако любые две секции, находящиеся рядом на одном уровне должны иметь схожую значимость и охват с точки зрения цели теста. При соблюдении этого правила Модель теста и сам тест будут выглядеть гармонично.

Далее, используя настройки секций в StartExam, укажите, какие секции должны перемешивать свои элементы, а какие - нет. Как правило:

  1. Если секция состоит из других секций (верхние уровни), ее содержимое, т.е. вложенные секции логично показывать по порядку.
    В этом случае именуйте подобные секции с номерами в начале (например, 01, 02, …), чтобы они показывались в нужном Вам порядке.
  2. Если секция будет состоять из тестовых заданий (нижние уровни), ее содержимое, т.е. тестовые задания логично перемешивать.
    В этом случае укажите сразу, сколько элементов должно выбираться. Это поможет увидеть, сколько необходимо разработать тестовых заданий по данной теме, а также поможет придать необходимый «вес» данному разделу в Вашей Модели.

Каждая секция может быть иметь один из следующих типов:

Название типа Название секции видно участникам в процессе тестирования и в результатах Могут ли задания данной секции перемешиваться с заданиями соседних секций Чаще всего это
Отдельная секция Да Нет Секции верхнего уровня
Невидимая секция Нет Нет Секции нижнего уровня
Зависимая секция Нет Да Фиктивные секции

В результате Вы должны получить продуманную модель, отражающую состав теста и состоящую из множества пустых секций нижнего уровня, которые теперь необходимо заполнить тестовыми заданиями.

Создание тестовых заданий

Подготовив SMART-цель и Модель теста, автору необходимо заполнить разделы теста необходимым числом тестовых заданий.

Шаг 4. Создайте тестовые задания

Первым шагом создания тестового задания является выбор целостного фрагмента знаний по предмету для оценки.

Далее автору необходимо определить, какой тип задания лучше всего подойдет для проверки этого элемента знаний. В Системе StartExam доступны следующие виды заданий:

  1. Единственный выбор
    В задании типа "Единственный выбор" испытуемому предлагается выбрать один ответ из нескольких предложенных вариантов.
  2. Множественный выбор
    В задании типа "Множественный выбор" испытуемому предлагается выбрать один или несколько ответов из предложенных вариантов.
  3. Сортировка
    В задании типа "Сортировка" испытуемому предлагается упорядочить предложенные варианты согласно некоторому критерию.
  4. Установление соответствия
    В задании типа "Установление соответствия" испытуемому предлагается установить соответствие между предложенными вариантами и имеющимися категориями.
  5. Текстовый ввод
    В задании типа "Текстовый ввод" испытуемому предлагается ответить на некоторый вопрос или ввести пропущенный текст.

Задания всех типов содержат саму формулировку – текст задания, которое может включать также условия и инструкции. Рекомендации:

  • Текст задания должен быть по возможности кратким. Чем короче, тем лучше!
  • Текст задания пишется как отдельное предложение, начинающееся с прописной буквы и со знаками препинания по всем правилам русского языка.
  • На первом этапе рекомендуется устанавливать всем заданиям дихотомическую оценку в качестве способа оценки результата. Это означает, что за полностью правильный ответ на задание участник получит 1 балл, а в любом другом случае – 0 баллов. Заметьте, что задания выбора и установления соответствия позволяют указать вес (балл) за частичное выполнение задания, тем не менее, применять данный функционал на первом этапе не следует.

Далее приведены дополнительные рекомендации по различным типам тестовых заданий.

Задания типа Единственный и Множественный Выбор

  • Идеальное задание на выбор ответа представляет собой часть утвердительного предложения, а не вопрос. Предлагаемые варианты ответов дополняют его до полного утвердительного предложения.
  • Варианты ответов должны быть, по возможности, короткими. Типичная ошибка разработчиков тестовых заданий состоит в том, что они оставляют в задании избыточную информацию. Более краткие формулировки основы задания и вариантов ответов делают задание обозримым без потери его сути.
  • Следует избегать повторов одних и тех же слов в вариантах ответов. Повторяющиеся слова из ответов рекомендуется выносить в основу задания. Чем короче ответы, тем яснее логика.
  • Следует избегать применения малопонятных, редко употребляемых слов, а также неизвестных символов, иностранных слов, затрудняющих восприятие смысла.
  • Неправильные варианты ответов (дистракторы, от англ. to distract - отвлекать) оказывают большое влияние на качество задания. В хорошо составленном задании правильные и неправильные ответы выбираются с равной вероятностью испытуемыми, плохо знакомыми с предметом. Оптимальное количество неправильных ответов – от трех до четырех. Меньшее число повышает вероятность угадывания, большее – делает задание трудным для восприятия.
  • Все варианты ответов, по возможности, должны быть равны по длине – количеству слов. Типичной ошибкой является составление задания, в котором правильный вариант ответа имеют большую длину, чем неправильные.
  • Следует исключить применение таких вариантов ответа, как «правильного ответа нет», «все ответы правильные» или «все ответы неправильные». Ответы к заданиям не должны представляться в форме «да» или «нет», «верно» или «неверно». Подсказка: если у вас уже имеется задание с такими вариантами ответов, попробуйте его переформулировать.
  • Необходимо установить настройку «Перемешивать варианты ответов» для тех заданий, где порядок отображения вариантов ответов не имеет значения и логики.
  • Необходимо установить настройку «Не перемешивать варианты ответов» для тех заданий, где порядок отображения вариантов ответов имеет логику и облегчает восприятие (например, когда варианты ответов начинаются с дат или чисел).

Задания типа Сортировка

  • Автору следует расположить варианты ответов в правильном порядке, а их перемешиванием займется система в процессе выдачи теста.
  • Тест задания можно начинать со слов «Расположите по возрастанию (убыванию) …». Участники должны сразу понимать суть задания и направление сортировки.
  • Текст вариантов ответа должен быть максимально кратким.

Задания типа Установление соответствия

  • Участник должен поставить в соответствие элементы двух множеств: категории и варианты ответов. В подобных заданиях проверяются ассоциативные знания, то есть знания о связи формы и содержания, сущности и явления, о соотношении между различными предметами, свойствами, законами.
  • Тест задания можно начинать со слов «Установите соответствие между …».
  • Текст у категорий и вариантов должен быть максимально кратким.

Задания типа Текстовый ввод

  • Испытуемый должен сам написать свой ответ в отведенном для этого месте так, чтобы в результате получилось истинное высказывание.
  • Дополняющее слово или словосочетание лучше ставить в конце.
  • Желательно, чтобы ответ нужно было ввести в именительном падеже.
  • В тексте задания не следует использовать отрицательных частиц.
  • Часто оказывается, что задание открытой формы порождает несколько правильных ответов, что необходимо предусмотреть составителю тестового задания и записать все правильные варианты ответов.

Проверка теста

Шаг 5. Завершите настройку теста

После того, как тестовые задания созданы, следует завершить настройку теста на странице редактирования в системе StartExam:

  1. Подсчитать длину теста (количество тестовых заданий) на закладке Содержание. Для корректировки длины теста необходимо перенастроить количество выбираемых заданий в секциях теста или доработать Модель теста.
  2. Ограничить время теста в минутах. Помните, что на чтение и выполнение одного задания требуется 30-90 секунд.
  3. Установить порядок выполнения заданий (это не связано с перемешиванием заданий):
    • Произвольный порядок – позволяет участникам свободно перемещаться между заданиями теста и выполнять их в любом порядке.
    • Линейный порядок – требует выполнения заданий строго по порядку предъявления.
  4. Разрешить или не разрешать пропускать задания (оставлять их без ответа).
  5. Разрешить или не разрешать оставлять комментарии к заданиям (хорошо для пробного тестирования).
  6. Установить настройки закладки Интерфейс.
  7. Указать измеряемый показатель и правила отображения результатов теста.
  8. Опубликовать тест.

Шаг 6. Проведите тестирование в фокус группе

Важным шагом после создания теста является проведение тестирования в небольшой фокус группе. Проведите тестирование, обсудите результаты с участниками, оцените полученные данные:

  • адекватен ли тест поставленной цели;
  • дает ли тест распределение участников по уровням;
  • соответствует ли полученное распределение реальному знанию предмета участниками;
  • согласны ли участники с используемой Моделью теста, шкалой результатов, временем тестирования, количеством заданий, общей трудностью теста и т.д.;
  • какие тестовые задания точно нуждаются в доработке.

Шаг 7. Анализируйте статистику тестовых заданий

Важнейшим шагом анализа качества теста является анализ и корректировка тестовых заданий на основе полученной статистики. В Системе StartExam Вы можете увидеть в Деталях каждого задания, сколько раз оно было выполнено или пропущено, процент верных ответов, мнения участников.

Простейшие рекомендации:

  • Статистка верных и неверных ответов – это единственный достоверный способ определить трудность тестового задания (а не экспертное мнение).
  • Исключайте (корректируйте) задания, на которые дано меньше 20-30% правильных ответов как слишком трудные.
  • Исключайте (корректируйте) задания, на которые дано более 80-90% правильных ответов как слишком легкие.
  • Прислушивайтесь к мнению участников, но оставайтесь объективны.
  • На первом этапе не меняйте автоматические настройки статусов и версий задания, предлагаемые системой StartExam. Система автоматически предложит создать новую версию задания, если по нему есть результаты. Это позволит в будущем сравнить статистику по разным версиям задания. Система автоматически предложит отредактировать текущую версию, если по ней еще нет результатов.

Шаг 8. Актуализируйте тест

Благодаря предыдущим шагам Вы уже проделали самую трудную работу и создали качественный тест, готовый для использования! Однако помните, что для поддержания высокого качества теста необходимо периодически (раз в несколько месяцев или раз в год):

  • Актуализировать Модель теста. Из-за появления новых подходов и знаний, старые знания устаревают. Это необходимо учитывать и периодически обновлять тест, смело добавляя новые разделы и удаляя старые.
  • Корректировать задания по статистике. Чем больше статистики накапливается по заданию, тем яснее момент, когда его необходимо скорректировать.
  • Создавать новые задания. Чтобы участники не привыкали к одним и тем же тестовым заданиям, периодически добавляйте новые задания в существующие разделы, тем самым поддерживая избыточность тестовых заданий при неизменной длине теста.
  • Создавать фасетные задания - группы из нескольких заданий проверяющих один и тот же элемент знаний, причем одному участнику может быть показано только одно задание из фасетов. Фасетные задания могут иметь разный тип или быть зеркальным отражением друг друга. Чтобы добавить к существующему заданию фасеты в StartExam:
    • Создайте на том же уровне, что и задание, новую секцию с названием, соответствующем проверяемому знанию, установите тип секции «Невидимая» и ограничьте выборку 1 элементом.
    • Переместите задание в созданную секцию.
    • Добавьте в ту же секцию новые задания-фасеты, проверяющие тот же самый элемент знаний. Участнику будет показано только одно из заданий, а количество вариантов теста увеличится.
  • Обсуждать с участниками результаты теста для определения моментов, нуждающихся в улучшении, переработке. Помните, что тест должен соответствовать цели которую Вы определили и служить стратегическим задачам вашей организации и самих участников!

Рекомендуем пройти тест по этому уроку и оценить насколько хорошо Вы ее усвоили.

Желаем удачи! Создавайте ценные тесты!
Команда StartExam

Узнайте больше о системе тестирования

Мастерство создания тестов

Поздравляем!

Вы начали изучать систему тестирования StartExam. Продолжайте изучение и получите преимущество перед конкурентами.

Обзор возможностей системы тестирования

Урок 2. Обзор системы тестирования

Изучите основы работы с системой, создайте небольшой тест с несколькими заданиями и проведите первое тестирование.