Разработка банков тестовых заданий: Методические рекомендации. Виды тестовых заданий, которые можно использовать для оценки знаний учеников и студентов. Как правильно сформулировать тестовые задания

Установите соответствие между терминами из левой колонки (функции правовой культуры) с положениями из правой ко­лонки. К каждой позиции, данной в первом столбце, подберите соответствующую позицию во втором столбце.

Правильный ответ: А – 1, В – 2, Б – 3.

Критерии оценки:

Не установлено ни одного соответствия- – 0 баллов

Установлено одно соответствие – 1 б.

Установлено 2 соответствия – 2 б.

Установлено 3 соответствия – 3 б.

2. Типовое задание для оценивания результатов сформированности компетенции ОК-2 на уровне «Уметь» (решать типичные задачи на основе воспроизведения стандартных алгоритмов решения):

Используя знания в области основ правовой культуры, составьте развернутый план публичного выступления на тему: «Особенности формирования правосознания будущего сотрудника таможенных органов».

Критерии оценивания плана

3. Типовое задание для оценивания результатов сформированности ОК-2 на уровне «Владеть» (решать усложненные задачи на основе приобретенных знаний, умений и навыков, и их применением в нетипичных ситуациях, формируется в процессе практической деятельности).

Подготовьте презентацию, выбрав одну из предложенных тем:

1. Таможенник – представитель Российской Федерации

2. Этические нормы и принципы деятельности таможенных органов

3. Политическая нейтральность как необходимая составляющая характеристики современного таможенника.

Приложение 3

Формы тестовых заданий (с вариантами представления ответов)

И требования по их составлению

Тестовые задания могут быть четырех типов:

1. Закрытое тестовое задание

2. Открытое тестовое задание

3. Тестовое задание на установление соответствия

4. Тестовое задание на установление правильной последовательности

1.ЗАКРЫТОЕ ТЕСТОВОЕ ЗАДАНИЕ – это задание на выбор правильного ответа (одного или нескольких) из предложенных вариантов. Задание формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из вариантов ответа.

· Задание формулируется предельно кратко (не более 250 символов, т.е. примерно четырех строк экранного текста). Каждый ответ в тестовом задании открытого типа должен содержать не более двух-трех строк экранного текста. Все ответы к одному заданию должны быть приблизительно одной длины.

Закрытое тестовое задание с одним вариантом ответа:

Фиксированная дань была установлена при …

а) князе Олеге

б) князе Игоре

В) княгине Ольге

г) князе Владимире

Закрытое тестовое задание с несколькими вариантами ответа:

Угроза русским землям в XIII в. исходила от …

а) Византии

б) Хазарии

В) немецких рыцарей

Г) шведских рыцарей

· Из текста задания необходимо исключать все ассоциации, способствующие выбору правильного ответа с помощью догадки.

· Тестовые задания закрытой формы должны содержать 3–10 (оптимально 4–6) вариантов ответов на каждый вопрос, в т.ч. минимум один правильный и минимум один ошибочный.

· Правильные варианты ответов на задания составитель теста должен выделить жирным шрифтом.

· Среди предложенных вариантов ответа может быть как один, так и несколько верных. Отсутствие верного ответа, как и отсутствие ошибочного – недопустимо.

· Тестовое задание не должно содержать повторов, двойных отрицаний и сленга, а также глаголов повелительного наклонения («выберите», «вычислите», «укажите» и т.д.).

· «… не …» (отрицательная форма) заменяется на «Неверно, что …» (утвердительная форма):

Неверно, что первой женщиной-космонавтом была …

а) В. Терешкова

Б) Е. Кондакова

В) С. Савицкая

Г) С. Райд

· Не допускается использование вариантов ответа: «все выше перечисленное верно» «верны варианты а), б) и в)», «все ответы верные» и «нет правильного ответа», так как подобные словосочетания невозможно подставить в текст задания.

· Нельзя начинать тестовое задание фразой типа «Из перечисленного ниже …», так как в этом случае невозможно с помощью подстановки ответа превратить текст задания в законченное утверждение.

· При составлении тестовых заданий следует избегать вводных фраз или предложений, имеющих мало связи с основной мыслью.

· Неправильные ответы должны быть умело подобраны, не должно быть очевидности их ошибочности (как ответ (В) «луна-парками»):

Территории, наиболее важные для сохранения разнообразия живой природы, называются …

А) экорегионами

б) экологическими парками

в) луна-парками

г) заповедниками

· Варианты ответов должны быть рядоположенными (не такими, как ответ (Г)):

Первый антимонопольный закон был принят в …

А) США

Б) России

В) Англии

Г) прошлом веке

· Необходимо, чтобы варианты ответов принципиально отличались друг от друга, а не были одинаковыми по сути, но изложенными другими словами.

2. ОТКРЫТОЕ ТЕСТОВОЕ ЗАДАНИЕ – это задание на дополнение предложенного текста пропущенным словом или словосочетанием. Составитель должен указать к данному заданию один короткий правильный ответ (слово или число) или конечное множество эталонных ответов, если возможно различное написание.

Ответ: 20 век; 20 в., XX век, XX в., двадцатый век

· Дополнение в тексте может быть только одно, его место обозначается тмноготочием {…}. Ответом является ключевой элемент содержания задания, знание которого является наиболее существенным для контролируемого материала.

Открытое тестовое задание:

Даровой принудительный труд зависимого крестьянства, работающего собственным инвентарем в хозяйстве феодала, – это …

Ответ: барщина

· Текст задания должен обладать предельно простой синтаксической конструкцией. В тексте задания не должно быть повторов и двойного отрицания.

3. ТЕСТОВОЕ ЗАДАНИЕ НА УСТАНОВЛЕНИЕ СООТВЕТСТВИЯ – это задание на определение связей между элементами, входящими в разные множества.

· Соответствие между элементами множеств должно быть однозначным, одному элементу первого множества должен соответствовать один элемент второго множества. Первое множество должно включать не менее 2 элементов, второе множество по количеству элементов должно быть больше (но не более чем в 2 раза) или равно первому множеству.

· Множества должны иметь разные нумерации: первое множество – арабскими цифрами со скобками, второе – русскими строчными буквами со скобками. Ответ оформляется жирным шрифтом в виде указания порядкового номера элемента первого множества вместе с порядковым номером соответствующего элемента второго множества.

Тестовое задание на установление соответствия:

Установите соответствие между именами политических лидеров страны и идеями, концепциями и программами этого периода:

1) Н.С. Хрущев

2) Л.И. Брежнев

3) Ю.В. Андропов

4) М.С. Горбачев

а) концепция развитого социализма

б) программа строительства коммунизма

в) концепция перестройки

г) концепция преодоления некоторых деформаций социализма путем укрепления дисциплины и порядка

д) концепция капитализма с человеческим лицом

е) концепция информационного общества

Ответ: 1б, 2а, 3г, 4в.

4. ТЕСТОВОЕ ЗАДАНИЕ НА УПОРЯДОЧИВАНИЕ – это задание на систематизацию предложенных элементов по какому-либо принципу (в основном, хронологическому).

· В тексте задания должен быть четко и кратко сформулирован критерий упорядочения элементов.

· Последовательность устанавливаемых объектов должна быть однозначной, не рекомендуется составлять последовательность, требующую повторения одного из объектов.

· Ответ оформляется жирным шрифтом в виде перечисления порядковых номеров элементов задания в нужной последовательности.

Тестовое задание на упорядочивание:

Московские государи правили в следующей последовательности:

2) Дмитрий Донской

4) Иван Калита

5) Василий III

Ответ: 4, 2, 3, 5, 1.

ПРАВИЛА ДОРАБОТКИ ТЕСТОВ.

В том случае, если Вы получили информацию о необходимости доработки какого-либо теста, необходимо следовать следующим правилам. Если Вы не получали тест на доработку от тестолога, необходимо запросить его конечный вариант в отделе контента. При получении теста, проверенного тестологом, необходимо проверить отредактированные элементы (набраны синим шрифтом) и, если смысл задания не искажен редактурой, снять выделение цветом и маркером с текста (это будет означать, что Вы согласны с редактурой). Задания, выделенные красным маркером, необходимо переделать, приведя их в соответствие с требованиями к составлению тестовых заданий, или удалить. Все замечания по необходимой переработке заданий приведены в фигурных скобках в конце «проблемных» заданий, а также выделены красным маркером. Внимание! Изменения необходимо вносить именно в присланный тестологом файл.

Приложение 1.

Правила оформления тестовых заданий

· Все задания оформляются обычным шрифтом (не курсивом, не жирным). Жирным шрифтом обозначаются правильные варианты ответов.

· Место для вставки ответа обозначается многоточием {…}

· Тестовое задание начинается с заглавной буквы, ответы – со строчной (кроме имен собственных, географических и административных названий, астрономических наименований и пр.)

Исключение: когда тестовое задание начинается с многоточия {…} для вставки ответа, тогда все ответы следует писать с заглавной буквы.

· При оформлении тестового задания закрытого типа в конце высказывания не ставятся точка, двоеточие или знак вопроса, допускаются только многоточие или отсутствие знаков препинания.

Угроза русским землям в XIII веке исходила от …

Угроза русским землям в … веке исходила от немецких и шведских рыцарей

· После вариантов ответа знаки препинания (запятые, точки с запятой, точки) не ставятся.

· В тестах для самопроверки должна быть сквозная нумерация заданий – от начала до конца теста (а не внутри каждой темы).

· В заданиях на установление соответствия множества должны иметь разные нумерации: первое множество нумеруется арабскими цифрами со скобками: 1) 2), второе – русскими строчными буквами со скобками: а) б).

· Задания нумеруются только с помощью автонумерации Word (не вручную).

· Ответы закрытого тестового задания нумеруются (вручную, без использования автонумерации Word), строчными русскими буквами со скобкой, в столбик (каждый ответ с красной строки):

· Ответ (ответы) открытого тестового задания приводится с красной строки, жирным шрифтом, в конце ставится точка:

Ответ: двенадцать, 12.

· Ответ тестового задания на установление соответствия оформляется жирным шрифтом в виде указания порядкового номера элемента первого множества вместе с порядковым номером соответствующего элемента второго множества. Ответ приводится в одну строку, с красной строки, жирным шрифтом, в конце ставится точка.

Ответ: 1 – а, б. 2 – в, г.

· Ответ тестового задания на упорядочивание приводится в одну строку, с красной строки, жирным шрифтом, в конце ставится точка.

Ответ: 4, 2, 3, 5, 1.

· Тестовые задания и варианты ответов не следует оформлять в форме таблиц.

· В рамках одного теста не должно быть повторов . Если текст Задания 2 идентичен тексту Задания 1, а варианты ответов Задания 2 более чем на 50 % совпадают с ответами Задания 1, то Задание 2 считается повтором и должно быть изменено.

Приложение 2.

Виды тестов, используемых в учебном процессе МФПУ «Синергия»

Приложение 3.

Примеры составления тестовых заданий с разбором типичных ошибок

Методические рекомендации по технологии разработки педагогических тестов для оценки уровня обученности студентов СПО. Методические рекомендации составлены на основе книги заведующего кафедрой качества образования Федерального института развития образования, к.п.н., профессора В.Ю. Переверзева «Технология разработки тестовых заданий: справочное руководство»

Скачать:

Предварительный просмотр:

Самарский государственный колледж сервисных технологий и дизайна

Методический Совет

Технология разработки педагогических тестов

Самара 2012

Самара, ГБОУ СПО СГК СТД, 2012, 45

В.Ю. Переверзева «Технология разработки тестовых заданий: справочное руководство»

© Самарский государственный колледж сервисных технологий и дизайна

1. Педагогические тесты

1.1. Понятие педагогического теста

Наиболее распространенное в отечественной тестологии определение педагогического теста принадлежит B.C. Аванесову: «Педагогический тест - это система заданий возрастающей трудности специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков учащихся». Необходимо сделать некоторые пояснения, к вышеприведенному определению. По форме тест представляет собой систему заданий. Тестовые задания обычно бывают краткими, так чтобы на выполнение каждого не тратилось бы много времени. Это является одним из факторов эффективности применения тестов в педагогическом контроле. Нельзя не согласиться с B.C. Аванесовым, что не всякое задание включается в тест. Оно должно быть строго определенным по форме, содержанию и специальным параметрам - показателям качества, оцениваемым в ходе экспертного и статистического анализа. Свойства заданий обуславливают качество всего теста. Хорошие, валидные, эффективные задания определяют основные качественные характеристики всего педагогического теста. Поэтому и говорят, что педагогический тест представляет собой не просто набор, а систему заданий.

Педагогический тест рассматривается именно как система, как упорядоченное множество из тестовых заданий. Задания - это те элементы, «кирпичики», из которых составляется педагогический тест. Заметим, что данное достаточно емкое и точное определение можно дополнить утверждением, сводящимся к тому, что педагогический тест отличается от других методов контроля функциональной независимостью от субъекта процесса обучения - преподавателя. Другими словами, сама процедура тестирования не обязательно требует присутствие преподавателя в группе испытуемых и может проводиться в автоматизированном (компьютерном) формате.

Таким образом, суммируя вышесказанное, можно предложить следующее определение: «Педагогический тест - это система заданий специфической формы, позволяющая объективно и функционально независимо от преподавателя измерить уровень образовательных достижений обучаемых, совокупность их представлений, знаний, умений и навыков на той или иной области содержания».

Педагогические тесты в системе среднего и высшего профессионального образования подразделяются на вступительные (входные), текущие, тематические , а также на тесты промежуточной (рубежной) и итоговой аттестации .

Педагогические тесты по своему содержанию различаются на гомогенные и гетерогенные .

Гомогенный педагогический тест основывается на содержании какой-либо одной дисциплины. При его разработке авторы должны четко отслеживать, чтобы каждое задание не выходило по своему содержанию за рамки данной дисциплины. Гомогенный тест может быть как нормативно-ориентированным, так и критериально-ориентированным, в зависимости от цели его создания. Такой тип педагогического теста наиболее распространен в учебном процессе.

Гетерогенный педагогический тест основывается на содержании нескольких дисциплин. Гетерогенный педагогический тест является по своему существу междисциплинарным. В большинстве случаев каждое задание гетерогенного теста включает в себя элементы содержания нескольких дисциплин. При его разработке авторы должны представлять себе цели его создания и быть компетентными во многих дисциплинах.

Педагогические тесты классифицируются по методологии интерпретации результатов тестирования на нормативно-ориентированные и критериально-ориентированные .

Нормативно-ориентированный педагогический тест (по-английски norm-referenced test) позволяет сравнивать учебные достижения (уровень подготовки, уровень профессиональных знаний и умений) отдельных испытуемых друг с другом. Нормативно-ориентированные педагогические гесты используются для получения надежных и нормально распределенных баллов для сравнения испытуемых.

Критериально-ориентированный педагогический тест (по-английски criterion-referenced test) позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом. Критериально-ориентированные педагогические тесты применяются для интерпретации результатов тестирования в соответствии уровнем обученности испытуемых на определенной области содержания.

Выделяют два основных вида критериально-ориентированных тестов, отличающихся друг от друга по ряду характеристик: domain-referenced test , предназначенный для оценки доли от полного объема учебного материала, которую усвоил испытуемый, и mastery tests, то есть "тесты на мастерство" или "квалификационные тесты", применяемые для определения в группе испытуемых квалифицированных и неквалифицированных (masters and nonmasters) в какой-то области. Установившейся терминологии для этих видов тестов на русском языке пока не существует.

Существенное значение приобретает использование критериально-ориентированных тестов для текущей, промежуточной и итоговой аттестации студентов.

По формату предъявления педагогические тесты различаются на бланковые , когда испытуемому предоставляется распечатка теста на бумаге, и на компьютерные , когда студент должен отвечать на задания работая на компьютере.

Педагогические тесты можно различать по масштабу применения на классные (авторские), академические (для учебного контроля в образовательном учреждении), отраслевые (для профессиональной аттестации кадров), национальные и международные .

1.2. Этапы разработки педагогического теста

Этап 1. Определите области содержания, измеряемых интелектуальных умений и основных целей тестирования. Анализ содержания учебной дисциплины и отбор содержания для теста Первоначально организаторам и разработчикам теста следует ответить на основные и самые важные вопросы. Для измерения чего предназначен тест, то есть, какова область содержания, основные измеряемые интеллектуальные умения и цели тестирования? Кто будет тестироваться, то есть, какая специфическая выборка экзаменующихся будет участвовать в тестировании? Кто будет пользователем результатов тестирования и для каких целей им нужна измерительная информация, то есть, кто реально заинтересован в получении результатов по данному тестированию и какую информацию нужно предоставить пользователям?

Тщательное определение всех данных аспектов, целей тестирования, для которых будет разрабатываться тест, совершенно необходимы даже тогда, когда область содержания точно определена. Гораздо более тщательную детализацию подробностей в целях тестирования необходимо провести в итоговых тестах по контролю за академической подготовленностью студентов, где могут быть существовать значительные теоретические расхождения среди экспертов-составителей заданий по самим основам содержания.

Окончательная, четкая детализация и формализация того, для чего тест предназначен, и что именно будет измерять тестирование, необходима и для оценки валидности самого теста.

Этап 2. Определение практических ограничений и выбор подходов к процессу разработки. Создание спецификации теста и спецификаций тестовых заданий.

Основное практическое ограничение, стоящее перед организаторами и разработчиками теста, - это материальные и временные ресурсы, которые находятся в их распоряжении. В случае массового педагогического тестирования необходимо проверить большое количество экзаменующихся по значительному количеству дисциплин, но время разработки теста, время тестирования и время интерпретации всегда ограничено. Ограничены также ресурсы и затраты на составление тестов.

Если на предыдущем этапе были адекватно определены все детали, то создание спецификации теста не должно вызывать больших трудностей. Полная спецификация педагогического теста определяет область содержания (по темам, разделам и пр.), формулирует интеллектуальные умения и количество тестовых заданий для каждого элемента спецификации. Спецификация теста может составляться как в линейной, так и в матричной (в виде таблицы) формах. Можно предложить следующую схему выполнения этого этапа:

1. Определение специфической области содержания и использованные источники информации. Типичные источники информации о содержании - это образовательный стандарт, программы по предмету, основные учебники и научно-методические пособия и другие учебные материалы. Другие источники информации - это мнение специалистов по содержанию дисциплин, профессорско-преподавательского состава, ученых-педагогов, методистов. Задача организаторов и составителей теста, это собрать воедино всю полученную информацию и составить точный и определенный образец спецификации теста.

2. Необходимо определить количество частей (секций) в тесте, предварительное количество тестовых заданий в каждой части и время тестирования . Предусмотреть в пробном тестировании специальные исследования для определения точного времени тестирования и точного количество тестовых заданий - длины теста. Естественно, когда новые тестовые задания, или их новые типы применяются в тесте, желательно проведение пробного тестирования для исследования того, как экзаменующиеся отвечают на эти задания и за какое время. В зависимости от опыта авторов тестовых заданий, каждый тип тестовых заданий, который используется в пробном гесте, должен быть составлен в количестве в три раза большем, чем необходимо для окончательного теста, и желательно, чтобы все эти тестовые (часто их называют претестовые задания) были включены в пробное тестирование или в пробный банк тестовых заданий.

1. Для бланкового формата предъявления необходимо определить количество вариантов теста для тиражирования и их технические характеристики - бумагу, количество страниц и т.д.
2. Определить количество сопроводительных к тесту документов, таких как ответные листы, инструкции для проведения тестирования, справочники и таблицы для пользователей теста и технические отчеты, административные отчеты о результатах тестирования и т.д.
3. Необходимо определить типы тестовых заданий и спецификациюкаждого типа тестового задания.
4. Установить предварительные технические характеристики и другиекритерии теста. Например, распределение значения уровней трудности заданий, критериальные баллы (или стандарты оценивания) для критериально -ориентированных тестов и др.
5. Необходимо определить количество параллельных вариантов для пробного и реального тестирования и процедуру отбора тестовых заданий их банка.
6. Определить процедуру стандартизации (если она предусмотрена) и определение норм и шкал, используемых для данного теста. Установить процедуру шкалирования и нормирования.
7. Определить основные модели статистических исследований по надежности и валидности теста, и других параметров теста и тестовых заданий.

Этап 3. Составление тестовых заданий .

Составление эффективных, валидных (часто употребляют термин конгруэнтных) тестовых заданий - это вторая по важности процедура после составления адекватной спецификации самой области содержания и целей тестирования. Даже тщательно отредактированные тестовые задания могут оказаться неудовлетворительными, и естественно, что качество банка тестовых заданий может установить ограничение и на качество окончательных вариантов теста. Экспертный анализ тестовых заданий не может быть единственным средством определения дефектов в самих заданиях. Необходимо проведение эмпирических статистических исследований на основе пробного тестирования и, если это необходимо, составление новых тестовых заданий.

Этап 4. Анализ заданий экспертами для оценки конгруэнтности заданий области содержания и целям тестирования. Подготовка материалов для пробного тестирования.

После составления множества тестовых заданий разработчикам необходимо провести экспертную проверку их качества. Каждому эксперту предлагается оценить степень конгруэнтности каждого задания области содержания и целям тестирования. От этого этапа напрямую зависит одна из важнейших характеристик теста - содержательная валидность.

После выбора подходящих заданий из банка разработчики составляют тест (или несколько его параллельных вариантов) для пробного тестирования.

Этап 5. Проведение пробного (апробированного) тестирования и анализ его результатов .

Одна из основных проблем при проведении пробного тестирования - это отсутствие мотивации у экзаменующихся (при условии, что они знают о том, что данное тестирование является пробным). Необходимо приложить определенные усилия, чтобы адекватная мотивация студентов в пробном тестировании была достигнута. Если этого не будет сделано, то информация, полученная в процессе пробного тестирования, не будет точной, адекватной. Одним из альтернативных решений этой проблемы является включение пробных (претестовых) заданий в уже существующий тест.

Параллельные варианты пробного теста должны быть достаточно большими, то есть содержать достаточное количество заданий, чтобы обепечить приемлемую надежность данных тестирования и представлять ионный диапазон возможностей теста в измерении данного содержания. Выборка студентов должна быть статистически гетерогенной и адекватно представлять все группы студентов по полу, возрасту, регионам и т.д. Анализ тестовых заданий чрезвычайно существенен, для того, чтобы найти скрытые дефекты в тестовых заданиях, удостовериться в их эффективности. Эффективные, хорошо работающие тестовые задания, скорее всего могут составлять половину или даже менее половины от всего банка претестовых заданий, используемых в пробном тестировании. Персонал, который проводит пробное тестирование (обычно это преподаватели или учебно-вспомогательный персонал), должен записать время тестирования, сколько студентов закончило до окончания времени тестирования и прокомментировать условия проведения тестирования. Как показывает опыт, во время тестирования персонал может заметить значительные недоработки во всем тесте или определенную проблему с каким-либо тестовым заданием.

Этап 6. Выбор критериального балла (критериев или стандартов оценивания) экспертными и (или) эмпирическими методами.

Для итогового критериально-ориентированного теста выбор стандарта оценивания "удовлетворительно" - "неудовлетворительно", или стандартов оценивания в традиционной шкале "неудовлетворительно- удовлетворительно - хорошо - отлично" является чрезвычайно важным этапом разработки теста. В конечном итоге правильно выбранный стандарт оценивания определяет критериальную валидность теста. Для экспертного выбора стандарта можно использовать модифицированный метод Агноффа (который неоднократно применял автор), согласно которому каждому эксперту предлагается количественно оценить вероятность выполнения каждого тестового задания минимально подготовленным студентом. Суммируя эти вероятности можно получить приблизительное значения стандарта оценивания "удовлетворительно" - "неудовлетворительно". Эмпирический выбор стандарта оценивания рекомендуется проводить методом "контрастных групп" .

2. Тестовые задания

2.1. Понятие тестового задания

Тестовое задание - минимальная содержательно законченная единица педагогического измерения, имеющая основу, в которой формулирована проблема (задача), и предписанный порядок для ответа. Цель тестового задания - получить ответ от испытуемого, на основе которого может быть сделан вывод о его знаниях, интеллектуальных умениях, способностях, представлениях, навыках на определенной области содержания.

2.2. Классификация тестовых заданий

В трудах зарубежных и отечественных тестологов выделены основные формы тестовых заданий для педагогических тестов, а именно:

1. Задание с выбором ответа (у некоторых авторов - задание закрытой формы, в англо-американской литературе установился термин «multiplechoice item - задания с множественным выбором») - форма тестового задания, при которой испытуемый должен выбрать правильный ответ из нескольких предлагаемых вариантов.
2. Задание открытой формы (в англо-американской литературе существуют термины «free-response item , open-response item , limited-responseitem» и др.) - форма тестового задания, при которой испытуемый должен предоставить правильный ответ, например, дополнить основной текст таким элементом, чтобы получилось истинное высказывание.
3. Задание на установление соответствия (англ. - matching item) - форма задания, в котором испытуемому предлагается установить соответствие между элементами двух списков (двух множеств).
4. Задание на установление правильной последовательности (англ. -sequences) - форма задания, в котором испытуемому требуется установить правильную последовательность элементов, действий, операций и т.д.

Критерии качества тестовых заданий

Цели и задачи педагогического теста как аттестационной процедуры диктуют автору тестовых заданий ряд направляющих принципов .

Наиболее важный критерий конструирования эффективных тестовых заданий заключается в следующем: должна быть высокая степень соответствия между конкретным заданием и ключевой целью всего педагогического теста. Проще говоря, главный вопрос формулируется так: «Как хорошо данное тестовое задание соответствует предназначенной цели всего теста?»

2.3. Критерии качества и эффективности тестовых заданий

• Тестовые задания должны быть конгруэнтны (должны соответствовать) ключевой цели тестирования. Ключевая цель тестирования должна быть ясно и четко определена и сформулирована.
• Автор должен минимизировать вклад, который тестовые задания могут внести в общую ошибку педагогического измерения.
• Форма тестовых заданий должна соответствовать целям тестирования.
• Должны быть выполнены технологические условия создания тестовых заданий: -одномерность шкалирования; - локальная независимость; -дифференцирующая способность.
• Тестовые задания должны отвечать общему стилю и стандартам редактирования.

2.4. Понятие валидности педагогического теста

Валидность педагогического теста - важнейший критерий его качества. Педагогический тест называется валидным (от англ. validity - значимость, обоснованность, пригодность, аргументированность, действительность, вескость, мотивированность, доказанность достоверность, истинность; справедливость, адекватность, обоснованность, общезначимость, правильность, применимость), если доказана адекватная оценка степени соответствия структуры системы тестирования ее конечным целям, т.е. тест измеряет то, для чего он предназначен.

Критериальная валидность - степень соответствия между результатами тестирования и внешним, не относящимся к тесту критерием.

2.5. Принципы отбора содержания тестовых заданий

Рассмотрим основополагающие принципы отбора содержания тестовых заданий для педагогических тестов.

Принцип конгруэнтности заключается в соответствии содержания педагогического теста (в особенности критериально-ориентированного) содержанию учебной дисциплины. Однако, содержание теста всегда значительно уже объема содержания дисциплины из-за невозможности включения всех разделов измеряемой области содержания. С другой стороны, чем вышее содержание теста, тем выше его содержательная валидность, тем больше обоснованность и значимость результатов тестирования и тем больше уверенность пользователей теста в качественной оценке знаний испытуемых. Необходима также уверенность в том, что задания теста охватывают все важные аспекты области содержания и в правильной пропорции.

Принцип значимости отражает необходимость включения в тесты только тех знаний, которые являются наиболее важными, значимыми, базовыми, которые выражают сущность, содержание, законы и закономерности рассматриваемых явлений.

П ринцип научной досто верности заключается в том, что в тесты включается такое содержание учебной дисциплины, которое является истинным, научно обоснованным, достоверным. Все спорные точки зрения, вполне нормальные в науке, следует исключить из тестовых заданий для педагогических измерений.

Принцип соответствия содержания теста уровню современного состояния научного знания вытекает из естественной необходимости готовить специалистов и проверять их знания и умения на современном материале. Однако, трудность реализации этого принципа заключается в некоторой временной задержке связи содержания теста с уровнем развития науки и с содержанием учебной дисциплины. Преодолеть эту трудность можно только постоянным совершенствованием теста и постоянным расширением банка новых тестовых заданий.

Принцип репрезентативности заключается в наиболее точном отражении необходимого знания в тестовых заданиях. Репрезентативность не означает обязательного включения в тест всех значимых элементов содержания. Ведь многие из них явно связаны между собой в общей структуре знаний, включены один в другой полностью или частично. Кроме того, много элементов в структуре знаний иерархически соподчинены.

Принцип вариативности содержания . Содержание теста не может оставаться неизменным и независимым от развития науки, научно - технического прогресса, от нового содержания учебной дисциплины и от новых учебников. По мере изменения содержания учебной дисциплины должно варьироваться и содержание теста.

Принцип возрастающей трудности тестовы х заданий означает, что каждый учебный элемент в процессе контроля обладает некоторой усредненной для студентов мерой трудности, на которую и ориентируются преподаватели. Практически все учебники и пособия построены по принципу возрастающей трудности. В таких учебных дисциплинах, как логика, математика, иностранные языки, статистика, философия, и др., значение последующих элементов курса жестко привязано к знанию предыдущих учебных элементов. Поэтому изучать такие дисциплины можно только с само го начала, и без пробелов. Трудному содержанию обычно соответствуют и трудные задания. Студент, правильно отвечающий на трудные задания, с большой вероятностью отвечает правильно и на легкие задания.

Принцип системности, комплексности и сбалансированности теста указывает на подбор такого содержания тестовых заданий, который отвечал бы требованиям системности знаний. Помимо подбора заданий с системным содержанием, важно иметь задания, связанные между собой общей структурой знаний, а также задания, комплексно отображающие основные, если не все, темы учебной дисциплины. Кроме того, нужно сбалансировано отобразить в тесте основной теоретический материал - понятия, законы и закономерности, гипотезы, факты, структурные компоненты теории с методами научной и практической деятельности, с умениями эффективно решать типовые профессиональные задачи.

Принцип взаимосвязи содержания и формы. Педагогический тест можно охарактеризовать как результат взаимовлияния содержания заданий с наиболее подходящей формой. Уже на стадии замысла содержание задания начинает обретать свою форму. Однако, не всякое содержание поддается представлению в форме тестового задания. Доказательства, обширные вычисления, многословные описания весьма сложно (а порой невозможно) выразить в тестовой форме.

Кроме того, содержание теста должно отвечать логическим и семантическим требованиям и нормам.

2.6. Использование таксономии Блума и ее модификаций

для разработки тестовых заданий

Таксономия Блума, вероятно, - наиболее широко используемая схема индентификации уровней познавательных процессов (в литературе употребляется также термин «когнитивные процессы») при создании педагогических тестов. В различных модифицированных версиях она применяется во многих широко распространенных массовых педагогических тестах. В (отечественной практике педагогического тестирования в том или ином виде таксономия Блума также используется разработчиками тестов, однако, иногда они сами этого не осознают. Оригинальная работа Блума по описанию и классификации умственных процессов получила широкое признание и с успехом применяется в педагогических измерениях во всем мире.

Таксономия (или систематизация и классификация) целей обучения Блума позволяет сформулировать список из нескольких познавательных категорий, типично измеряемых в педагогических тестах. Эти категории внесены в иерархический список в Таблице. Они включают: Знание, Понимание, Применение, Анализ, Синтез и Оценку. Если все эти категории (или часть из них) - целевые результаты обучения, то тесты для измерения этих категорий должны включать оценку этих категорий.

Таблица 2.6.1

Уровни познавательных процессов (когнитивных уровней) по Блуму и примеры их использования для педагогических измерений

2.7. Создание спецификации содержания теста

Тесты должны фактически базироваться на целях обучения вместо того, чтобы просто повторять образцы содержания обучения. Адекватность педагогического измерения происходит с помощью тестовых заданий, ясно отражающих сформулированную учебную цель. Этот аспект остается главным при определении содержания тестовых заданий.

Спецификации тестовых заданий обычно предназначаются в качестве внутреннего рабочего документа для разработчиков теста. Они не предназначены для экзаменующихся или для пользователей теста. Спецификации тестовых заданий предназначены, прежде всего, для авторов заданий, Чтобы их работа была сосредоточена в том направлении, который отражает намерения разработчика теста. (Таблица 2.7.1)

Таблица 2.7.1

Матричная спецификация для банка тестовых заданий

3. Технология создания тестов различных форм

3.1. Технология создания заданий с выбором ответа (закрытой формы)

3.1.1. Достоинства и недостатки заданий с выбором ответа

Достоинства заданий с выбором ответа:

1. Универсальность в измерении всех уровней познавательных процессов (интеллектуальных умений).
2. Позволяют осуществить широкий выбор содержания и целей измерения (высокая валидность измерения).

1. Обеспечивают очень надежные результаты тестирования.
2. Возможность частичной автоматизации подсчета результатов тестирования в бланковом формате и полной автоматизации при компьютерном формате предъявления

Недостатки заданий с выбором ответа:

1. Технология разработки требует высокой квалификации автора и отнимает иного времени.
2. Вероятность случайного угадывания правильного ответа.

3.1.2. Основные правила правописания и оформления

тестовых задания с выбором варианта ответов

1.Основу задания следует выделять одинаковым способом для всех заданий в данном тесте (например, полужирным шрифтом). Испытуемые должны запомнить стандарт оформления заданий и легко его воспринимать в процессе тестирования.

2. Если основа задания – законченное предложение, то в ее конце ставится точка, а если основа имеет вопросительную форму, то, соответственна и конце ставится вопросительный знак.

3. Каждый вариант ответа идентифицируется (кодируется) одинаково для всего теста. Для бланкового формата тестирования кодировка применяется либо цифровая- 1), 2), 3), ..., либо буквенная - А), Б), В), ... и сопровождается круглой скобкой (точка нежелательна). Хороший способ кодирования латинскими буквами, например, А), В), С), D). Для компьютерного формата видимая кодировка может и не использоваться.

4. При использовании законченного предложения или вопроса в основе задания, все варианты ответа должны начинаться с заглавной буквы.

5. Если основа задания незаконченное предложение или требующее внутреннего завершения (с пропусками), то все ответы начинаются со строчных букв.

6. Варианты ответов не должны заканчиваться точкой или каким-либо другим знаком препинания.

7. Негативные формулировки в основе задания следует особенным образом выделять, например, подчеркиванием, курсивом и т.п .(«не является ...», «не отвечает...» ).

Пример 1. Основа задания – законченное предложение или вопрос.

Укажите собирательное имя числительное.

А) Втроем

В) Тройка

С) Трое

D) Три

Какой вид изменчивости является материалом для естественного отбора?

1. Наследственная
2. Групповая
3. Модификационная
4. Комбинативная

Пример 2. Основа задания – незаконченное предложение.

Из энтодермы образуются

А) легкие

Б) волосы, перья, чешуя

В) мышцы

Г) кости

Пример 3. Основа задания требует внутреннего заполнения (задания с пропусками частей предложения)

The examination was___________than we expected.

1. easier
2. easy
3. easiest
4. easer

Пример 4. Задания на исключения

По существующему законодательству в РФ могут быть приватизированы все предприятия, кроме:

1. предприятия торговли
2. предприятия сферы бытовых услуг
3. объектов незавершенного строительства
4. предприятий связи

Что из перечисленного не является текущим активом?

А) Патенты

Б) Инвентарь

В) Заранее оплаченное страхование

Г) Рыночные ценные бумаги

3.1.3 . Правила составления дополнительных инструкций к заданию

• Дополнительные инструкции к заданию необходимы только тогда, когда задание сопровождается дополнительным текстом или графическим материалом;
• Дополнительные инструкции к заданию должны быть написаны ясно и настолько кратко, насколько возможно;
• Дополнительные инструкции к заданию размещаются выше текста или графики и должны привлечь внимание экзаменующегося к конкретному заданию. Чтобы облегчить поток информации для экзаменующихся, порядок должен быть следующий: дополнительная инструкция сначала, затем текст или графический материал, и, наконец, основа задания и альтернативы ответа;
• Дополнительные инструкции к заданию должны отличаться по написанию от остальных частей задания (например, курсивом, полужирным шрифтом и др.)

Обратите внимание, что дополнительные инструкции пишутся только к тем заданиям, которые имеют сопроводительный текст или графику. Для |сех других заданий такие инструкции излишни. Хотя ненужные инструкции могут и не навредить экзаменующимся, но они ничего не добавляют, а только загромождают текст.

Перечислим типовые дополнительные инструкции к заданию.

• Прочитайте абзац, представленный ниже, и ответьте на вопрос в задании 12
• Прочитайте отрывок, представленный ниже, и ответьте на задания 4-6
• Прочитайте предложение, представленное ниже, и ответьте на задание 7
• Используйте карту, представленную ниже, чтобы ответить на задание 10,11,12
• Используйте представленную ниже диаграмму, чтобы ответить на вопрос 21
• Используйте представленную ниже таблицу для ответа на следующее задание
• Используйте представленный ниже график и ответьте на задание 13,14
• Используйте иллюстрацию, представленную ниже, чтобы ответить на задание 24.

3.1.4. Правила составления вариантов ответов

1. Использовать параллельные грамматические конструкции.

Если возможно, следует начинать каждый ответ с одного и того же слова, или применять одну и ту же части речи.

Формулируя все ответы на базе одной и той же части речи, автор задания будет уверен, что все варианты грамматически сочетаются с основой.

1. Избегать слишком или неоправданно длинных ответов

Слишком длинные ответы имеют тенденцию запутывать, сбивать с толку испытуемых.

1. Ответ на задание должен быть полностью, «абсолютно правильным» или «лучшим».

Разработчики педагогических тестов вынуждены основывать многие из заданий на суждениях, которые не являются абсолютно верными, тем не менее, весьма вероятны. При этом испытуемых инструктируют искать абсолютную правильность в ответах, а делать лучший выбор .

3.1.5. Правила создания правдоподобных и эффективных дистракторов

• Все дистракторы (неверные варианты ответов) должны быть такими, чтобы каждый из них мог бы привлечь внимание тех испытуемых, которые недостаточно подготовлены к тестированию.
• Дистракторы должны быть как бы "похожими" на правильный ответ. В идеале, при анализе эффективности заданий каждый дистрактор должен в равной мере использоваться всеми испытуемыми, не выполнившими данное задание правильно, Очевидно, если дистракторы являются неэффективными (то есть их выбирают малое количество испытуемых из выборки), само задание будет слишком легким .
• Правильный ответ и дистракторы одного задания в тесте не должны подсказывать испытуемым ответы на другие. Поэтому не следует использовать дистракторы из одного задания в перечне вариантов ответов других заданий в тесте.

3.1.6. Оценка времени на выполнение задания

Знание приблизительного времени, которое требуется для выполнения задания - полезная информация для авторов. Это знание может помочь авторам определить количество заданий во всем тесте. Обычно принимаемый принцип среди разработчиков педагогических тестов такой: студентам требуется одной минуты для выполнения одного типичного задания закрытой формы. Таким образом, разработчики могут приблизительно планировать, что, в среднем, тест с 60- тью заданиями займет, по крайней мере, один час. Причем эти 60 минут не включают время, необходимое для размещения студентов в аудитории, раздаче тестовых материалов, проведения инструктажа, сбора материалов после тестирования и др.

Очевидно, что правило "одна минута на задание " не относится ко многим трудным заданиям, особенно если они имеют большие отрывки пояснительного текста или требуют сложных вычислений или изучения подробных графических материалов. Наоборот, очень простые задания, требующие только узнавания фактов или нетрудных вычислении, потребуют меньше чем одну минуту на выполнение.

Существует два метода оценки реального времени для выполнения задания или всего теста.

Первый метод заключается в том, что набор заданий или весь тест предлагается выполнить профессионалу – преподавателю данной дисциплины. В этом случае следует зафиксировать время, потраченное им на выполнение всего набора заданий, и умножить его на два.

На практике так и происходит, среднее время на выполнение набора задании
для испытуемого в два раза больше, чем для профессионала.

Второй метод связан с группой испытуемых, выполняющих пробный тест или набор заданий. Необходимо определить время, когда 20% испытуемых заканчивают выполнение набора заданий. Именно этот промежуток времени и является оптимальным для данного набора заданий.

1. Задания должны быть нацелены на измерения важных, значимых целей обучения и (или) целей аттестации.
2. Следует концентрироваться на составлении таких заданий, которые
   измеряют способность испытуемых постигать, применять, анализировать и оценивать, а не только вспоминать фактический учебный материал.
3. Задание должно быть составлено так, чтобы испытуемый, который
   выбрал правильный ответ и устранил неправильные ответы, продемонстрировал бы полезное, значимое достижение.
4. Испытуемый не должен иметь возможность ответить на задание правильно, используя только простую логику и здравый смысл, и не обладая соответствующим знанием или умением.
5. В тексте задания нежелательно употребление слов, которые могли
   стать ключом к правильному ответу, такие как: "всегда", "может", "ни один", "никогда", "все", "иногда", "обычно", "типичный" и др.
6. В тексте заданий следует избегать неоднозначных или ничего не значащих выражений.
7. Следуйте за стандартными правилами пунктуации и грамматики.
8. Если в задании использованы рисунки, таблицы, чертежи, то он должны быть правильно составлены и легко читаться (пониматься) испытуемыми.
9. С самого начала определитесь сами, какой тип задания вы составляете - задание «с абсолютно правильным ответом» или задание «с выбором лучшего ответа».
10. Удостоверьтесь, что либо в основной, либо в дополнительной инструкции для испытуемых есть информация о типе задания, т.е. либо это задание «с абсолютно правильным ответом», либо задание «с выбором лучшего ответа». Испытуемые должны четко понимать, какой тип задания им предстоит выполнить.
11. Повторяющиеся слова и словосочетания следует включать в
    основу задания, а не в варианты ответа. Это позволит формировать более лаконичные, а значит и более эффективные задания.
12. Придерживайтесь в задании такого стиля и такого уровня трудности текста, который соответствует уровню развития проверяемой группы испытуемых. Не используйте слова и выражения, которые испытуемых не будет понимать.
13. Избегайте в тексте задания использовать дословные цитаты из учебников или других учебных материалов. Формулировка задания не должна следовать за знакомой фразеологией учебника настолько близко, чтобы вербальная память испытуемого без понимания сущности проблемы смогла бы обеспечить адекватное основание для правильного ответа.
14. Если текст задания базируются на чьем-либо мнении или авторитетном источнике, обязательно сообщите чье мнение, или какой авторитетный источник были использованы.
15. Во всем тесте задания должны быть независимы друг от друга. Ответ на одно задание не должен зависеть от ответа на другое задание. Избегайте использование в одном варианте теста заданий, которые помогают экзаменующимся отвечать на другие задания в тесте.
16. Проверьте все задания с вашими коллегами, чтобы устранить двусмысленность, технические и другие ошибки в тексте задания.
17. По возможности, избегайте составлять задания, которые проверяют больше чем одну идею, проблему, концепцию.
18. По возможности, избегайте составлять задания, ответы на которые могут измениться в пределах короткого периода времени.
19. Формулируете задания так, чтобы была однозначность, только одна интерпретация их значения.
20. Чтобы функционировать должным образом, задание с выбором ответа должно быть выражено в тщательно отредактированных словах и предложениях.
21. Авторы задания могут сделать некоторые задания легче, формулируя основу более общими определениями, а варианты ответа делая более различными, разнообразными и разнотипными. И наоборот, можно сделать задания труднее, если основа задания будет более определенной (конкретной, точной), а ответы более подобными, похожими, сходными.
22. Трудность задания не должна базироваться на включении в него
    неясного, запутанного содержания.
23. Удостоверьтесь, что все варианты ответов грамматически совместимы с основой.
24. Следует избегать выявления у испытуемых их личного мнения, необходимо задавать вопросы, основанные на достоверных фактах, понятиях и пр.
25. Следует избегать «азбучных» вопросов.
26. Не следует формулировать «вопросы-уловки», ответы на которые зависят от некоторого неясного или малоизвестного факта.
27. По возможности, не следует делать основу или ответы неоправданно длинными.
28. Следует избегать вербальных ассоциаций между основой и правильным ответом. Одно и то же слово (или словосочетание, или однокоренное слово) не должно находится в основе и правильном ответе. Однако, вербальные ассоциации основы и неправильного ответа возможны.

1. Задания с выбором ответа должны базироваться на истинных, существенных идеях, которые могут быть выражены как суждения, имеющие ясную цель.
2. Основа задания должна поставить (сформулировать) или ясно подразумевать определенный вопрос (проблему, задачу).
3. Основа задания должна полностью сформировать, изложить проблему (задачу), а также все связанные с ней оценки и характеристики. Чтобы удостовериться, что основа представляет конкретную проблему, рекомендуется включать глагол в утверждение основы.
4. Основа задания «с абсолютно правильным ответом» должна быть ясной и недвусмысленной. Необходимо избегать использование неточных выражений типа «сопровождается», «полезно для», «важно для» и слов являющихся подсказкой – «может» или «возможно». Неопределенные причастия типа «обычно» или «часто» не должны применяться.
5. Основа задания должна изложить сущность вопроса или проблемы настолько лаконично и выразительно, настолько это возможно.

Однако, при этом нельзя жертвовать ясностью или опускать существенные детал и.

6. Используйте отрицательные формулировки в основе задания экономично (не более 5-10 % от общего числа заданий в тесте). Обязательно привлеките внимание испытуемых к отрицательному слову, выделяя его подчеркиванием или др. способом.

1. Нельзя использовать двойное отрицание, т.е. одновременно использовать отрицательные формулировки и в основе, и в вариантах ответа.
2. В основу задания нужно включить как можно больше информации, относящейся к проблеме. Повторяющиеся слова, группы слов или фразы следует включать в основной текст (в основу) задания, а не в ответы. Из вариантов ответов необходимо удалить повторяющиеся слова или выражения в основной текст задания.
3. Необходимо избегать задания, которые содержат не относящиеся к измеряемому свойству трудности, такие как малоупотребляемую лексику и ли сложные по структуре предложения.

1. Все ответы должны быть подобными (аналогичными, похожими, «параллельными»). Это касается их внешнего вида, грамматической структуры, а также общей расположенности по классификационной принадлежности, т.е. все ответы должны быть подобраны по одному основанию, типу, концепции.

1. Истинные утверждения, которые не обеспечивают правильный ответ на вопрос в основе задания, часто формируют хороший, эффективный дистрактор.
2. Варианты ответов в заданиях «с абсолютно правильным ответом» должны быть либо абсолютно верными, либо абсолютно неверными. Исключайте использование неопределенных
   фраз и слов, типа «обычно», «часто», «возможно».
3. В вариантах ответа на задания желательна краткость, но это не должно быть достигнуто за счет потери значимости и (или) смысла.
4. Ответы типа "все вышеперечисленные" и "ни один из вышеперечисленных" являются приемлемыми только тогда, когда употребляется «абсолютно правильный ответ».
5. Ответы на основу задания должны быть сформулированы достаточно просто, чтобы были понятны существенные различия между ними.
6. Дистракторы в задании должны быть определенно менее правильны, чем ответ, но правдоподобно привлекательны для не информированного, неподготовленного испытуемого.
7. Сделайте каждый дистрактор похожим на правду, правдоподобным, внушающим доверие, вполне убедительным и привлекательным для экзаменующихся, которые не достаточно подготовлены к тестированию.
8. Правильный ответ должен быть ясен, краток, правилен и свободен от подсказок (как внутри текста задания, так и вне его).
9. Если существует некоторая логическая последовательность, в которой варианты ответов могут быть выстроены (например, в порядке величины, в хронологической последовательности), то, по возможности, используйте эту последовательность при расстановке вариантов в задании.
10. Если варианты ответов могут быть размещены в некоторой естественном или логическом порядке, то избегайте делать первые и последние варианты всегда неправильными.
11. Беспорядочно распределите правильный ответ среди положений (позиций) дистракторов в каждом задании теста.
12. Ответы должны быть одинаковы по длине (хотя бы приблизительно).
13. Не следует формулировать правильный ответ заметно длиннее или
    короче, чем дистракторы.
14. Не следует составлять правильный ответ более подробно, детализировано, чем дистракторы. Правильный ответ должен соответствовать тому же уровню детализации, что и дистракторы.
15. Не следует обобщать правильный ответ так, чтобы он имел более
    широкое применение, чем неправильные варианты.
16. По возможности, не следует использовать в правильных ответах знакомую или стереотипную фразеологию, а в дистракторах малознакомую лексику.
17. Составляйте все варианты ответа грамматически совместимыми с основой.
18. В дистракторах не следует использовать слова или технические термины, которые экзаменующийся не может или не должен знать.
19. В дистракторах не следует использовать эмоциональные слова и выражения.
20. По возможности, составляйте все варианты ответов параллельными
    по форме и грамматической структуре.
21. В заданиях типа «с выбором ответа» не следует использовать варианты ответов типа «все вышеперечисленные» и «ни один из вышеперечисленных».
22. В одном задании делайте все варианты ответа независимыми друг от друга. Не следует в одних вариантах ответа делать какие-либо ссылки на другие варианты ответа.
23. Не должен существовать какой-либо материал в других тестовых
    зданиях, который может оказаться ключом к правильному ответу на данное задание. Нельзя в одних заданиях делать какие-либо ссылки на другие задания.
24. В одном тесте (или в одном варианте теста) нельзя применять задания, ответы на которые являются ключом к ответам на последующие задания.
25. Используйте такие же значительные, правильные, здравые, логичные слова и выражения в дистракторах, как и в правильном ответе.
26. Не следует повторять ключевое(-ые) слово(-а) основы задания в правильном ответе.
27. По возможности, перечисляйте варианты ответа на отдельных строках , один ниже другого.

3.2. Модификация заданий с выбором ответа

3.2.1. Задания типа «верно-неверно», «да-нет»

Задания типа «верно-неверно», «да-нет» (в некоторых источниках они называются «исинно-ложные» задания или альтернативные задания).

Достоинства заданий типа «верно-неверно», «да-нет»:

1. Они относительно просты в составлении и не занимают у испытуемых много времени на ответ, испытуемые могут ответить на 100 заданий данной формы за то же самое время, которое потребуется на выполнение 50-60 заданий с четырьмя вариантами ответа.
2. Они обеспечивают самую широкую выборку содержания в единицу времени.

Недостатки заданий типа «верно-неверно», «да-нет»:

1. Проблема угадывания - их главная слабость. Студенты имеют 50% шанс на правильный ответ на эти задания без любого знания содержания.
2. Задания часто неоднозначны из-за трудности составления утверждений, которые являются недвусмысленно истинными или ложными.

3.2.2. Блоки заданий с множеством выбором расширенного формата

Тестовые задания с множественным выбором расширенного формата организованы в связанные одной тематикой блоки. Используют единый расширенный список вариантов ответа для всех тестовых заданий в данном блоке. Данная модификация формы заданий применяется для итоговой аттестации студентов и профессиональной аттестации кадров. Структура блока заданий с множественным выбором расширенно формата включает в себя 5 обязательных компонентов: 1) инструкция; 2) тема; 3) список вариантов ответа; 4) вводный вопрос или вводное утверждение; 5) условия серии (по меньшей мере из двух) тестовых заданий. При необходимости авторы могут добавлять графические материалы и (или) пояснительные тексты.

Варианты ответа должны быть короткими (обычно одно слово или очень короткая фраза), а профессиональные ситуации в основе заданий могут быть достаточно подробными. Следует избегать использования запутанных или неоправданно сложных профессиональных ситуаций.

Данная форма заданий предполагает определение точного количества ответов, которые надо выбрать. Указание числа вариантов ответа, подлежащих выбору, трансформирует задачу испытуемого от выбора «абсолютно правильных» ответов к выбору «наилучших» ответов.

Примерная технология составления блоков заданий с множественным выбором расширенного формата

1. Определите тему для блоков вопросов. Темой может быть основная профессиональная проблема, метод решения профессиональной проблемы, класс объектов и т.д.
2. Напишите вводный вопрос или утверждение для блока (например, «Для каждого из следующих… процессов; явлений....; типа...; выберите наиболее вероятный объект, метод..., который....»). Вводный вопрос указывает на связь между условиями заданий и вариантами ответа, проясняя проблему, поставленную перед испытуемыми. Это необходимый компонент для блока тестовых заданий с множественным выбором расширенного формата.
3. Подготовьте перечень вариантов ответа . Перечень должен быть представлен отдельными словами или очень короткими фразами. Перечислите варианты ответа либо в алфавитном порядке, либо в другом каком-либо логическом порядке. Желательно не употреблять глаголы в вариантах ответа.
4. Напишите условия тестовых заданий . Задания в блоке должны быть подобны по структуре. Для их создание наиболее приемлемо использовать профессиональные ситуации. В каждом задании следует указать число правильных ответов.
5. Проведите экспертизу условий тестовых заданий . Удостоверьтесь, что указанные ответы являются действительно "наилучшими" ответами на каждое задание из блока. Следует также проверить, чтобы для каждого задания имелись в наличии, по меньшей мере, столько же правдоподобных дистракторов, сколько и планируемых правильных ответов. В качестве последней проверки, рекомендуется попросить вашего коллегу просмотреть тестовые задания (не указывая правильные ответы). Если у него возникают трудности при определении правильных ответов, измените условие тестового задания или варианты ответов таким образом, чтобы устранить возникшую проблему.

3.3. Задания открытой формы

В заданиях закрытой формы не используются готовые варианты ответов. В них испытуемому нужно дополнить недостающее слово (группу слои, формулу, число, знак, записываемый на магнитофон аудио-сигнал при тестировании на "говорение" и др.), которое свидетельствует о его знании.

На практике существуют четыре основные модификации заданий открытой формы: задания с коротким ответом, задания на завершение утверждения, задания на заполнение пробела, задания на завершение (или на конструирование) графического объекта (диаграммы, графика, схемы). В каждом случае испытуемый должен самостоятельно сформулировать, вычислить или сконструировать правильный ответ.

Типовые правила составления заданий в открытой форме

1. Слово или группа слов, являющихся ответом, должны быть краткими и недвусмысленными.
2. Когда ответ должен выражаться в численной форме, необходимо указать вид (тип) и размерность употребляемых единиц измерения.
3. В бланковом тесте пропуски для ответов должны быть одинаковой длины. Подсчет результатов тестирования можно облегчить, если пропуски для ответов расположить в колонке справа от основного текста задания.
4. Добавляемый элемент должен соответствовать ключевой (значимой) информации, которую следует запомнить в данном учебном материале.
5. При составлении задания не рекомендуется использовать утверждения, определения из учебников или учебных пособий.
6. Добавляемое слово или группа слов ставится, по возможности, в конце текста задания.

3.4. Задания на установление соответствия

Задания на установление соответствия (или просто задания на соответствие) – это такая форма тестовых заданий, в которых испытуемому предлагается установить логическое согласование между элементами двух множеств. По структуре задание на соответствие состоит из инструкции, дополнительной инструкции, пояснительного текста и двух колонок с набором элементов. Одна колонка - это список исходных условий (проблем, вопросов, стимулов), для которых испытуемые должны найти соответствующий ответ во второй колонке, называемой списком ответов.

Традиционно, колонка исходных условий помещается слева и нумеруется цифрами, а колонка ответов - справа и обозначается буквами.

Типовые правила разработки заданий на установление соответствия

1. Перед заданием на соответствие или перед серией заданий (субтест) необходимо поместить инструкцию для испытуемых, в которой точно указывают, на каком основании должен быть сделан соответствующий выбор.
2. В инструкции перед текстом задания, должно быть установлено, может ли ответ использоваться только однажды (однократный выбор) или несколько раз (многократный выбор).
3. Инструкция к заданиям не должка требовать больше чем одного ответа на исходное условие.
4. Во всем тесте задания на установление соответствия должны быть объединены в отдельный субтест. Оптимальное количество заданий данной формы в одном тесте - от трех до пяти. Максимальное количество – до десяти заданий.
5. В каждый список включайте только гомогенные (одинаковые в
   классификационном отношении) элементы. В случае, если в список элементов будут включены гетерогенные элементы, то это может служить подсказкой испытуемым.
6. Каждая пара «исходное условие - ответ» должна быть тщательно проанализирована на отсутствие подсказок типа вербальной ассоциации, явной грамматической связи и др.
7. Желательно составлять список ответов (список справа) либо из от
   дельных слов или очень коротких фраз.
8. Для каждого отдельного задания используйте только один тип соответствующей пары «исходное условие - ответ» (например, термины, понятия => подходящие определения).
9. Каждый ответ должен быть правдоподобным для каждого исходного условия.
10. В заданиях с однократным выбором используйте большее количество ответов, чем исходных условий. Это не позволит испытуемому догадаться о правильном ответе путем угадывания или способом последовательного исключения.
11. В заданиях с многократным выбором количество ответов может
    быть меньше, ровно или больше, чем число исходных условий.
12. Формировать ответы следует в логическом порядке, например по
    алфавиту, по возрастанию, по датам и т.п. Этот порядок позволит экзаменующимся быстрее найти правильные ответы, таким образом, сокращая время на выполнение задания.
13. Оптимально, одно задание на соответствие с однократным выбором ответов должно содержать не более шести исходных условий, а с многократным выбором - не более двенадцати.
14. При форматировании бланкового теста задание на соответствие
    следует размещать на одной странице.
15. При применении метода «частичного балла» оценки выполнения задания на соответствие следует установить, как он будет функционировать. Например, задание с пятью исходными условиями может иметь 20%-ый «частичный балл» за каждое правильное выбранное соответствие (или один балл за каждое правильное выбранное соответствие, а за все задания максимум 5 баллов)

1. Задания на установление правильной последовательности

Задания данной формы позволяют проконтролировать знания испытуемых в тех видах профессиональной или учебной деятельности, где обходимо разрабатывать эффективные повторяющиеся алгоритмы, выбирать повторяющиеся закономерные элементы на данной области содержания.

Типовая схема задания на установление правильной последовательности может быть представлена в виде :

1. Инструкция: Установите правильную последовательность.
2. Основа (основной текст).
3. Пронумерованный список элементов.

Задача студента перечислить номера элементов списка в порядке очередности при правильном алгоритме деятельности (правильной очередности событий и т.п.).

В практике педагогического тестирования эта форма тестовых заданий подразделяется на два типа:

а) с готовыми вариантами последовательности;

б) на самостоятельное установление последовательности.

Приложение

Словарь специальных терминов по тестовой теории

и технологии разработки тестовых заданий

Анализ заданий – процедура для оценки качества заданий в педаго гическом тесте, включающая в себя анализ технологичности формы, соответствия содержанию и статистических характеристик задания.

Апробация теста - предварительное педагогическое тестирование на представительной выборке учащихся для определения соответствия педагогического теста его целям и заданным характеристикам.

Ассоциации в тестовом задании - подсказка в содержании тестового задания, позволяющая тестируемому угадать правильный ответ. Ассоциации в тестовом задании являются свидетельством некорректности этого задания.

Балл за выполнение задания - условная единица, используемая для оценки результатов выполнения задания; количественный показатель выраженности измеряемого свойства у данного испытуемого, получаемый при помощи данного задания.

Банк тестовых заданий - совокупность систематизированных тестовых зданий, прошедших апробацию и имеющих известные характеристики. К характеристикам относятся как качественные характеристики, отражающие содержание тестового задания (учебный предмет, раздел, тема, контролируемые умения и т.д.), так и количественные (уровень трудности тестовых заданий, дифференцирующая способность и другие).

Бланк ответов - стандартный бланк для записи ответов за тестовые задания. В определенные позиции бланка ответов, тестируемый отмечает или записывает номера выбранных ответов, сами ответы или то, что требует инструкция по проведению педагогического тестирования.

Бланковое (педагогическое) тестирование - педагогическое тестирование, при котором носителем содержания педагогического теста служит бланк определенного образца, дополненный соответствующим бланком ответов.

Валидизация теста - процедура повышения валидности теста.

Валидность - комплексная характеристика качества педагогического теста, отражающая обоснованность, значимость (пригодность) его результатов, отражающая способность теста служить той цели, для которой он создан.

Варианты (педагогического) теста - набор близких по содержанию тестов, созданных по единой спецификации и имеющих одинаковую структуру. Статистические характеристики педагогических тестов, входящих в набор вариантов, могут отличаться.

Воспроизводимость - свойство педагогического теста к повторению основных статистических характеристик при последующих измерениях.

Время (педагогического) тестирования - интервал времени, отводимый на выполнение теста.

Выбор стандарта оценивания - процедура оптимального установления критериального балла или критерия оценивания (процента правильных ответов) для критериально-ориентированных тестов.

Выборка испытуемых - случайным или специальным образом формируемое из генеральной совокупности множество испытуемых.

Выставление баллов за выполнение задания - методика перевода результата выполнения заданий в численное значение.

Генеральная совокупность тестовых заданий - гипотетическое множество тестовых заданий, связанных общей целью и теоретически полностью отражающих определенную область содержания.

Гетерогенный тест - педагогический тест, позволяющий оценить уровень подготовленности тестируемого по нескольким смежным учебным дисциплинам.

Гомогенный тест - п едагогический тест, позволяющий оценить уровень подготовленности тестируемого по одной конкретной учебной дисциплине.

Дистрактор - вариант ответа на тестовое задание закрытой формы, похожий на правильный, но не являющийся таковым.

Дифференцирующая способность (дискримитативность, дифференцирующая сила) тестового задания - способность отдельных заданий теста дифференцировать испытуемых относительно степени их подготовки, т.е. максимального и минимального результата теста.

Дихотомическая схема подсчета баллов за выполнение задания -методика подсчета баллов, при которой выставляется «1» за правильное выполнения и «О» за неправильно выполнение задания.

Дихотомическое тестовое задание - тестовое задание, выполнение которого оценивается только альтернативно. Оценка «выполнено верно» обычно символизируется единицей, оценка «выполнено неверно» - нулем.

Длина теста - число тестовых заданий, включенных в педагогический тест.

Инструкция к тестовому заданию - свод правил тестируемому, устанавливающий способы регистрации выполнения тестового задания. В инструкции к тестовому заданию в частности указывается способ записи правильного ответа, что, каким образом и где надо отметить, вписать, указание записи или оформления решения математической задачи и т.д. Инструкция может быть единой для нескольких тестовых заданий, если эти задания однотипны по действиям.

Инструкция о проведении (педагогического) тестирования - свод правил, устанавливающий порядок и способ проведения педагогического тестирования. Инструкция разрабатывается с учетом цели педагогического теста, условий тестирования, применяемых при тестировании технических средств и выбранных способов обработки результатов.

Испытуемый (тестируемый, экзаменующийся) - лицо, проходящее педагогическое тестирование.

Истинный балл - гипотетический балл, который получил бы испытуемый, если бы он выполнил все задания из банка заданий для данного теста, на определенной для данного педагогического теста шкале, соответствующий истинному уровню подготовленности конкретного тестируемого в момент измерения. При определении истинного балла тестируемого ошибки педагогического измерения условно предполагаются равными нулю.

Классическая тестовая теория - совокупность теоретических положений и математических моделей педагогического измерения, основанных на классической математической статистике.

Ключ (эталон ответа) тестового задания - правильный ответ на тестовое задание.

Компьютерно-адаптивные тесты - тесты, задания в которых предъявляются специальной компьютерной программой в зависимости от индивидуальных ответов данного испытуемого. Трудность и количество предъявляемых тестируемому заданий регулируется в зависимости от его ответа на предыдущее задание или на несколько предыдущих заданий. Количество тестовых заданий заранее не фиксируется, а процесс тестирования заканчивается по достижении заданной точности оценки уровня подготовленности тестируемого.

Компьютерное (педагогическое) тестирование - педагогическое тестирование с помощью компьютера, проводимое по специальной программе, обеспечивающей заданный порядок представления тестовых заданий и обработки результатов тестирования.

Коррекция на угадывание- методика подсчета тестовых баллов, в которых учитывается возможность случайного угадывания ответов.

Коэффициент надежности теста- количественное значение надежности педагогического теста, изменяющееся от нуля до единицы. Для определения коэффициента надежности теста проводится, как правило, специальная апробация теста.

Коэффициенты валидности - показатели качества теста.

Критериальная валидность - характеристика качества теста, отражающая обоснованность, значимость его результатов по сравнению с некоторой внешней переменной, характеризующей объект измерения. Подразделяется на текущую и прогностическую валидность.

Критериально ориентированный тест - педагогический тест, предназначенный для оценки уровня подготовленности каждого тестируемого относительно требований учебной программы или ее части. Критический уровень объема знаний, умений и навыков - критерий, с которым сравнивается результат каждого тестируемого, устанавливается до начала тестирования.

Критериальный балл - г раничное значение тестового балла, с помощью которого заданная выборка тестируемых разделяется на выполнивших данный педагогический тест удовлетворительно и неудовлетворительно.

Матрица результатов тестирования (матрица ответов) - основная статистическая таблица, связывающая результаты ответов выборки испытуемых на все задания теста. Массив данных, содержащий в том или ином виде информацию об ответах на каждое задание теста каждого тестируемого. Номер строки такой матрицы соответствует номеру тестируемого, а номер столбца – номеру задания. В ячейках такой матрицы содержится в том или ином виде информация о выполнении задания.

Метод «частичного балла» - выставление тестовых баллов с учетом вознаграждения за частичное знание, методика перевода результата выполнения заданий в численное значение с учетом влияния эффекта частичного знания ответа на данное задание.

Метод доведения ответа до правильного - один из методов подсчета тестовых баллов при компьютеризованном тестировании, когда испытуемый должен отвечать на каждое задание до тех пор, пока не выберет правильный ответ.

Надежность теста - характеристика качества теста, отражающая точность оценки уровня подготовленности с помощью данного педагогического теста, степень постоянства результатов тестирования, а также устойчивость к действию посторонних случайных факторов.

Недихотомическая схема подсчета баллов за выпонение задания - метод подсчета тестовых баллов, когда результат выполнения каждого задания оценивается политомическим способом (несколькими числовыми значениями).

Нормативно ориентированный тест - педагогический тест, предназначенный для определения уровня подготовленности тестируемых путем сравнения их результатов друг с другом и/или с тестовой нормой. Тестовая норма определяется предварительно по результатам апробации теста на представительной выборке или после проведения самого тестирования, если представительную выборку установить невозможно.

Оценка надежности - статистическая процедура нахождения коэффициента надежности теста.

Оценка содержательной валидности - эксперно-статистическая процедура оценки качества теста.

Параллельные варианты (педагогического) теста - варианты педагогического теста, имеющие одинаковые статистические характеристики.

Параллельные тестовые задания - тестовые задания одинаковой трудности и дифференцирующей способности, относящиеся к одному и тому же разделу содержания.

Педагогический тест - это система заданий специфической формы, позволяющая эффективно измерить уровень знаний, умений и навыков учащихся.

Педагогическое тестирование – совокупность организационных и методических мероприятий, объединенных общей целью с педагогическим тестом и предназначенных для подготовки и проведения формализованных процедур предъявления теста, обработки и представления результатов

его выполнения.

Педагогическое измерение - способ упорядочения информации об учебных достижениях, при котором система чисел и отношений между ними ставятся в соответствие ряду измеряемых факторов.

План (педагогического) теста - документ, в котором каждое тестовое задание соотносится с определенным элементом содержания учебной дисциплины и конкретным видом знаний или умений, подлежащих контролю с помощью этого задания.

Политомическое тестовое задание - тестовое задание, выполнение которого допускает несколько категорий вариантов ответа, каждая из которых оценивается по-разному. Одна из категорий ответа может, например, объединять ответы неполные (частично верные) или результаты одного или нескольких этапов решения задачи.

Пользователь (педагогического) теста - юридическое или физическое лицо, использующее педагогический тест и/или результаты педагогического тестирования в необходимых ему целях.

Постоянство (согласованность) принятия решений (по результатам теста) - показатель надежности критериально-ориентированного тестирования.

Разработка заданий - процедура составления тестовых заданий по определенной спецификации.

Содержательная валидность - один из основных видов валидности, отражающей степень репрезентативности содержания тестовых заданий по отношению к области содержания теста. Характеристика педагогического теста, выражающая полноту охвата тестовыми заданиями той области знания, в которой этот тест оценивает учебные достижения.

Спецификация (педагогического) теста - документ, в котором содержится информация о целях, задачах, плане и структуре педагогического теста, области содержания и об измеряемых умениях.

Спецификация задания - подробное описание особенностей и технологии разработки тестового задания.

Структура (педагогического) теста - совокупность сведений о числе и форме тестовых заданий по каждому виду знаний или умений, позволяющих объективно судить об уровне подготовленности тестируемого. Для теста, в состав которого включаются тестовые задания, взятые из банка тестовых заданий, в структуре педагогического теста указывается также уровень трудности каждого из этих задания и их дифференцирующая сила.

Субтест - часть педагогического теста, состоящая из определенного подмножества тестовых заданий, допускающая независимую обработку результатов тестирования с целью решения специфических частных задач. Педагогический тест может содержать несколько субтестов.

Тест (учебных) достижений - педагогический тест, предназначенный для определения степени усвоения определенной области знаний или умений.

- задание, при выполнении которого необходимо установить соответствие между элементами двух и более множеств.

Тестовое задание - минимальная содержательно законченная единица педагогического теста, имеющая основу, в которой сформулирована проблема (задача), и предписанный порядок для ответа. Цель тестового задания - получить ответ от испытуемого, на основе которого может быть сделан вывод о его знаниях, интеллектуальных умениях, способностях, представлениях, навыках на определенной области содержания.

Тестовое задание дополнения - задание открытой формы, в котором требуется вставить пропущенное слово или символ, закончить утверждение, дописать предложение и т.д.

Тестовое задание множественного выбора - это такая форма зданий, где испытуемым предписывается сделать выбор нескольких правильных или «лучших» ответов из предложенного списка.

Тестовое задание на установление правильной последовательности - задание, выполнение которого состоит в установлении правильной последовательности фактов, событий, действий, операций и т.д..

Тестовое задание на установление соответствия - форма задания, в котором испытуемому предлагается установить соответствие между элементами двух списков (двух множеств).

Тестовое задание открытой формы – задание без указания в озможных вариантов ответа. При его выполнении тестируемый самостоятельно формулирует правильный ответ.

Тестовое задание с выбором ответа (закрытой формы) - форма тестового задания, при которой испытуемый должен выбрать правильный ответ из нескольких, предложенных вариантов, причем один из них правильный, а остальные (называемые дистракторами) - неправильные.

Тестовое задание с кратким ответом - задание открытой формы, в котором тестируемый должен самостоятельно сформулировать и записать правильный ответ в виде одного-двух слов, символов или чисел.

Тестовое задание типа «верно-неверно» (альтернативная форма задания, «истинно-ложное» задание)- тестовое задание закрытой формы, в котором требуется выявить истинность или ложность некоторого утверждения. В тестовых заданиях альтернативных ответов дается только два варианта ответа - «да-нет» или «верно-неверно».

Тестовые баллы - количественный показатель выраженности измеряемого свойства у данного испытуемого, получаемый при помощи данного теста.

Трудность (уровень трудности) задания - основная статистическая характеристика тестового задания, определяемая в классической тестовой теории долей испытуемых из выборки, ответивших на него правильно.

Фасетные тестовые задания- задания, которые могут быть получены друг из друга путем замены одного (или нескольких) слов (символов, чисел), что превращает их в другие задания аналогичные по содержанию и близкие по трудности. Фасетные тестовые задания используются при разработке параллельных вариантов тестов.

Форма (тестового) задания - общая схема составления тестового задания, его дизайн и структура. Форма задания, содержит инструкцию к заданию, содержание задания в виде текста и (или) невербальных материалов и систему оценки выполнения задания. Текст задания в тестовой форме должен соответствовать набору специфических требований, выполнение выполнение которых обеспечивает однозначное понимание вопроса (задачи) и исключает возможность появления ошибочных ответов по формальным признакам. Система оценки должна обеспечивать однозначную оценку выполнения задания.

По наиболее часто встречающейся в отечественной и зарубежной литературе классификации предтестовых заданий выделяют :

Задания с выбором, в которых студенты выбирают правильный ответ из данного набора ответов;

Задания с конструируемым ответом, требующие от студента самостоятельного получения ответов;

Задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;

Задания на установление правильной последовательности, в которых от студента требуется указать порядок элементов, действий или процессов, перечисленных в условии.

Предложенные четыре формы тестовых заданий являются основными и наиболее распространенными, но абсолютизировать их нет никаких оснований. Часто специфика содержания контролируемого предмета требует использования новых форм, более адекватных целям разработки тестов. Обычно такие инновации строятся на основе сочетания отдельных элементов перечисленных основных форм.

Вне зависимости от формы задания в тесте должны подчиняться общим требованиям:

Каждое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста;

Каждое задание имеет эталон правильного ответа (эталон оценивания для заданий со свободно конструируемым ответом);

Все элементы в задании располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

Для заданий разрабатывается стандартная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте;

Для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке со стандартизованными процедурами подсчета сырых (первичных) баллов по тесту.

Процесс тестовых измерений предельно стандартизируется, если:

Ни одному студенту не дается никаких преимуществ перед другими;

Заранее разработанная система подсчета баллов применяется ко всем ответам студентов без исключения;

В тест включены задания одной формы либо разных форм с регламентированными весовыми коэффициентами, значения которых получены статистическим путем;

Тестирование различных групп испытуемых проводится в одинаковое время в сходных условиях;

Группа тестируемых выровнена по мотивации;

Все испытуемые выполняют одни и те же задания.

Последнее условие не исключает возможности списывания, подсказки и других нарушений, поэтому обычно стараются создать несколько параллельных по содержанию и трудности вариантов одного теста. В целом выбор формы заданий и число вариантов теста зависят от содержания контролируемого курса, целей контроля, требуемого уровня надежности теста. В частности, при аттестации стараются включить больше заданий с выбором ответа, поскольку они в силу высокой технологичности и благодаря автоматизированным процедурам проверки позволяют увеличить охваченный в тесте объем содержания, длину теста, надежность и содержательную валидность результатов педагогических измерений.

В заданиях с выбором (или закрытые задания – название, используемое в некоторой отечественной литературе методического характера) можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных, в том числе и в разной степени, ответов.

Неправильные, но правдоподобные ответы называются дистракторами. Если в задании два ответа, один из которых дистрактор, то вероятность случайного выбора правильного ответа путем угадывания равна 50%. Число дистракторов выбирают таким, чтобы задание не стало слишком громоздким и трудно читаемым, но вместе с тем стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает 4 или 5 дистракторов, хотя в отдельных случаях, когда есть такая необходимость, их число может достигать 6–7.

Задания с двумя ответами обычно используют для экспресс-диагностики, например в автоматизированных контрольно-обучающих программах для входа в обучающий модуль, при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Использование заданий с двумя и тремя ответами в итоговом контроле приводит к росту ошибки измерения из-за угадывания, поэтому их никогда не включают в аттестационные тесты, куда для большей надежности помещают все задания с одинаковым числом ответов.

Если дистракторы сформулированы некорректно, без малейшей привлекательности даже для самых слабых испытуемых группы, то они перестают выполнять свою функцию, и на деле получается задание не с запланированным, а с меньшим числом ответов. В самом плохом случае, когда все дистракторы в задании не работают, большинство студентов выполнит задание верно, выбрав единственный правдоподобный правильный ответ. В идеале каждый дистрактор должен в равной мере привлекать всех испытуемых, выбирающих неправильный ответ. Мера привлекательности дистракторов оценивается после первой апробации теста на репрезентативной выборке испытуемых с помощью подсчета долей студентов, выбравших каждый из дистракторов в качестве правильного ответа. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но тем не менее, создавая задания, к этому равенству нужно стремиться.

Углубленный анализ частоты выбора каждого дистрактора студентами с различным уровнем подготовленности позволяет сделать вывод о валидности неправильных ответов. Если дистрактор чаще привлекает слабых студентов, выполнивших верно незначительное число заданий в тесте, то он считается валидным. В противном случае, когда дистрактор кажется привлекательным в основном сильным студентам, его валидность невысока, и задание подлежит переработке. В целом можно сказать, что тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из дистракторов с равной вероятностью.

Если тестирование проводится с помощью бланков, то задания с выбором одного правильного ответа сопровождаются инструкцией: «ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА».

Задания с несколькими правильными ответами обычно используют в текущем контроле для проверки классификационных и фактуальных знаний, хотя встречаются случаи, когда специфика содержания дисциплины вынуждает включать их в итоговые тесты. Они сопровождаются специальной инструкцией, подчеркивающей необходимость выбора всех правильных ответов и имеющей вид: «ОБВЕДИТЕ НОМЕРА ВСЕХ ПРАВИЛЬНЫХ ОТВЕТОВ».

Когда дистракторов слишком мало, а правильных ответов намного больше, то их легко угадать. В качестве выхода из подобной ситуации можно включить в число ответов только один неправильный, а студентов попросить выбрать один ошибочный ответ, если это не противоречит дидактическим целям контроля и допускается содержанием предмета. В этом случае инструкция имеет вид: «ОБВЕДИТЕ НОМЕР НЕПРАВИЛЬНОГО ОТВЕТА».

Иногда по замыслу автора при разработке задания закладываются несколько правильных ответов, среди которых есть более правильный и менее предпочтительный. В этом случае задание сопровождается инструкцией: «ОБВЕДИТЕ НОМЕР НАИБОЛЕЕ ПРАВИЛЬНОГО ОТВЕТА».

При компьютерной выдаче заданий инструкция может иметь вид: «ДЛЯ ОТВЕТА НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА».

Обычно если все задания сформулированы в одной форме, то инструкция приводится в начале теста. В противном случае, когда в тест включены задания разных форм, инструкция меняется при каждом изменении формы. Легко представить, насколько осложнит выполнение теста чередование инструкций на выбор правильного и неправильного ответов. Невнимательные студенты, не умеющие концентрировать внимание на изменяющейся инструкции, неизбежно запутаются и выполнят часть заданий неправильно даже в том случае, когда они наверняка знают верный ответ. Поэтому в тесте рекомендуется менять инструкцию как можно реже – ровно столько раз, сколько требует стратегия предъявления заданий теста.

Задания с выбором имеют ряд преимуществ, связанных с быстротой их выполнения, простотой подсчета итоговых баллов по тесту, возможностью автоматизации процедур проверки ответов студентов и вытекающей отсюда минимизацией субъективного фактора при оценивании результатов выполнения теста. С их помощью можно более полно охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является ее универсальность, она годится практически для любого предмета.

К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабо подготовленных испытуемых при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с ним научились бороться, используя различные методы. Иногда вводят специальные инструкции, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки. В других случаях добавляют специальные весовые коэффициенты, близкие к нулю, в подсчете баллов слабых студентов, полученных по наиболее трудным заданиям теста. Иногда применяют специальную формулу для коррекции индивидуальных баллов с поправкой на догадку. Последний метод и поясняющая его формула приводятся в конце этой главы.

Определенные трудности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний в незнакомой ситуации, творческими аспектами подготовки и случаями, когда требуется преобразование условий поставленной перед студентами задачи. Тогда задания с выбором готовых ответов использовать чаще всего невозможно. В случае массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов испытуемых и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому такая форма нередко доминирует при разработке итоговых аттестационных тестов.

Задания с выбором ответа должны удовлетворять ряду требований, выполнение которых позволяет повысить качество теста:

В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

Основная часть задания формулируется предельно кратко, желательно не более одного предложения из 7–8 слов;

Синтаксическая конструкция задания предельно упрощается без ущерба для корректности содержания и однозначного его понимания учащимися;

В основную часть задания включают большую часть условия задания, а для ответа оставляют не более 2–3 наиболее важных ключевых слов для сформулированной в условии проблемы;

Все ответы к одному заданию должны быть приблизительно одной длины либо правильный ответ может быть короче других, но не во всех заданиях теста;

Из текста задания исключаются все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;

Частота выбора номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова либо номер места для правильного ответа выбирается случайным образом;

Все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа.

При разработке заданий необходимо обеспечить их относительную независимость, исключающую цепочную логику выполнения, когда ответ из одного задания служит условием для другого задания теста. Тесты учебных достижений не могут содержать задания-ловушки, присутствующие в психологических тестах.

Проще всего подбирать дистракторы в заданиях с двумя ответами посредством отрицания того, что является верным. Однако не рекомендуется вместо дистракторов использовать слова «да – нет», поскольку в противном случае довольно трудно сформулировать утверждения, на которые можно дать недвусмысленный ответ.

Задание 1

ЕСЛИ ВЫЧИТАЕМОЕ УВЕЛИЧИЛИ НА 12 ЕДИНИЦ, А РАЗНОСТЬ ТАКЖЕ УВЕЛИЧИЛАСЬ НА 15 ЕДИНИЦ, ТО УМЕНЬШАЕМОЕ

А. Увеличилось

Б. Уменьшилось

Задания с тремя ответами, также как и с двумя ответами, обычно используют в экспресс-диагностике. Иногда три ответа появляются вследствие удаления неработающих дистракторов. В целом их можно считать неудачными, поскольку они недостаточно кратки, и вместе с тем в них высока вероятность угадывания правильного ответа.

Задание 2

ВЫСОКИЕ ТЕМПЫ УРБАНИЗАЦИИ В ЛАТИНСКОЙ АМЕРИКЕ СВЯЗАНЫ С

A. Быстрым экономическим ростом

Б. Усилением роли крупных городов

B. Массовой миграцией населения из деревень в города

В большинстве тестов встречаются задания с 4–5 ответами, из которых один верный. При умелой разработке они достаточно краткие, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти).

Задание 3

ПРЕДПОЛОЖЕНИЕ О ТОМ, ЧТО ДЕНЬГИ ЯВЛЯЮТСЯ СПЕЦИФИЧЕСКИМ ТОВАРОМ, СООТВЕТСТВУЕТ ТЕОРИИ ДЕНЕГ

A. Номиналистической

Б. Металлической

B. Количественной

Г. Трудовой

Задание 4

КАКАЯ СТРУКТУРА ПРЕДСТАВЛЯЕТ СОБОЙ РЕШЕТЧАТУЮ ОРГАНИЗАЦИЮ, ПОСТРОЕННУЮ НА ПРИНЦИПЕ ДВОЙНОГО ПОДЧИНЕНИЯ ИСПОЛНИТЕЛЕЙ?

A. Проектная

Б. Системная

B. Матричная

Г. Функциональная

Д. Географическая

Задание 5

ФУНКЦИЮ МЕРЫ СТОИМОСТИ ВЫПОЛНЯЮТ:

A. Металлические деньги

Б. Идеальные деньги

B. Реальные деньги

Г. Мысленно представляемые деньги

Д. Кредитные деньги

Иногда задание с выбором имеет двойную структуру, предлагая набор высказываний или положений, которые оцениваются путем сопоставления с предлагаемыми ответами. Например, в задании 6 высказывания, характеризующие понятие «Управление», должны сопоставляться с различными вариантами их истинности.

Задание 6

КАКИЕ ВЫСКАЗЫВАНИЯ ДАЮТ ХАРАКТЕРИСТИКУ ПОНЯТИЯ «УПРАВЛЕНИЕ»?

1. Процесс распределения и движения ресурсов в организации с заранее заданной целью, по заранее разработанному плану и с непрерывным контролем результатов деятельности.

2. Совокупность методов, принципов, средств и форм управления организациями с целью повышения эффективности деятельности.

A. Только первое

Б. Только второе

B. Ни первое, ни второе

Несмотря на кажущуюся привлекательность, в содержательном плане задание 6 неудачно сформулировано, поскольку может привести к неоднозначной трактовке ответов студентов. Выбор двух ответов А и Б равносилен выбору ответа Г, хотя ответы к заданию всегда должны обладать свойством относительной независимости и, образно говоря, отрицать друг друга.

Другой пример модификации формы задания с выбором ответов приводится в задании 7, где выбранный ответ предлагается мысленно подставить на место прочерка в основной части.

Задание 7

МЕНЕДЖМЕНТ – ЭТО КООРДИНАЦИЯ _________ РЕСУРСОВ С ЦЕЛЬЮ РЕШЕНИЯ ПОСТАВЛЕННЫХ УПРАВЛЕНЧЕСКИХ ЗАДАЧ.

A. Информационных

Б. Людских

B. Временных

Г. Материальных

Даже в условиях хорошо организованного процесса тестирования один вариант теста невозможно применять из-за списывания, подсказок и других подобных нежелательных эффектов. Поэтому всегда приходится разрабатывать 5–8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов. Например, в задании 8 содержатся два задания теста, получаемые для каждого из городов, приведенных в фигурных скобках.

Задание 8

К ДВОРЦОВЫМ КОМПЛЕКСАМ ОКРЕСТНОСТЕЙ

{Москвы

Санкт–Петербурга}

ОТНОСЯТСЯ:

1) Павловск, Ораниенбаум

2) Архангельское, Царицыно

3) Петергоф, Гатчина

4) Царское Село, Стрельня

В задании 9 автор предлагает выбрать тот элемент, который не имеет отношения к предмету экономической теории, что не вполне оправданно дидактическими целями контроля, но в данном случае допускается содержанием предмета.

Задание 9

ПОЛОЖЕНИЯ, НЕ ИМЕЮЩИЕ ОТНОШЕНИЕ К ПРЕДМЕТУ ЭКОНОМИЧЕСКОЙ ТЕОРИИ

A. Экономическое благо

Б. Неограниченность ресурсов

B. Максимизация удовлетворения потребностей Г. Эффективное использование ресурсов

Д. Правовые отношения

Такие задания, а также задания с несколькими правильными ответами, как в задании 10, обычно стараются не включать в аттестационные тесты, результаты которых используются для принятия административно-управленческих решений в образовании.

Задание 10

УКАЖИТЕ ТРИ ИНТЕГРАЛЬНЫХ ПАРАМЕТРА СРЕДЫ, ВЛИЯЮЩИЕ НА ФУНКЦИЮ ПРИНЯТИЯ РЕШЕНИЯ

A. Неопределенность

Б. Сложность

B. Динамичность

Г. Определенность

Д. Ограниченность

Появление частично правильных ответов студентов, возникающих при выборе не всех запланированных верных ответов в каждом таком задании теста, приводит к снижению объективности и сопоставимости тестовых баллов. Если избежать нескольких правильных ответов невозможно, то для повышения стандартизации оценочных процедур вводят определенное решающее правило. Например, если испытуемый выбирает все правильные ответы, то он получает 1 балл, во всех других случаях – 0 баллов.

При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает 1 балл, а за неправильный ответ или пропуск – 0. Суммирование всех единиц позволяет вычислить индивидуальный (первичный или сырой) балл испытуемого, который в случае дихотомической оценки просто равен количеству правильно выполненных заданий в тесте. Если правильный ответ не единственный, то чаще всего используется политомическая оценка, которую устанавливают пропорционально числу правильно выбранных ответов.

Если тест состоит из заданий с выбором, то индивидуальные баллы испытуемых будут существенно искажены эффектом случайного угадывания ответов. Поэтому сырые баллы стараются скорректировать, вводя поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с ответами, из которых только один верный, имеет вид

X" i = X i – [W i / (k – 1)]

где i – номер любого испытуемого группы; X" i - скорректированный балл i -го испытуемого; X i - тестовый балл до коррекции; W i – число невыполненных (неправильно выполненных, пропущенных и недостигнутых) заданий теста, а X + W i = n , где n - число заданий в тесте.

При выполнении заданий с двумя ответами k – 1 = 1, поэтому для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. С увеличением количества дистракторов к заданию число вычитаемых баллов уменьшается, что вполне естественно, так как чем больше дистракторов, тем труднее угадать правильный ответ.

Сама по себе формула коррекции обладает определенными недостатками, снижающими точность тестовых измерений. Это связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности, далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста.

В процессе создания заданий отдельные требования к форме неосознанно нарушаются. Как правило, это бывает связано с тем, что все внимание разработчика поглощено содержанием, а не формой. Нарушение отдельных требований порождает ряд характерных недостатков, возникающих даже у опытных авторов в процессе работы над заданиями теста. К числу наиболее распространенных недостатков предтестовых заданий можно отнести:

Отсутствие логической корректности в формулировках заданий теста, приводящее к незапланированным правильным ответам;

Нарушение правильных пропорций в форме задания, когда ответы намного длиннее основной части задания;

Нарушение требования краткости, вызванное включением лишних слов или представлением в тестовой форме того содержания, которое не годится для проверки с помощью теста;

Выбор ответов по разным основаниям;

Просчеты разработчиков заданий, способствующие угадыванию правильных ответов без выполнения заданий теста.

Например, неудачным можно считать задание 11, в котором приведена короткая основная часть и длинные ответы в силу того, что разработчик явно напрасно переставил их местами. Если само определение кругооборота капитала, данное на втором месте под буквой «Б», поместить в начало задания, то ответы могут состоять только из одного или нескольких слов.

Задание 11

КРУГООБОРОТ КАПИТАЛА – ЭТО

A. Непрерывное и последовательное движение денежного капитала

Б. Последовательное превращение капитала из одной функциональной формы в другую

B. Возвращение авансированной стоимости

Г. Функционирование товарного капитала

Неудачно подобраны ответы в задании 12, если рассматривать их безотносительно к содержательным просчетам автора. Если первые три ответа сравнивают между собой объем выпуска продукции монополиста и конкуренцию, то четвертый нацелен на установление причинной связи между объектами.

Задание 12

ОБЪЕМ ВЫПУСКА ПРОДУКЦИИ МОНОПОЛИСТА ПО СРАВНЕНИЮ С СОВЕРШЕННОЙ КОНКУРЕНЦИЕЙ БУДЕТ

Б. Меньше

B. Такой же

Г. Зависит от конъюнктуры рынка

Отсутствует содержательная и логическая корректность в задании 13, где из восьми приведенных параметров в ответах используются только пять.

Задание 13

КАКИЕ ДВА ПАРАМЕТРА НЕ ИСПОЛЬЗУЮТСЯ ДЛЯ АНАЛИЗА ОТЛИЧИЙ КУЛЬТУР СТРАН ДРУГ ОТ ДРУГА?

1. Взаимоотношение человека и окружающей среды

2. Оценка времени

3. Природа людей

4. Манера общения

5. Оценка степени активности

6. Свобода доступа информации

7. Взаимоотношение людей

8. Отношение к обладанию пространством

A. Четвертый и шестой

Б. Третий и шестой

B. Третий и пятый

Г. Четвертый и седьмой

Задание 14

A. Чутко реагирует на изменение внешней среды и изменяется в соответствии с ними

Б. Воспринимает из внешней среды все новые тенденции и обязательно применяет их в своей деятельности

B. Открыта для любых нововведений, необходимых собственнику

Г. Чутко реагирует на поведение конкурентов и воспринимает наиболее эффективные принципы решения управленческих задач

Задание 15, хотя и выглядит довольно громоздко, выгодно отличается от большинства приведенных выше примеров, поскольку содержит постановку проблемы, а не нацелено, как чаще всего бывает, на проверку фактологического или понятийного материала.

Задание 15

КАК БУДЕТ ВЫГЛЯДЕТЬ ЦЕЛЕВАЯ ФУНКЦИЯ В МАТЕМАТИЧЕСКОЙ МОДЕЛИ ПРОЦЕССА УПРАВЛЕНИЯ ПРИМЕНИТЕЛЬНО К СЛЕДУЮЩЕЙ ЗАДАЧЕ:

Фирма производит два напитка: «Тоник» и «Тархун». Объем производства ограничен количеством вспомогательных добавок и производственной мощностью. Производство 1 л «Тоника» занимает 0,02 часа работы оборудования, производство 1 л «Тархуна» занимает 0,04 часа. Расход вспомогательных добавок 0,01 кг/л у «Тоника» и 0,04 кг/л у «Тархуна». Ежедневный ресурс времени работы оборудования 24 часа. Ресурс вспомогательных добавок 16 кг в сутки. Прибыль от реализации 1 л «Тоника» 0,1 р/л, а у «Тархуна» – 0,3 р/л.

Сколько продукции «Тоник» и «Тархун» нужно производить ежедневно с целью максимизации ежедневной прибыли?

A. 0,01 х 1 + 0,04 х 2 > max

Б. 0,02 х 1 + 0,03 х 2 > max

B. 0,02 х 1 + 0,04 х 2 > max

Г. 0,03 х 1 + 0,01 х 2 > max

В заданиях с конструируемым ответом (встречаются также названия: задания на дополнение, открытые задания) готовые ответы не даются, их должен придумать или получить сам студент. Задания с конструируемым ответом бывают двух видов, один из которых предполагает получение испытуемым строго регламентированных по содержанию и форме представления правильных ответов. Второй – задания со свободно конструируемыми ответами, в которых испытуемые составляют развернутые ответы, произвольные по содержанию и форме представления и включающие полное решение задачи с пояснениями, микросочинения (эссе) и т.д.

Задания с конструируемыми ответами кажутся студентам более трудными, так как в них исключается догадка. Действительно, легче выбрать правильный ответ из предложенных, основываясь иногда не столько на знаниях, сколько на интуиции, чем самому его сформулировать или найти в процессе решения поставленных проблем. Но именно это свойство исключительно привлекательно для педагогов, особенно для тех, кто привык в своей работе опираться на традиционные средства контроля и не доверяет тестам.

В заданиях первого вида обычно ответ бывает достаточно кратким: в виде слова, числа, формулы, символа и т.д. Для разработки заданий с конструируемым регламентированным ответом необходимо мысленно сформулировать вопрос, затем записать четкий и краткий ответ, в котором на месте ключевого слова, символа или числа ставится прочерк. В силу однозначности правильного ответа проверка результатов выполнения заданий с конструируемым регламентированным ответом носит довольно объективный характер, ее осуществляют в компьютерной форме с последующей перепроверкой всех неправильных ответов студентов экспертным путем. Ответы на задания приводятся на месте прочерка или заносятся студентами в специальный бланк.

Например: Впишите правильный ответ.

Задание 1

Определение конечных показателей, которые должны быть достигнуты, и соответствующих средств, необходимых для получения определенных конечных результатов, включает в себя функции ___________________ .

Задание 2

Форма влияния, предполагающая маскировку настоящих намерений и целей – _______________.

При выполнении заданий с конструируемым регламентированным ответом нередко появляются частично правильные и правильные в разной степени ответы. Дописывая ответ на месте прочерка, испытуемый может предложить синонимы пропущенного запланированного разработчиком слова или изменить порядок следования элементов в пропущенной формуле, что значительно затрудняет автоматизированную проверку и оценку результатов тестируемых. По этим причинам в процессе проверки нередко приходится разрабатывать дополнительные соглашения об оценках для частично правильных ответов.

Задания с конструируемыми регламентированными ответами должны удовлетворять ряду требований:

Каждое задание необходимо нацелить только на одно дополняемое слово, символ и т.д., место для которого рекомендуется обозначить прочерком или точками;

Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

Все прочерки в заданиях для одного теста рекомендуется делать равной длины;

Место для ответа лучше отводить в конце задания или как можно ближе к концу;

После прочерка, если это возможно, указываются единицы измерения;

Текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания.

Задания второго вида со свободно конструируемым ответом не имеют никаких ограничений по содержанию и форме представления ответов. За отпущенное время тестируемый может писать что угодно и как угодно на специальных бланках для ответов. Несомненно, такие условия выполнения во многом близки к традиционным письменным работам, и потому задания со свободно конструируемым ответом воспринимаются положительно абсолютным большинством педагогов. Они интересны и разнообразны в содержательном плане.

Разработка заданий второго типа неоправданно может показаться легкой. На самом деле трудно не сформулировать задание, а предложить эталон оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения. Например, формулировка задания по истории с развернутым ответом достаточно кратка.

Задание 3

НАЗОВИТЕ ОСНОВНЫЕ ЗАДАЧИ, КОТОРЫЕ РЕШАЛИСЬ ВО ВНЕШНЕЙ ПОЛИТИКЕ РОССИИ В XVII В. (УКАЖИТЕ НЕ МЕНЕЕ ДВУХ ЗАДАЧ). ПРИВЕДИТЕ ПРИМЕРЫ ВОЙН, ПОХОДОВ И ЭКСПЕДИЦИЙ XVII В., ПРЕДПРИНИМАВШИХСЯ ДЛЯ РЕШЕНИЯ ЭТИХ ЗАДАЧ (НЕ МЕНЕЕ ТРЕХ ПРИМЕРОВ).

Но для того чтобы задание попало в тест, его автору необходимо стандартизовать процедуру проверки, а это объемная работа, вызывающая подчас много нареканий из-за неоднозначности результатов ее выполнения.

В естественных науках предложить эталон выполнения вместе с оценочными критериями гораздо легче. Например, к заданию 4 можно предложить следующие критерии для оценки результатов выполнения

Задание 4

ПРИ КАКИХ ЗНАЧЕНИЯХ X СООТВЕТСТВЕННЫЕ ЗНАЧЕНИЯ ФУНКЦИЙ f (x ) = log 2 x и g (x ) = log 2 (3 – x ) БУДУТ ОТЛИЧАТЬСЯ МЕНЬШЕ, ЧЕМ НА 1?

Проверка заданий с развернутыми ответами проводится экспертами в соответствии со стандартизованными инструкциями, содержащими эталон оптимального ответа с описывающими его характеристиками и признаками качества, как в приведенном примере. К эталону должны прилагаться оценочные категории для выставления политомической оценки, нуждающиеся в апробации и статистическом обосновании качества, поскольку среди них могут быть как не работающие, так и снижающие дифференцирующий эффект теста.

Задания с развернутыми ответами требуют значительных затрат преподавательского труда при проверке, когда экспертам приходится анализировать множество правильных в разной степени ответов и сравнивать их с эталоном, не принимая во внимание полноту, внешнее оформление ответов, орфографические ошибки и все то, что не входит в критерии для выставления политомической оценки. Иногда проверку стараются стандартизовать путем разработки компьютерных экспертных программ .

Вне автоматизированных систем проверка результатов выполнения заданий с развернутыми ответами довольно субъективна, а согласование оценок нескольких экспертов затруднено, поэтому обычно такие задания занимают не более 10–15% от общей длины аттестационного теста.

Задания со свободно конструируемым ответом в основном предназначены для оценки когнитивных умений. Их следует разрабатывать только в тех случаях, когда нельзя использовать более простые формы;

Длина и сложность ответа может варьироваться в широких пределах (вплоть до нескольких страниц текста ответа, обоснования приведенного решения проблемы и т.д.). В инструкции желательно ввести ограничения на максимальную длину ответа для каждого задания;

Формулировка задания должна включать постановку проблемы, эталон выполнения и оценочные критерии. Постановочная часть должна быть настолько четкой, чтобы минимизировать возможные отклонения в правильных ответах студентов от планируемого разработчиком эталона выполнения;

Выбор временных рамок для выполнения каждого задания должен позволять студенту сформулировать достаточно развернутый ответ и успеть его записать.

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если:

Грамотно составлять задание, руководствуясь приведенными выше рекомендациями;

Использовать при проверке только разработанную стандартизованную схему оценивания не более чем с тремя оценочными категориями (0, 1, 2);

Обучить экспертов по проверке заданий пользовать стандартизованными критериями оценивания;

Привлекать не менее двух экспертов для проверки каждого задания и приглашать третьего эксперта в случае расхождений оценок первых двух более чем на один балл;

Использовать принципы анонимности проверяемых работ и независимости экспертных суждений;

Не смотреть на оценку, данную предыдущему заданию, при оценивании последующего.

Задания типа эссе можно оценивать в соответствии со следующим:

Простыми схемами оценивания, когда критерии строятся с ориентацией на содержание ответов студентов;

Усложненными схемами оценивания, учитывающими при экспертизе содержание ответов, характеристики качества представления текста, его полноту и стиль или любые другие факторы, кажущиеся важными разработчику задания;

При любой схеме оценивания задания со свободно конструируемыми ответами нуждаются в политомической оценке, что иногда неоправданно завышает их общий вес в балле по тесту. Для того чтобы избежать такого завышения и для уменьшения влияния субъективного компонента, число критериев оценивания обычно стараются сделать достаточно малым, ограничиваясь политомическими оценками, например, от 0 до 3 или от 0 до 2.

Для заданий с кратким регламентированным ответом, сформулированных в виде незаконченных утверждений и предъявляемых без специальных бланков для ответа, обычно используют инструкцию, состоящую из одного слова: «ДОПОЛНИТЕ». В тех случаях, когда для ответов к заданиям с кратким регламентированным ответом необходимо давать ответы в специальных бланках, а не рядом с заданиями, инструкция может иметь вид: «ОТВЕТЫ К ЗАДАНИЯМ ЗАПИШИТЕ В БЛАНКЕ ОТВЕТОВ СПРАВА ОТ СООТВЕТСТВУЮЩИХ НОМЕРОВ ЗАДАНИЙ. КАЖДУЮ БУКВУ ПИШИТЕ В ОТДЕЛЬНОЙ КЛЕТОЧКЕ В СООТВЕТСТВИИ С ПРИВЕДЕННЫМИ ОБРАЗЦАМИ НА БЛАНКЕ ОТВЕТОВ».

Инструкция для заданий со свободно конструируемым ответом обычно имеет произвольную форму. Главное сказать столько, чтобы в максимальной степени облегчить и стандартизовать работу экспертов при проверке результатов тестирования для снижения влияния субъективных факторов и повышения надежности педагогических измерений. В самом общем виде для предметов гуманитарного цикла инструкция может иметь вид: «ДЛЯ ОТВЕТОВ НА ЗАДАНИЯ ИСПОЛЬЗУЙТЕ ОТДЕЛЬНЫЙ БЛАНК ОТВЕТОВ. ЗАПИШИТЕ СНАЧАЛА НОМЕР ЗАДАНИЯ, А ЗАТЕМ РАЗВЕРНУТЫЙ ОТВЕТ НА НЕГО. ОТВЕТЫ ЗАПИСЫВАЙТЕ РАЗБОРЧИВО».

Задания на соответствие имеют специфический вид, где под инструкцией располагаются элементы двух множеств, соответствие между которыми предлагается установить испытуемому. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, справа – элементы, подлежащие выбору.

Соответствие между элементами двух столбцов может быть взаимно однозначным, когда каждому элементу справа соответствует только один элемент слева. Если число элементов в двух столбцах одинаковое, то для последнего элемента задающего множества выбор не произойдет. Встречаются случаи, определяемые спецификой содержания предмета, когда для нескольких элементов левого столбца выбираются одни и те же элементы справа, поэтому их может оказаться меньше, чем слева. И наконец, оптимальным является задание, в котором правое множество содержит больше элементов, каждый из которых выбирается только один раз. Например, удачное задание 1, а не удачное 2, поскольку число элементов для выбора справа равно числу элементов в левом столбце.

Задание 1

К КАЖДОМУ ИЗ ТРЕХ ЭЛЕМЕНТОВ (1, 2, 3) ПОДБИРАЕТСЯ ОДИН СООТВЕТСТВУЮЩИЙ ЭЛЕМЕНТ ИЗ ПРАВОЙ ЧАСТИ С БУКВАМИ (А, Б, В, Г, Д, Е, Ж, З, И, К).

Определите соответствие ролей менеджера трем блокам согласно модели Г. Минцберга

Ответы можно представить в виде таблицы, в таком случае отпадает необходимость в подробной инструкции, подобной той, которая приведена для задания 1.

Задание 2

УСТАНОВИТЕ СООТВЕТСТВИЕ

Лишние элементы правого столбца, не подлежащие выбору при правильных ответах, называются дистракторами. Как и в заданиях с выбором ответов, наибольшие трудности при разработке связаны с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого дистрактора устанавливается эмпирически.

При разработке заданий на соответствие следует руководствоваться следующими правилами:

Задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств с соответствующими названиями;

Элементы задающего столбца располагаются слева, а элементы для выбора – справа;

Желательно, чтобы каждый столбец имел определенное название, обобщающее все элементы столбца;

Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, если число элементов правого множества будет примерно в два раза больше числа элементов левого столбца;

Необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;

Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста.

В аттестационном тесте задания на соответствие малоэффективны в силу их громоздкости, не позволяющей охватить большой объем содержания.

К заданиям на соответствие прилагается стандартная инструкция, состоящая из двух слов: «УСТАНОВИТЕ СООТВЕТСТВИЕ». Иногда инструкцию делают развернутой, особенно в тех случаях, когда есть отдельный бланк ответов. Например, инструкция может иметь вид: «БУКВЫ, СООТВЕТСТВУЮЩИЕ ЗАДАННЫМ ЭЛЕМЕНТАМ, ЗАПИШИТЕ СНАЧАЛА В ТАБЛИЦУ, ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК».

Результаты выполнения заданий на соответствие оцениваются либо дихотомической, либо политомической оценкой. При дихотомическом оценивании 1 балл выставляется за все правильно установленные соответствия в задании теста. Если хотя бы одно соответствие неверно, то за частично правильно выполненное задание на соответствие испытуемый получает 0 баллов. Другой способ заключается в выставлении по одному баллу за каждое правильное соответствие, тогда при проверке заданий на соответствие используется политомическая оценка, и общее количество баллов за задание равно числу правильно установленных соответствий.

Тестовые задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п. В таких заданиях в произвольном порядке приводятся элементы, связанные с определенной задачей, а испытуемый должен установить правильный порядок предложенных элементов и указать его заданным способом в специально отведенном для этого месте.

Стандартная инструкция к заданиям четвертой формы имеет вид: «УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ». Иногда инструкцию включают в текст задания.

Задание 1

РАСПОЛОЖИТЕ ИМЕНА РУССКИХ ПОЛКОВОДЦЕВ В ХРОНОЛОГИЧЕСКОЙ ПОСЛЕДОВАТЕЛЬНОСТИ ИХ ДЕЯТЕЛЬНОСТИ. ЗАПИШИТЕ БУКВЫ, КОТОРЫМИ ОБОЗНАЧЕНЫ ИМЕНА, В ПРАВИЛЬНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ В ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ ТАБЛИЦУ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК.

A) Дмитрий Пожарский

Б) Алексей Ермолов

B) Михаил Скобелев

Г) Алексей Орлов

Задание 2

УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ МЕХАНИЗМА ВЫДОХА, РАССТАВИВ НОМЕРА В ОТВЕДЕННЫХ МЕСТАХ:

? – спадение легких

? – торможение центра дыхательных мышц в спинном мозге

? – возбуждение центра выдоха в продолговатом мозге

? – расслабление диафрагмы и вспомогательных мышц

? – уменьшение грудной полости

Во многих случаях задания на установление правильной последовательности крайне нетехнологичны либо не применимы в силу специфики содержания предмета. Они громоздки и нередко допускают неоднозначную последовательность ответов, поэтому не рекомендуются к использованию в аттестационных тестах.

В процессе разработки теста у автора всегда возникает вопрос: остановиться ли на какой-нибудь одной форме заданий либо принять решение о совмещении различных форм в одном тесте? А если остановиться на одной, то какой отдать предпочтение? Выбор автора во многом определяется спецификой содержания учебной дисциплины, целями создания и применения теста. Немало здесь зависит от технологии проверки, сбора и обработки эмпирических данных, от технического и материального обеспечения процесса применения теста. Легко организовать компьютеризованный сбор и анализ результатов выполнения теста в том случае, когда все задания с выбором ответов.

Результаты выполнения заданий с конструируемыми ответами требуют ручной обработки. Как правило, для оценки результатов их выполнения приходится привлекать экспертов, а это требует дополнительных материальных затрат и времени на проверку.

Преимущества и недостатки различных форм заданий

1. Задания с двумя ответами

Преимущества : благодаря краткости позволяют охватить большой объем материала, легко разрабатываются (только один дистрактор), быстро с высокой объективностью обрабатываются результаты выполнения.

Недостатки : стимулируют механическое запоминание, поощряют угадывание, требуют увеличения количества заданий и, соответственно, времени тестирования для компенсации эффекта угадывания.

2. Задания с выбором из четырех-пяти ответов

Преимущества : годятся для самых различных учебных предметов, в силу краткости формулировок в тесте можно охватить большой объем содержания, обеспечивают возможность автоматизированной проверки и высокую объективность оценок студентов, позволяют провести развернутый статистический анализ своих характеристик, скорректировать их и значительно повысить надежность педагогических измерений.

Недостатки : требуют значительной работы авторов при выборе дистракторов и коррекции баллов студентов, не годятся для проверки продуктивного уровня деятельности и когнитивных умений.

3. Задания с конструируемыми регламентированными ответами

Преимущества : просты в разработке, исключено угадывание, частично годятся для автоматизированной проверки.

Недостатки : проверяют в основном знание фактологического материала или понятийного аппарата, обычно (в гуманитарных предметах) слишком легкие, иногда приводят к неоднозначным правильным и частично правильным ответам.

4. Задания со свободно конструируемыми ответами

Преимущества : позволяют оценивать сложные учебные достижения, в том числе коммуникативные умения, творческий уровень деятельности, легко формулируются как традиционные задания, исключают угадывание.

Недостатки : требуют длительной дорогостоящей процедуры проверки, значительного времени выполнения, не позволяют охватить значительный объем содержания предмета, снижают надежность педагогических измерений.

5. Задания на соответствие

Преимущества : просты в разработке, идеально подходят для оценивания ассоциативных знаний и проведения текущего контроля, уменьшают эффект угадывания.

Недостатки : чаще всего используются при проверке репродуктивного уровня деятельности и алгоритмических умений, громоздки по форме представления.

Сравнительная характеристика технологических свойств различных тестовых форм представлена в табл. 5.1.

Таблица 5.1 Сравнительные технологические характеристики форм

Выбор формы предтестовых заданий определяется спецификой контролируемого содержания и целями создания теста. Каждая форма заданий имеет свои достоинства и недостатки, свою сферу применения.

Разработка предтестовых заданий проводится сообразно стандартизованным требованиям, содержание которых зависит от специфики тестовой формы. Задания с выбором ответов наиболее удобны при итоговом контроле в силу ряда технологических преимуществ, повышающих эффективность процессов применения итогового теста и оценки результатов студентов. Задания на дополнение предпочтительны при обучающем контроле.

Современные тенденции в разработке итоговых тестов связаны с отходом от моноформности и широким использованием заданий на дополнение, поскольку многообразие проверяемых знаний и умений требует введения различных форм в тесте.

1. Обведите номер правильного ответа.

Тестовые задания с двумя ответами эффективнее использовать в контроле:

1) текущем

2) тематическом

3) итоговом

4) входном

2. Обведите номер правильного ответа.

1) текущего

2) итогового

3) входного

3. Обведите номер правильного ответа.

Вероятность угадывания номера места правильного ответа в задании с пятью дистракторами будет:

4. Найдите два существенных недостатка в задании, переформулируйте задание для устранения недостатков.

Для какого класса животных характерны признаки: хладнокровные, обитающие в воде и на суше, размножаются в воде?

1. Класс рыб

2. Класс пресмыкающихся

3. Класс земноводных

4. Класс млекопитающих

5. Предложите метод улучшения формулировки заданий.

Что из нижеперечисленного было ликвидировано реформами 60-х годов XIX века в России?

1. Самодержавие

2. Крепостничество

3. Сословность

4. Помещичья собственность на землю

5. Национальный гнет

В заданиях на установление соответствия надо установить соответствие элементов одного столбца элементам другого столбца.В заданиях на установление соответствия надо установить соответствие элементов одного столбца элементам другого столбца. Такие задания позволяют проверитьТакие задания позволяют проверить - знания о взаимосвязи определений и фактов; - авторов и произведений; форм и содержания; - сущности и явлений; - соотношение между различными предметами, законами, формулами, датами. - соотношение между различными предметами, законами, формулами, датами.

Задания открытой формы представляют трудности в разработке, поскольку их формулировки должны быть предельно чёткими, ясными для понимания и содержать единственно возможный правильный ответ.Задания открытой формы представляют трудности в разработке, поскольку их формулировки должны быть предельно чёткими, ясными для понимания и содержать единственно возможный правильный ответ.

Требования при разработке заданий на соответствие задания формулируются в рамках двух множеств;задания формулируются в рамках двух множеств; задающие элементы располагаются слева, а элементы для выбора справа;задающие элементы располагаются слева, а элементы для выбора справа; необходимо наличие нескольких дистракторов и все дистракторы должны быть правдоподобны;необходимо наличие нескольких дистракторов и все дистракторы должны быть правдоподобны; материал заданий на соответствие должен быть гомогенным.материал заданий на соответствие должен быть гомогенным.

Инструкция «Установить соответствие» «Установить соответствие» Не рекомендуется дополнять эти слова различными пояснениями типа «Установить соответствие между тем-то и тем-то» Не рекомендуется дополнять эти слова различными пояснениями типа «Установить соответствие между тем-то и тем-то»

Заголовки столбцов должны относиться ко всем элементам представляемого списка;относиться ко всем элементам представляемого списка; быть короткими, точными и понятными для всех без исключения.быть короткими, точными и понятными для всех без исключения. Пример: Пример: Выражение Значение выражения Слова Падежи Авторы Произведения

Элементы столбцов Выражают содержание задания. Выражают содержание задания. Подбор их ограничен содержанием учебного плана и программы курса. Подбор их ограничен содержанием учебного плана и программы курса. Число элементов правого столбца всегда больше элементов левого. Число элементов правого столбца всегда больше элементов левого.

Номера и буквы Используются как идентификаторы (метки) элементов. Используются как идентификаторы (метки) элементов. Цифры лучше писать в левом столбце, отделяя от содержания столбцов точкой, буквы – в правом, отделяя круглой скобкой и пробелом. Цифры лучше писать в левом столбце, отделяя от содержания столбцов точкой, буквы – в правом, отделяя круглой скобкой и пробелом. Номер задания ставится рядом с первым заголовком задания.Номер задания ставится рядом с первым заголовком задания.

Примеры: Установить соответствие: Уравнение Корень уравнения Уравнение Корень уравнения – Х= 0 А) – Х= 0 А) 5 2. Х: 8 = 80 Б) Х: 8 = 80 Б) : Х = 15 В) : Х = 15 В) Х – 72 = 10 Г) Х – 72 = 10 Г) 83 Д) 640 Д) 640 Е) 82 Е) 82 Ответы: 1___, 2___, 3____, 4____. Ответы: 1___, 2___, 3____, 4____.

Пример: Установите соответствие: 1. Животные Природные зоны 1. Животные Природные зоны 1. рысь А) пустыня 1. рысь А) пустыня 2. тюлень Б) субтропики 2. тюлень Б) субтропики 3. ушастый еж В) тундра 3. ушастый еж В) тундра Г) степь Г) степь Д) лесостепь Д) лесостепь Ответы: 1__, 2__, 3___. Ответы: 1__, 2__, 3___.

Пример: СОБЫТИЕ ДАТА 1.Отмена крепостного права А г. 2. Начало Крымской войны Б г. 3.Окончание Крымской войны В г.. Г г.. Г г. Д г Д г Ответы: 1___, 2___, 3___.

Установить соответствие:Установить соответствие:ИНСТРУКЦИЯЗАДАНИЯ 1) Установить правильную последовательность А) открытые 2) Установить соответствие Б) табличные 3) Обвести кружком номера всех правильных ответов В) с выбором одного или несколько правильных ответов 4) Дополнить Г) на установление соответствия Д) на установление правильной последовательности

Строка ответов Помогает тестируемому определить место, куда заносить свои ответы.Помогает тестируемому определить место, куда заносить свои ответы. Она располагается точно посередине задания, иногда – на свободном месте в первом столбце.Она располагается точно посередине задания, иногда – на свободном месте в первом столбце.

Матричные задания - вариант заданий на установление соответствия, но применяются они редко, из-за громоздкости и больших затрат. вариант заданий на установление соответствия, но применяются они редко, из-за громоздкости и больших затрат. Примеры: Примеры: 2.Величина Единицы Приборы 2.Величина Единицы Приборы измерения измерения 1. длина А) кв. м C) термометр 1. длина А) кв. м C) термометр 2. площадь Б) м/с D) линейка 2. площадь Б) м/с D) линейка В) м Q) транспортир В) м Q) транспортир W) компас W) компас Ответы: 1 ___ ___ 2___ ____. Ответы: 1 ___ ___ 2___ ____.

Оценка 1 балл за правильное выполнение всего задания.1 балл за правильное выполнение всего задания. По одному баллу за каждое правильно установленное соответствие.По одному баллу за каждое правильно установленное соответствие. За все правильные ответы – 2 балла, за одну пропущенную ошибку снизить оценку до 1 балла, за две и более ошибок – 0 баллов.За все правильные ответы – 2 балла, за одну пропущенную ошибку снизить оценку до 1 балла, за две и более ошибок – 0 баллов.

Применение Основная сфера применения заданий на соответствие – это текущий и тематический контроль.Основная сфера применения заданий на соответствие – это текущий и тематический контроль. Их лучше применять для самоконтроля.Их лучше применять для самоконтроля. Они реже используются при входном и итоговом контроле.Они реже используются при входном и итоговом контроле. Почти совсем не используются при аттестации.Почти совсем не используются при аттестации.