Построение первичной формы теста в психологии. Этапы конструирования теста. Вопросы и задания

  • 9. Проблема интеллекта животных
  • 11. Формирование трудовой деятельности. Системогенез. Действие, операция как элементы анализа трудовой деятельности.
  • 12. Предмет и задачи психологии труда. Определение психологии труда. Связь психологии труда с др. Науками.
  • 13. Динамика формирования трудовой деятельности. Оперативный образ и концептуальная модель. Индивидуальный стиль деятельности.
  • 14. Виды речи. Внутренняя речь и мышление. Речевое высказывание. Его порождение и понимание.
  • 15. Нарушение психики при шизофрении и их проявления в патопсихологическом эксперименте.
  • 4 Формы шизофрении (Крепелин)
  • 16. Теоретические основы психодиагностики.
  • 17.Проблема порога ощущения и его измерения.
  • Абсолютный порог чувствительности
  • Дифференциального порога Дифференциальный порог чувствительности
  • 20. Предмет и задачи клинической психологии. Её практическое значение.
  • 22. Основные проблемы психологии внимания и практическое значение их решения.
  • 23. Проблема разграничения психической патологии и нормы.
  • 24.Общая характеристика эксперимента как методы, его виды.
  • 25.Организация и планирование экспериментального психологического исследования.
  • 1. Определение целей исследования
  • 2. Фиксация и осознание проблемы исследования
  • 3. Формировка рабочей концепции исследования
  • 4. Формулировка гипотез исследования
  • 5. Подготовка аналитических процедур и инструментария. Как будем проверять?
  • 6. Планирование, организация эксперимента и его проведение.
  • 7. Обработка и интерпретация результатов.
  • 8. Научный отчет, рукопись статьи, монография и т.Д.
  • 26. Мотивация трудовой деятельности
  • 27. Проблема малой группы в социальной психологии.
  • 28.Русская психология
  • 9. Павлов и.П.
  • 2. Ушинский
  • 3. Каптерев
  • 4. Лазурский
  • 29. Психологические особенности больных - олигофренов.
  • 30.Проблема психологических защит личности.
  • 31.Французская психология конца 19-начала 20 века.
  • 33. Виды мышления и различные основания для классификации.
  • 34. Современные проблемы психологии памяти.
  • 35. Этические принципы психологического обследования.
  • 8. Принцип безличностного отношения с клиентами.
  • 36. Проблема влияния группы на личность в социальной психологии. Понятие конформизма и нонконформизма.
  • 38. Проблема типологии личности.
  • 39. Немецкая психология первой половины 20 в.
  • 41. Теории эмоций в психологии.
  • 42. Личность в теории классического психоанализа
  • 43. Методы исследования личности.
  • 44. Принципы организации психологического исследования
  • 4. Принцип единства психического и физиологического
  • 47. Теория когнитивного диссонанса л. Фестингера
  • 48. Восприятие как познавательный процесс.
  • 49. Влияние личности на группу. Лидерство в малых группах.
  • 50. Гуманистическое направление в психологии.
  • 51. Методы психологического исследования.
  • 52. Предмет и задачи педагогической психологии.
  • 53. Мышление как познавательный процесс.
  • 54. Психология половых различий
  • 55. Теории воли в психологии
  • 56. Основные этапы создания теста.
  • 1. Разработка первичной формы теста.
  • 2. Психометрическая проверка теста.
  • 3. Расчет нормативных показателей.
  • 58. Психология толпы. Паника.
  • 59. Принципы строения мозга. (Лурия)
  • 60. Научение у животных
  • 61. Семья как малая группа и характеристика основных функций семьи.
  • 62. Проблема аттракции в психологии семейно-брачных отношений.
  • 63. Мотивация учебной деятельности.
  • 64. Мозговая организация зрительного восприятия. Сенсорный и гностический уровни. Виды нарушений зрительного гнозиса, проблема агнозий.
  • 65. Связь языка с мозгом. Афазия как нарушение речи. Виды афазий.
  • 66. Одаренность, гениальность, талант.
  • 67. Психологическое строение семьи. Основные подходы.
  • 68. Предмет, структура и научный статус социальной психологии.
  • 69. Определение науки «психогенетика». Предмет, задачи. Основные методы.
  • 70. Генотип-средовая детерминация интеллекта
  • 72. Дискуссия как форма организации обучения. Правила и стратегии ведения групповой дискуссии. Умения, необходимые ведущему дискуссии.
  • 73. Типы организаций, динамика организационного развития.
  • I. В основе доминирования принципа выделяют:
  • II. Классификация по связи организации с внешней средой
  • III. Положение человека внутри организации.
  • 56. Основные этапы создания теста.

    Создание теста - это результат процесса мышления, с одной стороны, и соблюдение определенных правил конструирования - с другой.

    Психологический тест может быть охарактеризован как эффективный инструмент при условии, что он удовлетворяет определенным требованиям. Основные из них следующие:

    1. Использование психометрической шкалы не ниже интервальной.

    2. Высокая надежность теста.

    3. Высокий уровень валидности теста.

    4. Хорошая различительная способность каждого задания теста, т.е. дискриминативность.

    5. Наличие нормативных данных, или возможность описания результатов теста с высокой точностью различными моделями, наличие критериев, установленных экспертами.

    1. Разработка первичной формы теста.

    1. Выбор предмета диагностики.

    2. Анализ и теоретическая разработка предмета диагностики, которая заключается в создании теоретического и операционального определения предмета диагностики.

    3. Выбор области валидности применяемого теста.

    4. Выбор шкалы ответов.

    5. Выбор типов задний в соответствии с характером ответа.

    6. Составление и формулирование заданий теста, определение порядка размещения их в тесте.

    7. Проведение созданной формы на специально подобранной выборке.

    2. Психометрическая проверка теста.

    1. Анализ пунктов теста. Смысл этой процедуры состоит в том, чтобы определить насколько каждое задание теста соответствует общему диагностическому содержанию методики.

    2. Проверка основных видов надежности теста. Задачей данной процедуры является определение того, насколько результаты тестирования подвержены влиянию различных побочных факторов.

    3. Оценка основных видов валидности или обоснованности теста. Задачей данной процедуры является определение того, насколько хорошо создаваемая методика выполняет свои диагностические задачи, т.е. диагностирует тот конструкт, который лежит в ее основе.

    3. Расчет нормативных показателей.

    Надежность теста . Дисперсия результатов попадания может быть объяснена не только дисперсией «истинной», обусловленной различиями в выраженности психологического качества, но и разбросом, вызванным действием случайных факторов, т.е. дисперсией «погрешности»:

    Dx = Dист. + Dпогр.

    Отношение дисперсии истинной к дисперсии совокупной и будет называться коэффициентом надежности измерения.

    Источником D «погрешности» являются разного рода ошибки. Появление ошибок может быть вызвано разными причинами, среди которых можно выделить две: неточность измерительного инструмента и условия опыта.

    Под надежностью теста в самом широком смысле понимается характеристика того, в какой степени выявленные у испытуемых различия по тестовым результатам отражают действительные различия в измеряемых свойствах, а в каком они могут быть приписаны действию случайных факторов .

    Надежность как устойчивость результатов . Надежность как устойчивость результатов во времени представляет собой согласованность результатов теста, получаемых при первичном и вторичном его применении по отношению к одним тем же испытуемым в разные моменты времени.

    Ретестовой надежности - процедуры повторного тестирования одной и той же выборки. Повышение надежности в этом случае свидетельствует о повышенной чувствительности результатов тестирования к изменению состояния испытуемых и обстановки тестирования. При определении ретестовой надежности особое значение имеет интервал между первичным и повторным тестированием. Оптимальный интервал для ретестовой надежности - 6 месяцев для взрослых и 3 месяца для детей.

    Надежность параллельных форм. Использование двух взаимозаменяемых форм теста. Обследовании выборки сначала основным набором заданий, а затем - дополнительным, аналогичным первому. Другим путем проверки этого вида надежности является разбиение всей выборки на две примерно равные группы. Первичное тестирование заключается в тестировании первой группы одной формой теста (А), а второй группы - аналогичной формой (В). После небольшого интервала времени (примерно около недели) проводится повторное тестирование в обратном порядке.

    Надежность как точность измерений. Наличие внутренней согласованности между заданиями теста и их «суммарную работу на общую цель - точное измерение тестируемой характеристики». Процедура проверки предполагает вычисление интеркорреляционных связей между заданиями, составляющими тест. М етод расщепления - тестировании испытуемого двумя половинками теста. Существуют несколько способов расщепления теста пополам.Данный способ определения надежности как внутренней согласованности часто называют надежность по однородности.

    Надежность относительно постоянства условий - проявляется в надежности экспериментатора. В любом исследовании экспериментатор может выполнять три функции: организатора исследования, оценщика и интерпретатора.

    Валидность теста. В понятие валидности входит большое количество самой разнообразной информации о тесте. Понятие валидности относится не столько к самому тесту, сколько к цели, ситуации и процедуре его применения. Он может быть валидным или невалидным лишь по отношению к определенной цели применения.

    Критериальная валидность - отражает соответствие диагноза и прогноза определенному кругу критериев измеряемого качества. Она измеряется путем корреляции баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия, причем это должен быть именно внешний, т.е. жизненный, независимый от тестирования критерий. Критериальная валидность делится на:

    Текущая валидность - это характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике (уровень способностей, вербальный интеллект, тревожность и т.д.).

    Прогностическая валидность характеризует степень точности и обоснованности суждений о диагностируемом качестве по его результату, спустя определенное время после его измерения.

    Характеристики критериальной меры:

    1. Релевантность критерия. Это степень, в которой критериальная мера значима для целей измерения; 2. Свобода от «загрязнения» (контаминации). Выполнение индивидом работы является функцией как переменных индивида, так и переменных ситуации; 3. Надежность критерия. Если критерий используется в качестве показателя исполнения работы индивидом, это должен быть стабильный показатель.

    Конструктная валидность . Конструктная валидность теста показывает, насколько его результаты могут рассматриваться в качестве меры некоего теоретического конструкта или свойства. Проверка конструктной валидности может осуществляться следующими способами: 1. Сопоставление исследуемого теста с другими методиками, конструктное содержание которых известно; 2. В этом случае исследователь формулирует ряд предсказательных гипотез о том, как будет коррелировать его новый тест с другими тестами, измеряющими родственные характеристики; 3. Факторный анализ - позволяет статистически проанализировать структуру связей исследуемого теста с другими известными и латентными факторами - факторную валидность; 4. Внутренняя согласованность пунктов теста также является важным аспектом конструктной валидности; 5. Введение экспериментальной переменной.

    Другие виды валидности: синтетическая валидность, очевидная валидность, экологическая валидность

    Объективность, валидность и надежность – требования, которым должен удовлетворять каждый тест. Рассмотрению этих понятий посвящены следующие параграфы.

    2. Психологический тест как объективное измерение

    Объективность психологического теста означает, что первичные показатели, их оценка и интерпретация не зависят от поведения и субъективных суждений экспериментатора. Первичными называют показатели, полученные после обработки данных выполнения респондентом тестовых заданий. Выражаются первичные показатели в так называемых "сырых баллах".

    Разработка заданий, процедура проведения, обработка результатов теста осуществляется согласно определенным стандартным правилам.

    Добиться объективности психологического теста можно при выполнении следующих условий:

    единообразие процедуры проведения теста для получения сравнимых с нормой (см. ниже) результатов;

    единообразие оценки выполнения теста;

    определение нормы выполнения теста для сопоставления с ними показателей, полученных в результате обработки данных тестирования (см. здесь "третий этап стандартизации").

    Эти три условия называют этапами стандартизации психологического теста.

    Этапы стандартизации

    На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.

    Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:

    условия тестирования (помещение, освещение и др. внешние факторы). Очевидно, что объем кратковременной памяти лучше измерять (например, с помощью субтеста повторения цифровых рядов в тесте Векслера), когда нет внешних раздражителей, таких как посторонние звуки, голоса и т.д.

    Процесс создания теста, его научного обоснования, перера­ботки и улучшения можно разбить на ряд этапов.

    1.Определение цели тестирования, выбор вида теста и подхода к его созданию.

    3.Определение структуры теста и стратегии расположения заданий.

    4.Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.

    5.Создание предтестовых заданий.

    6.Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.

    7.Экспертиза содержания предтестовых заданий и теста.

    8.Экспертиза формы предтестовых заданий.

    9.Переработка содержания и формы заданий по результатам экспертизы.

    10.Разработка методики апробационного тестирования.

    11.Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.

    12.Проведение апробационного тестирования.

    13.Сбор эмпирических результатов.

    14.Статистическая обработка результатов выполнения теста.

    15.Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.

    16.Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.

    17.Повторение этапа апробации для выполнения очередных шагов по повышению качества теста.

    18.Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

    Возникает своеобразный цикл, так как после чистки теста раз­работчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В оп­ределенном смысле этот цикл бесконечен, но не потому, что все за­дания плохи и разработчик не имеет достаточного опыта создания теста. Просто процесс конструирования теста довольно труден, по­скольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразую­щих свойств.

    К тому же можно считать, что задача оптимального подбора состава теста не имеет единственного решения, так как не все здесь определяется качеством тестового материала, а многое еще зави­сит от уровня подготовки группы учеников. Задания, хорошо ра­ботающие на одной выборке учеников, могут оказаться совершен­но бесполезными на другой, так как они будут или слишком легкими, или слишком трудными и их не выполнит правильно ни один ученик группы.

    Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается пра­вильным отбором проверяемого содержания и умением разра­ботчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для вы­полнения которого необходимы специальные программные сред­ства для профессиональной разработки тестов .

    Конечно, далеко не всегда в процессе создания тестов необ­ходимо достижение профессионального уровня качества, осо­бенно если отвлечься от целей приема абитуриентов и аттестации выпускников. В повседневной деятельности педагога необходи­мы тесты разного, иногда невысокого качества, ориентированные на задачи текущего контроля. Выполнение последней задачи впол­не по силам отдельному педагогу или группе педагогов. Однако и в этом случае можно самостоятельно сделать ряд расчетов, осно­ванных на минимальном математическом аппарате и позволяю­щих значительно продвинуться от предтестовых заданий к насто­ящему тесту.

    Выводы

    1.Теория педагогических измерений носит междисциплинарный характер, объединяя достижения педагогики и психологии с достижениями математики, статистики и теории измерений.

    2.Разработка понятийного аппарата теории педагогических измерений имеет важное значение для повышения качества тестов.

    3. При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. .

    4. Педагогические тесты можно использовать для входного, текущего и итогового контроля при оценке результатов осуществленного учебного процесса.

    5. Педагогические тесты разрабатываются в рамках двух подходов, позволяющих по-разному интерпретировать результаты их выполнения.

    6. Наблюдаемые результаты выполнения теста получаются в результате взаимодействия множества испытуемых со множеством заданий теста.

    7. Профессионально разработанные тесты обеспечивают представление об истинных баллах учащихся, определяемых с помощью специальных методов по наблюдаемым результатам выполнения теста.

    8. Процесс конструирования теста включает ряд этапов, выполнение которых обязательно. Исключение любого этапа ведет к неизбежной потере качества теста.

    ВОПРОСЫ И ЗАДАНИЯ

    1.Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в школе?

    2.Каковы цели разработки формирующих тестов? Есть ли различия между формирующими тестами и традиционными средствами текущего контроля?

    3.Какова цель итогового тестирования?

    4.В рамках какого подхода, по вашему мнению, следует разрабатывать тесты для проведения выпускных экзаменов в школе?

    5.Правильно ли в вашей школе оценивают эффективность работы преподавателей?

    6.Какой процесс называется стандартизацией теста?

    7.Перечислите факторы, влияющие на устойчивость норм теста.

    8.Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в школе?

    9.Сформулируйте определения предтестового задания, тестового задания, педагогического теста. Сравните свой ответ с содержанием соответствующих разделов пособия.

    10.В чем проявляются преимущества предтестового задания по сравнению с традиционными контрольными заданиями?

    11.Каковы общие требования к предтестовым заданиям? Сравните свой ответе предлагаемым в пособии перечнем общих требований.

    12.Охарактеризуйте факторы, снижающие точность тестовых измерений.

    13.Можно ли с помощью традиционных средств контроля получить представление об истинных баллах учеников?

    14.Три ученика отвечали на 6 заданий теста, ранжированных по нарастанию трудности. По результатам ответов получились профили:

    первый: 111000; второй: 101010; третий: 000111.

    Кто, по вашему мнению, лучше усвоил содержание проверяе­мого курса? Сколько ошибок в профиле ответов каждого из трех учеников? У кого из трех учеников будет выше истинный балл? Правомерна ли постановка последнего вопроса по отношению к результатам третьего ученика?

    15. Перечислите основные этапы разработки теста.




    Целеполагание на этапе планирования

    При создании теста внимание разработчика прежде всего при­влекают вопросы отбора содержания, которое можно определить как оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предпо­лагает использование определенной методики отбора, включаю­щей вопросы целеполагания, планирования и оценки качества содержания теста.

    Этап целеполагания является наиболее трудным и вместе с тем наиболее важным: от результатов его выполнения в первую очередь зависит качество содержания теста. В процессе целеполагания пре­подавателю необходимо решить вопрос о том, какие результаты уче­ников он хочет оценить с помощью теста. Ответ казалось бы прост, по крайней мере, он кажется таким тем, кто неоднократно проверя­ет знания учеников на уроках традиционными средствами. Однако наделе эта видимая простота зачастую оборачивается низким каче­ством результатов контроля, когда разные по подготовке ученики получают одинаковые оценки либо преподаватель приходит к не­правильному выводу о достижении целей обучения, в то время как ученики не получили самых важных знаний или не научились их применять.

    Основания для ошибок в выводах педагога далеко не всегда связаны с технологическими недостатками традиционных средств контроля. Иногда они обусловлены недоработками пе­дагога на этапе целеполагания, когда центр тяжести проверки смещается на второстепенные цели обучения, а иногда этап це­леполагания отсутствует вовсе, поскольку часть педагогов уве­рена в непогрешимости; своего опыта и интуиции, особенно при условии многолетней работы в школе. Однако никакие даже очень совершенные методы контроля и никакой опыт не дадут оснований для надежных выводов о достижении целей обучения до тех пор, пока нет уверенности в правильной постановке целей контроля и в их правильном, несмещенном отображении в содержании теста.

    В отличие от отбора содержания традиционных средств конт­роля, который производится в основном интуитивно на основании практического опыта педагога, отбор содержания теста имеет чет­кую целевую направленность, а это при условии правильной по­становки целей является серьезной заявкой на его высокое каче­ство. Образно говоря, при создании теста в сознании разработчика содержание контроля преломляется сквозь призму поставленных целей измерения, и если они сформулированы правильно, то есть большая уверенность в том, что тест состоится.

    Правда, сама по себе правильная постановка целей создания теста довольно непроста, к тому же положение осложняется рядом обстоятельств. С одной стороны, различные школы в современной педагогике при формулировке целей используют разные системы понятий и представлений, часто плохо сочетающиеся между собой. С другой стороны, использование отличающихся слов и выраже­ний естественного языка в качестве терминов порождает изрядную путаницу, нередко контекст ряда педагогических подходов недо­статочен для осуществления терминообразующей функции.

    Вместе с тем в течение целого ряда лет особой потребности в формировании единых подходов к формулировке целей просто не возникало. Существовавшая в нашей стране на протяжении десяти­летий преимущественная ориентация на традиционные средства контроля снимала потребность в этом процессе, так как расплывча­тость и неопределенность действующих образовательных целей не приходила в рассогласование с требованиями практики, далекой от проблем создания объективных средств измерения. И наконец, не­редко положение осложняли сами исследователи, которые, образно говоря, прорицали, но не слышали друг друга. В целом это привело к тому, что до сих пор не выработаны общие правила выбора осно­ваний для классификации целей, не найдены разделяемые всеми принципы для количественной оценки степени их достижения.

    Таким образом, сложившиеся на сегодняшний день представ­ления о наиболее общих целях контроля не позволяют непосред­ственно перейти к разработке средств измерения. Для формулиро­вок образовательных целей характерны излишняя общность, расплывчатость, многообразие и неопределенность. Поэтому для создания средств измерения в первую очередь необходима предва­рительная операционализация целей.

    Процесс операционализации заключается в придании содер­жанию и форме представления целей характеристик, позволяющих отобразить цели в содержании стандартизованных средств измерения . Идея операционализации очень близка отдельным положениям работы М.В. Кларина , где вместо сло­ва «операционализация»"используется иной, довольно удачный термин «конкретизация». Дело разумеется не в термине, а в сути предлагаемого процесса.

    Конкретизация целей

    Конкретизация, по мнению М.В. Кларина, должна начинаться с описания направленности воздействия обучения на ученика, про­яснения характера воздействия и детализации его результатов. В этой связи Кларин выделяет ряд вопросов, решение которых с не­обходимостью сопутствует процессу конкретизации. Ответ на пер­вый вопрос направлен на характеристику образовательных усло­вий, создаваемых для реализации целей. Ответ на второй - связан с выявлением внутренних параметров учащихся, их способностей к усвоению нового учебного материала. И наконец, ответ на тре­тий вопрос нацелен на характеристику результатов образователь­ного процесса.

    Приведенные Клариным узловые моменты процесса конкре­тизации нуждаются в некоторых уточнениях - изменении не со­держания, а просто порядка постановки вопросов. Поскольку по­рядок постановки вопросов подчинен определенной иерархии, то для отражения сущности происходящих при контроле процес­сов второй и третий вопросы, несомненно, следует поменять ме­стами. Судить о внутренних параметрах учащегося можно толь­ко на основе анализа внешней стороны учебной деятельности, проявляющейся в результатах обучения. По сути, идея перехода от внешнего к внутреннему, идея интериоризации, составляет ядро теории педагогических измерений, когда по наблюдаемым результатам контроля с той или иной степенью точности пыта­ются сделать вывод о внутренних устойчивых характеристиках - параметрах ученика.

    Конечно, не следует забывать о том, что при контроле препо­даватель как бы совершает обратный ход, поскольку на деле имен­но множество параметров испытуемых в процессе взаимодействия с заданиями порождает наблюдаемые результаты выполнения те­ста, т.е. то, что в процессе контроля принято называть результа­тами обучения. При этом выявление степени достижения целей обучения, замкнутых на определенную предметную область, осу­ществляется через контроль учебной деятельности школьников путем сопоставления наблюдаемых и ожидаемых результатов обу­чения.

    Непосредственно для целей создания средств измерения наи­больший интерес представляет ответ на третий вопрос, связанный с операционализацией результатов обучения. Процесс операцио-нализации характеризуется рядом этапов, которые схематично изображены на рис. 3.1.

    Рис. 3.1. Этапы операционализации результатов обучения

    Далее планируемые результаты обучения в сознании препо­давателя-предметника преломляются сквозь призму содержания зна­ний по преподаваемой им учебной дисциплине, и содержание теста начинает обретать свои контуры. Конечно, многое здесь зависит от выбранных средств оценки, так как далеко не всякое содержание дис­циплины и не в любой форме может быть отражено в тесте.

    В состав требований к планируемым результатам обучения обычно включают систему изучаемых объектов, описание видов учебной деятельности и качества усвоения учебного материала.

    Первым компонентом требований является характеристика объектов изучения с учетом глубины их освещения учителем и пла­нируемого уровня усвоения учащимися. Группой исследователей НИИ СиМО АПН была предложена обще предметная схема, орга­низующая множество объектов изучения в определенную структу­ру на основе морфологического и функционального анализа содер­жания предметов . К важнейшим элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценоч­ные знания.

    В этой же работе приводится вывод о том, что использование теории учебной деятельности, разработанной психологами нашей страны (С.Л. Рубинштейн, Н.А. Менчинская, Н.Ф. Талызина), «дает широкие возможности для ее характеристики в программных описаниях, объединяя своими подходами различные учебные пред­меты и различный по характеру материал обучения». Помимо это­го, в работе выдвигается на рассмотрение проблема, связанная с необходимостью выделения видов умений, их классификации и систематизации.

    В качестве основы решения проблемы предлагается структура умений, выделенная И.И. Кулибабой . В нее входят умения:

    Специальные, формирующиеся в процессе изучения отдельных учебных предметов;

    Рационального учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, а также управлять ею в процессе учения;

    Интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные предметы.

    классификация целей

    При создании теста ставится задача отобразить в его содержании то главное, что должны знать ученики в результате обучения, поэто­му ограничиться простым перечислением целей обучения нельзя. В тест хотелось бы включить все, но, к сожалению, это невозможно, поэтому часть целей приходится просто отбросить и не проверять степень их достижения учащимися. Для того чтобы не утратить са­мое главное, необходимо структурировать цели и ввести определен­ную иерархию в их взаимное расположение. Без сомнения, здесь нет и не может быть готовых общих рецептов, поскольку в каждой дис­циплине свои приоритеты. К тому же отдельные цели заметно свя­заны между собой, и потому простого представления о системе це­лей как об упорядоченной совокупности без рассмотрения связей между элементами явно недостаточно.

    Для случая, когда представление об элементах как о несвя­занных составляющих можно считать адекватным системе целей обучения, работа по построению системы целей была проведена Б.С. Блумом (B.S. Bloom) . В настоящее время классификация целей (или, как ее иначе называют, таксономия целей), является наиболее известной в мировой педагогической литературе. Она же и является наиболее технологичной с точки зрения большинства зарубежных разработчиков педагогических тестов. В своей класси­фикации Б.С. Блум выделяет:

    1) знание названий, имен, фактов;

    2) фактуальные знания;

    3) знание определений и понимание их смысла;

    4) сравнительные, сопоставительные знания;

    5) классификационные знания;

    6) знание противоположностей, противоречий, синонимичных и антонимичных объектов;

    7) ассоциативные знания;

    8) причинные знания;

    9) алгоритмические, процедурные знания;

    10)обобщенные, системные знания;

    11)оценочные знания;

    12)процессуальные знания;

    13)абстрактные знания;

    14)структурные знания;

    15)методологические знания.

    Классификация знаний Б.С. Блума приведена в несколько из­мененном и сокращенном виде для облегчения этапа целеполагания при разработке теста, в учебном пособии . Сама по себе си­стема тоже не полна и допускает возможность расширения или изменения, обусловленную спецификой дисциплины.

    Более полное описание целей, взятое из работы Кларина , приводится в приложении 3.1. Предлагаемая в приложении таксо­номия целей подразделяется на две группы. К одной группе отне­сены цели когнитивной (познавательной) области, а к другой - цели аффективной (эмоционально-деятельностной) области.

    В последнее время таксономия Б.С. Блума подвергалась зна­чительной критике в связи с недостаточным отражением со­временных достижений в области психологии обучения. Общий критический анализ существующих концептуальных моделей пла­нирования при отборе содержания контроля был проделан в 1987 г. Ромберг, Зариния (Romberg, Zarinnia). К числу недостатков ими были отнесены излишняя упрощенность моделей, не позволяющая использовать современные теории процесса обучения, избыточное внимание к оценке результата обучения, а не к процессу формиро­вания результата, использование линейной зависимости между отдельными составляющими модели.

    В последние годы особые осложнения в оценке учебных достижений вызывает смещение акцентов на выявление уровня владения интеллектуальными и практическими умениями, которые, по своей сути, слабо алгоритмизируемы, сложны и неоднозначны при проверке и требуют, как правило, создания концептуальных моделей, альтернативных существующим. ;

    Из апробированных на практике в настоящее время наиболь­шее применение находит трехмерная модель, включающая содер­жание, технику измерения и планируемый уровень познавательной деятельности, необходимый для выполнения заданий теста .

    Первая составляющая модели - содержание - обеспечивает содержательную валидность инструментария, его соответствие учебным программам.

    Под второй составляющей - техникой измерения - в основном понимается используемый тип заданий. Необходимость введения второй составляющей вызвана тем, что в настоящее время произош­ло значительное расширение используемых в практике массового тестирования форм. Помимо традиционных заданий с выбором ответа, применяются задания со свободным ответом как в краткой, так и в развернутой форме, экспериментальные задания и др. Разнообразие форм обусловило введение различных технологий, особенности которых должны быть отражены в концептуальной модели.

    Третьей составляющей модели является познавательная дея­тельность, на оценку которой направлено измерение. В тра­диционном подходе, использующем таксономию Б.С. Блума, уровень мыслительной деятельности, необходимой ученику для ответа на предложенное задание, определялся экспертом. В но­вой концептуальной модели задания конструируются таким об­разом, что они предоставляют различные возможности для от­вета и уровни познавательной деятельности планируются в концептуальной модели теста.

    Детальная разработка категорий познавательной деятельности, требований к уровню ее развития, к проявлению различных уров­ней сформированности интеллектуальных умений осуществляется в настоящее время в различных странах мира. СОЛО-таксономия (SOLO - Structure of the Observed Learning Outcomes), предложен­ная в 1982 г. (Biggs and Collis), - один из примеров разработки со­временной модели структуры познавательной деятельности. На се­годняшний день СОЛО-таксономия прочно вошла в практику деятельности многих тестовых центров. Она достаточно успешно применяется в международных исследованиях качества образования в различных странах мира, в частности для оценки достижений уча­щихся по математике и естествознанию (Collis (1987), Collis and Romberg and Jurdak(1986), ChikandWatsonandCollis(1988), Marshall and others (1991) и др.). СОЛО-таксономия включает отдельные ас­пекты содержательно-деятельностной модели и этим может быть сравнима с таксономией Блума. Помимо этого, в ней есть элементы теории Пиаже об этапах развития познавательной деятельности. СОЛО-таксономия имеет иерархическую структуру, может быть ис­пользована как для разработки инструментария, так и при интер­претации результатов тестовых измерений.

    Современная модель предлагает качественное описание ответов учащихся. Это означает, что уже на этапе разработки инструмента­рия должна быть четко очерчена познавательная деятельность, ле­жащая в основе выполнения каждого задания теста. Тогда на одном конце шкалы познавательной деятельности будут представлены за­дания на воспроизведение фактов и простейших алгоритмов, вклю­чающих только один шаг деятельности, - словом, задания, позво­ляющие учащимся продемонстрировать умения решать простейшие задачи, используя для этого рутинные процедуры или одноуровне­вую познавательную деятельность; на другом конце шкалы - зада­ния, предлагающие учащимся продемонстрировать большое разно­образие интеллектуальных и практических умений.

    В ряде появившихся в нашей стране работ таксономия Б.С. Блу-ма также неоднократно подвергалась критике, в частности, из-за того, что в ней произошло методологически недопустимое смеше­ние конкретных результатов обучения (знания, понимание и т.д.) с операциями, представляющими необходимое условие их дости­жения (анализ, синтез, оценка). В этой связи в пособии предлага­ется иная классификация целей. В ее основу положен уровневый системный подход описания достижений учащихся (И.Я. Лернер, В.П. Беспалько и др.), который позволяет сгруппировать результа­ты обучения в зависимости от уровней учебной деятельности.

    Первый уровень связан с непосредственным воспроизведени­ем по памяти содержания изученного материала и его узнаванием.

    Второй уровень предполагает понимание и применение знаний в знакомой ситуации по образцу, выполнение действий с четко обо­значенными правилами.

    Третий уровень включает применение знаний в измененной или незнакомой ситуации.

    Таким образом, предлагаемый подход к классификации осно­ван на выделении уровней усвоения знаний и операций, со­путствующих их проявлению (табл. 3.1).

    ОПЕРАЦИОНАЛИЗАЦИЯ ПЛАНИРУЕМЫХ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

    После постановки целей в общем виде переходят к операциона-лизации планируемых результатов обучения. Процесс операциона-лизации строится на описании учебных целей в виде результатов оп­ределенной учебной деятельности так, чтобы о степени достижения цели можно было судить вполне однозначно. Идея подобного пере­хода не всегда встречается отечественными исследователями поло­жительно. По поводу перехода от целей обучения, ориентированных на качественные изменения во внутренних характеристиках уча­щихся, к внешним проявлениям в виде результатов учебной деятель­ности написано немало критических работ, например .

    Таблица 3.1. Классификация целей обучения

    Уровень усвоения учебного материала Требования к достижениям учащихся (уровню подготов­ки учащихся) в обобщенных терминах Формулировки требований в терминах внеш­ней деятельности
    1 . Воспро­изведение знаний Знать терминологию, специфические факты даты, события, имена людей и т.д.), категории, критерии, методы, принципы, законы, тео­рии и т.д. Дать определение, называть, формули­ровать, описывать, установить соответ­ствие (между термином и определени­ем), показывать (находить), распозна­вать (находить), пересказывать, пере­числять (особенности), выбирать и т.д.
    2. Пони­мание и примене­ние зна­ний в зна­комой ситуации Понимать факты, зако­ны, принципы, крите­рии, теории; понимать прочитанный текст. Применять знания для объяснения, сравнения, для решения качествен­ных и количественных задач; правильно ис­пользовать методы, алго­ритмы, процедуры; стро­ить графики, диаграм­мы, таблицы и др. Объяснять, соотносить, характеризо­вать (приводить характеристики), сравнивать, устанавливать (различие, зависимость, причины), выделять су­щественные признаки, рассчитывать (определить по формулам или алго­ритму), решить, составить что-то по готовой схеме, выполнить в соответст­вии с правилами, продемонстрировать, измерить, продолжить/закончить (предложение), вставить пропущенные слова (буквы) и т.д.
    3. Приме­нение знаний в изменен­ной или незна­комой ситуации Интегрировать знания из разных разделов для решения различных про­блем, анализировать, обобщать, оценивать, конструировать, плани­ровать деятельность, эксперимент Составить устный или письменный ответ на проблемный вопрос, написать сочинение, проводить исследование, формулировать гипотезу (выводы), обосновать свою точку зрения или точ­ку зрения автора, предсказывать по­следствия, отличать факты от мнений (суждений), факты от гипотез, выводы от положений, анализировать инфор­мацию, находить ошибку, высказывать суждение, свое мнение, суждения о соответствии выводов и фактов, давать отзыв или рецензию, высказывать суж­дение о значении (роли) идей, о точно­сти (измерений), высказывать сужде­ние о качестве (точности, эффективно­сти, экономичности) проделанной ра­боты, о выбранном способе решения или используемых методах, строить модель (изменять модель), реконст­руировать, составить план эксперимен­та, рассказа, решения, изменить план и т.д.

    Представляется, что ситуация с переходом далеко не столь опас­на, как это любят утверждать представители критического направ­ления. Скорее наоборот, ориентация на внешние стороны деятель­ности учащихся несет в себе ряд положительных моментов. В частности, неизмеримо повышается технологичность описания целей, в связи с чем появляется возможность корректного перехо­да к диагностике степени их достижения.

    Повышению конкретизации описания результатов учебной де­ятельности, по мнению Кларина, способствует использование ряда глаголов, непосредственно характеризующих действия ученика . В приведенном им примере из работы цель «изучить ис­пользование символических обозначений на погодной карте» раз­ворачивается в виде совокупности учебных результатов, характе­ризующих деятельность ученика, который должен уметь:

    Воспроизводить по памяти символы, употребляемые на карте погоды;

    Составлять карту, пользуясь символами;

    Уметь по заданной карте дать прогноз погоды.

    Несмотря на расхожее среди отечественных теоретиков мнение о возможности операционализации только результатов низкого познавательного уровня, процессу операционализации, несомнен­но, подлежат и довольно сложные цели более высокого уровня. Для этого нужны определенные навыки тех, кто берется за создание тестов. В приобретении подобных навыков разработчикам тестов может помочь ориентировочный перечень глаголов, который при­водит Кларин для конкретизации учебных целей. В случае необхо­димости конкретизации общих целей он рекомендует использовать глаголы:

    анализировать, вычислять, высказывать, демонстрировать, знать, интерпретировать, использовать, оценивать, понимать, пре­образовывать, применять, создавать...

    для конкретизации целей творческого типа -

    варьировать, видоизменять, модифицировать, перегруппировать, перестроить, предсказать, поставить вопрос, синтезировать, сис­тематизировать...

    для обозначения целей в области развития устной и письмен­ной речи - выделить, выразить в словесной форме, записать, обозначить, подчеркнуть (не в буквальном смысле), продекламировать, произнес­ ти, прочитать, разделить на составные части, рассказать...

    Таблица 3.2. Конкретизированные цели обучения

    Обобщенные учебные цели, планируемые преподавателем Примеры конкретизированных учебных целей, достигнутых учеником
    Знание на уровне запо­минания и воспроизве­дения Знает смысл употребляемых терминов, основные понятия и определения, формулы, законы, принципы
    Знания на уровне по­нимания Понимает и интерпретирует термины, интерпретирует понятия и определения, преобразует словесный материал в математические выражения, интерпретирует словесный материал на схемах и графиках
    Умения по применению знаний в известной си­туации Умеет применять термины, понятия и определения в знакомой ситуации по образцу, а также формулы, законы и принципы в знакомой ситуации
    Умения по применению знаний в незнакомой ситуации Использует законы и принципы в новых ситуациях, осуществляет перенос известных методов на незнакомые ситуации
    Анализ Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, выделяет скрытые предположения, проводит различия между фактами и следствиями

    Очередной этап операционализации связан с переходом от пла­нируемых результатов обучения к тому, что можно отобразить в средствах педагогического измерения, например в тесте. На этом этапе операционализация позволяет структурировать, расчленять, а иногда, наоборот, укрупнять, уточнять и детализировать содер­жание дисциплины для его отображения в содержании теста. Имен­но этот этап обеспечивает переход от теоретического уровня ана­лиза целей обучения к эмпирическому и позволяет концептуально правильно подойти к выделению эмпирических индикаторов - заданий теста.

    Последний этап операционализации сопряжен с задачами пла­нирования содержания теста. В процессе планирования автору теста приходится думать о том, что далеко не весь набор целей обуче­ния по разным причинам можно отобразить в содержании теста. Конечно, чем глубже и полнее отображение, тем выше содержа­тельная валидность теста, тем больше оснований доверять тесто­вым баллам учащихся. Однако этот вывод носит исключительно теоретический характер. На практике же приходится думать не только о требованиях тестовой технологии, но и о реальных воз­можностях школьников определенного возраста, которые должны выполнять тест без излишнего напряжения и усталости. В этой свя­зи набор целей необходимо структурировать, чтобы в тест попали самые важные цели учебного процесса.

    Выделение целей различного уровня иерархии позволяет уточ­нить определенные предметные области, разделы, темы, содержа­ние которых необходимо отразить в тесте. Отсюда остается один шаг до оценки степени реализации целей, для чего знание пред­метных областей выражается правилами измерения с перечисле­нием элементов содержания в совокупности с желаемыми, плани­руемыми при обучении уровнями владения этими элементами. Таким путем общие цели обучения обретают свою конкретизацию и возникает прагматическое определение знания учебной дисцип­лины: когда испытуемый правильно выполняет на определенном уровне усвоения такие-то задания таких-то разделов теста.

    Планирование содержания теста

    После определения целей тестирования и их конкретизации необходимо разработать план и спецификацию теста. В соответ­ствии с поставленными целями каждое задание теста предназначе­но для проверки у испытуемых уровня владения определенными знаниями, умениями или навыками.

    При разработке плана делается примерная раскладка про­центного соотношения содержания разделов и определяется необ­ходимое число заданий по каждому разделу дисциплины исходя из важности раздела и числа часов, отведенных на его изучение в про­грамме.

    Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем в процессе работы над тестом будет неоднократно меняться в сторону увеличения или уменьшения. Обычно предельное число не превышает 60-80 заданий, посколь­ку время тестирования выбирают в пределах 1,5-2 ч, а на выпол­нение одного задания отводится в среднем не более 2 мин. Пример предварительной раскладки заданий при составлении плана теста для оценки знаний, умений школьников по одному из разделов алгебры показан в табл. 3.3.

    Т аблица 3.3. План теста по разделу «Алгебраические уравнения»

    № п/п

    Контролируемое содержание

    Число заданий Номера заданий
    1

    Определение уравнения

    1 1
    2

    Эквивалентность уравнений

    3 4,5,31
    3

    Виды уравнений

    1 2

    Линейные уравнения

    решение 6 11,15-19
    исследование 1 7

    Решение квадратных уравнений

    неприведенных 2 12,26
    приведенных 2 24,25
    неполных 4 20-23
    6

    Исследование квадратных уравнений

    1 8
    7

    Теорема Виета

    .2 13,14

    Биквадратные уравнения

    решение 3 28,30
    исследование 1 9

    Методы решения уравнений

    подстановка 1 3
    разложение на множители 1 27

    Уравнения второй степени

    решение 1 6
    исследование 1 10
    11

    Задачи на составление алгебраических уравнений

    1 32

    Конечно, план теста начинает обретать некоторую определен­ность уже на этапе целеполагания, когда преподаватель примерно представляет, сколько и какие задания по различным темам он хо­тел бы включить в тест. Однако такие примерные оценки не про­сто нежелательны, а скорее недопустимы. Тест неизбежно окажется перегруженном второстепенным материалом, а главные вопро­сы могут быть упущены либо для них просто не останется места. Отсюда легко понять важность разработки такого плана, который оптимально отображает содержание учебной дисциплины в содер­жании теста.

    После выполнения первого шага по планированию содержания разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение зада­ний в тесте. Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, который будет использовать­ся для оценки достижений учащихся в соответствии с намеченны­ми целями создания теста, время выполнения теста, число заданий, особенности проведения тестирования, которые могут повлиять на характеристики теста и т.д.

    Спецификация в развернутой форме включает 1:

    1) цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер применения теста;

    2) перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста;

    3) описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием подходов к их разработке;

    4)количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте;

    5) число параллельных вариантов теста либо ссылку на кластер, содержащую число и номера заданий кластера;

    8) соотношение заданий по различным разделам и видам учебной деятельности школьников;

    10)охват требований стандартов (для аттестационных тестов);

    11)перечень требований, не вошедших в тест (для аттестационных тестов);

    1 Развернутая форма спецификации разработана коллективом тестологов под руководством Г.С. Ковалевой и применялась в 1998-1999 гг. для создания аттес­тационных тестов Российского центра тестирования выпускников общеобразо­вательных учреждений.

    Один из наиболее распространенных подходов к созданию крат­кой спецификации основан на сопряжении системы знаний и уме­ний с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисцип­лины в тесте (пункт 8 развернутой спецификации). Пример реали­зации подобного сопряжения приведен в табл. 3.4. Предлагаемый в ней перечень знаний и умении носит достаточно общий харак­тер. В него включены:

    А - знание понятий, определений, терминов;

    В - знание законов и формул;

    С - умение применять законы и формулы для решения задач;

    D - умение интерпретировать результаты на графиках и схе­мах;

    Е - умение проводить оценочные суждения.

    Таблица 3.4. Гипотетическая спецификация теста

    № п/п

    Планируемые к проверке знания и умения

    Стандартизация (А. Анастази) - это "единообразие процедуры проведения и оценки выполнения теста". Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний. Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.

    Этапы стандартизации

    На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.

    Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:

    • 1) условия тестирования (помещение, освещение и др. внешние факторы). Очевидно, что объем кратковременной памяти лучше измерять (например, с помощью субтеста повторения цифровых рядов в тесте Векслера), когда нет внешних раздражителей, таких как посторонние звуки, голоса и т.д.
    • 2) Содержание инструкции и особенности ее предъявления (тон голоса, паузы, скорость речи и т.д.). Например, в тесте "10 слов" каждое слово должно предъявляться через определенный интервал времени в секундах.
    • 3) Наличие стандартного стимульного материала. Например, достоверность полученных результатов существенно зависит от того, предлагаются ли респонденту изготовленные самодельные карты Г. Роршаха или стандартные - с определенной цветовой гаммой и цветовыми оттенками.
    • 4) Временные ограничения выполнения данного теста. Например, для выполнения теста Равена взрослому респонденту дается 20 минут.
    • 5) Стандартный бланк для выполнения данного теста. Использование стандартного бланка облегчает процедуру обработки.
    • 6) Учет влияния ситуационных переменных на процесс и результат тестирования. Под переменными подразумевается состояние испытуемого (усталость, перенапряжение и т.д.), нестандартные условия тестирования (плохое освещение, отсутствие вентиляции и др.), прерывание тестирования.
    • 7) Учет влияния поведения диагноста на процесс и результат тестирования. Например, одобрительно-поощряющее поведение экспериментатора во время тестирования может восприниматься респондентом как подсказка "правильного ответа" и др.
    • 8) Учет влияния опыта респондента в тестировании. Естественно, что респондент, который уже не в первый раз проходит процедуру тестирования, преодолел чувство неизвестности и выработал определенное отношение к тестовой ситуации. Например, если респондент уже выполнял тест Равена, то, скорее всего, не стоит предлагать ему его во второй раз.

    Второй этап стандартизации психологического теста состоит в создании единообразной оценки выполнения теста: стандартной интер-претации полученных результатов и предварительной стандартной обработки. Этот этап предполагает также сравнение полученных показателей с нормой выполнения этого теста для данного возраста (например, в тестах интеллекта), пола и т.д. (см. ниже).

    Третий этап стандартизации психологического теста состоит в определении норм выполнения теста.

    Нормы разрабатываются для различных возрастов, профессий, полов и др. Вот некоторые из существующих видов норм:

    Школьные нормы разрабатываются на основе тестов школьных достижений или тестов школьных способностей. Они устанавливаются для каждой школьной ступени и действуют на всей территории страны.

    Профессиональные нормы устанавливаются на основе тестов для разных профессиональных групп (например, механиков разного про-филя, машинисток и др.).

    Локальные нормы устанавливаются и применяются для узких кате-го-рий людей, отличающихся наличием общего признака возраста, пола, географического района, социо-экономического статуса и др. Например, для теста Векслера на интеллект нормы ограничены возрастными рамками.

    Национальные нормы разрабатываются для представителей данной народности, нации, страны в целом. Необходимость таких норм определяется конкретной культурой, моральными требованиями и традициями каждой нации.

    Наличие нормативных данных (норм) в стандартизованных методах психодиагностики является их существенной характеристикой.

    Существуют требования к проведению эксперимента:

    • 1. Инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;
    • 2. Ни одному испытуемому не следует давать никаких преимуществ перед другими;
    • 3. В процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;
    • 4. Эксперимент с разными группами следует проводить в одинаковое по возможности время дня, в сходных условиях;
    • 5. Временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и так далее.

    Всякая норма обычно со временем изменяется вместе с естественными изменениями, которые с годами происходят в психологии людей, поэтому есть правило, согласно которому нормы теста, особенно интеллектуального, должны пересматриваться, как минимум один раз в пять лет.

    Для выполнения статистической нормы применяются приемы математической статистики х (х - среднее арифметическое, - станд. отклонения). Х 5

    Процентиль - это процентная доля индивидов из выборки стандартизации.

    Под руководством Гуревича разрабатываются тесты, в которых в качестве точки отсчета выступает независимый от результатов испытания, объективно заданный социально-психологический норматив. Он реализуется в совокупности заданий составляющих тест. Сам тест в полном его объеме и является таким нормативом.

    При разработке и применении любой точки отсчета следует обратить внимание на выборку испытуемых. В математической статистике различают генеральную совокупность (популяция) и выборку. Всякая большая совокупность людей относительно которой мы собираемся делать выводы называется генеральной совокупностью.

    Выборка - это часть, или подмножество, совокупности. Проводить исследования для популяции не принято. Обычно из нее выделяется группа людей - выборка стандартизации, которая реально подвергается тестированию, и с ее помощью оценивается генеральная совокупность. Чтобы оценки носили достоверный характер выборка должна быть репрезентативна, представительна для рассматриваемой популяции, то есть ее вероятные свойства должны совпадать или быть близкими к свойствам генеральной совокупности.

    Один из способов обеспечения репрезентативности выборки является ограничение популяции (пол, возраст, профессия, здоровье, социально-эконом. статус и др.). Такая популяция определяется как специфическая.

    • 1. Отбор испытуемых в выборку стандартизации
    • 2. Определение популяции с выделением в ее структуре переменных значимых, малозначимых (возраст, пол)
    • 3. Популяция делится на части в зависимости от значимых переменных.
    • 4. Испытуемые отбираются в случайном порядке и пропорционально численности каждой значимой части совокупности. Минимальный порог выборки - 200 человек.

    Статистическая норма - критерий, по которому проводят сравнение результатов диагностических методик.

    Возрастная норма - как показатель, который появляется в тестах Бене-Симона (норма - сделать все задания).

    Внешний критерий - критерий выполнения.

    Процентиль - это процентная доля индивидов из выборки стандартизации, первичный результат которому ниже данного первичного показателя. Процентили указывают на относительное положение индивида в выборке стандартизации. Чем ниже процентиль, тем хуже позиция индивида. Процентили нельзя смешивать с обычными процентными показателями, которые являются первичными показателями и представляют собой процент правильно выполненных заданий, тогда как процентиль - это производный показатель, указывающий на долю от общего числа членов группы.

    стандартизация надёжность валидность тесты

    Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

    Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

    Размещено на http://www.allbest.ru/

    1. Технология адаптации тестовой методики: анализ заданий

    Ситуация конструирования психологических тестов предполагает наличие только исходной концепции психического свойства наряду с отсутствием процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениями прочих ресурсов (А.А. Бодалев, В.В. Столин). Несмотря на то, что конструирование методик, относящихся к различным подходам, имеет определенную специфику, можно выделить обобщенный алгоритм деятельности по разработке теста.

    1. Теоретическое обоснование методики.

    2. Собственно конструирование.

    2.1 Спецификация теста (определение числа заданий). Подробно процедура спецификации тестов на примере опросников приведена в учебнике Л.Ф.Бурлачука.

    2.2 Разработка заданий.

    2.4 Предварительное оформление.

    На данном этапе проводится пилотажное исследование на сокращенной выборке стандартизации. Рассчитываются основные психометрические показатели. В первую очередь, проводится анализ заданий теста. Подробно данная процедура освещена А.Анастази. Анализ заданий теста (пунктов теста) осуществляется по двум параметрам: трудность заданий (доля испытуемых выборки, справившихся с заданием) и дискриминативность заданий (различительная способность заданий). На этапе апробации методики также производят предварительный расчет показателей надежности и валидности.

    4. Расчет психометрических показателей на выборке стандартизации.

    5. Стандартизация теста. Расчет тестовых норм.

    6. Окончательное оформление методики.

    7. Пересмотры методики с течением времени.

    Ситуация адаптации предполагает перепроверку основных психометрических показателей методики в новых условиях. В первую очередь, адаптации подлежат переводные тесты. Адаптация зарубежных тестов по объему эмпирико-статистической работы практически не уступает созданию оригинальных диагностических методик.

    А.А. Бодалев и В.В. Столин выделяют следующие этапы адаптации переводного теста:

    1. Анализ внутренней согласованности пунктов теста.

    2. Проверка устойчивости к пере тестированию.

    3. Анализ корреляций с релевантным внешним критерием.

    4. Проверка или рестандартизация тестовых норм.

    5. В случае адаптации многомерной методики - проверка воспроизводимости структуры отношений между шкалами.

    Особые задачи ставит перед психологом ситуация «внутрикультурного переноса» теста на новую популяцию, отличающуюся от выборки стандартизации половозрастными или профессионально-культурными особенностями. В данном случае необходимо:

    1) проверить валидность методики;

    2) перепроверить тестовые нормы.

    2. Характеристика этапа переработки и интерпретации психодиагностического процесса

    Этапы психодиагностического процесса. В психологической литературе приводится несколько вариантов схем диагностического процесса, с различной полнотой отражающих его реальное содержание (Бурлачук Л.Ф., Гильбух Ю.З., И.В. Дубровина, И. Шванцара, Бодалев А.А., Столин В.В. и др.).

    И.В. Дубровина, обобщая опыт работы школьных психологов и опираясь на исследование И. Шванцара, выделяет следующие этапы работы по психодиагностике:

    1. Изучение требования, поступившего практическому психологу в виде запроса (жалобы, сомнений, вопроса) учителей, родителей, учеников, предполагающее его уточнение посредством проведения специальной беседы,

    2. Формулировка психологической проблемы, заключающаяся в переводе запроса на психологический язык на основе изучения всей информации об ученике.

    3. Выдвижение гипотез о причинах отклонений в обучении, воспитании, развитии учащегося.

    4. Выбор метода исследования, предполагающий наличие в распоряжении практического психолога и владение им как строго-формализованными {тесты), таки малоформализованными (наблюдение, беседа и т. п.) методами и проведения исследования.

    5. Оценка полученных результатов, заключающаяся в сопоставлении их с проявлениями в жизненных ситуациях и с возрастными особенностями.

    6. Диагноз, формулировка заключения.

    7. Перевод диагноза на язык адресата (учителей, родителей, ученика).

    10. Разработка путей и способов коррекции.

    11. Осуществление психокоррекционной работы.

    Другая схема диагностического процесса предложена Л.Ф. Бурлачуком. Диагностическая деятельность психолога может быть представлена в виде разных этапов процесса переработки информации, ведущих к принятию решения, -- диагнозу и прогнозу. Основные этапы диагностического процесса сводятся к сбору данных в соответствии с задачей исследования, их переработке, интерпретации и вынесению решения (диагноз и прогноз).

    Этап переработки и интерпретации. На этом этапе перерабатываются и интерпретируются полученные данные на основе гармоничного сочетания двух подходов: клинического и статистического. Клинический, близкий к суждениям здравого смысла и более ориентированный на опыт и интуицию диагноста. Статистический предусматривает учет объективных количественных показателей, их статистическую обработку. Роль субъективного суждения сводится к минимуму. Вопрос об эффективности клинического и статистического прогноза неоднократно обсуждался психологами и до сих пор служит предметом дискуссий.

    Этап принятия решения. Н. Сандберг и Л. Тайлер выделяют три уровня диагностических заключений. На первом уровне диагностическое заключение производится непосредственно из имеющихся об обследуемом данных. (Например, установлено, что успешность выполнения заданий методики позволяет сделать вывод об отсутствии расстройств мышления. Это и служит основой для отбора). При таком «селекционном» подходе психолога не интересует, почему отдельный испытуемый не смог выполнить заданий теста. Индивидуальный диагноз, а тем более прогноз, не осуществляется. Диагноз на этом уровне замкнут в порочный круг, он возвращает клинике ее же данные, но только выраженные в иной системе понятий. Еще Л. С. Выготский отмечал, что такого рода диагноз сводится к пересказу другими словами исходных данных, причем снабжается «ярким, большей частью, иностранным и непонятным ярлычком». Такой широко распространенный тип диагностики, когда психолога вполне можно заменить машиной или специально обученным для проведения тестирования человеком, неоднократно был объектом критики. Но необходимо заметить, что данный уровень следует понимать как сугубо рабочий, ориентировочный, а в некоторых случаях и соответствующий поставленным задачам (например, исследование значительного числа лиц в целях их дифференциации).

    Упорядочение и сведение в систему диагностических показателей нередко осложняются, когда используемые методики опираются на различные теоретические положения. В этом случае интеграция разнообразных данных осуществляется либо на эмпирическом уровне посредством разработки схемы, позволяющей проводить условное сопоставление результатов отдельных методик (например, путем разработки пятибалльной шкалы, противоположные полюсы которой характеризуют «высокие» и «низкие» показатели каждой методики), либо путем теоретического обобщения и систематизации диагностических данных на основе понятий какой-либо одной теории личности.

    Психодиагностическое исследование завершается разработкой программы действий, которые необходимо осуществить в связи с полученными результатами, рекомендациями по выбору оптимальных методов терапии заболевания, реабилитации и т. д.

    Итоги диагностического исследования должны быть представлены в объясняющих понятиях, т. е, описываются не результаты, полученные с помощью конкретных методик с привлечением специальной терминологии, а их психологическая интерпретация. Используемые термины должны «доопределяться» путем отнесения к соответствующей теории, например «интроверт по Айзенку» или «интроверт по Роршаху».

    Ценным в приведенной схеме является достаточно полная характеристика содержания психодиагностического процесса с позиций переработки информации диагностом, а также отвечающее современному уровню развития психологической науки решение таких специфических проблем, возникающих при осуществлении психодиагностической деятельности, как выделение способов интеграции данных различных психодиагностических методик, построение типов психодиагностических заключений. конструирование психологических тест

    Обобщение известных моделей психодиагностического процесса на базе методологических положений общей теории диагноза позволяет выделить следующие его этапы:

    1. Определение состояния объекта психодиагностики на феноменологическом уровне. На этом этапе на основе известных в психологической науке классификаций переменных параметров деятельности или состояний психического дискомфорта (классификаций объективных показателей учебной или профессиональной деятельности, типичных жалоб, проблем, запросов обследуемых) осуществляется узнавание имеющихся, в данном конкретном случае, элементов феноменологического уровня по их характерным признакам и определение их состояния с точки зрения соответствия норме. Данный этап включает:

    а) ознакомление с запросом обследуемого или связанных с ним лиц;

    б) определение соответствия данного конкретного случая компетенции практического психолога;

    в) сбор данных о переменных параметров деятельности или состояния психического дискомфорта, предполагающий опрос обследуемого или связанных с ним лиц с целью уточнения жалоб, проблем, запросов и сбора анамнестических данных, а также обследование клиента с помощью специальных методик;

    г) создание синтетической картины объекта психодиагностики на феноменологическом уровне;

    д) оценку его состояния и формулировку психодиагностической задачи.

    2. Выдвижение гипотез о психологических причинах, обусловливающих установленное па первом этапе состояние элементов феноменологического уровня (переменных параметров деятельности или психического дискомфорта) на основании схем детерминации и психодиагностических таблиц.

    3. Проверка гипотез. "Осуществляется посредством определения состояния объекта психодиагностики на уровне причинных оснований и предполагает:

    а) выбор методик психодиагностики, адекватных гипотезе;

    б) обследование клиента с помощью психодиагностических методик с целью определения состояния психологических переменных уровня причинных оснований;

    в) интерпретация и оценка состояния психологических переменных с точки зрения нормы.

    4. Построение общей формулы диагностического заключения. Реализуется па основе определения типа психологических переменных в соответствии с известными на современном уровне развития психологической науки классификациями элементов уровня причинных оснований, обусловивших установленные на первом этапе состояние параметров деятельности или психического дискомфорта.

    5. Индивидуализация психологического диагноза. На этом этапе осуществляется конкретизация диагноза и его перевод на язык адресата,

    6. Прогнозирование состояния обследуемого и формулирование рекомендаций по оказанию психологической помощи.

    7. Наблюдение за клиентом после оказания психологической помощи с последующим уточнением диагностического заключения.

    Обоснованность изложенной схемы психодиагностического процесса подтверждается экспериментальными исследованиями, выполненными на отличающихся по содержанию моделях диагностической деятельности. Основные этапы предложенной схемы психодиагностического процесса обнаруживаются также при анализе случаев из практики психологического консультирования. Вместе с тем эта схема должна пройти дополнительную проверку в различных областях психодиагностической практики.

    Итак, можно сделать следующие выводы;

    1. Психодиагностический процесс, характеризуя постановку психологического диагноза практическим психологом, представляет собой сложную процедуру, требующую специальной подготовки диагноста.

    2. Сложность психодиагностической процедуры выражается в наличии ряда этапов, отклонения в реализации каждого из которых приводят к возникновению диагностических ошибок, и обусловливаются иерархическим строением объекта психодиагностики и многозначностью причинно-следственных связей между его элементами разных уровней.

    3. Психодиагностический процесс осуществляется в форме взаимодействия диагноста с обследуемым, опосредованного психодиагностическими средствами.

    5. Количество и содержание этапов психодиагностического процесса зависит от имеющихся в распоряжении практического психолога психодиагностических средств, а также от сложившейся системы его психологической подготовки, обусловленной степенью разработанности научно-методических основ психодиагностической деятельности.

    6. На современном этапе развития психологической науки существует несколько схем психодиагностического процесса, раскрывающих его с различных сторон и с различной полнотой. В связи с этим актуальной является задача экспериментальной проверки сравнительной эффективности каждой из них в психодиагностической работе практических психологов.

    Размещено на Allbest.ru

    Подобные документы

      Характеристика сущности и необходимости психологических тестов. Обеспечение качества теста, которое достигается многоступенчатой процедурой проверки и стандартизации его шкал. Единая система составления, надежность и валидность психологических тестов.

      контрольная работа , добавлен 29.03.2011

      Проведение психодиагностического исследования личности подростка 11 лет. Изучение методики оценки личности с помощью теста "Дом-дерево-человек" и методики диагностики внутрисемейных отношений с помощью теста "Рисунок семьи". Анализ результатов тестов.

      лабораторная работа , добавлен 12.09.2010

      Тесты как стандартизированные методики психодиагностики. Особенности классификации тестов. Показатели качества тестов (методик). Разновидности валидности и её нахождение. Методы проверки валидости. Характеристика конкурентной и очевидной валидности.

      контрольная работа , добавлен 16.02.2010

      Общая и дифференциальная психометрика. Ее отношение к психодиагностике и дифференциальной психологии. Понятие надежности. Содержательная, эмпирическая, конструктная и дискриминантная валидность. Стандартизация тестов и репрезентативность тестовых норм.

      презентация , добавлен 05.01.2014

      Основные понятия в отечественной и зарубежной психологии, понятие нравственно-психологических тестов, экспериментальное исследование по выявлению роли нравственно-психологических основ в супружеских отношениях. Типы характеров и их проявления.

      дипломная работа , добавлен 11.10.2010

      Понятие, сущность и классификация методов в современной психологической науке. Психологические тесты, их оценка и характеристика основных видов – тестов-опросников, тестов-заданий и проективных тестов, а также условия их научной разработки и применения.

      контрольная работа , добавлен 16.03.2010

      Научно-методическая основа интерпретации проективных рисуночных методик. Понятие эмоциональной сферы ребенка. Отражение в рисунках детей индивидуальных особенностей и эмоционально сферы личности. Методика и техника проведения психологических тестов.

      курсовая работа , добавлен 01.03.2014

      Виды валидности теста и способы определения валидности. Отечественные и зарубежные концепции темперамента. Практическая диагностика темперамента с помощью опросника Я. Стреляу, методики Айзенка, методики Шмишека. Особенности применения темпинг-теста.

      курсовая работа , добавлен 21.09.2015

      Виды психологических трудностей ребенка с детским церебральным параличом. Психологическое сопровождение детей с нарушениям опорно-двигательного аппарата в условиях Центра коррекционно-развивающего обучения и реабилитации. Работа психолога с детьми.

      курсовая работа , добавлен 27.09.2013

      Познавательные психические процессы (их виды, свойства). Принципы обучения, системный подход к применению принципов обучения. Характеристика индивидуально-психологических свойств личности на основе тестов, особенностей профессиональной деятельности.