Критериально ориентированное тестирование в психологической диагностике. Критериально-ориентированные тесты
Психодиагностика: конспект лекций Алексей Сергеевич Лучинин
19. Критериально-ориентированные тесты
Критериально-ориентированные тесты – тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это основное отличие критериальноориентированных тестов от традиционных психометрических тестов, оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму). Термин «критериально-ориентированные тесты» предложен Р. Гласером в 1963 г. Установление содержательного и структурного соответствия заданий теста и реальной задачи – важнейший этап разработки критериально-ориентированных тестов. Этим целям служит так называемая спецификация, включающая:
2) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;
3) образцы тестовых заданий и описание стратегии их конструирования.
Различают две разновидности критериально-ориентированных тестов:
1) тесты, задания которых гомогенны, т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тесты разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;
2) тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода критериально-ориентированные тесты обычно используются для диагностики специфических трудностей в обучении. Существенной особенностью критериально-ориентированных тестов является то, что в них индивидуальные различия сводятся к минимуму (индивидуальные различия влияют на длительность усвоения, а не на конечный результат). Поэтому критериально-ориентированные тесты лучше всего приспособлены для оценки развития основных навыков на элементарном уровне. В более сложных областях поведения предела достижений не существует, и исходя из этого необходимо обращаться к оценкам, ориентированным на нормы.
Сегодня за рубежом разработаны тесты, выполнение заданий которых можно соотносить как с критериями, так и с нормами. Необходимо учитывать и то, что нормы неявно присутствуют в критериально-ориентированных тестах, ибо выбор содержания или навыков, подлежащих измерению, предполагает наличие сведений о том, как в подобных ситуациях действовали другие обследуемые ( А. Анастази , 1982). Исходя из этого наиболее перспективным представляется объединение критериально-ориентированного подхода с традиционным психометрическим.
А. Анастази (1982) правомерно считает, что акцент критериальноориентированных тестов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированных тестов непригодны в большинстве случаев обычные приемы определения валидности и надежности.
В отечественных исследованиях имеется опыт создания критериально-ориентированных тестов ( Е. И. Горбачева , 1985). Кроме того, осуществляется разработка методик, близких критериальноориентированным тестам, но ориентированных не на критерий, а на так называемый социально-психологический норматив или общественно-заданный объективный содержательный эталон (Школьный тест умственного развития). Также исходя из социально-психологического норматива анализируются результаты, полученные с помощью известных психометрических тестов.
Из книги Инфекции, передаваемые половым путем автора Юрий Константинович СкрипкинГлава 19. Скрининговые тесты при ЗППП Вопросы профилактического обследования на ЗППП перед лицом роста инфекций, особенное ВИЧ, стали приоритетной проблемой в странах ВОЗ, где получили широкое распространение массовые скрининги популяции.Программа профилактики
Из книги Детская йога автора Андрей Иванович БокатовПриложение 2 Тесты Тест «Несуществующее животное» (в интерпретации А. Э. Симановского).Этот рисуночный тест позволит вам провести диагностику интеллектуальных качеств ребенка 7–10 лет.Инструкция.Обратиться к ребенку: «Сейчас ты придумаешь животное, которое в природе не
Из книги Заболевания крови автора М. В. ДроздоваТесты, характеризующие состояние тромбоцитарно-сосудистого гемостаза Методы определения устойчивости сосудов микроциркуляторного руслаОриентировочным методом, посредством которого можно определить состояние микрососудов, является проба щипка, которая при их
Из книги Психодиагностика: конспект лекций автора Алексей Сергеевич ЛучининЛЕКЦИЯ № 4. Тесты специальных способностей и достижений 1. Факторный анализ как теоретическая основа построения комплексных батарей тестов способностей Толчком для развития тестов специальных способностей стало мощное развитие профессионального консультирования, а
Из книги Точка боли. Уникальный массаж пусковых точек боли автора Анатолий Болеславович Ситель4. Тесты достижений Наряду с тестами интеллекта, специальных и комплексных способностей возник и еще один тип тестов, широко применяемых в учебных заведениях, – тесты достижений. В отличие от тестов интеллекта они отражают не столько влияние многообразного
Из книги Метеочувствительность и здоровье автора Светлана Валерьевна Дубровская16. Компьютерные тесты 1. Тесты, предъявление и обработка которых приспособлены к среде ЭВМ.2. Тесты, специально разработанные для реализации условий и возможностей современной вычислительной техники.На современном этапе развития компьютерной психодиагностики
Из книги 30+. Уход за лицом автора Елена Юрьевна ХрамоваОриентационные, самодиагностические тесты при болях в области локтя При спазмах мышц-разгибателей и мышц-вращателей кисти невозможно направить кончики пальцев вниз и особенно вверх, не смыкая ладони вместе. При попытке удержать сжатую в кулак кисть в положении
Из книги Ваш ребенок курит? автора Александр Александрович АлександровТесты на определение метеочувствительности Тест на метеочувствительность I На планете немало людей, которые физически ощущают приближение дождя, сильного ветра либо резкий перепад температур или атмосферного давления. А насколько вы метеочувствительны? Проверить это
Из книги Самодиагностика и Энергетическое целительство автора Андрей Александрович ЗатеевТесты на определение типа кожи Чтобы установить, к какому типу относится ваша кожа, необходимо провести несложный тест.Как определить сухую кожуПеред проведением теста очистите лицо, но не наносите после этого крем на кожу. По прошествии часа после очистки рассмотрите
Из книги Как избавиться от целлюлита автора Юлия ГардманПриложение 5 Тесты для курящих подростков (самозаполнение) Тест № 1СОЦИАЛЬНАЯ СИТУАЦИЯ КУРЕНИЯВ каждом пункте выбери один ответ и под считай набранные баллы1) Курят ли у тебя дома? 2) Как отнесутся близкие к твоему отказу от курения? 3) Курят ли твои друзья открыто?
Из книги Детская оздоровительная йога автора Андрей ЛипеньКак определить нужного партнера: тесты на совместимость Согласно существующей статистике, несовместимость супругов – одна из главных причин, по которой разрушается множество внешне «перспективных» браков.Сколько проблем и разногласий возникает из-за разных
Из книги Дыхание по методу Бутейко. Уникальная дыхательная гимнастика от 118 болезней! автора Ярослава СурженкоСуществуют ли тесты на определение наличия целлюлита? Любая женщина сможет легко узнать, есть ли у нее целлюлит или нет, самым простым способом. Необходимо слегка сдавить большим и указательным пальцами кожу на бедрах, ягодицах, руках или животе. Вы обнаружили на коже
Из книги Как вылечить себя и близких без лекарств и врачей. Биоэнио для чайников автора Николай Иванович НордТесты для определения доши Отвечая на каждый вопрос, выбирайте соответствующий вашему состоянию балл: 1 означает «несильно, слабо, нехарактерно», 2 – «в среднем, нормально», 3 – «очень выражено, максимально». Рядом с цифрой ставьте «птичку» или обводите ее в кружок. Затем
Из книги автораПриложение Пройдите тесты и узнайте, здоровы ли вы? Тест 1 «Здоровый ли вы человек?» 1. Возраст оказывает существенное влияние на здоровье. Насчитайте себе по одному баллу за каждый прожитый вами год.2. Рассчитайте, нормален ли ваш вес. Если величина вашего веса в
Из книги автораТесты на гипнабельность 1. Всплытие рук Поставьте испытуемого перед собой, попросите его закрыть глаза и опустить руки вдоль туловища. Затем внушайте:«Внимание на мой голос… Вы хорошо слышите мой голос и подчиняетесь ему… Ваши руки зашевелились, отрываются от туловища
Новый взгляд на тесты стал формироваться в нашей стране и за рубежом в связи с гуманистическими критериями оценки человека и смысла его существования. Особое место в связи с этим принадлежит акмеологии как науки о полноценном гармоничном формировании психики взрослой личности [Деркач А.А., 2002, 2004; Деркач А.А., Зазыкин В.Г., 2003].
Современная гуманистическая социопсихология показывает, что критерием полноценной жизнедеятельности являются качества развития. Это значит, что организация жизни человека должна способствовать пробуждению интереса к познанию окружающего мира и активизации собственной его активности и инициативности. Этому способствует включение личности в социум, осуществляемое, в частности, через работу. Психологи, социологи, педагоги в практической работе имеют дело со всей психологической реальностью человека постольку, поскольку они могут способствовать оптимальности его психического развития.
Психологическая служба в развитых странах (например, во Франции) может менять государственные стандарты, если они препятствуют прогрессивному развитию личности. Цели психологической службы - предотвратить стрессирующий человека неуспех, способствовать социальному научению и социальной адаптации личности, помогать в трудных ситуациях развития интегрироваться в общий поток социального прогресса (что прямо противоположно цели, выдвигаемой на предшествующих этапах службы, направленной на отделение таких людей), содействовать общеобразовательному и профессиональному росту, повышать квалификацию специалистов в области психологических служб.
Инновационные технологии, основанные на экологической (целостной, сохраняющей, предохраняющей) психологии индивидуальности должны в плане проведения психодиагностики прежде всего рассмотреть особенности «зоны» ближайшего развития. Данная ориентация методов позволяет психологу иметь конструктивную оценку тех новообразований личности, которые на момент обследования еще не фиксируются, но могут быть сформированы во взаимодействии человека с социумом.
Широкое внедрение в практику получили отечественные методики оценки и психокоррекции психического развития детей разных возрастов. Например, школьный тест умственного развития (ШТУР) и комплекс коррекционных методов, как свидетельствует опыт работы школьной психологической службы, позволяет формировать недостаточно развитые высшие психические функции до социального норматива . Успехи в данной области науки отмечены Государственной премией за обеспечение работы психологической службы образования.
Здесь особо отметим гуманистическую направленность российской школы психодиагностики, психокоррекции и реабилитации. В противовес традиционным тестам, пытающимся ситуативно обусловленный диагноз выдать за долгосрочный прогноз будущих успехов человека, в нашей стране и за рубежом развиваются так называемые критериально-ориентированные тесты (КОРТы). Они основываются на социальных нормативах психического развития лиц разных возрастов, выделении соответствующих психических функций, процессов и свойств, которые в комплексе могут обеспечить комфортную напряженность человека в процессе усвоения необходимых для интенсивного психического развития знаний, умений, навыков. Своевременная психодиагностика последних позволяет выявить «слабые» стороны рассматриваемого среза характеристик и с помощью коррекционных методик развить уровень нужных параметров до социально фиксируемых нормативных значений.
В этой связи показательны стратегии создания школьного теста умственного развития (ШТУР), который является основным в работе школьного психолога . Первый этап конструирования данного теста состоял в подробном опросе и анкетировании компетентных, авторитетных учителей, психологов, руководителей системы образования об их мнении о том, что является необходимым школьнику, чтобы он в современной школе учился с комфортной напряженностью и высокой результативностью. Эти материалы анализировались (переводились на язык психологии) с выделением конкретных психических функций, процессов, индивидуальных свойств, знаний, умений, необходимых для каждого возраста школьного обучения.
Далее на каждый аналитически выделенный компонент (отдельно для дошкольников, учащихся 1-3, 4-6, 7-9 классов) конструировали специальные критериально - ориентированные тесты (в двух формах - А и Б), которые тщательно проверялись на надежность, валидность, тест-ритес-товую коррелируемость и другие необходимые качества полноценной тестовой методики. При этом важно подчеркнуть, что данные критерии априорно признавались психологами временными, обусловленными сегодняшними требованиями общества к развитию способностей школьника. (Так, например, умение читать когда-то признавалось особой способностью, которой наследственно обладают только дворяне - люди с «голубой» кровью. В наши дни это мнение уже не признается в обществе).
Реабилитационное значение такой стратегии очевидно. Внедряемые в социальную практику психологические технологии снимают необходимость фатально предопределять траектории психического развития человека, что ранее способствовало созданию в обществе своеобразных психологических резерваций.
Актуальные вопросы проводимой сейчас реформы образования (включающей вопросы непрерывного образования людей разных возрастов) обусловлены его изменившимися стратегическими целями. Ориентация «времен застоя» на формирование конкретных знаний, умений, навыков и требуемых обществу качеств личности становится в современном мире недостаточной из-за непредсказуемости траекторий индивидуального развития под влиянием сложносочетанных факторов социума.
Развивающийся человек вынужден сегодня действовать в характерных для общества ситуациях неопределенности прогноза будущего. Психологическая специфика данных ситуаций способствует фиксации стрессогенных состояний, выраженность которых неблагоприятно сказывается на психосоматическом здоровье человека и на темпах психического развития. Поэтому планирование содержательной стороны тех знаний, которыми должен обладать индивид, становится в наши дни весьма сложной проблемой. Оптимизация психического развития здесь в значительной степени определяется формально-динамической стороной жизнедеятельности (темп, объем и др.), которая отражает индивидуализированные задатки способностей личности.
Практическая психология подчеркивает значение научно обоснованного критериально-ориентированного тестирования, в частности в ходе сопровождения психического развития личности в плане работы психологической службы образования. Однако аналитические стратегии традиционных КОРТов, которые подошли для решения определенного круга задач школьного образования, не могут напрямую применяться к работе со зрелой личностью, часто иррациональной, непредсказуемой и вариативно изменяющейся.
Решение актуальных для современного мира проблем совладания с трудными и стрессогенными ситуациями, снятия фиксированных страхов, вопросов профотбора и профподбора, выделения сущностных детерминант формирования интеллекта, сохранения и приумножения здоровья нации требуют системного комплексного анализа интеграции процессов, состояний и свойств индивида, личности и субъекта деятельности в структуре индивидуальности. Соответствующие проблемы наиболее полно прорабатываются с учетом знания акмеологических законов формирования целостной индивидуальности как предиктора своеобразия строения психики человека.
Особое значение для модификации психотехнологий тестирования имело обновление системы образования в России, направленное на демократизацию и гуманизацию учебно-воспитательного процесса. При этом кардинально изменились цели воспитания и обучения, в качестве которых выступает не совокупность знаний, умений, навыков, а свободное развитие личности. Знания, умения, навыки сохраняют свое значение в качестве средств достижения целей субъекта. В этих условиях на первый план выступают акмеологические технологии формирования инициативы личности, самостоятельности, творческости, которые позволят эффективно действовать в условиях неопределенности прогноза будущего (именно эта особенность характеризует современное общество, что ведет к стрессам и психосоматическим заболеваниям, к снижению умственного развития).
Данные качества личности могут помочь преодолевать противоречия между технической и гуманитарной культурой и обеспечить включение развивающегося человека в новые социально-экономические условия общества. Осуществление этих задач предполагает формирование акмеологи-ческой культуры самоопределения личности, понимание самоценности человеческой жизни, ее индивидуальности и неповторимости.
Принципиально новый этап развития психодиагностики открывается в связи с интенсивным развитием акмеологии, которая впервые поставила в центре исследования человека, который вариативно изменяется, строит семью, взаимоотношения с людьми, профессиональную карьеру на жизненном пути при высокой «планке» планируемых достижений. Ранее психология изучала психику человека в «особых условиях», например, - при патопсихологических или нейропсихологических дефектах, личностных деформациях, в младенчестве, «группах риска». Фиксируемые закономерности с трудом можно переносить на зрелую личность. Отмечу, что планируемый в образе-цели высокий норматив результата деятельности является целостнообразующим фактором, скрепляющим параметры жизнедеятельности в «жесткие» звенья, которые служат инвариантным звеном широкого содержательного спектра целенаправленной активности и сказываются в эмоционально-энергетической «канве» жизнедеятельности.
Лекция 8. Педагогические тесты, их виды и предназначение.
1.Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях.
2.Задачи тестирования и виды тестов.
3.Классификация видов педагогических тестов.
4.Понятийный аппарат: предтестовое задание, тестовое задание, педагогический тест.
1. Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях
Общие подходы к интерпретации результатов педагогических измерений. При педагогических измерениях интерпретация баллов учащихся может иметь различный характер в зависимости от того, каким способом сравниваются оценки учеников. Согласно одному подходу проводится сопоставление баллов каждого учащегося с результатами определенной группы – выборки учащихся, выполнявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативно-ориентированный подход). Согласно другому подходу результаты испытуемых интерпретируются по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (критериально-ориентированный подход).
Оба подхода дают информацию о подготовленности учащихся, однако она имеет различный характер. В соответствии с этими подходами к интерпретации результатов тестирования выделяют нормативно-ориентированные и критериально-ориентированные тесты.
Нормативно-ориентированный подход и нормы. Стандартизация тестов . Основная цель нормативно-ориентированного тестирования заключается в дифференциации испытуемых по результатам выполнения теста. При интерпретации результатов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более сильной группы. Для корректной интерпретации результатов тестирования балл каждого учащегося необходимо сравнивать с нормами выполнения теста.
Нормы – это совокупность показателей, отражающая результаты выполнения теста четко определенной выборкой испытуемых – релевантной нормативной группой, репрезентативно представляющей генеральную совокупность тестируемых учащихся . К нормам обычно относят среднее значение тестовых баллов и показатель разброса (вариативности) вокруг среднего значения всех остальных баллов, полученных представительной выборкой тестируемых учащихся, (методы подсчета среднего значения и показателей вариативности, приведены в главе 9). Имея нормы можно установить положение каждого результата по отношению к среднему баллу по тесту, посмотреть, насколько результат учащегося выше или ниже среднего.
Процесс определения норм называется, стандартизацией теста. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой – обязательный момент при определении норм теста.
Относительность норм и выборка стандартизации . Тестовых норм, пригодных для интерпретации результатов всех учащихся по любым тестам; не существует. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью испытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент создания теста и подлежат систематическому, обновлению и перепроверке.
К нормам предъявляют следующие требования:
Нормы должны быть дифференцированными. Например, тесты для общеобразовательных и профильных школ необходимо стандартизовать на различных выборках, в результате чего получатся, скорее всего, существенно различающиеся нормы;
Нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из современной ситуации в образовании;
Нормы должны быть репрезентативными, поэтому они всегда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации (федеральной – для ЕГЭ, муниципальной – для аттестации школ, внутришкольной – для аттестации учащихся в школе).
«Норма» – относительное понятие, тесно связанное с качеством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стандартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные – объем и представительность, обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста.
Стратификация выборки. Для равномерного представления различных групп учащихся в популяции испытуемых используют специальный процесс – стратификацию. Стратификация – расслоение выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности учащихся . Обычно в качестве оснований для стратификации выделяют факторы, наиболее связанные с переменной измерения. В ЕГЭ к числу таких факторов можно отнести социальное положение родителей выпускника, регион, где расположена школа, ее принадлежность к числу сельских или городских школ и т.д.
Наличие многих факторов стратификации, необходимость анализа пропорций генеральной совокупности испытуемых, проведение апробационного тестирования для определения норм делают работу по стандартизации тестов довольно дорогостоящей и трудоемкой процедурой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нормами с помощью IRT , банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста.
Информация, прилагаемая к стандартизированным тестам . К стандартизованному тесту необходимо приложить:
Нормы выполнения теста, которые определяются на выборке стандартизации;
Объем выборки стандартизации, основания для ее стратификации и временной период ее использования;
Необработанные результаты выполнения теста для выборки стандартизации.
Сопоставление норм по различным тестам возможно лишь в том случае, если есть основания для утверждения об адекватности выборок стандартизации.
Критериально-ориентированный подход в педагогических измерениях . При критериально-ориентированном подходе в педагогических измерениях результаты учащихся интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. При дихотомическом оценивании («1» или «0») результатов выполнения отдельных заданий балл каждого учащегося подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. В случае политомических оценок в проценты переводится отношение сырого балла учащегося, накопленного по заданиям, к максимально возможному баллу по тесту. Полученный для каждого учащегося процент сравнивается со стандартами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста .
При критериально-ориентированном подходе по результатам тестирования можно:
- выявить освоенные и не освоенные знания, умения и навыки и построить индивидуальную образовательную траекторию каждого учащегося;
Ранжировать тестируемых по проценту выполнения и построить рейтинговые шкалы;
Разбить испытуемых на две группы с помощью одного критериального балла или на несколько групп с помощью нескольких критериальных баллов, поставив, например, школьные отметки – «два», «три», «четыре», «пять».
Недостатки критернально-ориентированного подхода. Критериально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100 %, в одном тесте. Аттестационные критериально-ориентированные тесты нередко получаются очень длинными – из 150 - 300 заданий, выполнить которые даже в старших классах при одноразовом предъявлении просто невозможно. Поэтому при аттестации нередко применяют адаптивное тестирование, позволяющее за счет оптимизации трудности заданий значительно сократить длину теста. Используют также сокращение содержания теста за счет минимизации целей оценивания. Для этого критериально-ориентированные тесты нередко применяют для проверки одного-двух умений или навыков, а при охвате более разнородного содержания выбирают нормативно-ориентированные тесты.
Критериально-ориентированные тесты имеют к тому же довольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения и навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения тестов. В более сложных и менее структурированных областях знаний, связанных с решением задач творческого уровня, определить верхний предел зачастую невозможно.
Иногда при выполнении таких заданий школьник руководствуется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполнением задач творческого уровня, следует отдавать предпочтение нормативно-ориентированному подходу или стараться совмещать оба подхода в одном тесте .
Различия в нормативно-ориентированном и критериально-ориентированном подходах. Нормативно-ориентированные и критериально-ориентированные тесты различаются по целям создания, методике отбора содержания, характеру распределения эмпирических результатов, тестирования, методам их обработки, критериям качества тестов и тестовых заданий, а главное, по интерпретации результатов испытуемых, выполнивших тест.
В критериально-ориентированных тестах, используемых для аттестации, задания достаточно простые, поскольку педагоги всегда стараются спланировать процент «двоек» и ограничить число неаттестованных учеников. Например, если «двойки» не должны превышать 10% и критерий отсева неуспевающих планируется установить на уровне 70% (все, кто выполнил меньше 70% заданий теста, получают «два»), то в тест необходимо включить не менее 70% легких заданий, которые смогут выполнить 90% тестируемых учеников (рис. 9). Нормативно-ориентированные тесты обычно намного труднее. В них включают от 50 до 70 % заданий средней трудности, т.е. тех, которые смогла выполнить верно только половина тестируемых учеников (рис. 10).
Рис. 9. Распределение заданий по трудности, в нормативно-ориентированном тесте
Рис. 10. Распределение заданий по трудности в критериально-ориенпированном тесте
В силу того, что распределения сырых баллов репрезентативной выборки испытуемых по нормативно-ориентированным и критериально-ориентированным тестам имеют, как правило, различную форму (рис. 11), приходится использовать различающиеся методы оценивания надежности и валидности результатов педагогических измерений, методики шкалирования и выравнивания.
Рис. 11. Типичное распределение баллов по тестам для репрезентативной
выборки учащихся
Наиболее существенные различия между нормативно-ориентированными и критериально-ориентированньми тестами представлены в табл. 1.
Таблица 1
Различия между нормативно-ориентированными и критериально-ориентированными тестами
Характеристики |
Нормативно-ориентированные тесты |
Критериально-ориентированные тесты |
Типичное среднее число учеников, выполнивших правильно почти все задания теста |
||
Область для сравнения результатов учащихся |
Результаты других учеников |
|
Диапазон охвата целей проверки |
Широкий, охватывает многие цели и виды учебной деятельности |
Узкий, обычно охватывает несколько целей контроля |
Репрезентативность охвата содержания предмета |
Умеренная, фрагментарная, – обычно включают не все разделы |
Большая, обычно включают все то, что можно операционализировать и принять за 100% |
Разброс результатов учащихся (вариативность баллов) |
Высокий, поскольку основная цель тестирования – дифференциация испытуемых по уровню подготовки |
Низкий, внутри результатов группы учащихся, превысивших по своим результатам критериальный балл, почти нет вариативности |
Подбор заданий по трудности |
Распределение оценок трудности близко к нормальному. Основная часть заданий имеет трудность 40-60% |
Распределение скошенное. Основная часть заданий имеет трудность 80-90% |
Для учителя наиболее информативной является ситуация, когда оба подхода взаимно дополняют, друг друга. Поэтому некоторые тесты разрабатываются с расчетом на то, что результаты учащихся можно соотносить как с нормами, так и с содержанием теста. Пример – контрольно-измерительные материалы (КИМ) ЕГЭ.
2. Задачи тестирования и виды тестов
Общая классификация задач, решаемых с помощью тестов . В соответствии с видами контроля при тестировании можно выделить:
Задачи, стоящие на входе в обучение (входной контроль);
Текущие задачи (текущий контроль);
Задачи, соответствующие концу определенного периода учебного процесса (итоговый контроль) .
Тестирование во входном контроле . Началу обучения соответствует входное тестирование, позволяющее выявить степень владения базовыми знаниями, умениями и навыками, необходимыми для начала обучения, и определить уровень владения новым материалом до начала его изучения в классе. Последняя ситуация кажется не типичной для школы, вместе с тем достаточно вспомнить классический пример, когда в первый класс поступают хорошо читающие дети и начинают скучать на уроках.
Тесты для входного контроля, обычно называемые претестами (предварительными тестами), делятся на два типа.. Претесты первого типа позволяют выявить готовность к усвоению новых знаний в классе. Они разрабатываются в рамках критериально-ориентированного подхода и содержит задания для проверки базовых знаний, умений и навыков, необходимых для усвоения нового материала. В основном эти претесты предназначены для наиболее слабых учеников, находящихся на границе между явно подготовленными и явно не подготовленными к началу усвоения нового материала. По результатам выполнения претеста проводится деление тестируемых на две группы, в одну из которых попадают те, кто может двигаться дальше, а в другую – те, кто нуждается в дополнительной работе и консультациях педагога.
Претесты второго типа разрабатываются в рамках нормативно-ориентированного подхода. Они охватывают планируемые результаты предстоящего обучения и построены полностью на новом материале. По результатам выполнения претеста преподаватель принимает решение, позволяющее внести элементы индивидуализации в массовый учебный процесс. Если ученик показал некоторые предварительные знания по новому материалу, то план его обучения необходимо перестроить и начать с более высокого уровня, чтобы учебный материал имел для него действительный характер новизны. Иногда роль входного претеста выполняет итоговый тест, который предназначен для будущей оценки результатов усвоения нового материала после завершения его изучения.
На рис. 12 показаны возможные функции входного тестирования в учебном процессе.
Рис. 12. Упрощенная модель функций входного тестирования в учебном
процессе, соотнесенная с задачами педагога.
Тестирование в текущем контроле . Для текущего контроля разрабатывают корректирующие и диагностические тесты. Корректирующие тесты, как правило, являются критериально-ориентированными: если процент ошибок учащегося превышает критериальный балл, то его знания нуждаются в коррекции. С помощью корректирующих тестов, можно найти слабые места в подготовке учащихся и выявить направления индивидуальной помощи в освоении нового материала.
Корректирующие тесты не следует путать со средствами текущего контроля знаний учеников, однако они в какой-то мере близки, хотя бы по целям применения. Однако между первыми и вторыми средствами есть существенные различия технологического и содержательного характера. Традиционные средства текущего контроля менее эффективны и в основном ориентированы на проверку и систематическую оценку знаний учеников по небольшим единицам учебного материала. Корректирующие тесты предназначены для выявления пробелов в знаниях по группе учебных единиц, включающих содержание нескольких тем или даже разделов. Обычно они содержат задания, расположенные по нарастанию трудности, с тем чтобы выявить первые же проблемы в усвоении учебного материала.
Если затруднения ученика при выполнении заданий носят систематический характер, то педагог может прибегнуть к помощи диагностических тестов. Основная цель диагностики – установление причин пробелов в знаниях учеников – достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчитанные по форме представления на отслеживание отдельных этапов выполнения каждого задания корректирующего теста. Подробная детализация позволяет выявить причины устойчивых ошибок учеников, конкретизировать характер возникающих затруднений и получить выводы о несформированности тех или иных учебных умений.
Например, задание с выбором одного правильного ответа из корректирующего теста по математике для начальной школы может иметь следующий вид:
2+6:3 – 8:4=
A. 2
Б. 3
B. 1
Г 4
Максимальное число заданий диагностического теста определяется количеством действий при выполнении задания корректирующего теста. Например, для рассматриваемого числового выражения, можно предложить четыре задания, если у педагога нет желания проверять знание учащимся порядка действий:
1) 6:3= А. 3 Б. 2 В. 4
2) 8:4= А. 2 Б. 4 В. 1
3) 2+6:3= А. 5 Б. 6 В. 4
4) 2+6:3-8:4 = А. 3 Б. 2 В. 0
Подбор заданий в диагностический тест осуществляется в индивидуализированном режиме, в зависимости от тех заданий, которые выполнил неверно каждый учащийся в корректирующем тесте. Особенно эффективны процессы коррекции и диагностики при компьютерной генерации и предъявлении тестов в сочетании с обучающими модулями по каждой единице неусвоенного учебного материала. В этом случае коррекция проводится незамедлительно, поскольку после выявления очередного пробела и установления его причины компьютер сам подбирает обучающий модуль и сразу же выдает его ученику.
Упрощенная модель функций текущего тестирования представлена на рис. 13.
Рис. 1З. Модель функций тестирования в текущем контроле
Итоговое тестирование. Основная цель итогового тестирования – обеспечение объективной оценки результатов обучения, которая ориентирована на характеристику освоения содержания курса (критериально-ориентированные тесты) или на дифференциацию учащихся (нормативно-ориентированные тесты). На рис. 14 приведена модель функций итогового тестирования.
Рис. 14. Модель функций итогового тестирования
Итоговые тесты обычно подвергаются стандартизации, поскольку чаше всего они применяются для принятия административных управленческих решений в образовании, Если проведение входного и текущего тестирования – функция учителя, то итоговое тестирование часто проводится внешними структурами и носит характер независимых проверок. Примером независимого итогового тестирования в России является ЕГЭ, тестирование при аттестации школ и т.д. внутри школы итоговые тесты можно, использовать при переводе учащихся из класса в класс, при отборе отстающих учеников для определения их в коррекционные классы и т.д.
3. Классификация видов педагогических тестов
Основные подходы к классификации тестов. В отечественной и иностранной литературе существуют различные подходы к классификации педагогических тестов, различающиеся по признакам, которые положены в основу демаркации видов. В соответствии с подходом к интерпретации данных выделяют нормативно-ориентированные и критериально-ориентированные тесты.
По размерности конструкта педагогические тесты делятся на гомогенные (измеряющие только одну переменную и потому однородные по содержанию) и гетерогенные (измеряющие более одной переменной – случай многомерного конструкта) тесты. Гетерогенные тесты бывают полидисциплинарными и междисциплинарными . Полидисциплинарные тесты состоят из гомогенных субтестов по отдельным дисциплинам. Результаты учеников по субтестам объединяются для подсчета итоговых баллов по всему полидисциплинарному тесту. Для выполнения заданий междисциплинарных тестов требуется применение обобщенных, межпредметных, интегративных знаний и умений. Междисциплинарные тесты всегда многомерны, их разработка требует обращения к факторным методам анализа данных, математико-статистическим методам многомерного шкалирования и т.д.
По характеру измеряемых переменных выделяют тесты для проверки знаний, учебных, практических умений, навыков, а также компетентностные тесты. Иногда в отдельную группу выделяют скоростные тесты, требующие жесткого временного ограничения на выполнение каждого задания и содержащие всегда избыточное число заданий, не позволяющее выполнить весь тест. В зависимости от формы предъявления различают бланковые и компьютерные, устные и письменные тесты.
Наиболее общая классификация тестов в учебном процессе позволяет разделить их на две неравные группы: стандартизованные тесты, обладающие нормами выполнения, и нестандартизованные тесты, которых значительно больше, поскольку для использования в повседневном учебном процессе их готовит каждый педагог. Нестандартизованные тесты нередко называют учительскими, или авторскими, тестами.
Классификация по видам контроля, их функциям и характеру решаемых задач. Если в качестве признака демаркации выбрать виды контроля и характер задач, решаемых преподавателем с помощью тестов, то получится классификация видов педагогических тестов, представленная на рис. 15.
Рис. 15. Классификация педагогических тестов
Анализ классификационной таблицы позволяет выделить в качестве основополагающих четыре вида педагогических тестов, среди которых, наибольшую важность по сфере использования имеют итоговые нормативно-ориентированные тесты.
Увеличение влияния тестирования на принятие управленческих решений на основе данных мониторинга и анализа качества образования во многих странах привело в XXI в. к возникновению нового вида тестов административно-управленческого предназначения (в англоязычной литературе – High - Stakes tests ). Данные административно-управленческого тестирования являются важным информационным источником для анализа последствий образовательных реформ и инноваций в образовании, проведения сравнительных исследований качества подготовленности выпускников различных регионов России, аттестации учебных заведений и оценки эффективности их деятельности.
4. Основные определения понятийного аппарата
Понятийный аппарат при разработке и использовании тестов. Необходимость создания четкого понятийного аппарата для разработки тестов не всегда понятна преподавателям-практикам. Отчасти это объясняется кажущейся простотой самих понятий, так как нередко любой набор заданий в тестовой форме в представлении учителя ассоциируется с тестом. Такие псевдотесты сплошь и рядом публикуются в специальных сборниках. Их можно использовать в текущем контроле, но не в работе аттестационных центров.
Несоответствие псевдотестов научно обоснованным критериям качества может привести к значительному ошибочному компоненту в оценках подготовленности учащихся, следствием которого будут неправильные выводы относительно эффективности работы отдельных преподавателей или педагогических коллективов. Таким образом, понятийный аппарат необходим, поскольку он служит целям отделения тестов от того, что нередко за них принимается.
Предтестовое задание . Определение предтестового задания является базовым, содержащим специфические требования, с тем чтобы отличить его от традиционного контрольного задания. Предтестовое задание – это единица контрольного материала, содержание, логическая структура и форма представления которого удовлетворяют ряду требований и обеспечивают однозначность оценок результатов выполнения благодаря стандартизованным правилам проверки .
В предтестовых заданиях проверяются наиболее существенные опорные элементы содержания дисциплины. В каждом предтестовом задании определяется то, что однозначно считается правильным ответом с запланированной степенью его полноты.
Требования, предъявляемые к форме пред тестовых заданий , можно условно разделить на специальные, отражающие специфику формы, и общие, инвариантные относительно выбранной формы. Согласно, общим требованиям задание должно иметь определенный порядковый номера стандартную инструкций по выполнению, адекватную форме, эталон правильного ответа, стандартизованные правила по оценке результатов его выполнения и т. д. (см. Лекцию 10). Специальные требования к форме довольно многочисленны, частично они представлены в Лекции 10, посвященной формам предтестовых заданий.
Преимущества предтестовых заданий по сравнению с традиционными контрольными заданиями обеспечиваются предельной стандартизацией при предъявлении и оценивании результатов их выполнения, что в целом повышает объективность оценок учащихся по тесту.
Тестовое задание . Предтестовые задания должны пройти обязательную эмпирическую проверку, по результатам которой часть из них превращается в тестовые, а оставшаяся часть удаляется из первоначальной совокупности заданий теста. Предтестовое задание превращается в тестовое, если количественные оценки его характеристик удовлетворяют определенным критериям, нацеленным на эмпирическую проверку качества содержания, формы и системообразующих свойств предтестовых заданий.
Обычно требуется не менее двух-трех апробаций, по результатам которых ведется коррекция содержания, формы, трудности задания, его валидности и статистических свойств, характеризующих качество его работы вместе с остальными заданиями теста. Исследование системообразующих характеристик тестового задания проводится на основе анализа дескриптивной (описательной) статистики, а также методов корреляционного, факторного и латентно-структурного анализа. Интерпретация результатов анализа – это всегда сложная аналитическая работа, результаты которой зависят от множества условий, в том числе и от вида создаваемого теста. Статистические характеристики тестовых заданий и требования к их качеству рассмотрены в Лекции 12.
В длительной апробации и коррекции нуждаются в основном итоговые тесты, используемые для принятия управленческих решений в образовании. Например, при разработке учительских тестов для текущего контроля корреляционный и факторный анализ не нужны, но дескриптивная статистика, позволяющая без особых усилий отобрать валидные задания приемлемой трудности, будет также очень полезна.
Педагогический тест. В отличие от первых двух определений, инвариантных относительно целей тестирования и решаемых задач, определение педагогического теста должно быть ориентировано на конкретный вид теста. В частности итоговый нормативно-ориентированный тест – это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают высокую дифференциацию, точность и обоснованность оценок качества учебных достижений.
Из этого определения следуют два важных вывода. Первый: нет и не может быть тестов, качественных вообще, так как оценка дифференцирующего эффекта теста, точности измерений (надежности) и их адекватности поставленным целям (валидности) зависит не только от характеристик тестовых заданий, но и от особенностей тестируемого контингента учащихся. Второй: для оценки качества теста необходимы эмпирические данные тестирования, полученные на репрезентативной выборке учащихся. Работа по коррекции теста консолидирует систему тестовых задании – постепенно нарастают внутренняя связь и целостность, интегративностъ системы, совершается переход от совокупности предтестовых.заданий к профессионально разработанному тесту.
Итоговый критериально-ориентированный тест – это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают валидную содержательную интерпретацию учебных достижений по отношению к установленным, статистически обоснованным критериям выполнения . В определении не конкретизируется базовая содержательная область, используемая при интерпретации, что позволяет применять его для различных разновидностей критериально-ориентированных тестов.
В основе разделения тестов на КОрТ (критериально-ориентированные) и НОрТ (нормативно-ориентированные) лежит двоякое понимание нормы. В первом случае норма определяется "априорно", то есть до проведения исследования. Такая норма задаётся внешними критериями, представлениями о том, что должен знать и уметь испытуемый. Во втором случае норма определяется эмпирически, то есть после проведения исследования. Получая распределение результатов, исследователь распределяет их по категориям: "норма", "выше нормы", "ниже нормы" и т.п.
Критериально ориентированные тесты предназначены в основном для работы с индивидуальным клиентом, так будто других в выборке нет. Здесь не ставятся цели посмотреть лучше или хуже результаты данного испытуемого, добился он или нет каких-то конкретных успехов.
Нормативно ориентированные тесты предназначены в основном для работы с группами испытуемых, в котором важно сравнить их между собой.
Обычно разного рода тесты способностей строго делятся на КОрТ и НОрТ. При их разработке используются разные технологии. Но иногда КОрТ можно использовать как НОрТ, особенно если результаты исследований показывают нормальное (колоколообразное) распределение.
Ниже в таблице представлены основные отличия КОрТ и НОрТ.
Нормативно-ориентированные тесты | Критериально-ориентированные тесты | |
Характерный пример использования | Конкурсный отбор кандидатов на обучение. | Итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров. |
Цель тестирования | Возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. | Возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания. |
Используемые шкалы | Нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале. | В основном - шкала процентов с выбранным критериальным баллом (баллами). Необходимо тщательно подготовить методику оптимального выбора критериального балла (или баллов). |
Распределение результатов исследования на гистограмме | В большинстве случаев имеет нормальное распределение (колоколообразное), в т.ч. симметричное. | Распределение непредсказуемо, может быть любым. Обычно несимметричное. |
Уровень проработки содержания теста | Не очень существенен. Авторы теста выбирают обычно наиболее значимые, показательные задания. Часто - выбор видов заданий случаен. | Очень детальная и дотошная проработка содержания теста. Предварительно разрабатывается спецификация (план) теста, в котором должна быть представлена система элементов. После разработки спецификации уже разрабатываются задания. |
Нормативная группа | Обязательна. Именно по предварительному исследованию на нормативной группе происходит окончательное шкалирование результатов, соотнесение с "нормой" и другими категориями. | Нет необходимости. Обычно измеряется как процент от усвоенного обучающимся материала. |
Статистический анализ и отбор тестовых заданий | Показатель уровня трудности, различающая способность и другие статистические показатели играют весьма важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий. | Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий - соответствие спецификации и элементам содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла. |
Надежность теста | Оценивается либо путем нахождения корреляции между результатами двух исследований, либо методом расщепления теста на две половины при однократном тестировании. | Примерно также, но в основном оценивается степень постоянства принятия решения «зачет – незачет» при двукратном тестировании, а не корреляция баллов, хотя это тоже не исключается. |
Валидность | Исследуются разные виды валидности. | В центре внимания - содержательная валидность. |
Критериально-ориентированные тесты – тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это основное отличие критериальноориентированных тестов от традиционных психометрических тестов, оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму). Термин «критериально-ориентированные тесты» предложен Р. Гласером в 1963 г. Установление содержательного и структурного соответствия заданий теста и реальной задачи – важнейший этап разработки критериально-ориентированных тестов. Этим целям служит так называемая спецификация, включающая:
2) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;
3) образцы тестовых заданий и описание стратегии их конструирования.
Различают две разновидности критериально-ориентированных тестов:
1) тесты, задания которых гомогенны, т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тесты разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;
2) тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода критериально-ориентированные тесты обычно используются для диагностики специфических трудностей в обучении. Существенной особенностью критериально-ориентированных тестов является то, что в них индивидуальные различия сводятся к минимуму (индивидуальные различия влияют на длительность усвоения, а не на конечный результат). Поэтому критериально-ориентированные тесты лучше всего приспособлены для оценки развития основных навыков на элементарном уровне. В более сложных областях поведения предела достижений не существует, и исходя из этого необходимо обращаться к оценкам, ориентированным на нормы.
Сегодня за рубежом разработаны тесты, выполнение заданий которых можно соотносить как с критериями, так и с нормами. Необходимо учитывать и то, что нормы неявно присутствуют в критериально-ориентированных тестах, ибо выбор содержания или навыков, подлежащих измерению, предполагает наличие сведений о том, как в подобных ситуациях действовали другие обследуемые ( А. Анастази , 1982). Исходя из этого наиболее перспективным представляется объединение критериально-ориентированного подхода с традиционным психометрическим.
А. Анастази (1982) правомерно считает, что акцент критериальноориентированных тестов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированных тестов непригодны в большинстве случаев обычные приемы определения валидности и надежности.
В отечественных исследованиях имеется опыт создания критериально-ориентированных тестов ( Е. И. Горбачева , 1985). Кроме того, осуществляется разработка методик, близких критериальноориентированным тестам, но ориентированных не на критерий, а на так называемый социально-психологический норматив или общественно-заданный объективный содержательный эталон (Школьный тест умственного развития). Также исходя из социально-психологического норматива анализируются результаты, полученные с помощью известных психометрических тестов.