Тесты с открытыми вопросами. Тестовые задания закрытого типа

В статье рассмотрены способы конструирования тестовых заданий закрытого типы. Приведены требования к построению содержательной части и описаны методы оценивания результатов проведенного тестирования.

  • Особенности проектирования нестандартных тестовых заданий
  • Особенности определения валидности педагогического теста
  • Использование программных средств тестирования в педагогической практике

Педагогический тест представляет собой систему дидактических заданий специфической формы, позволяющей оценить уровень обученности учащихся: совокупность их представлений об объекте познания, знания, умения и навыки в той или ионной области содержания.

Отнеся педагогическое тестирование к инновационным методам оценивания, выделим следующие его преимущества:

  1. Более высокая объективность контроля.
  2. Оценка знаний становится более дифференцированной (больше градаций оценки, возможность переводить полученную оценку в любую шкалу оценивания).
  3. Более высокая эффективность (можно проводить контроль одновременно на больших группах учащихся).
  4. Обработка результатов проводится быстрее (особенно в случае компьютерного тестирования).

На основе исследований Федерального института педагогических измерений (США) и ряда отечественных тестологов выделим основные этапы конструирования педагогических тестов:

  1. Этап целепологания (определяем вид, ресурсные возможности, источники финансирования, бюджет, круг привлекаемых специалистов).
  2. Подготовительный этап (анализ и отбор содержания проверяемого материала, определение типов и количество используемых знаний, установка требований времени проверки, определение системы оценивания, выработка условий проведения).
  3. Этап составления теста.
    1. Разработка и апробация тестовых заданий (в репрезентативных группах).
    2. Определение и расчет показателей качества созданных заданий (валидность, надежность),.
    3. Анализ результатов проведенной апробации.
  4. Этап проведения теста и анализа полученных результатов
    1. Стандартизация теста (единообразие процедуры проведения и оценки выполнения тестовых заданий).
    2. Подготовительные работы по техническому оснащению.
    3. Отслеживание проведения теста.
    4. Обработка результатов, получение статистических данных для анализа. Подготовка итогового отчета.

Тестовые задания бывают нескольких типов. Самый популярный из них – тип тестовых заданий закрытого типа, они получили широкое распространение в основном из-за легкости автоматизации. Задания закрытого типа предполагают выбор одного или нескольких правильных ответов из нескольких предложенных вариантов. Основной недостаток таких заданий – возможность угадывания.

Выделим основные правила составления тестовых заданий:

  1. Начинайте формулировать вопрос с правильного ответа.
  2. Содержание задания должно отвечать программным требованиям и отражает содержание обучения.
  3. Вопрос должен содержать одну законченную мысль.
  4. При составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все» и «никогда».
  5. Вопрос должен быть четко сформулирован, избегая слова «большой», «небольшой», «малый», «много», «мало», «меньше», «больше».
  6. Избегайте вводных фраз и предложений имеющих мало связи с основной мыслью.
  7. Неправильные ответы должны быть разумными, не должно быть явных неточностей.
  8. Реже используйте отрицание в основной части. Избегайте двойных отрицаний («Почему нельзя не делать?»).
  9. Лучше использовать длинный вопрос и короткий ответ.
  10. Из текста заданий необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа путем угадывания.
  11. Из числа тестовых заданий закрытого типа исключайте задания требующие громоздких вычислений.
  12. Используемая терминология не должна выходить за рамки учебного курса.
  13. Текст заданий и варианты ответов должны быть записаны разными шрифтами, для быстрого их отличения друг от друга при выполнении.
  14. В начале каждого теста должна быть предусмотрена инструкция по его применению.

Дистрактором в тестовых заданиях закрытого типа назовем вариант неверного ответа. Слово «дистрактор» произошло от английского слова «distract», которое переводится как «отвлекать». Таким образом, дистракторы – это неправильные ответы, которые отвлекают и сбивают с толка испытуемого.

Выделим требования к дистракторам:

  1. В основной части задания должно быть больше ключевых слов, в ответах не более трех наиболее ключевых слов.
  2. Ответы к одному заданию должны приблизительно одной длины.
  3. Все дистракторы к каждому заданию должны быть равнопривлекательными.
  4. Дистракторы не должны быть неполными правильными ответами, превращающимися в правильные при определенных условиях.
  5. Не должно быть неработающих дистракторов (их обязательно должны выбирать).
  6. Частота выбора дистракторов должна быть примерно одинакова.
  7. Из ответов необходимо исключить повторяющиеся слова путем ввода их в основной текст задания.
  8. В ответах не рекомендуется использовать слова: «все», «ни одного», «никогда», «всегда», «ни один из перечисленных», «все вышеперечисленные». В отдельных случаях они способствуют угадыванию правильного ответа.
  9. Из числа дистракторов исключают ответы вытекающие один из другого.
  10. Все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания.
  11. Желательно не использовать в ответах следующие слова: «да/нет», «верно/неверно». Рекомендуется создавать более содержательные ответы.
  12. Если номер ответа совпадает с его числовым значением, то они обязательно пишутся в одной строке (1. 1 Бит, 2. 2 Бит, 3. 8 Бит, 4. 4 Бит). Если дистракторы это слова, то их желательно расположить в алфавитном порядке.

Заметим, что большое количество дистракторов уменьшает вероятность угадывания, но требует большего времени при разработке. Плохо знающие материал учащиеся пытаются найти правильный ответ путем угадывания по «формальным» признакам: самый длинный ответ, самый умный ответ, хорошо обоснованный ответ).

Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. Фасетный тест представляет собой большой массив элементов – фасеток, из которых путем различных сочетаний конструируются тестовые задания.

Приведем небольшие примеры фасетного теста:

  1. В одном килобайте {мегабайте, гигабайте} содержится байт:
  2. Дата начала Советско-финской войны {Второй Мировой войны, Великой Отечественной войны}

Таким образом, для снижения вероятности угадывания мы можем порекомендовать:

  1. Увеличение количества дистракторов в задание до 4-х.
  2. Использование фасетов заданий.
  3. Жесткое временное ограничение на выполнение задание.
  4. Использовать формулы для коррекции баллов с учетов возможности угадывания.

Оценивать результаты проведенного тестирования можно по-разному.

Алгоритмы оценки выполнение тестового задания:

  • Дихотомическая оценка выполнения задания. Термин «дихотомически оцениваемые тестовые задания» означает, что ответ экзаменующегося находится только в одной из двух возможных категорий, правильный (за него выставляют 1 балл), или неправильный (0 баллов).
  • Политомическая оценка выполнения задания. Термин «политомически оцениваемые тестовые задания» означает, что за разные ответы на задание проставляют несколько различных чисел

Рассмотрим несколько методов оценивания заданий закрытой формы.

  1. Традиционный метод. Данный метод подсчета баллов заключается в следующем: суммируются все баллов по каждому заданию.
    1. Оценка с весовым коэффициентом. При условии выбора испытуемым только правильных ответов начисляется полный балл, в противном случае начисляется ноль баллов. Недостаток данного способа заключается в снижении дифференцирующей способности задания, т.к. испытуемые с «частичным набором знаний» и испытуемые с «полным отсутствием знаний» практически не различимы.
    2. Метод частичного балла. Суть данного метода заключается в следующем: частично баллы начисляются в случае выбора даже не полного ответа, но в случае выбора в сочетании с правильными ответами некого дистрактора – баллы обнуляются полностью или частично уменьшаются.
  2. Коррекция баллов с учетом возможного угадывания. По данному методу производятся вычисления по следующей формуле: Zi=Xi-Wi/(k-1), где Zi - скорректированный тестовый балл i-го испытуемого, Xi – тестовый бал i-го испытуемого без коррекции, Wi - число ошибочных ответов у i-го испытуемого, k – количество ответов в заданиях (должна быть постоянная величина). Например: В тесте было 30 заданий, на каждое давалось по 4 ответа. Испытуемый на 20 заданий ответил правильно, 10 заданий выполнено с ошибками. Вычисляем балл по форме оценки с весовым коэффициентом, но с учетом коррекции по угадыванию: Zi=20-10/(4-1)=16,7.
  3. Метод коррекции «Правильный + пропуск». Формула, основанная на модели случайного угадывания, которая корректирует " эффект угадывания ", имеет вид: Zi=Xi+Hi/k, где Xi –- скорректированный индивидуальный балл i-го испытуемого, Xi - число правильных ответов i-го испытуемого, Нi - число пропущенных заданий у i-го испытуемого, k - число вариантов ответов в каждом задании (все задания должны иметь k вариантов). Предположим, что студент А и студент Б сдают некоторый тест. Тест состоит из 150 заданий закрытой формы с четырьмя вариантами ответов. Студент А правильно ответил на 90 заданий, а оставшиеся 60 заданий он пропустил (так как не был уверен в выборе ответа). Студент Б также правильно ответил на 90 заданий, однако на остальные 60 заданий он ответил путем простого угадывания. Так как студент Б имеет шанс в 25% угадать правильный ответ, то он может набрать 15 дополнительных баллов только путем угадывания. При традиционном подсчете баллов студент А наберет 90 баллов, в то время как студенту Б будет начислено 105 баллов. Таким образом, индивидуальные баллы у этих двух студентов имеют значительную разницу, которая не отражает однако уровень их подготовки, а является лишь функцией склонности к угадыванию правильного ответа. Эта разница должна учитываться, так как тестирование проводится, как правило, однократно, а его результаты существенно влияют на аттестацию. Если же мы применим к подсчету баллов метод коррекции «Правильный+пропуск», то мы получим одинаковое количество баллов у данных студентов (105). Таким образом данный способ позволить правильно дифференцировать студентов по их уровню знаний.

Резюмирую все вышесказанное, отметим, что задания закрытого типа в педагогических тестах широко распространены. Основная причина такого широкого распространения это лёгкость как компьютерной автоматизации, так и ручного анализа. Для данного типа заданий выработаны методы конструирования содержания и весь необходимый инструментарий правильного оценивания испытуемых с учетом всех возможных погрешностей, в том числе фактора угадывания.

Список литературы

  1. Баженов Р.И., Баженова Н.Г. О методике разработки конспекта урока. Современная педагогика. 2014. № 9 (22). С. 89-98.
  2. Баженов Р.И., Векслер В.А. Обучение взрослых основам информационных технологий в системе дополнительного образования. Отчет о НИР (ГОУВПО «ДВГСГА»)

Задание содержит основную часть и ответы, сформированные составителем. Инструкция указывает: найти номер правильного ответа. Задание содержит два-три правильных ответа. Эта форма технологична, так как позволяет выявить определенный объем знаний.

Пример тестового задания закрытой формы:

Укажите, кто был первым президентом России:

а) М.С. Горбачев

б) Б.Н. Ельцин

в) В.В. Путин

г) Ю.В. Андропов

Требования к тесту закрытой формы

1. Стандартная инструкция.

2. Равная правдоподобность заданий.

3. Полная ясность текста (не должно быть разночтений).

4. Предельная краткость (5-6 слов).

5. Простая стилистическая конструкция.

6. В задание включается больше слов, чем в ответ.

7. Все ответы, правильные и неправильные, должны быть равны по длине.

8. Исключаются вербальные ассоциации, способствующие выбору правильного ответа.

9. Исключаются лишние слова (на приведенном рисунке, из перечисленных примеров).

10.Необходимо проверять не одно знание, а несколько.

11.Необходимо наличие одной стандартной инструкции (например, обведите кружком номер правильного ответа).

12.Правильный ответ должен быть только один.

13.Не должно быть противоречий между основной частью и ответами например,

На космонавта в космосе действуют:

Сила тяжести;

Сила точки опоры;

Не действуют никакие силы.

14.Исключить повторяющиеся слова в ответах: например:

Основная земледельческая зона расположена:

В зоне тайги;

В лесостепной зоне;

В зоне смешанных лесов,

В степной зоне.

II. Открытая форма.

Студент сам формулирует ответ, словесный или графический. Эти тесты хороши для текущего контроля. Инструкция к ним гласит: «Дополните...».

Требования тесту открытой формы

1. Дополняющее слово ставится в конце.

2. Оно должно быть единственным.

3. Все прочерки должны быть одинаковой длины. Например:

Первым греческим философом был _______.

Соли высших жирных кислот называются _____.

Скорость света в вакууме равна _______.

III. Задания на соответствие.

Задание содержит два множества, правый столбик - для выбора, левый - для ответа. В правом может быть на 1-2 элемента больше. Инструкция - установить соответствие.

Например:

Установите соответствие между названиями книг и их авторами:

«Педагогическая поэма» В.А. Сухомлинский

«Сердце отдаю детям» П.П. Блонский

«Человек как предмет воспитания» А С. Макаренко

«Педология» К.Д. Ушинский

IV. Задания на установление правильной последовательности.

Эти тесты особенно широко используются для проверки знаний студентов по техническим дисциплинам, так как требуют знание точных алгоритмов.

Инструкция: установить правильную последовательность сборки.

Например:

………… В столбце не по порядку дается название деталей и

………… частей механизма.

Оценка тестов может быть:

Политамическая, если из 10 заданий одно неправильное, то сумма баллов равна 9;

Дихотомическая (сделал - 1, не сделал - 0).

Педагогическое тестирование: достоинства и недостатки

Одним из недостатков тестового метода контроля знаний студентов является то, что создание тестов, их унификация и анализ – это большая кропотливая работа.

Чтобы довести тест до полной готовности к применению необходимо несколько лет собирать статистические данные, хотя бы с потоком студентов 100-120 человек.

Возможно возникновение и других трудностей. Довольно часто встречается значительный субъективизм в формировании содержания самих тестов, в отборе и формулировке тестовых вопросов, многое также зависит от конкретной тестовой системы, от того, сколько времени отводится на контроль знаний, от структуры включенных в тестовое задание вопросов и т.д.

Но, не смотря на указанные недостатки тестирования, как метода педагогического контроля, его положительные качества во многом говорят о целесообразности использования такой технологии в учебных заведениях.

К достоинствам следует отнести:

Как было сказано, большая объективность и, как следствие, большее позитивное стимулирующее воздействие на познавательную деятельность студента, учащегося;

Исключается воздействие негативного влияния на результаты тестирования таких факторов как, настроение, уровень квалификации и др. характеристики конкретного преподавателя;

    ориентированность на современные технические средства на использование в среде компьютерных (автоматизированных) обучающих систем;

    универсальность, охват всех стадий процесса обучения.

Отметим и другие достоинства тестирования.

Тестированный опрос многофункционален. Он позволяет быстрее понять, как дальше работать с данным студентом, а также помогает преподавателю скорректировать курс.

В итоге следует заметить, что использование с 1 курса тестирования студентов поможет объективно провести аттестацию вуза, которая проводится с целью установления соответствия содержания, уровня и качества подготовки выпускников требованиям государственных образовательных стандартов.

Систематическое проведение контрольных мероприятий с помощью составленных на высшем уровне инструментов контроля позволяет ВУЗам формировать высококлассных специалистов в различных областях российской экономики.

Определившись с целью разработки педагогического теста и соответственно выбрав подход, в рамках которого будет осуществляться разработка педагогического теста и интерпретация его результатов, можно переходить к конструированию тестовых заданий. Каждому специалисту, чья деятельность связана с проведением контроля уровня знаний у обучающихся с помощью тестирования, необходимо знать из каких обязательных элементов должна состоять конструкция тестового задания, а также какие существуют типы и виды тестовых заданий. Владение этим знанием позволит специалисту разрабатывать качественные, интересные, разнообразные тестовые задания, учитывая при этом особенности материала, на основе которого планируется разработка тестовых заданий, свои технические возможности, а также возможности и особенности обучающихся, среди которых будет проводиться тестирование. Если перед специалистом не стоит задача самостоятельной разработки тестовых заданий, а он пользуется в своей деятельности уже готовым банком заданий, то и в этом случае ему необходимо быть компетентным в вопросах конструирования тестовых заданий для того, чтобы уметь отличить среди множества тестовых заданий некачественные, изменить их, доработать или, в случае их полной некорректности, устранить.

1.3.1. Конструкция тестовых заданий

В составе тестового задания в обязательном порядке должны присутствовать три части:

1. Инструкция

2. Текст задания (вопроса)

3. Правильный ответ

1. Инструкция должна содержать указания на то, какое количество заданий предстоит выполнить обучающимся, какого рода задания им встретятся, как следует пометить правильный вариант ответа, сколько времени отводится обучающимся на выполнение заданий. Изложение инструкции должно быть доступным и подробным. После прочтения инструкции у обучающихся должно сформироваться понимание смысла задания и способа его выполнения, иными словами понимание того что и как им нужно сделать.

Поясним, каким образом лучше делать отметки при выполнении заданий. Наиболее универсальным, четким, понятным и однозначным представляется вариант обведения кружком цифры (буквы), соответствующей правильному ответу для заданий закрытого типа, и требование вписать ответ в отведенное место для заданий открытого типа, а также заданий на восстановление соответствия и восстановление последовательности (обозначив в бланке место для ответа). Эти требования актуальны в том случае, если специалист формирует тестовый бланк самостоятельно.

В связи с тем, что мы формируем уникальный бланк теста в АИС «Психолог», в которой программистами уже заложена определенная форма бланка заданий множественного выбора, то место для ответа у нас представлено в виде кругов и квадратов, в которые мы просим тестируемых поставить галочку.

Приведем пример инструкции, которую мы разработали на основе вышеизложенной информации для тестов, применяемых при проведении пропедевтического и итогового контроля уровня знаний в рамках получения специальности и повышения квалификации:

«Перед вами тест, состоящий из 60 заданий . В тесте присутствуют задания двух видов: задания, предполагающие один правильный ответ и задания, предполагающие несколько правильных ответов. Перед каждым из таких заданий – краткая инструкция: «Выберите один правильный ответ» (соответственно необходимо найти и отметить один правильный ответ) или «Выберите несколько правильных ответов» (соответственно необходимо найти и отметить все правильные ответы). Кроме того, место для ответа в заданиях, предполагающих один правильный ответ, представлено в виде круга, а в заданиях, предполагающих несколько правильных ответов, - в виде квадрата. Поставьте галочку в круге или квадрате того варианта ответа, который вы считаете верным.

Если вы желаете отменить отмеченный вами вариант ответа, то зачеркните галочку одной четкой линией.

В заданиях прописаны все необходимые варианты ответов, дописывать от руки варианты ответов не следует.

Время на заполнение теста – не более 60 минут».

Инструкция для проведения итогового контроля уровня знаний в рамках служебной подготовки будет выглядеть аналогичным образом, изменятся лишь значения количества тестовых заданий и времени, отводимого на заполнение теста.

Следует уточнить, что если задания двух видов – множественного выбора, предполагающие один правильный ответ и множественного выбора, предполагающие несколько правильных ответов, объединены в соответствующие блоки, то допускается делать одну инструкцию для группы однотипных заданий, которая помещается перед данной группой заданий.

Следует отметить, что вне зависимости от происхождения теста (создание нового, модификация старого, адаптация теста) инструкции составляются к каждому из них.

    написание первого варианта инструкций;

    первое опытное проведение теста;

    устранение грубых ошибок в инструкциях;

    апробация инструкции при проведении проверочного тестирования (желательно, чтобы проводящий тестирование не принимал участие в составлении инструкции);

    окончательная редакция инструкций .

В этом параграфе рассматривались правила составления инструкции, которая является общей для всего теста. Она помещается в начале тестового бланка, а также озвучивается специалистом, проводящим контроль уровня знаний у обучающихся, перед началом тестирования. Далее в параграфе, посвященном рассмотрению типов и видов тестовых заданий, будут рассмотрены более частные аспекты инструкций, специфичные для различных видов тестовых заданий.

2. Текст задания (вопроса) представляет собой содержательное наполнение задания.

Мы придерживаемся точки зрения, что содержательная часть задания должна быть сформулирована в форме утверждения, которое тестируемому необходимо продолжить правильным ответом/ответами. При формулировании основной части задания следует придерживаться определенных требований, которые изложены в параграфе 1.4.

Примерами текстов заданий могут служить следующие:

К симптомам ПТСР, объединенным в группу симптомов повторного переживания, относятся:

    связанные с событием сны

    избегание мыслей, деятельности и чувств, связанных с событием

    обеднение чувств

    навязчивые, негативные, насильно прорывающиеся воспоминания о событии, включая образы, мысли о событии

    раздражительность

    сверхбдительность

    «флэшбэк-эпизоды», внезапные поступки и чувства, как если бы событие происходило сейчас

    интенсивный стресс при событиях, напоминающих или символизирующих травму

Или: экстренная психологическая помощь – это:

    комплекс лечебно-профилактических, реабилитационных и оздоровительных мероприятий, направленных на восстановление и сохранение психофизиологических функций, оптимальной трудоспособности, социальной активности лиц, пострадавших в чрезвычайном событии

    система долгосрочных мероприятий, направленных на снятие эмоционального напряжения у пострадавших в чрезвычайном событии, целью которых является профилактика неблагоприятных массовых явлений;

    система краткосрочных мероприятий, направленных на оказание помощи одному человеку, группе людей или большому числу пострадавших в чрезвычайном событии, целью которых является регуляция актуального психического состояния при помощи профессиональных психологических методов

3. Правильный ответ (или оценочная схема) – обязательный атрибут любого тестового задания, без него задание теряет смысл, поскольку не может быть точно проанализировано и оценено.

Следует отметить, что тестовое задание должно иметь однозначный правильный ответ. Речь идет об однозначной, с точки зрения пользователя, возможности оценки результата выполнения тестового задания, а именно о возможности любого пользователя на основе сравнения ответа обучающегося и правильного ответа (схемы анализа), предложенного разработчиком, сделать однозначный вывод о том, выполнил данный обучающийся это задание верно или нет. Поэтому правильный ответ разработчика может заключаться не только в эталонном ответе, но и в описании схемы анализа, содержать конструкции «и … и», «… или …», описывать вариант неправильного ответа, считая все остальные правильными.

В инструкции Northern Examinations and Assessment Board (NEAB) - экзаменационной комиссии, располагающейся в северной части Великобритании, записано: «Ясная схема оценки должна обеспечить пользователя тестом аппаратом оценивания именно в рамках заложенной в тест оценки разработчика. Многие вопросы толкования могут быть сняты при разработке ясной и недвусмысленной схемы оценивания, которая содержит наиболее возможные варианты ответов, которые можно принять к рассмотрению и оценить, как зачетные. Схема оценивания должна полностью соответствовать конкретному вопросу. Все формулировки ожидаемых ответов должны быть предельно ясными и недвусмысленными, чтобы при оценивании у проверяющего не могло возникнуть сомнения в правильности засчитываемого ответа. Единство требований к тестируемым не может быть осуществлено, если сама схема оценки может толковаться специалистами по-разному» .

На наш взгляд это применимо для заданий открытого типа. В связи с тем, что мы при разработке тестов пользуемся только заданиями закрытого типа, у нас не возникает необходимости описывать все возможные варианты ответов, т.к. тестируемым нужно выбрать правильный ответ из списка, а не дописать его. Таким образом, в оценочной схеме мы фиксируем какие из приведенных вариантов ответа являются правильными.

Если нашим коллегам потребуется включить в тест задания открытого типа, то им, безусловно, необходимо предусмотреть и прописать в оценочной схеме все варианты, которые могут расцениваться как правильные, которые являются синонимами правильного ответа.

Считаем уместным сказать здесь также о правилах оценивания результатов тестирования, принятых в системе психологической подготовки МЧС России.

В случае полностью правильного ответа на задание тестируемому присваивается 1 балл.

В случае частично правильного ответа на задание, когда тестируемый не отметил всех правильных ответов, а отметил лишь некоторые из них, даже если отметил лишь один правильный ответ из нескольких правильных, а также не отметил ни одного из неправильных вариантов ответа, тестируемому присваивается 0,5 балла.

Если тестируемый выбирает хотя бы один неправильный ответ из множества предлагаемых вариантов ответа, ему баллы не присваиваются.

После подсчета баллов их следует сложить и перевести в проценты.

Для этого можно воспользоваться формулой:

К=(Б*100)/М, где:

К – коэффициент уровня знаний

Б – количество баллов, набранных тестируемым

М – общее количество вопросов в тесте

Вместе с тем, хотим отметить, что немалое значение имеет расположение заданий на листе и их шрифтовое оформление. С точки зрения исключения случайных ошибок достаточно важен вопрос пространственного расположения заданий на страницах тестовой тетради. Располагая задания, рекомендуем руководствоваться следующими правилами:

1. Инструкция и весь текст задания должны умещаться на одной странице.

2. Особые места инструкций и заданий должны выделяться шрифтом.

3. Варианты ответа лучше располагать в один столбик, максимум в два.

4. Место для ответа должно быть выделено определенным образом. Лучше, если место для ответа будет выделено единообразно для заданий разного типа и вида (многоточие, линия, квадратик или иным способом).

5. Размер шрифта теста, шрифтовое и полиграфическое оформление должны соответствовать возрасту тестируемых.

6. Для зданий открытого типа необходимо выделить достаточно места для фиксации ответов, с учетом различного объема почерка тестируемых .

План

1. Основные виды педагогических тестов.

2. Формы тестовых заданий.

3. Эмпирическая проверка и статистическая обработка результатов.

4. Принципы отбора содержания. Критерии оценки содержания теста.

5. Соотношение формы задания и вида проверяемых знаний, умений, навыков.


1. Основные виды педагогических тестов

Существуют два основных вида тестов: традиционные и нетрадиционные.

Тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста означает взаимосвязь заданий, их принадлежность общему измеряемому фактору. Каждое задание теста выполняет отведенную ему роль и потому ни одно из них не может быть изъято из теста без потери качества измерения. Структуру теста образует способ связи заданий между собой. В основном, это так называемая факторная структура, в которой каждое задание связано с другими через общее содержание и общую вариацию тестовых результатов.

Традиционный тест представляет собой единство, по меньшей мере, трех систем:

Формальной системы заданий возрастающей трудности;

Статистических характеристик заданий и результатов испытуемых.

Традиционный педагогический тест нужно рассматривать в двух существенных смыслах: - как метод педагогического измерения и как результат применения теста. Удивительно, что тексты на русском языке тяготеют к смыслу метода, в то время как в большинстве работ западных авторов понятие тест чаще рассматривается в смысле результатов. Между тем, оба эти смысла характеризуют тест с разных сторон, потому что тест надо понимать одновременно и как метод, и как результат педагогического измерения. Одно дополняет другое. Тест, как метод, не мыслится без результатов, подтверждающих качество его самого и качество оценок измерения испытуемых различного уровня подготовленности.

В приведенном выше определении традиционного теста получили развитие несколько идей.

Первая идея - тест рассматривается не как обычная совокупность или набор вопросов, задач и т.п., а в виде понятия "система заданий". Такую систему образует не всякая совокупность, а только та, которая обусловливает возникновение нового интегративного качества, отличающего тест от элементарного набора заданий и от других средств педагогического контроля. Из множества возможных систем наилучшую образует та целостная совокупность, в которой качество теста проявляется в сравнительно большей степени. Отсюда вытекает мысль о выделении первого из двух главных системообразующих факторов - наилучшего состава тестовых заданий, образующих целостность. Исходя из этого, можно дать одно из самых коротких определений: тест - это система заданий, образующих наилучшую методическую целостность. Целостность теста - это устойчивое взаимодействие заданий, образующих тест как развивающуюся систему.

Вторая идея состоит в том, что в данном определении теста совершен отход от укоренившейся традиции рассмотрения теста как простого средства проверки, пробы, испытания. Всякий тест включает в себя элемент испытания, он не сводится весь к нему. Ибо тест - это еще и концепция, содержание, форма, результаты и интерпретация - все, требующее обоснования. Этим подразумевается, что тест является качественным средством педагогического измерения. В соответствии с положениями теории, тестовые оценки не являются точными оценками испытуемых. Правильно говорить, что они лишь репрезентируют эти значения с некоторой точностью.

Третья идея, развиваемая в нашем определении традиционного теста - это включение нового понятия - эффективность теста, который ранее в литературе по тестам не рассматривался в качестве критерия анализа и создания тестов. Ведущая идея традиционного теста - минимумом числом заданий, за короткое время, быстро, качественно и с наименьшими затратами сравнить знания как можно большего числа учащихся.

По существу, этим отражается идея эффективности педагогической деятельности в области контроля знаний. Хотелось бы думать, что против самой этой идеи возражать уже некому и незачем. Если наш учитель может разъяснить учебный материал не хуже своего зарубежного коллеги, то хорошо проверить требуемые знания, у всех учеников, по всему изученному материалу, он не в состоянии из-за господствующей у нас классно-урочной системы занятий, нехватки компьютерной техники, тестов и программ для организации автоматизированного самоконтроля - самой гуманной формы контроля знаний. Не в состоянии он это делать и физически. В силу, мягко скажем, ошибочной социальной политики зарплата наших учителей уже давно не компенсирует затраты даже физической энергии, необходимой для хорошего преподавания, не говоря уже о повышенных затратах энергии интеллектуальной, что способно совершать только раскованное, а не озабоченное поисками хлеба мышление. Как отмечается в литературе, квалифицированный работник получает у нас в три-четыре раза меньше того уровня зарплаты, за границами которого нарушается нормальная жизнедеятельность и начинается разрушение трудового потенциала.

Хотя в литературе имеются сотни примеров определений теста, с которыми либо трудно, либо вообще нельзя согласиться, это совсем не означает, что данное определение традиционного теста - истина в последней инстанции. Как и все остальные понятия, оно нуждается в постоянном улучшении. Просто оно представляется автору пока более аргументированным, чем некоторые другие известные понятия педагогического теста. Впрочем, стремление к улучшению понятий - явление совершенно нормальное и необходимое для нормально развивающейся практики и науки. Конструктивные попытки дать другие определения теста или оспорить уже имеющиеся всегда полезны, но именно этого нам не достает.

К традиционным тестам относятся тесты гомогенные и гетерогенные. Гомогенный тест представляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания - система, создаваемая с целью объективного, качественного, и эффективного метода оценки структуры и измерения уровня подготовленности учащихся по одной учебной дисциплине. Легко видеть, что в своей основе определение гомогенного теста совпадает с определением традиционного теста.

Гомогенные тесты распространены больше других. В педагогике они создаются для контроля знаний по одной учебной дисциплине или по одному разделу такой, например, объемной учебной дисциплины, как физика. В гомогенном педагогическом тесте не допускается использование заданий, выявляющих другие свойства. Наличие последних нарушает требование дисциплинарной чистоты педагогического теста. Ведь каждый тест измеряет что-то заранее определенное.

Например, тест по физике измеряет знания, умения, навыки и представления испытуемых в данной науке. Одна из трудностей такого измерения заключается в том, что физическое знание изрядно сопряжено с математическим. Поэтому в тесте по физике экспертно устанавливается уровень математических знаний, используемых при решении физических заданий. Превышение принятого уровня приводит к смещению результатов; по мере превышения последние все больше начинают зависеть не столько от знания физики, сколько от знания другой науки, математики. Другой важный аспект - стремление некоторых авторов включать в тесты не столько проверку знаний, сколько умение решать физические задачи, вовлекая, тем самым, интеллектуальный компонент в измерение подготовленности по физике.

Гетерогенный тест представляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания - система, создаваемая с целью объективного, качественного, и эффективного метода оценки структуры и измерения уровня подготовленности учащихся по нескольким учебным дисциплинам. Нередко в такие тесты включаются и психологические задания для оценки уровня интеллектуального развития.

Обычно гетерогенные тесты используются для комплексной оценки выпускника школ, оценки личности при приеме на работу и для отбора наиболее подготовленных абитуриентов при приеме в вузы. Поскольку каждый гетерогенный тест состоит из гомогенных тестов, интерпретация результатов тестирования ведется по ответам на задания каждого теста (здесь они называются шкалами) и кроме того, посредством различных методов агрегирования баллов делаются попытки дать общую оценку подготовленности испытуемого.

Напомним, что традиционный тест представляет собой метод диагностики испытуемых, в котором они отвечают на одни задания, в одинаковое время, в одинаковых условиях и с одинаковой оценкой. При такой ориентации задачи определения точного объема и структуры освоенного учебного материала отступают, по необходимости, на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно определить, образно говоря, не "кто что знает", а "кто знает больше". Интерпретация результатов тестирования ведется преимущественно на языке тестологии, с опорой на среднюю арифметическую, моду или медиану и на так называемые процентильные нормы, показывающие - сколько процентов испытуемых имеют тестовый результат хуже, чем у любого взятого для анализа испытуемого с его тестовым баллом. Такая интерпретация называется нормативно-ориентированной. Здесь вывод достраивается рейтингом: задания ответы выводы о знаниях испытуемого рейтинг, понимаемый как вывод о месте или ранге испытуемого.

Интегративные тесты. Интегративным можно назвать тест, состоящий из системы заданий, отвечающих требованиям интегративного содержания, тестовой формы, возрастающей трудности заданий, нацеленных на обобщенную итоговую диагностику подготовленности выпускника образовательного учреждения. Диагностика проводится посредством предъявления таких заданий, правильные ответы на которые требуют интегрированных (обобщенных, явно взаимосвязанных) знаний двух и большего числа учебных дисциплин. Создание таких тестов дается только тем преподавателям, которые владеют знаниями ряда учебных дисциплин, понимают важную роль межпредметных связей в обучении, способны создавать задания, правильные ответы на которые требуют от учащихся знаний различных дисциплин и умений применять такие знания.

Использование тестирования для контроля знаний учащихся по информатике позволяет выявить уровень и качество знаний учащихся по определенному материалу, объективно оценить их независимо от учителя.

В данной статье рассматриваются типы и виды тестовых заданий; их особенности, преимущества и недостатки; требования, предъявляемые при составлении к тестовым заданиям; методика составления тестовых заданий по информатике и их применение на практике.

В самом общем виде тестовые задания должны:

  • соответствовать содержанию учебного материала;
  • быть составлены с учетом соответствующих правил;
  • быть апробированы на практике;
  • быть понятными испытуемому .

С помощью тестовых заданий можно измерять уровень и качество знаний учащихся по информатике. Тогда тестовые задания должны отвечать следующим требованиям:

  • надежность – показывать те же результаты неоднократно, в схожих условиях;
  • валидность – обнаруживать и измерять уровень усвоения именно тех знаний, которые хочет измерить разработчик теста;
  • объективность .

С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии:

1. Инструкции (должна содержать указания на то, что испытуемый должен сделать, каким образом выполнить задание, где и как делать пометки и записи. Инструкция должна обеспечивать доступность задания и понимание способов его выполнения для любых испытуемых).

2. Текста задания или вопроса (представляет собой содержательное наполнение задания. Структура и состав вопроса определяются содержанием учебного материала).

3. Правильного ответа.

Перечисленные три составные части тестового задания являются минимально необходимыми для составления тестов.

Кроме того, составителям тестовых заданий целесообразно указывать еще ряд необходимых сведений, таких как:

  • возраст (класс), на который рассчитано это задание;
  • тему (предмет или предметную область);
  • предполагаемое составителем время выполнения задания;
  • сроки предъявления;
  • уровень, который соответствует данному заданию, или умения, которые оно выясняет;
  • соответствие стандарту или программному материалу;
  • данные об авторе.

Виды и типы тестовых заданий. Их особенности, преимущества и недостатки

Рассмотрим, типологию тестовых заданий, и выделим требования к ним. Существуют два типа заданий, которые объединяют шесть видов .

Схема 1. Типы и виды тестовых заданий

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Их отличительной особенностью является то, что для их выполнения ученику необходимо записать одно или несколько слов (цифр, букв, словосочетаний, предложений).

Задания закрытого типа (альтернативных ответов, множественного выбора, восстановления соответствия и восстановления последовательности) предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Эти задания предполагают наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.

Задания закрытого типа

1. Задания альтернативных ответов.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – “да – нет”, “правильно – неправильно” и др.

Форма задания

Текст задания (вопрос)
Утверждение 1 да нет
Утверждение 2 да нет
Утверждение 3 да нет
... ... ...

Инструкция для задания альтернативных ответов: Вам необходимо выбрать один вариант ответа, который Вы считаете правильным.

Задания альтернативных ответов в большей степени подходят для выявления уровня овладения сложными определениями, знания достаточно сложных графиков, диаграмм, схем и др.

Особенностью заданий альтернативных ответов является то, что вопрос должен быть сформулирован в форме утверждения, поскольку он предполагает согласие или несогласие, которое можно отнести к утверждению.

Инструкция: Вам необходимо выбрать один вариант ответа, который Вы считаете правильным.

Вопрос: Программа Paint не является программой для работы с электронными таблицами.

Варианты ответов:

Ответ: да.

Эти альтернативные задания в наибольшей степени соответствуют задаче выявления того, в какой степени испытуемый понимает данные. Они могут содержать проверку умений работать с графиками, навыками приближенного вычисления. Любая другая форма представления заданий будет гораздо более громоздкой и менее удобной.

2. Задания множественного выбора.

Это основной вид заданий, применяемый в тестах достижений. Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Форма предоставления заданий множественного выбора:

Вопрос (утверждение):

A. Вариант ответа 1

B. Вариант ответа 2

C. Вариант ответа 3

Инструкция для заданий множественного выбора: Выберите букву (ы), соответствующую (не) варианту (ом) правильного (ых) ответа (ов).

Приведем несколько примеров:

Инструкция: Выберите букву, соответствующую варианту правильного ответа.

Вопрос: Для какой операции с таблицами служит окно, фрагмент которого представлен <Рисунок 1>:

Варианты ответов:

A. Суммирование по строкам.

B. Суммирование по столбцам.

C. Фильтрация таблицы.

D. Консолидация данных.

Инструкция: выберите буквы, соответствующие вариантам правильных ответов. Вопрос: Выберите из приведенного списка типы объектов, с которыми работает Access.

Варианты ответов:

A. Таблицы.

B. Сведения.

C. Запросы.

F. Отчеты.

G. Макросы.

Н. Модули.

Ответ: А, С, D, F, G, H.

3. Задания на восстановление соответствия.Новая таблица

К заданиям данного типа относятся задания на восстановление соответствия между элементами двух списков, порядка ряда.

Форма представления заданий на восстановление соответствия:

Инструкция:

Варианты ответа:

Инструкция: Соотнесите написанное в столбцах 1 и 2.

Вопрос: При создании таблицы СУБД можно использовать 5 возможностей. Выберите из приведенных определений те, которые им соответствуют <Рисунок 2>:

Варианты ответа.

Ответ: А. 3. В. 2. С. 5. D. 1. Е. 4.

Главными преимуществами заданий этого вида являются: возможностью быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте.

4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановления соответствия, когда одним из рядов является время, расстояние, или иной континуальный конструкт, который подразумевается в виде ряда.

Задания на восстановление последовательности – это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью, простотой проверки.

Инструкция:

Варианты ответа.

Приведем несколько примеров:

Инструкция: Расположите в правильной последовательности.

Вопрос: Установите последовательность этапов проектирования экспертных систем.

Варианты ответов:

Столбец 1

Столбец 2
1 А. Выбор подходящей проблемы.
2 В. Доработка прототипа до промышленной экспертной системы.
3 С. Стыковка экспертной системы.
4 D. Разработка прототипа экспертной системы.
5 Е. Оценка экспертной системы.
6 F. Поддержка экспертной системы.

Ответ: 1. А. 2. D. 3. В. 4. Е. 5. С. 6. F.

Преимущества заданий закрытого типа

  • Задания могут быть надежны, поскольку отсутствуют факторы, связанные с субъективными оценками, которые снижают надежность.
  • Оценивание заданий полностью объективно: между оценками различных проверяющих не может быть различий.
  • Не учитывается умение испытуемых хорошо формулировать ответы.
  • Задания этого типа легко обрабатываются, тестирование быстро проводится.
  • Простой алгоритм заполнения снижает количество случайных ошибок и описок.
  • Эти задания позволяют охватить большие области знания, что для тестов достижений особенно важно.
  • Возможна машинная обработка ответов.
  • Низкая вероятность угадывания правильных ответов.
  • Возможно получение точной оценки содержательности теста, что особенно важно для определения соответствия теста целям исследования .

Задания открытого типа

К ним относятся задания двух видов:

1) дополнения (задачи с ограничением на ответы). В этих заданиях испытуемые также самостоятельно давать ответы на вопросы, однако их возможности ограничены.

Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

Инструкция для заданий дополнения: вместо многоточия впишите только одно слово (символ, знак и т.д.).

Пример задания дополнения.

Инструкция: Вместо многоточия впишите только одно слово.

Вопрос: Фирма, предоставляющая сетевые услуги – это...

Ответ: провайдер.

2) Свободного изложения или свободного конструирования. Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа.

Инструкция для заданий свободного изложения: закончите предложение (фразу), впишите вместо многоточия правильный ответ (словосочетание, фразу, предложение или несколько предложений).

Пример задания свободного изложения.

Инструкция: Закончите предложение.

Вопрос: Специальная программа, реализующая правила передачи информации между компьютерами – это... ...

Ответ: сетевой протокол.

Трудность в применении этого вида задач заключается в сложности с формализацией ответов, необходимость подготовки оценочных схем затрудняет стандартизацию, громоздкость процедуры и большие затраты времени на проведение.

Основная трудность при составлении заданий открытого типа – соблюдения основного требования к тестовым заданиям (наличия однозначного правильного ответа).

Положительными сторонами хорошо составленных заданий дополнения и свободного изложения являются:

1) невозможность угадать ответ;

2) краткость и однозначность ответов;

3) необходимость воспроизведения ответа по памяти;

4) отсутствие необходимости искать несколько вариантов ответа;

5) простота формулировки вопроса;

6) простота проверки .

Список используемой литературы

1. Лефрансуа Г. Прикладная педагогическая психология. – СПб.: ПРАЙМ ЕВРОЗНАК, 2003. – 416 с.

2. Майоров А.Н. Теория и практика создания тестов для системы образования. – М.: “Интеллект-центр”, 2001. – 296 с.

3. Пидкасистый П.И. Педагогика. Учебное пособие для педагогических вузов и педагогических колледжей. – М.: Педагогическое общество России, 1998. – 640 с.

4. Сластенин В.А. и др. Педагогика: Учеб. Пособие для студ. высш. пед. учеб. заведений / В.А. Сластенин, И.Ф. Исаев, Е.Н. Шиянов. – М.: Издательский центр “Академия”, 2003. – 576 с.

Похожие публикации