Синтеза оптимального решения по критерию неймана пирсона. Критерий Неймана-Пирсона для абсолютно непрерывных моделей

Пусть параметрическое семейство F есть семейство абсолютно непрерывных распределений, и распределениепри гипотезе H j , задается плотностью распределения вероятностейj=0,1. Пусть при любом значении x, принадлежащем множеству возможных значений наблюдаемой случайной величины, выполняется условие:, j=0,1 . Рассмотрим статистику

Будем строить критерий, основанный на статистике l(X) , называемой статистикой отношения правдоподобия .

Cтатистика l(X) может принимать значения

Где x i ? R 1 , i=1,...,n.

Из вероятностного смысла плотности распределения естественно ожидать, что большие значения статистики l(X) скорее всего будут свидетельствовать против основной гипотезы H 0 . Поэтому критическую область естественно задать в виде больших значений статистики l(X):

Где?- вероятность ошибки 1-го рода.

Обозначим через вероятность. Покажем, что с ростом аргументафункцияможет только убывать, при этом. Действительно

Из полученного соотношения (1) следует, что, поэтому, когда.

Чтобы критерий имел заданную вероятность ошибки 1-го рода?, граничная постояннаядолжна удовлетворять условию:

Если существует такое значение =, при котором, то критерий, задаваемый граничной константой, имеет заданную вероятность ошибки 1-го рода. Построенный критерий однозначно определяет вероятность ошибки второго рода?:

Имеет место следующее утверждение.

Лемма Неймана-Пирсона. Среди всех критериев уровня значимости?

для проверки двух простых параметрических гипотез H 0 и H 1

критерий Неймана-Пирсона, задаваемый критической областью

где граничная константа определяется из соотношения (2),

является наиболее мощным.

Доказательство.

Пусть - произвольный критерий уровня значимости?для проверки простых гипотез H 0 и H 1 , отличный от. Его мощность при альтернативе равна

Для критерия Неймана-Пирсона мощность при альтернативе равна

По определению множества вне этого множества (первый интеграл в соотношении (3))

а для элементов множества (второй интеграл в соотношении (3))

Поэтому из соотношения (3) получаем, что

Oба критерия иимеют один и тот же уровень значимости?,

. (Они оба равны?)

Это значит, что оба интеграла в соотношении (4) отличаются от?

на одну и ту же величину

следовательно, они равны, поэтому для любого критерия уровня значимости?, отличного от критерия Неймана-Пирсона, имеет место неравенство

а это означает, что критерий Неймана-Пирсона является наиболее мощным критерием.

Последствия ошибок первого и второго рода часто оказываются соверенно различными. Например, проверяется наличие у человека некоторого опасного заболевания. Неправильное заключение о наличии на самом деле не существующего заболевания приводит к необходимости применения вредных для больного лекарств. С другой стороны, неудача в попытке обнаружить имеющееся заболевание может привести к трагическим последствиям.

Другое обстоятельство, которое часто влияет на выбор уровня значимости - это наше отношение к гипотезе до проведения эксперимента. Если мы твердо верим в истинность гипотезы, то потребуются убедительные свидетельства против неё для того, чтобы мы отказались от своей уверенности. Соответственно уровень значимости будет выбран весьма малым, так как низкий уровень значимости приводит к тому, что гипотеза отвергается при таких комбинациях результатов наблюдений, вероятность которых мала, то есть появление этих результатов крайне неправдоподобно при справедливости проверяемой гипотезы. Заметим, что задача выбора значения уровня значимости критерия?- это не математическая задача.

Критерий Неймана-Пирсона

Пусть Зададимся допустимым значением вероятности, после чего будем искать такую границу между образами, при которой достигается минимум.

Пусть требуется. Нужно решить задачу нахождения

Ясно, что решение удовлетворяет условию Действительно, при возрастает, то есть становится не минимально возможным, а при нарушается ограничение. Как и в минимаксном методе, найти аналитически удаётся лишь в простейших случаях.

Последовательные процедуры распознавания

Если в ранее рассмотренных методах распознавания принятие решения о принадлежности объекта тому или иному образу осуществлялось сразу по всей совокупности признаков, то в данном разделе мы обсудим случай последовательного их измерения и использования.

Пусть. Сначала у объекта измеряется и на основании этой информации решается вопрос об отнесении этого объекта к одному из образов. Если это можно сделать с достаточной степенью уверенности, то другие признаки не измеряются и процедура распознавания заканчивается. Если же такой уверенности нет, то измеряется признак и решение принимается по двум признакам: и. Далее процедура либо прекращается, либо измеряется признак, и так до тех пор, пока либо будет принято решение об отнесении объекта к какому-либо образу, либо будут исчерпаны все признаков.

Такие процедуры чрезвычайно важны в тех случаях, когда измерение каждого из признаков требует существенных затрат ресурсов (материальных, временных и пр.).

Пусть и известны где Заметим, что если известно распределение то известны и все распределения меньшей размерности (так называемые маргинальные распределения). Например,

Пусть измерено признаков. Строим отношение правдоподобия Если, то объект относим к образу, если, то к образу. Если же, то измеряется признак и вычисляется отношение правдоподобия и т.д.

Понятно, что пороги и связаны с допустимыми вероятностями ошибок распознавания. Добиваясь выполнения неравенства, мы стремимся к тому, чтобы вероятность правильного отнесения объекта первого образа к была в раз больше, чем ошибочное отнесение объекта второго образа к, то есть или. Поскольку, то (верхний порог). Аналогичные рассуждения проводим для определения. Добиваясь выполнения неравенства, мы стремимся к тому, чтобы вероятность правильного отнесения объекта второго образа к была в раз больше, чем неправильного отнесения объекта первого образа к, то есть

(нижний порог).

В последовательной процедуре измерения признаков очень полезным свойством этих признаков является их статистическая независимость. Тогда и нет необходимости в хранении (а главное - в построении) многомерных распределений. К тому же есть возможность оптимизировать порядок следования измеряемых признаков. Если их ранжировать в порядке убывания классификационной информативности (количество различительной информации) и последовательную процедуру организовать в соответствии с этой ранжировкой, можно уменьшить в среднем количество измеряемых признаков.

Мы рассмотрели случай с (два образа). Если, то отношений правдоподобия может строиться, например такого вида: Останавливающая граница (порог) для -го образа выбирается равной Если, то -й образ отбрасывается и строится отношений правдоподобия и порогов. Процедура продолжается до тех пор, пока останется неотвергнутым только один образ или будут исчерпаны все признаков. Если в последнем случае остались неотвергнутыми более чем один образ, решение принимается в пользу того из них, для которого отношение правдоподобия максимально.

Если образов два () и число признаков не ограничено, то последовательная процедура с вероятностью 1 заканчивается за конечное число шагов. Доказано также, что при заданных и рассмотренная процедура при одинаковой информативности различных признаков даст минимум среднего числа шагов. Для последовательную процедуру ввёл Вальд и назвал её последовательным критерием отношения вероятностей (п.к.о.в.).

Для оптимальность процедуры не доказана.

При известных априорных вероятностях можно реализовать байесовскую последовательную процедуру, а если известны затраты на измерения признаков и матрица штрафов за неверное распознавание, то последовательную процедуру можно остановить по минимуму среднего риска. Суть здесь заключена в сравнении потерь, вызванных ошибками распознавания при прекращении процедуры, и ожидаемых потерь после следующего измерения плюс затраты на это измерение. Такая задача решается методом динамического программирования, если последовательные измерения статистически независимы. Более подробные сведения об оптимизации байесовской последовательной процедуры можно почерпнуть в рекомендованной литературе .

Критерий Неймана - Пирсона

Одним из недостатков критерия Жака - Бера является го, что он ориентирован на решение вопроса о нормальности

распределения на основе только внешних статистических характеристик выборки моментного типа. На практике значительный интерес представляет изучение внутренней структуры выборки. Для этой цели используется аппарат частотных характеристик, включающий в себя определение и анализ значений абсолютных, относительных и накопленных эмпирических частот.

Исследование внутренней структуры выборки начинается с выделения классов однородности, количество которых может быть определено с помощью формулы Стёр- джеса (8.4). Количество элементов выборки, попадающих в каждый из К классов, определяет значения абсолютных эмпирических частот В., i = 1,К.

Каждому классу соответствует интервал выборочных значений, ширина которого (одинаковая для всех интервалов) определяется следующим образом:

где Д = (x max - x min ) - размах варьирования фактора X.

Границы интервалов }