Многомерный статистический анализ: сущность и виды. Многомерный статистический анализ (128,00 руб.) Основные понятия метода факторного анализа, суть решаемых им задач

Глава 2. Кластерный анализ

Глава 3. Факторный анализ

Глава 4. Дискриминантный анализ

Список используемой литературы

Введение

Исходная информация в социально-экономических исследованиях представляется чаще всего в виде набора объектов, каждый из которых характеризуется рядом признаков (показателей). Поскольку число таких объектов и признаков может достигать десятков и сотен, и визуальный анализ этих данных малоэффективен, то возникают задачи уменьшения, концентрации исходных данных, выявления структуры и взаимосвязи между ними на основе построения обобщенных характеристик множества признаков и множества объектов. Такие задачи могут решиться методами многомерного статистического анализа.

Многомерный статистический анализ - раздел математической статистики, посвященный математическим методам, направленным на выявление характера и структуры взаимосвязей между компонентами исследуемого многомерного признака и предназначенным для получения научных и практических выводов.

Основное внимание в многомерном статистическом анализе уделяется математическим методам построения оптимальных планов сбора, систематизации и обработки данных, направленным на выявление характера и структуры взаимосвязей между компонентами исследуемого многомерного признака и предназначенным для получения научных и практических выводов.

Исходным массивом многомерных данных для проведения многомерного анализа обычно служат результаты измерения компонент многомерного признака для каждого из объектов исследуемой совокупности, т.е. последовательность многомерных наблюдений. Многомерный признак чаще всего интерпретируется как величина случайная, а последовательность наблюдений как выборка из генеральной совокупности. В этом случае выбор метода обработки исходных статистических данных производится на основе тех или иных допущений относительно природы закона распределения изучаемого многомерного признака.

1. Многомерный статистический анализ многомерных распределений и их основных характеристик охватывает ситуации, когда обрабатываемые наблюдения имеют вероятностную природу, т.е. интерпретируются как выборка из соответствующей генеральной совокупности. К основным задачам этого подраздела относятся: оценивание статистическое исследуемых многомерных распределений и их основных параметров; исследование свойств используемых статистических оценок; исследование распределений вероятностей для ряда статистик, с помощью которых строятся статистические критерии проверки различных гипотез о вероятностной природе анализируемых многомерных данных.

2. Многомерный статистический анализ характера и структуры взаимосвязей компонент исследуемого многомерного признака объединяет понятия и результаты, присущие таким методам и моделям, как регрессионный анализ, дисперсионный анализ, ковариационный анализ, факторный анализ и т.д. Методы, принадлежащие к этой группе, включают как алгоритмы, основанные на предположении о вероятностной природе данных, так и методы, не укладывающиеся в рамки какой-либо вероятностной модели (последние чаще относят к методам анализа данных).

3.Многомерный статистический анализ геометрической структуры исследуемой совокупности многомерных наблюдений объединяет понятия и результаты, свойственные таким моделям и методам, как дискриминантный анализ, кластерный анализ, многомерное шкалирование. Узловым для этих моделей является понятие расстояния, либо меры близости между анализируемыми элементами как точками некоторого пространства. При этом анализироваться могут как объекты (как точки, задаваемые в признаковом пространстве), так и признаки (как точки, задаваемые в объектном пространстве).

Прикладное значение многомерного статистического анализа состоит в основном в решении следующих трех задач:

задача статистического исследования зависимостей между рассматриваемыми показателями;

задача классификации элементов (объектов или признаков);

задача снижения размерности рассматриваемого признакового пространства и отбора наиболее информативных признаков.

Множественный регрессионный анализ предназначен для построения модели, позволяющей по значениям независимых переменных получать оценки значений зависимой переменной.

Логистическая регрессия для решения задачи классификации. Это разновидность множественной регрессии, назначение которой состоит в анализе связи между несколькими независимыми переменными и зависимой переменной.

Факторный анализ занимается определением относительно небольшого числа скрытых (латентных) факторов, изменчивостью которых объясняется изменчивость всех наблюдаемых показателей. Факторный анализ направлен на снижение размерности рассматриваемой задачи.

Кластерный и дискриминантный анализ предназначены для разделения совокупностей объектов на классы, в каждый из которых должны входить объекты в определенном смысле однородные или близкие. При кластерном анализе заранее неизвестно, сколько получится групп объектов и какого они будут объема. Дискриминантный анализ разделяет объекты по уже существующим классам.

Глава 1. Множественный регрессионный анализ

Задание: Исследование рынка жилья в Орле (Советский и Северный районы).

В таблице приведены данные по цене квартир в Орле и по различным факторам, ее обусловливающим:

общая площадь;

площадь кухни;

жилая площадь;

тип дома;
количество комнат. (Рис.1)

Рис. 1 Исходные данные

В графе «Район» использованы обозначения:

3 – Советский (элитный, относится к центральным районам);

4 – Северный.

В графе «Тип дома»:

1 – кирпичный;

0 – панельный.

Требуется:

Проанализировать связь всех факторов с показателем «Цена» и между собой. Отобрать факторы, наиболее подходящие для построения регрессионной модели;

Сконструировать фиктивную переменную, отображающую принадлежность квартиры к центральным и периферийным районам города;

Построить линейную модель регрессии для всех факторов, включив в нее фиктивную переменную. Пояснить экономический смысл параметров уравнения. Оценить качество модели, статистическую значимость уравнения и его параметров;

Распределить факторы (кроме фиктивной переменной) по степени влияния на показатель «Цена»;

Построить линейную модель регрессии для наиболее влиятельных факторов, оставив в уравнении фиктивную переменную. Оценить качество и статистическую значимость уравнения и его параметров;

Обосновать целесообразность или нецелесообразность включения в уравнение п. 3 и 5 фиктивной переменной;

Оценить интервальные оценки параметров уравнения с вероятностью 95%;

Определить, сколько будет стоить квартира общей площадью 74,5 м² в элитном (периферийном) районе.

Выполнение:

Проанализировав связь всех факторов с показателем «Цена» и между собой, были отобраны факторы, наиболее подходящие для построения регрессионной модели, используя метод включения «Forward »:

А) общая площадь;

В) количество комнат.

Включенные/исключенные переменные(a)

Включенные переменные	Исключенные переменные
Общая площадь		Включение (критерий: вероятность F-включения >= ,050)
		Включение (критерий: вероятность F-включения >= ,050)
Кол-во комнат		Включение (критерий: вероятность F-включения >= ,050)

a Зависимая переменная: Цена

Переменная Х4 «Район» является фиктивной переменной, так как имеет 2 значения: 3-принадлежность к центральному району «Советский», 4- к периферийному району «Северный».

Построим линейную модель регрессии для всех факторов (включая фиктивную переменную Х4).

Полученная модель:

У = 348,349 + 35,788 Х1 -217,075 Х4 +305,687 Х7

Оценка качества модели.

Коэффициент детерминации R 2 = 0,807

Показывает долю вариации результативного признака под воздействием изучаемых факторов. Следовательно, около 89% вариации зависимой переменной учтено и обусловлено в модели влиянием включенных факторов.

Коэффициент множественной корреляции R = 0,898

Показывает тесноту связи между зависимой переменной У со всеми включенными в модель объясняющими факторами.

Стандартная ошибка = 126,477

Дисперсионный анализ.

Целью дисперсионного анализа является проверка статистической значимости различия между средними (для групп или переменных). Эта проверка проводится с помощью разбиения суммы квадратов на компоненты, т.е. с помощью разбиения общей дисперсии (вариации) на части, одна из которых обусловлена случайной ошибкой (то есть внутригрупповой изменчивостью), а вторая связана с различием средних значений. Последняя компонента дисперсии затем используется для анализа статистической значимости различия между средними значениями. Если это различие значимо , нулевая гипотеза отвергается и принимается альтернативная гипотеза о существовании различия между средними.

Разбиение суммы квадратов. Для выборки объема n выборочная дисперсия вычисляется как сумма квадратов отклонений от выборочного среднего, деленная на n-1 (объем выборки минус единица). Таким образом, при фиксированном объеме выборки n дисперсия есть функция суммы квадратов (отклонений). В основе дисперсионного анализа лежит разделение дисперсии на части или компоненты, т.е. выборка разбивается на две части в которых вычисляются среднии и сумма квадратов отклонений. Расчет тех же показателей по выборки в целом дает большее значение дисперсии, что объясняется расхождение между групповыми средними. Таким образом, дисперсионный анализ позволяет объяснить внутригрупповую изменчивость, которая при исследовании всей группы в целом не может быть изменена.

Проверка значимости в дисперсионном анализе основана на сравнении компоненты дисперсии, обусловленной межгрупповым и компоненты дисперсии, обусловленной внутригрупповым разбросом (называемой средним квадратом ошибки). Если верна нулевая гипотеза (равенство средних в двух популяциях), то можно ожидать сравнительно небольшое различие выборочных средних из-за чисто случайной изменчивости. Поэтому, при нулевой гипотезе, внутригрупповая дисперсия будет практически совпадать с общей дисперсией, подсчитанной без учета групповой принадлежности. Полученные внутригрупповые дисперсии можно сравнить с помощью F-критерия, проверяющего, действительно ли отношение дисперсий значимо больше 1.

Преимущества: 1) дисперсионный анализ существенно более эффективен и, для малых выборок, т.к. более информативен; 2)дисперсионный анализ позволяет обнаружить эффекты взаимодействия между факторами и, поэтому, позволяет проверять более сложные гипотезы

Метод главных компонент состоит в линейном понижении размерности, в котором определяются попарно ортогональные направления максимальной вариации исходных данных, после чего данные проектируются на пространство меньшей размерности, порожденное компонентами с наибольшей вариацией.

Метод главных компонент является частью факторного анализа, который состоит в том, что две коррелированные переменные объединены в один фактор. Если пример с двумя переменными распространить на большее число переменных, то вычисления становятся сложнее, однако основной принцип представления двух или более зависимых переменных одним фактором остается в силе.

При сокращении числа переменных решение о том, когда следует остановить процедуру выделения факторов, главным образом зависит от точки зрения на то, что считать малой "случайной" изменчивостью. При повторных итерациях выделяются факторы с все меньшей и меньшей дисперсией.

Центроидный метод определения факторов.

Центроидный метод используется при кластерном анализе. В этом методе расстояние между двумя кластерами определяется как расстояние между их центрами тяжести при не взвешенном центроидном методе..

Взвешенный центроидный метод (медиана) идентичен не взвешенному, за исключением того, что при вычислениях используются веса для учёта разницы между размерами кластеров (т.е. числами объектов в них). Поэтому, если имеются (или подозреваются) значительные отличия в размерах кластеров, этот метод оказывается предпочтительнее предыдущего.

Кластерный анализ.

Термин кластерный анализ в действительности включает в себя набор различных алгоритмов классификации. Общий вопрос, задаваемый исследователями во многих областях, состоит в том, как организовать наблюдаемые данные в наглядные структуры, т.е. определить кластеры схожих объектов. Фактически, кластерный анализ является не столько обычным статистическим методом, сколько "набором" различных алгоритмов "распределения объектов по кластерам". Существует точка зрения, что в отличие от многих других статистических процедур, методы кластерного анализа используются в большинстве случаев тогда, когда вы не имеете каких-либо априорных гипотез относительно классов, но все еще находитесь в описательной стадии исследования. Следует понимать, что кластерный анализ определяет "наиболее возможно значимое решение".

Алгоритм древовидной кластеризации. Назначение этого алгоритма состоит в объединении объектов в достаточно большие кластеры, используя некоторую меру сходства или расстояние между объектами. Типичным результатом такой кластеризации является иерархическое дерево, которое представляет собой диаграмму. Диаграмма начинается с каждого объекта в классе (в левой части диаграммы). Теперь представим себе, что постепенно (очень малыми шагами) вы "ослабляете" ваш критерий о том, какие объекты являются уникальными, а какие нет. Другими словами, вы понижаете порог, относящийся к решению об объединении двух или более объектов в один кластер. В результате, вы связываете вместе всё большее и большее число объектов и агрегируете (объединяете) все больше и больше кластеров, состоящих из все сильнее различающихся элементов. Окончательно, на последнем шаге все объекты объединяются вместе. На этих диаграммах горизонтальные оси представляют расстояние объединения (в вертикальных древовидных диаграммах вертикальные оси представляют расстояние объединения). Так, для каждого узла в графе (там, где формируется новый кластер) вы можете видеть величину расстояния, для которого соответствующие элементы связываются в новый единственный кластер. Когда данные имеют ясную "структуру" в терминах кластеров объектов, сходных между собой, тогда эта структура, скорее всего, должна быть отражена в иерархическом дереве различными ветвями. В результате успешного анализа методом объединения появляется возможность обнаружить кластеры (ветви) и интерпретировать их.

Дискриминантный анализ используется для принятия решения о том, какие переменные различают (дискриминируют) две или более возникающие совокупности (группы). Наиболее общим применением дискриминантного анализа является включение в исследование многих переменных с целью определения тех из них, которые наилучшим образом разделяют совокупности между собой. Другими словами, вы хотите построить "модель", позволяющую лучше всего предсказать, к какой совокупности будет принадлежать тот или иной образец. В следующем рассуждении термин "в модели" будет использоваться для того, чтобы обозначать переменные, используемые в предсказании принадлежности к совокупности; о неиспользуемых для этого переменных будем говорить, что они "вне модели".

В пошаговом анализе дискриминантных функций модель дискриминации строится по шагам. Точнее, на каждом шаге просматриваются все переменные и находится та из них, которая вносит наибольший вклад в различие между совокупностями. Эта переменная должна быть включена в модель на данном шаге, и происходит переход к следующему шагу.

Можно также двигаться в обратном направлении, в этом случае все переменные будут сначала включены в модель, а затем на каждом шаге будут устраняться переменные, вносящие малый вклад в предсказания. Тогда в качестве результата успешного анализа можно сохранить только "важные" переменные в модели, то есть те переменные, чей вклад в дискриминацию больше остальных.

Эта пошаговая процедура "руководствуется" соответствующим значением F для включения и соответствующим значением F для исключения. Значение F статистики для переменной указывает на ее статистическую значимость при дискриминации между совокупностями, то есть, она является мерой вклада переменной в предсказание членства в совокупности.

Для двух групп дискриминантный анализ может рассматриваться также как процедура множественной регрессии. Если вы кодируете две группы как 1 и 2, и затем используете эти переменные в качестве зависимых переменных в множественной регрессии, то получите результаты, аналогичные тем, которые получили бы с помощью дискриминантного анализа. В общем, в случае двух совокупностей вы подгоняете линейное уравнение следующего типа:

Группа = a + b1*x1 + b2*x2 + ... + bm*xm

где a является константой, и b1...bm являются коэффициентами регрессии. Интерпретация результатов задачи с двумя совокупностями тесно следует логике применения множественной регрессии: переменные с наибольшими регрессионными коэффициентами вносят наибольший вклад в дискриминацию.

Если имеется более двух групп, то можно оценить более, чем одну дискриминантную функцию подобно тому, как это было сделано ранее. Например, когда имеются три совокупности, вы можете оценить: (1) - функцию для дискриминации между совокупностью 1 и совокупностями 2 и 3, взятыми вместе, и (2) - другую функцию для дискриминации между совокупностью 2 и совокупности 3. Например, вы можете иметь одну функцию, дискриминирующую между теми выпускниками средней школы, которые идут в колледж, против тех, кто этого не делает (но хочет получить работу или пойти в училище), и вторую функцию для дискриминации между теми выпускниками, которые хотят получить работу против тех, кто хочет пойти в училище. Коэффициенты b в этих дискриминирующих функциях могут быть проинтерпретированы тем же способом, что и ранее.

Каноническая корреляция.

Канонический анализ предназначен для анализа зависимостей между списками переменными. Если говорить точнее, он позволяет исследовать зависимость между двумя множествами переменных. При вычислении канонических корней подсчитывают собственные значения матрицы корреляций. Эти значения равны доле дисперсии, объясняемой корреляцией между соответствующими каноническими переменными. При этом полученная доля вычисляется относительно дисперсии канонических переменных, т.е. взвешенных сумм по двум множествам переменных; таким образом, собственные значения не показывают абсолютного значения, объясняемого в соответствующих канонических переменных.

Если извлечь квадратный корень из полученных собственных значений, получим набор чисел, который можно проинтерпретировать как коэффициенты корреляции. Поскольку они относятся к каноническим переменным, их также называют каноническими корреляциями. Как и собственные значения, корреляции между последовательно выделяемыми на каждом шаге каноническими переменными, убывают. Однако другие канонические переменные также могут быть значимо коррелированы, и эти корреляции часто допускают достаточно осмысленную интерпретацию.

Критерий значимости канонических корреляций сравнительно несложен. Во-первых, канонические корреляции оцениваются одна за другой в порядке убывания. Только те корни, которые оказались статистически значимыми, оставляются для последующего анализа. Хотя на самом деле вычисления происходят немного иначе. Программа сначала оценивает значимость всего набора корней, затем значимость набора, остающегося после удаления первого корня, второго корня, и т.д.

Исследования показали, что используемый критерий обнаруживает большие канонические корреляции даже при небольшом размере выборки (например, n = 50). Слабые канонические корреляции (например, R = .3) требуют больших размеров выборки (n > 200) для обнаружения в 50% случаев. Отметим, что канонические корреляции небольшого размера обычно не представляют практической ценности, поскольку им соответствует небольшая реальная изменчивость исходных данных.

Канонические веса. После определения числа значимых канонических корней возникает вопрос об интерпретации каждого (значимого) корня. Напомним, что каждый корень в действительности представляет две взвешенные суммы, по одной на каждое множество переменных. Одним из способов толкования "смысла" каждого канонического корня является рассмотрение весов, сопоставленных каждому множеству переменных. Эти веса также называются каноническими весами.

При анализе, обычно, пользуются тем, что чем больше приписанный вес (т.е., абсолютное значение веса), тем больше вклад соответствующей переменной в значение канонической переменной.

Если вы знакомы с множественной регрессией, вы можете применить для канонических весов интерпретацию, использованную для бета - весов в уравнении множественной регрессии. Канонические веса, в некотором смысле, аналогичны частным корреляциям переменных, соответствующих каноническому корню. Таким образом, рассмотрение канонических весов позволяют понять "значение" каждого канонического корня, т.е. увидеть, как конкретные переменные в каждом множестве влияют на взвешенную сумму (т.е. каноническую переменную).

Параметрические и непараметрические методы оценки результатов.

Параметрические методы, основанные на выборочном распределении определенной статистики. Говоря кратко, если вы знаете распределение наблюдаемой переменной, то можете предсказать, как в повторных выборках равного объема будет "вести себя" используемая статистика - т.е. каким образом она будет распределена.

В практике использование параметрических методов ограничено из-за объема или размера выборки доступной для анализа; проблем с точным измерением признаков наблюдаемого объекта

Таким образом, возникает необходимость в наличие процедур, позволяющих обрабатывать данные "низкого качества" из выборок малого объема с переменными, про распределение которых мало что или вообще ничего не известно. Непараметрические методы как раз и разработаны для тех ситуаций, достаточно часто возникающих на практике, когда исследователь ничего не знает о параметрах исследуемой популяции (отсюда и название методов - непараметрические). Говоря более специальным языком, непараметрические методы не основываются на оценке параметров (таких как среднее или стандартное отклонение) при описании выборочного распределения интересующей величины. Поэтому эти методы иногда также называются свободными от параметров или свободно распределенными.

По существу, для каждого параметрического критерия имеется, по крайней мере, один непараметрический аналог. Эти критерии можно отнести к одной из следующих групп:

критерии различия между группами (независимые выборки);

критерии различия между группами (зависимые выборки);

критерии зависимости между переменными.

Различия между независимыми группами. Обычно, когда имеются две выборки (например, мужчины и женщины), которые вы хотите сравнить относительно среднего значения некоторой изучаемой переменной, вы используете t-критерий для независимых. Непараметрическими альтернативами этому критерию являются: критерий серий Вальда-Вольфовица, U критерий Манна-Уитни и двухвыборочный критерий Колмогорова-Смирнова. Если вы имеете несколько групп, то можете использовать дисперсионный анализ. Его непараметрическими аналогами являются: ранговый дисперсионный анализ Краскела-Уоллиса и медианный тест.

Различия между зависимыми группами. Если вы хотите сравнить две переменные, относящиеся к одной и той же выборке (например, математические успехи студентов в начале и в конце семестра), то обычно используется t-критерий для зависимых выборок. Альтернативными непараметрическими тестами являются: критерий знаков и критерий Вилкоксона парных сравнений. Если рассматриваемые переменные по природе своей категориальны или являются категоризованными (т.е. представлены в виде частот попавших в определенные категории), то подходящим будет критерий хи-квадрат Макнемара. Если рассматривается более двух переменных, относящихся к одной и той же выборке, то обычно используется дисперсионный анализ (ANOVA) с повторными измерениями. Альтернативным непараметрическим методом является ранговый дисперсионный анализ Фридмана или Q критерий Кохрена (последний применяется, например, если переменная измерена в номинальной шкале). Q критерий Кохрена используется также для оценки изменений частот (долей).

Зависимости между переменными. Для того, чтобы оценить зависимость (связь) между двумя переменными, обычно вычисляют коэффициент корреляции. Непараметрическими аналогами стандартного коэффициента корреляции Пирсона являются статистики Спирмена R, тау Кендалла и коэффициент Гамма Если две рассматриваемые переменные по природе своей категориальны, подходящими непараметрическими критериями для тестирования зависимости будут: Хи-квадрат, Фи коэффициент, точный критерий Фишера. Дополнительно доступен критерий зависимости между несколькими переменными так называемый коэффициент конкордации Кендалла. Этот тест часто используется для оценки согласованности мнений независимых экспертов (судей), в частности, баллов, выставленных одному и тому же субъекту.

Если данные не являются нормально распределенными, а измерения, в лучшем случае, содержат ранжированную информацию, то вычисление обычных описательных статистик (например, среднего, стандартного отклонения) не слишком информативно. Например, в психометрии хорошо известно, что воспринимаемая интенсивность стимулов (например, воспринимаемая яркость света) представляет собой логарифмическую функцию реальной интенсивности (яркости, измеренной в объективных единицах - люксах). В данном примере, обычная оценка среднего (сумма значений, деленная на число стимулов) не дает верного представления о среднем значении действительной интенсивности стимула. (В обсуждаемом примере скорее следует вычислить геометрическое среднее.) Непараметрическая статистика вычисляет разнообразный набор мер положения (среднее, медиану, моду и т.д.) и рассеяния (дисперсию, гармоническое среднее, квартильный размах и т.д.), позволяющий представить более "полную картину" данных.

Многомерный статистический анализ применяют при решении следующих задач:

* исследование зависимости между признаками;
* классификация объектов или признаков, заданных векторами;
* снижение размерности пространства признаков.

При этом результат наблюдений - вектор значений фиксированного числа количественных и иногда качественных признаков, измеренных у объекта. Количественный признак - признак наблюдаемой единицы, который можно непосредственно выразить числом и единицей измерения. Количественный признак противопоставляется качественному - признаку наблюдаемой единицы, определяемому отнесением к одной из двух или более условных категорий (если имеется ровно две категории, то признак называется альтернативным). Статистический анализ качественных признаков - часть статистики объектов нечисловой природы. Количественные признаки делятся на признаки, измеренные в шкалах интервалов, отношений, разностей, абсолютной.

А качественные - на признаки, измеренные в шкале наименований и порядковой шкале. Методы обработки данных должны быть согласованы со шкалами, в которых измерены рассматриваемые признаки.

Целями исследования зависимости между признаками являются доказательство наличия связи между признаками и изучение этой связи. Для доказательства наличия связи между двумя случайными величинами Х и У применяют корреляционный анализ. Если совместное распределение Х и У является нормальным, то статистические выводы основывают на выборочном коэффициенте линейной корреляции, в остальных случаях используют коэффициенты ранговой корреляции Кендалла и Спирмена, а для качественных признаков - критерий хи-квадрат.

Регрессионный анализ применяют для изучения функциональной зависимости количественного признака У от количественных признаков x(1), x(2), … , x(k). Эту зависимость называют регрессионной или, кратко, регрессией. Простейшая вероятностная модель регрессионного анализа (в случае k = 1) использует в качестве исходной информации набор пар результатов наблюдений (xi, yi), i = 1, 2, … , n, и имеет вид

yi = axi + b + еi, i = 1, 2, … , n,

где еi - ошибки наблюдений. Иногда предполагают, что еi - независимые случайные величины с одним и тем же нормальным распределением N(0, у2). Поскольку распределение ошибок наблюдения обычно отлично от нормального, то целесообразно рассматривать регрессионную модель в непараметрической постановке, т.е. при произвольном распределении еi.

Основная задача регрессионного анализа состоит в оценке неизвестных параметров а и b, задающих линейную зависимость y от x. Для решения этой задачи применяют разработанный еще К.Гауссом в 1794 г. метод наименьших квадратов, т.е. находят оценки неизвестных параметров моделиa и b из условия минимизации суммы квадратов

по переменным а и b.

Дисперсионный анализ применяют для изучения влияния качественных признаков на количественную переменную. Например, пусть имеются k выборок результатов измерений количественного показателя качества единиц продукции, выпущенных на k станках, т.е. набор чисел (x1(j), x2(j), … , xn(j)), где j - номер станка, j = 1, 2, …, k, а n - объем выборки. В распространенной постановке дисперсионного анализа предполагают, что результаты измерений независимы и в каждой выборке имеют нормальное распределение N(m(j), у2) с одной и той же дисперсией.

Проверка однородности качества продукции, т.е. отсутствия влияния номера станка на качество продукции, сводится к проверке гипотезы

H0: m(1) = m(2) = … = m(k).

В дисперсионном анализе разработаны методы проверки подобных гипотез.

Гипотезу Н0 проверяют против альтернативной гипотезы Н1, согласно которой хотя бы одно из указанных равенств не выполнено. Проверка этой гипотезы основана на следующем «разложении дисперсий», указанном Р.А.Фишером:

где s2 - выборочная дисперсия в объединенной выборке, т.е.

Таким образом, первое слагаемое в правой части формулы (7) отражает внутригрупповую дисперсию. Наконец, - межгрупповая дисперсия,

Область прикладной статистики, связанную с разложениями дисперсии типа формулы (7), называют дисперсионным анализом. В качестве примера задачи дисперсионного анализа рассмотрим проверку приведенной выше гипотезы Н0 в предположении, что результаты измерений независимы и в каждой выборке имеют нормальное распределение N(m(j), у2) с одной и той же дисперсией. При справедливости Н0 первое слагаемое в правой части формулы (7), деленное на у2, имеет распределение хи-квадрат с k(n-1) степенями свободы, а второе слагаемое, деленное на у2, также имеет распределение хи-квадрат, но с (k-1) степенями свободы, причем первое и второе слагаемые независимы как случайные величины. Поэтому случайная величина

имеет распределение Фишера с (k-1) степенями свободы числителя и k(n-1) степенями свободы знаменателя. Гипотеза Н0 принимается, если F < F1-б, и отвергается в противном случае, где F1-б - квантиль порядка 1-б распределения Фишера с указанными числами степеней свободы. Такой выбор критической области определяется тем, что при Н1 величина F безгранично увеличивается при росте объема выборок n. Значения F1-б берут из соответствующих таблиц.

Разработаны непараметрические методы решения классических задач дисперсионного анализа, в частности, проверки гипотезы Н0.

Следующий тип задач многомерного статистического анализа - задачи классификации. Они делятся на три принципиально различных вида - дискриминантный анализ, кластер-анализ, задачи группировки.

Задача дискриминантного анализа состоит в нахождении правила отнесения наблюдаемого объекта к одному из ранее описанных классов. При этом объекты описывают в математической модели с помощью векторов, координаты которых - результаты наблюдения ряда признаков у каждого объекта. Классы описывают либо непосредственно в математических терминах, либо с помощью обучающих выборок. Обучающая выборка - это выборка, для каждого элемента которой указано, к какому классу он относится.

Рассмотрим пример применения дискриминантного анализа для принятия решений в технической диагностике. Пусть по результатам измерения ряда параметров продукции необходимо установить наличие или отсутствие дефектов. В этом случае для элементов обучающей выборки указаны дефекты, обнаруженные в ходе дополнительного исследования, например, проведенного после определенного периода эксплуатации. Дискриминантный анализ позволяет сократить объем контроля, а также предсказать будущее поведение продукции. Дискриминантный анализ сходен с регрессионным - первый позволяет предсказывать значение качественного признака, а второй - количественного. В статистике объектов нечисловой природы разработана математическая схема, частными случаями которой являются регрессионный и дискриминантный анализы.

Кластерный анализ применяют, когда по статистическим данным необходимо разделить элементы выборки на группы. Причем два элемента группы из одной и той же группы должны быть «близкими» по совокупности значений измеренных у них признаков, а два элемента из разных групп должны быть «далекими» в том же смысле. В отличие от дискриминантного анализа в кластер-анализе классы не заданы, а формируются в процессе обработки статистических данных. Например, кластер-анализ может быть применен для разбиения совокупности марок стали (или марок холодильников) на группы сходных между собой.

Другой вид кластер-анализа - разбиение признаков на группы близких между собой. Показателем близости признаков может служить выборочный коэффициент корреляции. Цель кластер-анализа признаков может состоять в уменьшении числа контролируемых параметров, что позволяет существенно сократить затраты на контроль. Для этого из группы тесно связанных между собой признаков (у которых коэффициент корреляции близок к 1 - своему максимальному значению) измеряют значение одного, а значения остальных рассчитывают с помощью регрессионного анализа.

Задачи группировки решают тогда, когда классы заранее не заданы и не обязаны быть «далекими» друг от друга. Примером является группировка студентов по учебным группам. В технике решением задачи группировки часто является параметрический ряд - возможные типоразмеры группируются согласно элементам параметрического ряда. В литературе, нормативно-технических и инструктивно-методических документах по прикладной статистике также иногда используется группировка результатов наблюдений (например, при построении гистограмм).

Задачи классификации решают не только в многомерном статистическом анализе, но и тогда, когда результатами наблюдений являются числа, функции или объекты нечисловой природы. Так, многие алгоритмы кластер-анализа используют только расстояния между объектами. Поэтому их можно применять и для классификации объектов нечисловой природы, лишь бы были заданы расстояния между ними. Простейшая задача классификации такова: даны две независимые выборки, требуется определить, представляют они два класса или один. В одномерной статистике эта задача сводится к проверке гипотезы однородности.

Третий раздел многомерного статистического анализа - задачи снижения размерности (сжатия информации). Цель их решения состоит в определении набора производных показателей, полученных преобразованием исходных признаков, такого, что число производных показателей значительно меньше числа исходных признаков, но они содержат возможно большую часть информации, имеющейся в исходных статистических данных. Задачи снижения размерности решают с помощью методов многомерного шкалирования, главных компонент, факторного анализа и др. Например, в простейшей модели многомерного шкалирования исходные данные - попарные расстояния между k объектами, а цель расчетов состоит в представлении объектов точками на плоскости. Это дает возможность в буквальном смысле слова увидеть, как объекты соотносятся между собой. Для достижения этой цели необходимо каждому объекту поставить в соответствие точку на плоскости так, чтобы попарные расстояния sij между точками, соответствующими объектам с номерами i и j, возможно точнее воспроизводили расстояния сijмежду этими объектами. Согласно основной идее метода наименьших квадратов находят точки на плоскости так, чтобы величина

достигала своего наименьшего значения. Есть и многие другие постановки задач снижения размерности и визуализации данных.

вероятность математический статистика качество

Из предисловия автора
Глава 1. Введение
1.1. Многомерное нормальное распределение как модель
1.2. Общий обзор многомерных методов
Литература
Глава 2. Многомерное нормальное распределение
2.1. Введение
2.2. Понятия, связанные с многомерными распределениями
2.3. Многомерное нормальное распределение
2.4. Распределение линейной комбинации нормально распределенных величин; независимость величин; частные распределения
2.5. Условные распределения и множественный коэффициент корреляции
2.6. Характеристическая функция; моменты
Литература
Задачи
Глава 3. Оценка вектора среднего значения и ковариационной матрицы
3.1. Введение
3.2. Оценки наибольшего правдоподобия для вектора среднего значения и ковариационной матрицы
3.3. Распределение вектора выборочного среднего; заключение о среднем значении, когда ковариационная матрица известна
Литература
Задачи
Глава 4. Распределения и использование выборочных коэффициентов корреляции
4.1. Введение
4.2. Коэффициент корреляции двумерной выборки
4.3. Частные коэффициенты корреляции
4.4. Множественный коэффициент корреляции
Литература
Задачи
Глава 5. Обобщенная T2-статистика
5.1. Введение
5.2. Обобщенная T2-статистика и ее распределение
5.3. Применения T2-статистики
5.4. Распределение T2-статистики при наличии конкурирующих гипотез; функция мощности
5.5. Некоторые оптимальные свойства критерия Т2
5.6. Многомерная проблема Беренса - Фишера
Литература
Задачи
Глава 6. Классификация наблюдений
6.1. Проблема классификации
6.2. Принципы правильной классификации
6.3. Методы классификации наблюдений в случае двух генеральных совокупностей с известным распределением вероятностей
6.4. Классификация наблюдений в случае двух генеральных совокупностей, имеющих известные многомерные нормальные распределения
6.5. Классификация наблюдений в случае двух многомерных нормальных генеральных совокупностей, параметры которых оцениваются по выборке
6.6. Классификация наблюдений в случае нескольких генеральных совокупностей
6.7. Классификация наблюдений в случае нескольких многомерных нормальных совокупностей
6.8. Пример классификации в случае нескольких многомерных нормальных генеральных совокупностей
Литература
Задачи
Глава 7. Распределение выборочной ковариационной матрицы и выборочной обобщенной дисперсии
7.1. Введение
7.2. Распределение Уишарта
7.3. Некоторые свойства распределения Уишарта
7.4. Теорема Кохрена
7.5. Обобщенная дисперсия
7.6. Распределение множества коэффициентов корреляции в случае диагональной ковариационной матрицы совокупности
Литература
Задачи
Глава 8. Проверка общих линейных гипотез. Дисперсионный анализ
8.1. Введение
8.2. Оценки параметров многомерной линейной регрессии
8.3. Критерии отношения правдоподобия для проверки линейных гипотез о коэффициентах регрессии
8.4. Моменты отношения правдоподобия в случае, когда справедлива нулевая гипотеза
8.5. Некоторые распределения величин U
8.6. Асимптотическое разложение распределения отношения правдоподобия
8.7. Проверка гипотез о матрицах коэффициентов регрессии и доверительные области
8.8. Проверка гипотезы о равенстве средних значений нормальных распределений с общей ковариационной матрицей
8.9. Обобщенный дисперсионный анализ
8.10. Другие критерии для проверки линейной гипотезы
8.11. Каноническая форма
Литература
Задачи
Глава 9. Проверка гипотезы о независимости множеств случайных величин
9.1. Введение
9.2. Отношение правдоподобия как критерий для проверки гипотезы о независимости множеств случайных величин
9.3. Моменты отношения правдоподобия при условии, что справедлива нулевая гипотеза
9.4. Некоторые распределения отношения правдоподобия
9.5. Асимптотическое разложение распределения величины h (отношения правдоподобия)
9.6. Пример
9.7. Случай двух множеств случайных величин
Литература
Задачи
Глава 10. Проверка гипотез о равенстве ковариационных матриц и о равенстве одновременно векторов среднего значения и ковариационных матриц
10.1 Введение
10.2 Критерии проверки гипотез о равенстве нескольких ковариационных матриц
10.3. Критерии проверки гипотезы об эквивалентности нескольких нормальных совокупностей
10.4. Моменты отношения правдоподобия
10.5. Асимптотические разложения функций распределения величин V1 и V
10.6. Случай двух генеральных совокупностей
10.7. Проверка гипотезы о том, что ковариационная матрица пропорциональна заданной матрице. Критерий сферичности
10.8. Проверка гипотезы о том, что ковариационная матрица равна данной матрице
10.9. Проверка гипотезы о том, что вектор среднего значения и ковариационная матрица соответственно равны данному вектору и данной матрице
Литература
Задачи
Глава 11. Главные компоненты
11.1. Введение
11.2. Определение главных компонент совокупности
11.3. Оценки наибольшего правдоподобия для главных компонент и их дисперсий
11.4. Вычисление оценок наибольшего правдоподобия для главных компонент
11.5. Пример
Литература
Задачи
Глава 12. Канонические корреляции и канонические величины
12.1. Введение
12.2. Канонические корреляции и канонические величины генеральной совокупности
12.3. Оценка канонических корреляций и канонических величин
12.4. Способ вычислений
12.5. Пример
Литература
Задачи
Глава 13. Распределение некоторых характеристических корней и векторов, не зависящих от параметров
13.1. Введение
13.2. Случай двух матриц Уишарта
13.3. Случай одной невырожденной матрицы Уишарта
13.4. Канонические корреляции
Литература
Задачи
Глава 14. Обзор некоторых других работ по многомерному анализу
14.1. Введение
14.2 Проверка гипотез о ранге и оценка линейных ограничений на коэффициенты регрессии. Канонические корреляции и канонические величины
14.3. Нецентральное распределение Уишарта
14.4. Распределение некоторых характеристических корней и векторов, зависящих от параметров
14.5. Асимптотическое распределение некоторых характеристических корней и векторов
14.6. Главные компоненты
14.7. Факторный анализ
14.8. Стохастические уравнения
14.9. Анализ временных рядов
Литература
Приложение. Теория матриц
1. Определение матриц. Действия над матрицами
2. Характеристические корни и векторы
3. Разбиение векторов и матриц на блоки
4. Некоторые результаты
5. Метод сокращения Дулиттла и метод сгущения по оси для решения систем линейных уравнений
Литература
Предметный указатель

Введение

Глава 1. Множественный регрессионный анализ

Глава 2. Кластерный анализ

Глава 3. Факторный анализ

Глава 4. Дискриминантный анализ

Список используемой литературы

Введение

Многомерный статистический анализ - раздел статистики, посвященный математическим методам, направленным на выявление характера и структуры взаимосвязей между компонентами исследуемого и предназначенным для получения научных и практических выводов.

Исходным массивом многомерных данных для проведения многомерного анализа обычно служат результаты измерения компонент многомерного признака для каждого из объектов исследуемой совокупности, т.е. последовательность многомерных наблюдений. Многомерный признак чаще всего интерпретируется как , а последовательность наблюдений как выборка из генеральной совокупности. В этом случае выбор метода обработки исходных статистических данных производится на основе тех или иных допущений относительно природы закона распределения изучаемого многомерного признака.

2. Многомерный статистический анализ характера и структуры взаимосвязей компонент исследуемого многомерного признака объединяет понятия и результаты, присущие таким методам и моделям, как анализ, дисперсионный анализ, ковариационный анализ, факторный анализ и т.д. Методы, принадлежащие к этой группе, включают как алгоритмы, основанные на предположении о вероятностной природе данных, так и методы, не укладывающиеся в рамки какой-либо вероятностной модели (последние чаще относят к методам ).

· задача статистического исследования зависимостей между рассматриваемыми показателями;

· задача классификации элементов (объектов или признаков);

· задача снижения размерности рассматриваемого признакового пространства и отбора наиболее информативных признаков.

Глава 1. Множественный регрессионный анализ

Задание: Исследование рынка жилья в Орле (Советский и Северный районы).

В таблице приведены данные по цене квартир в Орле и по различным факторам, ее обусловливающим:

· общая площадь;

· площадь кухни;

· жилая площадь;

· тип дома;

· количество комнат. (Рис.1)

Рис. 1 Исходные данные

В графе «Район» использованы обозначения:

3 – Советский (элитный, относится к центральным районам);

4 – Северный.

В графе «Тип дома»:

1 – кирпичный;

0 – панельный.

Требуется:

1. Проанализировать связь всех факторов с показателем «Цена» и между собой. Отобрать факторы, наиболее подходящие для построения регрессионной модели;

2. Сконструировать фиктивную переменную, отображающую принадлежность квартиры к центральным и периферийным районам города;

3. Построить линейную модель регрессии для всех факторов, включив в нее фиктивную переменную. Пояснить экономический смысл параметров уравнения. Оценить качество модели, статистическую значимость уравнения и его параметров;

4. Распределить факторы (кроме фиктивной переменной) по степени влияния на показатель «Цена»;

5. Построить линейную модель регрессии для наиболее влиятельных факторов, оставив в уравнении фиктивную переменную. Оценить качество и статистическую значимость уравнения и его параметров;

6. Обосновать целесообразность или нецелесообразность включения в уравнение п. 3 и 5 фиктивной переменной;

7. Оценить интервальные оценки параметров уравнения с вероятностью 95%;

8. Определить, сколько будет стоить квартира общей площадью 74,5 м² в элитном (периферийном) районе.

Выполнение:

1. Проанализировав связь всех факторов с показателем «Цена» и между собой, были отобраны факторы, наиболее подходящие для построения регрессионной модели, используя метод включения «Forward»:

А) общая площадь;

В) количество комнат.

Включенные/исключенные переменные(a)

a Зависимая переменная: Цена

2. Переменная Х4 «Район» является фиктивной переменной, так как имеет 2 значения: 3-принадлежность к центральному району «Советский», 4- к периферийному району «Северный».

3. Построим линейную модель регрессии для всех факторов (включая фиктивную переменную Х4).

Полученная модель:

Оценка качества модели.

Стандартная ошибка = 126,477

Коэффициент Дарбина - Уотсона = 2,136

Проверка значимости уравнения регрессии

Значение критерия F-Фишера = 41,687

4. Построим линейную модель регрессию со всеми факторами (кроме фиктивной переменной Х4)

По степени влияния на показатель «Цена» распределили:

Самый значимый фактор – общая площадь (F= 40,806)

Второй по значимости фактор- количество комнат (F= 29,313)

5. Включенные/исключенные переменные

a Зависимая переменная: Цена

6. Построим линейную модель регрессии для наиболее влиятельных факторов с фиктивной переменной, в нашем случае она и является одним из влиятельных факторов.

Полученная модель:

У = 348,349 + 35,788 Х1 -217,075 Х4 +305,687 Х7

Оценка качества модели.

Коэффициент детерминации R2 = 0,807

Коэффициент множественной корреляции R = 0,898

Показывает тесноту связи между зависимой переменной У со всеми включенными в модель объясняющими факторами.

Стандартная ошибка = 126,477

Коэффициент Дарбина - Уотсона = 2,136

Проверка значимости уравнения регрессии

Значение критерия F-Фишера = 41,687

Уравнение регрессии следует признать адекватным, модель считается значимой.

Самый значимый фактор – количество комнат (F=41,687)

Второй по значимости фактор- общая площадь (F= 40,806)

Третий по значимости фактор- район (F= 32,288)

7. Фиктивная переменная Х4 является значимым фактором, поэтому целесообразно включить ее в уравнение.

Интервальные оценки параметров уравнения показывают результаты прогнозирования по модели регрессии.

С вероятностью 95% объем реализации в прогнозируемом месяце составит от 540,765 до 1080,147 млн. руб.

8. Определение стоимости квартиры в элитном районе

Для 1 комн У = 348,349 + 35,788 * 74, 5 - 217,075 * 3 + 305,687 * 1

Для 2 комн У = 348,349 + 35,788 * 74, 5 - 217,075 * 3 + 305,687 * 2

Для 3 комн У = 348,349 + 35,788 * 74, 5 - 217,075 * 3 + 305,687 * 3

в периферийном

Для 1 комн У = 348,349 + 35,788 * 74, 5 - 217,075 * 4 + 305,687 * 1

Для 2 комн У = 348,349 + 35,788 * 74, 5 - 217,075 * 4 + 305,687 * 2

Для 3 комн У = 348,349 + 35,788 * 74, 5 - 217,075 * 4 + 305,687 * 3

Глава 2. Кластерный анализ

Задание: Исследование структуры денежных расходов и сбережений населения.

В таблице представлена структура денежных расходов и сбережений населения по регионам Центрального федерального округа Российской федерации в 2003 г. Для следующих показателей:

· ПТиОУ – покупка товаров и оплата услуг;

· ОПиВ – обязательные платежи и взносы;

· ПН – приобретение недвижимости;

· ПФА – прирост финансовых активов;

· ДР – прирост (уменьшение) денег на руках у населения.

Рис. 8 Исходные данные

Требуется:

1) определить оптимальное количество кластеров для разбиения регионов на однородные группы по всем группировочным признакам одновременно;

2) провести классификацию областей иерархическим методом с алгоритмом межгрупповых связей и отобразить результаты в виде дендрограммы;

3) проанализировать основные приоритеты денежных расходов и сбережений в полученных кластерах;

Выполнение:

1) Определить оптимальное количество кластеров для разбиения регионов на однородные группы по всем группировочным признакам одновременно;

Для определения оптимального количества кластеров нужно воспользоваться Иерархическим кластерным анализом и обратиться к таблице «Шаги агломерации» к столбцу «Коэффициенты».

Эти коэффициенты подразумевают расстояние между двумя кластерами, определенное на основании выбранной дистанционной меры (Евклидово расстояние). На том этапе, когда мера расстояния между двумя кластерами увеличивается скачкообразно, процесс объединения в новые кластеры необходимо остановить.

В итоге, оптимальным считается число кластеров, равное разности количества наблюдений (17) и номера шага (14),после которого коэффициент увеличивается скачкообразно. Таким образом, оптимальное количество кластеров равно 3. (Рис.9)

статистический математический анализ кластерный

Рис. 9 Таблица «Шаги агломерации»

2) Провести классификацию областей иерархическим методом с алгоритмом межгрупповых связей и отобразить результаты в виде дендрограммы;

Теперь, используя оптимальное количество кластеров, проводим классификацию областей иерархическим методом. И в выходных данных обращаемся к таблице «Принадлежность к кластерам». (Рис.10)

Рис. 10 Таблица «Принадлежность к кластерам»

На Рис. 10 отчетливо видно, что в 3 кластер попали 2 области (Калужская, Московская) и г. Москва, во 2 кластер две (Брянская, Воронежская, Ивановская, Липецкая, Орловская, Рязанская, Смоленская, Тамбовская, Тверская), в 1 кластер – Белгородская, Владимирская, Костромская, Курская, Тульская, Ярославская.

Рис. 11 Дендрограмма

3) проанализировать основные приоритеты денежных расходов и сбережений, в полученных кластерах;

Для анализа полученных кластеров нам нужно провести «Сравнение средних». В выходном окне выводится следующая таблица (Рис. 12)

Рис. 12 Средние значения переменных

В таблице «Средних значений» мы можем проследить, каким структурам отдается наибольший приоритет в распределении денежных расходов и сбережений населения.

В первую очередь стоит отметить, что самый высокий приоритет во всех областях отдается покупке товаров и оплате услуг. Большее значение параметр принимает в 3 кластере.

2 место занимает прирост финансовых активов. Наибольшее значение в 1 кластере.

Наименьший коэффициент в 1 и 2 кластерах у «приобретение недвижимости», а в 3 кластере выявлено заметное уменьшение денег на руках у населения.

В целом особое значение для населения имеет покупка товаров и оплата услуг и незначительное покупка недвижимости.

4) сравнить полученную классификацию с результатами применения алгоритма внутригрупповых связей.

В анализе межгрупповых связей ситуация практически не изменилась, за исключением Тамбовской области, которая из 2 кластера попала в 1.(Рис.13)

Рис. 13 Анализ внутригрупповых связей

В таблице «Средних значений» никаких изменений не произошло.

Глава 3. Факторный анализ

Задание: Анализ деятельности предприятий легкой промышленности.

Имеются данные обследований 20 предприятий легкой промышленности (Рис. 14) по следующим характерным признакам:

· Х1 – уровень фондоотдачи;

· Х2 – трудоемкость единицы продукции;

· Х3 – удельный вес закупочных материалов в общих расходах;

· Х4 – коэффициент сменности оборудования;

· Х5 – премии и вознаграждения на одного работника;

· Х6 – удельный вес потерь от брака;

· Х7 – среднегодовая стоимость основных производственных фондов;

· Х8 – среднегодовой фонд заработной платы;

· Х9 – уровень реализуемости продукции;

· Х10 – индекс постоянного актива (отношение основных средств и прочих внеоборотных активов к собственным средствам);

· Х11 – оборачиваемость оборотных средств;

· Х12 – непроизводственные расходы.

Рис.14 Исходные данные

Требуется:

1. провести факторный анализ следующих переменных: 1,3,5-7, 9, 11,12, выявить и интерпретировать факторные признаки;

2. указать наиболее благополучные и перспективные предприятия.

Выполнение:

1. Провести факторный анализ следующих переменных: 1,3,5-7, 9, 11,12, выявить и интерпретировать факторные признаки.

Факторный анализ – это совокупность методов, которые на основе реально существующих связей объектов (признаков) позволяют выявить латентные (неявные) обобщающие характеристики организационной структуры.

В диалоговом окне факторного анализа выбираем наши переменные, указываем необходимые параметры.

Рис. 15 Полная объясненная дисперсия

По таблице «Полной объясненной дисперсии» видно, что выделены 3 фактора, объясняющие 74,8 % вариаций переменных – построенная модель достаточно хорошая.

Теперь интерпретируем факторные признаки по «Матрице повернутых компонент»: (Рис.16).

Рис. 16 Матрица повернутых компонент

Фактор 1 наиболее тесно связан с уровнем реализации продуктов и имеет обратную зависимость от непроизводственных расходов.

Фактор 2 наиболее тесно связан с удельным весом закупочных материалов в общих расходах и удельным весом потерь от брака и имеет обратную зависимость от премий и вознаграждений на одного работника.

Фактор 3 наиболее тесно связан с уровнем фондоотдачи и оборачиваемость оборотных средств и имеет обратную зависимость от среднегодовой стоимости основных производственных фондов.

2. Указать наиболее благополучные и перспективные предприятия.

Для того, чтобы выявить наиболее благополучные предприятия проведем сортировку данных по 3 факторным признакам по убыванию. (Рис.17)

Наиболее благополучными предприятиями следует считать: 13,4,5, так как в целом по 3 факторам их показатели занимают наиболее высокие и стабильные позиции.

Глава 4. Дискриминантный анализ

Оценка кредитоспособности юридических лиц в коммерческом банке

В качестве значимых показателей, характеризующих финансовое состояние организаций-заемщиков, банком выбраны шесть показателей (табл. 4.1.1):

QR (Х1) - коэффициент срочной ликвидности;

CR (Х2) - коэффициент текущей ликвидности;

EQ/TA (Х3) - коэффициент финансовой независимости;

TD/EQ (Х4) - суммарные обязательства к собственному капиталу;

ROS (Х5) - рентабельность продаж;

FAT (Х6) - оборачиваемость основных средств.

Таблица 4.1.1. Исходные данные

Требуется:

На основе дискриминантного анализа с использованием пакета SPSS определить, к какой из четырех категорий относятся три заемщика (юридических лица), желающие получить кредит в коммерческом банке:

§ Группа 1 - с отличными финансовыми показателями;

§ Группа 2 - с хорошими финансовыми показателями;

§ Группа 3 - с плохими финансовыми показателями;

§ Группа 4 - с очень плохими финансовыми показателями.

По результатам расчета построить дискриминантные функции; оценить их значимость по коэффициенту Уилкса (λ). Построить карту восприятия и диаграммы взаимного расположения наблюдений в пространстве трех функций. Выполнить интерпретацию результатов проведенного анализа.

Ход выполнения:

Для того чтобы определить, к какой из четырех категорий относятся три заемщика, желающие получить кредит в коммерческом банке, строим дискриминантный анализ, который позволяет определить, к какой из ранее выявленных совокупностей (обучающих выборок) следует отнести новых клиентов.

В качестве зависимой переменной выберем группу, к которой может относиться заемщик в зависимости от его финансовых показателей. Из данных задачи, каждой группе присваивается соответствующая оценка 1, 2, 3 и 4.

Ненормированные канонические коэффициенты дискриминантных функций, приведенные на рис. 4.1.1, используются для построения уравнения дискриминантных функций D1(X), D2(X) и D3(X):

3.) D3(X) =


	1






(Константа)

Рис. 4.1.1. Коэффициенты канонической дискриминантной функции

Рис. 4.1.2. Лямбда Уилкса

Однако, поскольку значимость по коэффициенту Уилкса (рис. 4.1.2) второй и третей функции более 0.001, их для дискриминации использовать нецелесообразно.

Данные таблицы «Результаты классификации» (рис. 4.1.3) свидетельствуют о том, что для 100 % наблюдений классификация проведена корректно, высокая точность достигнута во всех четырех группах (100 %).

Рис. 4.1.3. Результаты классификации

Информация о фактических и предсказанных группах для каждого заемщика приведены в таблице «Поточечные статистики» (рис. 4.1.4).

В результате дискриминантного анализе высокой вероятностью определена принадлежность новых заемщиков банка к обучающему подмножеству М1 – первый, второй и третий заемщик (порядковый номера 41, 42, 43) отнесены к подмножеству М1 с соответствующими вероятностями 100 %.

Номер наблюдения	Фактическая группа	Наивероятнейшая группа
		Предсказанная группа
		Предсказанная группа


	несгруппированные
	несгруппированные
	несгруппированные

Рис. 4.1.4. Поточечная статистика

Координаты центроидов по группам приведены в таблице «Функции в центроидах групп» (рис. 4.1.5). Они используются для нанесения центроидов на карту восприятия (рис. 4.1.6).


	1

Рис. 4.1.5. Функции в центроидах групп

Рис. 4.1.6. Карта восприятия для двух дискриминантных функций D1(X) и D2(X) (* - центроид группы)

Поле «Территориальной карты» разделено дискриминантными функциями на четыре области: в левой части находятся преимущественно наблюдения четвертой группы заемщиков с очень плохими финансовыми показателями, в правой части - первой группы с отличными финансовыми показателями, в средней и нижней части - третьей и второй группы заемщиков с плохими и хорошими финансовыми показателями соответственно.

Рис. 4.1.7. Диаграмма рассеяния для всех групп

На рис. 4.1.7 приведен объединенный график распределения всех групп заемщиков вместе со своими центроидами; его можно использовать для проведения сравнительного визуального анализа характера взаимного расположения групп заемщиков банка по финансовыми показателями. В правой части графика расположены заемщики с высокими показателями, в левой - с низкой, а в средней части - со средними финансовыми показателями. Поскольку по результатам расчета вторая дискриминантная функция D2(X) оказалась незначима, то различия координат центроидов по этой оси незначительны.

Оценка кредитоспособности физических лиц в коммерческом банке

Кредитный отдел коммерческого банка провел выборочное обследование 30 своих клиентов (физических лиц). На основе предварительного анализа данных, заемщики оценивались по шести показателям (табл. 4.2.1):

Х1 - заемщик брал кредит в коммерческих банках ранее;

Х2 - среднемесячный доход семьи заемщика, тыс. руб.;

Х3 - срок (период) погашения кредита, лет;

Х4 - размер выданного кредита, тыс. руб.;

Х5 - состав семьи заемщика, чел.;

Х6 - возраст заемщика, лет.

При этом по вероятности возврата кредита выявлены три группы заемщиков:

§ Группа 1 - с низкой вероятностью погашения кредита;

§ Группа 2 - со средней вероятностью погашения кредита;

§ Группа 3 - с высокой вероятностью погашения кредита.

Требуется:

На основе дискриминантного анализа с использованием пакета SPSS необходимо классифицировать трех клиентов банка (по вероятности погашения кредита), т.е. оценить принадлежность каждого из них к одной из трех групп. По результатам расчета построить значимые дискриминантных функции, их значимость оценить по коэффициенту Уилкса (λ). В пространстве двух дискриминантных функций для каждой группы построить диаграммы взаимного расположения наблюдений и объединенную диаграмму. Оценить место расположения каждого заемщика на этих диаграммах. Выполнить интерпретацию результатов проведенного анализа.

Таблица 4.2.1. Исходные данные

Ход выполнения:

Для построения дискриминантного анализа в качестве зависимой переменной выберем вероятность своевременного погашения кредита клиентом. Учитывая, что она может быть низкой, средней и высокой, каждой категории присвоим соответствующую оценку 1,2 и 3.

Ненормированные канонические коэффициенты дискриминантных функций, приведенные на рис. 4.2.1, используются для построения уравнения дискриминантных функций D1(X), D2(X):

2.) D2(X) =

Рис. 4.2.1. Коэффициенты канонической дискриминантной функции

Рис. 4.2.2. Лямбда Уилкса

По коэффициенту Уилкса (рис. 4.2.2) для второй функции значимость более 0.001, следовательно, ее для дискриминации использовать нецелесообразно.

Данные таблицы «Результаты классификации» (рис. 4.2.3) свидетельствуют о том, что для 93,3 % наблюдений классификация проведена корректно, высокая точность достигнута в первой и второй группах (100% и 91,7%), менее точные результаты получены в третьей группе (88, 9%).

Рис. 4.2.3. Результаты классификации

Информация о фактических и предсказанных группах для каждого клиента приведены в таблице «Поточечные статистики» (рис. 4.2.4).

В результате дискриминантного анализе высокой вероятностью определена принадлежность новых клиентов банка к обучающему подмножеству М3 – первый, второй и третий клиент (порядковый номера 31, 32, 33) отнесены к подмножеству М3 с соответствующими вероятностями 99%, 99% и 100%.

Номер наблюдения	Фактическая группа	Наивероятнейшая группа
		Предсказанная группа
		Предсказанная группа


	несгруппированные
	несгруппированные
	несгруппированные

Рис. 4.2.4. Поточечная статистика

Вероятность погашения кредита
Вероятность погашения кредита

Рис. 4.2.5. Функции в центроидах групп

Координаты центроидов по группам приведены в таблице «Функции в центроидах групп» (рис. 4.2.5). Они используются для нанесения центроидов на карту восприятия (рис. 4.2.6).

Поле «Территориальной карты» разделено дискриминантными функциями на три области: в левой части находятся преимущественно наблюдения первой группы клиентов с очень низкой вероятностью погашения кредита, в правой части - третьей группы с высокой вероятностью, в средней - второй группы клиентов со средней вероятностью возврата кредита соответственно.

На рис. 4.2.7 (а – в) отражено расположение клиентов каждой из трех групп на плоскости двух дискриминантных функций D1(X) и D2(X). По этим графикам можно проводить детальный анализ вероятности погашения кредита внутри каждой группы, судить о характере распределения клиентов и оценивать степень их удаленности от соответствующего центроида.

Рис. 4.2.6. Карта восприятия для трех дискриминантных функций D1(X) и D2(X) (* - центроид группы)

Так же на рис. 4.2.7 (г) в той же системе координат приведен объединенный график распределения всех групп клиентов вместе со своими центроидами; его можно использовать для проведения сравнительного визуального анализа характера взаимного расположения групп клиентов банка с разными вероятностями погашения кредита. В левой части графика расположены заемщики с высокой вероятностью погашения кредита, в правой - с низкой, а в средней части - со средней вероятностью. Поскольку по результатам расчета вторая дискриминантная функция D2(X) оказалась незначима, то различия координат центроидов по этой оси незначительны.

Рис. 4.2.7. Расположение наблюдений на плоскости двух дискриминантных функций для групп с низкой (а), средней (б), высокой (с) вероятностью погашения кредита и для всех групп (г)

Список литературы

1. «Многомерный статистический анализ в экономических задачах. Компьютерное моделирование в SPSS», , 2009 г.

2. Орлов А.И. «Прикладная статистика» М.: Издательство «Экзамен», 2004

3. Фишер Р.А. «Статистические методы для исследователей», 1954 г.

4. Калинина В.Н., Соловьев В.И. «Введение в многомерный статистический анализ» Учебное пособие ГУУ,2003;

5. Ахим Бююль, Петер Цёфель, «SPSS: искусство обработки информации» Изд-во DiaSoft, 2005г.;

6. http://ru.wikipedia.org/wiki