Эмпирическое распределение. Оценка распределения эмпирических данных

Теоретической базой для математической статистики служит теория вероятностей, которая изучает закономерности случайных явлений в абстрактном виде. На основе этих закономерностей разрабатываются модели или законы распределения случайных величии.

Закон распределения дискретной величины - это задание вероятностей ее возможных значений X = х i . Закон распределения непрерывной случайной величины представляют в виде функции распределения значений X < x i , т. е. в интегральной форме и в виде плотности распределения. Вероятность отдельного значения непрерывной случайной величины равна 0, а вероятность значений, входящих в заданную градацию, равна приращению функции распределения на участке, занимаемом данной градацией Δх.

Каждое теоретическое распределение имеет характеристики, аналогичные характеристикам статистических распределений (математическое ожидание М, дисперсию D, коэффициенты вариации, асимметрии и эксцесса). Эти или другие константы, связанные с ними, носят название параметров распределения.

Подыскание теоретического распределения, соответствующего эмпирическому, или «выравнивание» его является одной из важных задач климатологической обработки. Если найдено и найдено удачно теоретическое распределение, то климатолог получает не только удобную форму представления изучаемой величины, которую можно закладывать в машинные расчеты, но и возможность расчета характеристик, непосредственно не содержащихся в исходном ряду, а также выявления определенных закономерностей. Так, наблюдавшиеся в пункте экстремумы, безусловно, представляют интерес. Однако их появление в имеющейся выборке в значительной степени случайно, поэтому они плохо картируются и иногда существенно различаются на соседних станциях. Если же с помощью найденных распределений определять экстремальные характеристики определенной обеспеченности, то они в значительной мере свободны от указанных недостатков и поэтому являются более представительными. Именно на расчетных экстремумах основаны различные нормативные требования. Поэтому подысканию теоретического распределения и проверке его правильности должно быть уделено особое внимание.

Параметры распределения можно определить разными способами, наиболее точным, но и одновременно сложным является метод максимума правдоподобия. В климатологической практике используется метод моментов.

Статистические характеристики рассматриваются как оценки параметров распределений, характеризующих генеральную совокупность значений данной случайной величины.

Метод моментов определения оценок параметров состоит в следующем. Математическое ожидание, теоретические коэффициенты асимметрии и эксцесса просто заменяются эмпирическим средним и эмпирическими коэффициентами; теоретическая дисперсия равна эмпирической, умноженной на . Если параметрами служат функции моментов, то они вычисляются по эмпирическим моментам.

Рассмотрим некоторые вероятностные модели, часто используемые в климатологии.

Для дискретных случайных величин используются биномиальные распределения и распределения Пуассона (простое и сложное).

Биномиальное распределение (Бернулли) возникает в результате повторения при постоянных условиях одного и того же испытания, имеющего два исхода: появления или непоявления события (в климатологии, например, отсутствие или наличие явления в каждый день года или месяца).

Случайная дискретная величина понимается при этом как число случаев осуществления некоторого случайного события (явления) из n возможных случаев и может принимать значения 0, 1, 2, ..., n.

Аналитическое выражение биномиального закона распределения имеет вид (5.1)

Закон определяет вероятность того, что событие, вероятность которого р, будет наблюдаться х раз при n испытаниях. Например, в климатологии день может быть либо с явлением, либо без явления (с туманом, с определенным количеством осадков, температурой воздуха определенных градаций и т. д.). Во всех этих случаях возможны два исхода, и на вопрос, сколько раз будет наблюдаться событие (например, день с туманом), ответ можно получить с помощью биномиального закона (5.1). При этом р принимается равным р*, т. е. относительной частоте - отношению числа случаев с явлением к общему числу случаев (формула (2.3)).

Например, если рассматривается число дней с туманом в августе и по многолетнему ряду установлено, что в среднем в августе бывает 5 дней с туманом, то относительная частота (вероятность) дня с туманом в августе {31 день) равна

Параметрами биномиального распределения являются n и р, которые связаны с математическим ожиданием (средним значением), средним квадратическим отклонением, коэффициентами асимметрии и эксцесса этого распределения следующими выражениями:

На рис. 5.1 приведены графики биномиального распределения при разных параметрах n и р.

Рассчитаем, например, пользуясь биномиальным законом, вероятность того, что в августе на станции будет наблюдаться три дня с туманом, если вероятность образования тумана в любой день августа (т. е. отношение среднего числа дней с туманом в августе к общему числу дней за месяц) составляет 0,16.

Так как n= 31, а 1 - р = 0,84, по формуле (5.1) получим

p(3)=0.1334≈0.13

Пределом биномиального распределения при условии, что рассматриваются маловероятные события в длинной серии независимых испытаний (наблюдений), является распределение Пуассона.

Случайная величина, распределенная по закону Пуассона, может принимать ряд значений, образующих бесконечную последовательность целых чисел 0, 1, 2, ∞ с вероятностью

где λ. -параметр, являющийся математическим ожиданием распределения.

Закон определяет вероятность того, что случайная величина будет наблюдаться х раз, если среднее ее значение (математическое ожидание) равно λ.

Обратим внимание на то, что параметром биномиального закона служит вероятность события р, и поэтому надо указать, из какого общего количества случаев n определяется вероятность р(х). В законе Пуассона параметром является среднее число случаев λ за рассматриваемый период, поэтому продолжительность периода непосредственно не входит в формулу.

Дисперсия распределения Пуассона и третий центральный момент равны математическому ожиданию, т. е. тоже равны λ.

При больших различиях между средним и дисперсией законом Пуассона пользоваться нельзя. Распределение Пуассона затабулировано и приводится во всех сборниках статистических таблиц, справочниках и учебниках по статистике. На рис. 5.2 приведено распределение числа дней с грозой (редкое событие) по закону Пуассона. Для Архангельска за год λ,= 11 дней и за июль λ = 4 дня. Как видно из рис. 5.2, в Архангельске вероятность восьми дней с грозой в июле составляет примерно 0,03, а вероятность восьми дней в году -около 0,10. Обратим внимание на одно обстоятельство. Часто среднее число дней с явлением в году λ при λ≤1 трактуют как величину, обратную периоду повторения T (например, λ= 0,3 - один день в три года, λ = 1-практически ежегодно).

Такой «осредненный» подход чреват ошибками, тем большим, чем больше λ. Даже если дни с явлением не связаны между собой, вероятны годы не с одним, а с несколькими днями. В результат соотношение Т = 1/λ оказывается неправильным. Так, при λ= 1 явление, как легко убедиться из формулы закона Пуассона, наблюдается не ежегодно, а только в 6-7 годах из 10. Вероятность того, что в году явление наблюдаться не будет, равна вероятности, что будет один день с явлением (0,37) и почти такая же, как вероятность, что будет два и более дней. Только при λ≤ 0,2 указанным соотношением можно пользоваться с достаточным основанием; потому что вероятность двух и более дней в году в этом случае менее 0,02 (реже, чем один раз в 50 лет).

Применение закона Пуассона к редким метеорологическим явлениям не всегда оказывается полезным. Например, иногда редкие явления могут следовать одно за другим вследствие того, что условия, их вызывающие, сохраняются длительное время, и условия закона Пуассона не выполняются.

Больше соответствует природе редких метеорологических явлений сложное распределение Пуассона (отрицательное биномиальное распределение). Оно возникает, когда ряд явлений можно рассматривать как значения разных случайных величин (выборки из разных генеральных совокупностей). Все эти величины имеют распределение Пуассона, но с разными параметрами λ 1 , λ 2 ..., λ k .

Сложное распределение Пуассона зависит с одной стороны от распределения совокупности параметров, а с другой - от распределения каждой из величин. Выражение для вероятности в случае данного распределения имеет вид

(5.2)

или в более удобной для расчетов форме

Математическое ожидание М и дисперсия D этого распределения связаны с его параметрами γ и λ формулами

(5.3)

Заменяя величины М и D их оценками и , получим

(5.4)

Расчеты p(x) можно упростить, пользуясь тем, что существует равенство

, (5.5)

. (5.6)

Следовательно,

Пример расчета . Рассчитаем распределение числа дней с сильным ветром на ст. Чулым для июля, если =1 день, σ=1,7 дня. Определим α и γ:

α≈

γ≈

Вероятность того, что не будет ни одного дня с сильным ветром, составит

p(0)=

Вероятность того, что будет один день с сильным ветром, равна p(1)= . График сложного распределения Пуассона представлен на рис. 5.3.

Для непрерывных случайных величин в климатологии чаще всего используются нормальное, логнормальное распределения, распределение Шарлье, гамма-распределение, распределения Вейбулла и Гумбеля, а также композиционный закон нормальной и равномерной плотности.

Наибольшее теоретическое и практическое значение имеет нормальный, или гауссовский, закон распределения. Этот закон является предельным для многих других теоретических распределений и образуется тогда, когда каждое значение случайной величины можно рассматривать как сумму достаточно большого числа независимых случайных величин.

Нормальный закон задается выражениями для плотности и функции распределения вида

30. Теоретические и эмпирические распределения как модели рядов распределения

Эмпирическое распределение отличается от теоретического тем, что

на значения признака в нем влияют случайные факторы. С увеличением

объема статистической совокупности влияние случайных факторов

ослабевает, и эмпирическое распределение все менее отличается от

теоретического.

Для оценки близости распределений используются особые

показатели – критерии согласия. Они основаны на использовании

различных мер расстояний между эмпирическим и теоретическим

распределением.

Если нужно получить теоретические частоты f" при выравнивании вариационного ряда по кривой нормального распределения, то можно воспользоваться формулой

где - сумма всех эмпирических частот вариационного ряда; h - величина интервала в группах; - cреднее квадратическое отклонение; - нормированное отклонение вариантов от средней арифметической; все остальные величины легко вычисляются по специальным таблицам.

При помощи этой формулы мы получаем теоретическое (вероятностное) распределение, заменяя им эмпирическое (фактическое) распределение, по характеру они не должны отличаться друг от друга.

При выравнивании эмпирических данных теоретические частоты можно определить по формуле

Сравнивая полученные величины теоретических частот f" c эмпирическими (фактическими) частотами f, убеждаемся, что их расхождения могут быть весьма невелики.

Объективная характеристика соответствия теоретических и эмпирических частот может быть получена при помощи специальных статистических показателей, которые называют критериями согласия.

Для оценки близости эмпирических и теоретических частот применяются критерий согласия Пирсона, критерий согласия Романовского, критерий согласия Колмогорова.

Наиболее распространенным является критерий согласия К. Пирсона , который можно представить как сумму отношений квадратов расхождений между f" и f к теоретическим частотам:

(7.10)

Вычисленное значение критерия необходимо сравнить с табличным (критическим) значением . Табличное значение определяется по специальной таблице, оно зависит от принятой вероятности Р и числа степеней свободы k (при этом k = m - 3, где m - число групп в ряду распределения для нормального распределения). При расчете критерия согласия Пирсона должно соблюдаться следующее условие: достаточно большим должно быть число наблюдений (n 50), при этом если в некоторых интервалах теоретические частоты 5.

Если , то расхождения между эмпирическими и теоретическими частотами распределения могут быть случайными и предположение о близости эмпирического распределения к нормальному не может быть отвергнуто.

В том случае, если отсутствуют таблицы для оценки случайности расхождения теоретических и эмпирических частот, можно использовать критерий согласия В.И. Романовского КРом, который, используя величину , предложил оценивать близость эмпирического распределения кривой нормального распределения при помощи отношения

теоретического распределения, вычисляется по формуле

где D - максимальное значение разности между накопленными эмпирическими и теоретическими частотами; - сумма эмпирических частот.

31 Выборочное наблюдение Годин С 127,ошибка выборки 130

32 Ряды динамики С 210

33 Сглаживание рядов динамики С 220

Уравнение тренда

Экстраполяция на основе функции тренда, полученной в результате аналитического выравнивания, относится к наиболее распространенным и практически применяемым методам прогнозирования.

Нахождение по имеющимся данным за определенный период времени некоторых недостающих значений признака внутри этого периода называется интерполяцией . Нахождение значений признака за пределами анализируемого периода называется экстраполяцией .

Применение экстраполяции для прогнозирования должно основываться на предположении, что найденная закономерность развития внутри динамического ряда сохраняется и вне этого ряда. Это означает, что основные факторы, сформировавшие выявленную закономерность изменений уровней ряда во времени, сохранится в будущем.

При составлении прогнозов уровней социально-экономических явлений обычно оперируют не точечной, а интервальной оценкой, рассчитывая так называемые доверительные интервалы прогноза . Границы интервалов определяются по формуле

, (1.61)

где – точечный прогноз, рассчитанный по модели тренда;

– коэффициент доверия по распределению Стьюдента при уровне значимости
и числе степеней свободы = n -1 ;

– ошибка аппроксимации.

Уровень значимости связан с вероятностью следующей формулой

. (1.62)

Ошибка аппроксимации (среднее квадратическое отклонение тренда) определяется по следующей формуле

где и – соответственно фактические и теоретические (расчетные) значения уровней ряда динамики;

n – число уровней ряда;

k – число параметров (членов) в уравнении тренда.

34 Элементы статистического прогнозирования

Разновидность математических методов прогнозирования, позволяющих построить динамические ряды на перспективу. Статистические методы прогнозирования охватывают разработку, изучение и применение современных математико-статистических методов прогнозирования на основе объективных данных (в том числе непараметрических методов наименьших квадратов с оцениванием точности прогноза, адаптивных методов, методов авторегрессии и других); развитие теории и практики вероятностно-статистического моделирования экспертных методов прогнозирования, в том числе методов анализа субъективных экспертных оценок на основе статистики нечисловых данных; разработку, изучение и применение методов прогнозирования в условиях риска и комбинированных методов прогнозирования с использованием совместно экономико-математических и эконометрических (как математико-статистических, так и экспертных) моделей. Научная база статистических методов прогнозирования - прикладная статистика и теория принятия решений. Простейшие методы восстановления используемых для прогнозирования зависимостей исходят из заданного временного ряда, то есть функции, определенной в конечном числе точек на оси времени. При этом временной ряд часто рассматривается в рамках той или иной вероятностной модели, вводятся другие факторы (независимые переменные) помимо времени, напр., объем денежной массы. Временной ряд может быть многомерным. Основные решаемые задачи - интерполяция и экстраполяция. Метод наименьших квадратов в простейшем случае (линейная функция от одного фактора) был разработан К. Гауссом в 1794-1795 гг. Могут оказаться полезными предварительные преобразования переменных, например, логарифмирование. Наиболее часто используется метод наименьших квадратов при нескольких факторах. Метод наименьших модулей, сплайны и другие методы экстраполяции применяются реже, хотя их статистические свойства зачастую лучше. Накоплен опыт прогнозирования индекса инфляции и стоимости потребительской корзины. Оказалось полезным преобразование (логарифмирование) переменной - текущего индекса инфляции. Оценивание точности прогноза (в частности, с помощью доверительных интервалов) - необходимая часть процедуры прогнозирования. Обычно используют вероятностно-статистические модели восстановления зависимости, напр., строят наилучший прогноз по методу максимального правдоподобия. Разработаны параметрические (обычно на основе модели нормальных ошибок) и непараметрические оценки точности прогноза и доверительные границы для него (на основе Центральной Предельной Теоремы теории вероятностей). Так, предложены непараметрические методы доверительного оценивания точки наложения (встречи) двух временных рядов для оценки динамики технического уровня собственной продукции и продукции конкурентов, представленной на мировом рынке. Применяются также эвристические приемы, не основанные на вероятностно статистической теории: метод скользящих средних, метод экспоненциального сглаживания. Многомерная регрессия, в том числе с использованием непараметрических оценок плотности распределения, - основной на настоящий момент статистический аппарат прогнозирования. Подчеркнем, что нереалистическое предположение о нормальности погрешностей измерений и отклонений от линии (поверхности) регрессии использовать не обязательно. Однако для отказа от предположения нормальности необходимо опереться на иной математический аппарат, основанный на многомерной Центральной Предельной Теореме теории вероятностей, технологии линеаризации и наследования сходимости. Он позволяет проводить точечное и интервальное оценивание параметров, проверять значимость их отличия от ноля в непараметрической постановке, строить доверительные границы для прогноза. Весьма важна проблема проверки адекватности модели, а также проблема отбора факторов.

35 Функциональные и статистические связи С 146

Статистич. связь- изменение вариации одного признака в зависимости от второго и => может отражаться не только в изменении его средней величины (кореляц завис-ость) но и любой другой характеристики вариации

36 Формы, виды, теснота связей, линейный коэф. Корреляции . С 156 изм тесноты связи- С 169

Связи: прямолинейная, криволинейная, слабая, умеренная, заметная, высокая, тесная, весьма тесная, полная обратная, полная прямая, частично прямая, частично обратная

прямолинейная

(8.1)

криволинейная в виде:

(8.2)

гиперболы

Наиболее простым вариантом корреляционной зависимости является парная корреляция, т.е. зависимость между двумя признаками (результативным и факторным или между двумя факторными). Математически эту зависимость можно выразить как зависимость результативного показателя у от факторного показателя х. Связи могут быть прямые и обратные. В первом случае с увеличением признака х увеличивается и признак у, при обратной связи с увеличением признака х уменьшается признак у.

Важнейшей задачей является определение формы связи с последующим расчетом параметров уравнения, или, иначе, нахождение уравнения связи (уравнения регрессии).

Могут иметь место различные формы связи:

прямолинейная

криволинейная в виде:

параболы второго порядка (или высших порядков)

гиперболы

показательной функции

Параметры для всех этих уравнений связи, как правило, определяют из системы нормальных уравнений, которые должны отвечать требованию метода наименьших квадратов (МНК):

Если связь выражена параболой второго порядка (), то систему нормальных уравнений для отыскания параметров a0 , a1 , a2 (такую связь называют множественной, поскольку она предполагает зависимость более чем двух факторов) можно представть в виде

Другая важнейшая задача - измерение тесноты зависимости - для всех форм связи может быть решена при помощи вычисления эмпирического корреляционного отношения :

(8.7)

где - дисперсия в ряду выравненных значений результативного показателя ; - дисперсия в ряду фактических значений у.

Для определения степени тесноты парной линейной зависимости служит линейный коэффициент корреляции, для расчета которого можно использовать, например, две следующие формулы:

(8.8)

Линейный коэффициент корреляции может принимать значения в пределах от -1 до + 1 или по модулю от 0 до 1. Чем ближе он по абсолютной величине к 1, тем теснее связь. Знак указывает направление связи: «+» - прямая зависимость, «-» имеет место при обратной зависимости.

37 уравнение парной линейной корреляции.

Он показывает, насколько тесно две переменные связаны между

Формула для вычисления парного коэффициента корреляции:

38 понятие множественной корреляции.

Множественная корреляция - корреляция между одной зависимой переменной и комбинацией двух или более независимых переменных, которая дает оценку смешанного влияния на зависимую переменную.

такую связь называют множественной, поскольку она предполагает зависимость более чем двух факторов) можно представть в виде

При прямолинейной форме связи коэффициент множественной корреляции (совокупный коэффициент корреляции по некоторому числу факторов) может быть вычислен по формуле

где Ry xz – коэффициент множественной корреляции у по x,z;

ryx, ryz, rxz – полные парные коэффициенты корреляции факторов-признаков у, x, z.

В общем случае чем выше значение коэффициента множественной корреляции, тем лучше подобрано уравнение. Обычно при интерпретации расчетов используется величина R-квадрат (R2, коэффициент детерминации).

При предположении криволинейной зависимости следует выбрать (как и при парной корреляции) определенный тип кривой линии и представить ее в виде алгебраического выражения. Последующие расчеты связаны с выявлением показателей по формулам прямолинейной зависимости в множественной корреляции (регрессии). Часто в этих расчетах прибегают к помощи логарифмов.

39. Понятие индексов агрегатные и индивидуальные

Индекс - это результат сравнения двух одноименных показателей, при исчислении которого следует различать числитель индексного отношения (сравниваемый или отчетный уровень) и знаменатель индексного отношения (базисный уровень, с которым производится сравнение). Выбор базы зависит от цели исследования. Если изучается динамика, то за базисную величину может быть взят размер показателя в периоде, предшествующем отчетному. Если необходимо осуществить территориальное сравнение, то за базу можно принять данные другой территории. За базу сравнения могут приниматься плановые показатели, если необходимо использовать индексы как показатели выполнения плана

Агрегатные Индексами называют сравнительные относительные величины, которые характеризуют изменение сложных социально-экономических показателей (показатели, состоящие из несуммируемых элементов) во времени, в пространстве, по сравнению с планом.

Агрегатный индекс является основной формой сводного индекса. "Агрегатным" он называется потому, что его числитель и знаменатель представляют собой набор "агрегат" (от латинского aggregatus складываемый, суммируемый) непосредственно несоизмеримых и не поддающихся суммированию элементов сумму произведений двух величин, одна из которых меняется (индексируется), а другая остается неизменной в числителе и знаменателе (вес индекса). Вес индекса служит для соизмерения индексируемых величин.

Индивидуальные

Индивидуальные индексы обозначаются i и снабжаются подстрочным знаком индексируемого показателя: iq - индивидуальный индекс объема произведенной продукции отдельного вида или количества (объема) проданного товара данного вида, ip индивидуальный индекс цен и т.д.

Индивидуальные индексы относятся к одному элементу (явлению) и не требуют суммирования данных. Они представ-ляют собой относительные величины динамики, выполнения обя-зательств, сравнения. Выбор базы сравнения определяется целью исследования.

Расчет индивидуальных индексов прост, их определяют вычислением отношения двух индексируемых величин:

ip = Р1/Р0 - индивидуальный индекс цен, где Р1 Р0 - цены единицы продукции в текущем (отчетном) и базисном периодах.

iq = q1/q0 ~ индивидуальный индекс физического объема продукции.

41 Средние индексы

Средние индексы – это сочетание индекса в агрегатной форме и индивидуальных индексов. Применяются в том случае, когда отсутствуют какие-либо данные в отчетном или базисном периодах.
Если отсутствуют данные о количестве проданных товаров, но зарегистрированы показатели выручки и индексы цен на отдельные товары, то на базе индекса Пааше можно рассчитать средний гармонический индекс цен. Выводим его через индекс Паше

Эмпирическая функция распределения

Методы обработки ЭД опираются на базовые понятия теории вероятностей и математической статистики. К их числу относятся понятия генеральной совокупности, выборки, эмпирической функции распределения .

Под генеральной совокупностью понимают все возможные значения параметра, которые могут быть зарегистрированы в ходе неограниченного по времени наблюдения за объектом. Такая совокупность состоит из бесконечного множества элементов. В результате наблюдения за объектом формируется ограниченная по объему совокупность значений параметра x 1 , x 2 , …, x n . С формальной точки зрения такие данные представляют собой выборку из генеральной совокупности .

Будем считать, что выборка содержит полные наработки до системных событий (цензурирование отсутствует). Наблюдаемые значения x i называют вариантами , а их количество – объемом выборки n . Для того чтобы по результатам наблюдения можно было делать какие-либо выводы, выборка должна быть репрезентативной (представительной), т. е. правильно представлять пропорции генеральной совокупности. Это требование выполняется, если объем выборки достаточно велик, а каждый элемент генеральной совокупности имеет одинаковую вероятность попасть в выборку.

Пусть в полученной выборке значение x 1 параметра наблюдалось n 1 раз, значение x 2 – n 2 раз, значение x k – n k раз, n 1 +n 2 + … +n k =n .

Совокупность значений, записанных в порядке их возрастания, называют вариационным рядом , величины n i – частотами , а их отношения к объему выборки n i =n i /n – относительными частотами (частостями). Очевидно, что сумма относительных частот равна единице.

Под распределением понимают соответствие между наблюдаемыми вариантами и их частотами или частостями. Пусть n x – количество наблюдений, при которых случайные значения параметра Х меньше x. Частость события Xравна n x /n . Это отношение является функцией от x и от объема выборки: F n (x )=n x /n . Величина F n (x ) обладает всеми свойствами функции: