МІНІСТЕРСТВО ОСВІТИ ТА НАУКИ УКРАЇНИ
НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ “ЛЬВІВСЬКА ПОЛІТЕХНІКА”
Кафедра САПР
ЗВІТ
До лабораторної роботи № 2
«СТАТИСТИЧНІ МЕТОДИ В ПРОЕКТУВАННІ СОС. ПОБУДОВА СТАТИСТИЧНИХ МАТЕМАТИЧНИХ МОДЕЛЕЙ. РЕГРЕСИВНИЙ АНАЛІЗ»
з дисципліни:
«Основи автоматизованого проектування
складних об’єктів і систем»
ЛЬВІВ 2010
Мета роботи:
- вивчити основні етапи побудови статистичних математичних моделей
- побудувати емпіричну залежність контрольованої характеристики
- перевірити адекватність моделі і значимість коефіцієнтів регресії
Короткі теоретичні відомості
Основи регресійного аналізу
Математична модель, представлена у вигляді рівняння регресії, відображає геометричне місце точок математичних сподівань умовних розподілів цільової функції. Простим прикладом такої моделі є рівняння парної кореляції, де на цільову функцію вплпває один фактор. На практиці в реальному виробництві на цільову функцію діє багато факторів і шукане рівняння регресії стає багатовимірним.
Існує багато методів пошуку необхідного рівняння регресії, які умовно можна розділити на два класи: методи активного і методи пасивного експерименту. Під активним експериментом будемо розуміти експеримент, попередній план якого складаний таким чином, щоб одержати максимальну інформацію про цільову функцію при мінімальній її дисперсії та проведення мінімальної кількості дослідов. Такий план (наприклад, повний факторний експеримент) потребує одночастної зміни всіх факторів в достатньо широких межах, що повністью можливе в лабораторних умовах, але неможливо при масовому виробництві. Під результатом пасивного експеримету будемо розуміти таблицю, кожна лінійна якої представляє собою числові значення цільової функції при деяких умовах (в визначений момент часу, або для конкретної партії виробів, або при проходжені вибраної технологічної операції і т.д.) і числові значення досліджуваних факторів при тих же умовах. Оскільки ніякої штучної зміни факторів в широких межах небуло, то мають місце лише природні зміни, як правило, в межах допуска на фактор. В цьому випадку, для відділення функції від шумових флюктуацій, необхідно мати достатньо велику таблицю випробувань. Дослідним шляхом встановлено, що таблиця результатів пасивного експерименту є достатньою, якщо на кожний досліджуваний фактор припадає до 15 експериментов.
З точки зору математики і статики безпосереднім завданням експерименту є організація репрезентованої виборки. У результаті обробки даних отримується емпірична модель об'єкта, яка справедлива у тій області значень факторів, в якій вони змінюються у процесі експерименту. Генеральна сукупність - сукупність усіх мислимих значень спостережень, які могли б бути при даному комплексі умов. Результати обмеженого ряду спостережень розглядаються як виборка з даної генеральної сукупності. Якщо говорити про характеристики розподілів (ймовірності), то характеристки теоретичних розподілів можна розглядати як характеристики, існуючі в генеральной сукупності, а характеристики емпіричних розподілів як вибіркові характеристики або оцінки.
Для побудови регресійної моделі і забезпечення адекватності функціональної залежності між факторами і контрольованою величиною необхідно провести наступні розрахунки:
- обчислення емпіричних характеристик розподілів;
- попереднью обробку результатів спостережень;
- перевірку гіпотези на нормальність закону розподілу;
- побудову емпіричних залежностей;
- перевірку адекватності моделі і значимості коефіцієнтів регресії.
Відомо, що класичний регресійний аналіз, який базується на “пасивному експерименті” має ряд недоліків, а саме : вузький діапазон зміни факторів, в основному із-за дії неконтрольованих збурень; неможливість врахування та контролю всіх факторів в промислово діючому процесі; відсутня можливість довільної зміни значення факторів в широких межах. Однак, для для задач регулювання моделі, отримані таким шляхом, являються дуже ефективними.
Побудова математичних моделей.
Отже оброблені вхідні дані можна записати у вигляді матриці експериментів та вектора (а можливо і матриці) контрольованих вихідних характеристик:
,
Відомо, що опис досліджуваного об’єкта неможливо отримати у вигляді точної формули функції, яка справедлива на всьому діапозоні існування аргументів, а лише приблизно на невеликій ділянці в околі вибраної базової точки. Апроксимація шуканої математичної залежності представляє собою деякий поліном - відрізок ряду Тейлора, в який розкладається невідома залежність:
, (2.1)
де ; ; . (2.2)
Оскільки вигляд функції f в нашій залежності є невідомий,а по існуючих результатах експериментів – в принципі не може бути визначений однозначно, використовують метод найменших квадратів.
Для того, щоб знайти коефіцієнти рівняння регресії в n точках факторного простору, необхідно виконати наступні передумови:
1. Результати спостережень , вихідної величини в n точках факторного простору, повинні представляти собою незалежні, нормально розподілені випадкові величини.
2. Вибіркові дисперсії дослідів однорідні, тобто статично незалежні. Така вимога означає незалежність вибіркових дисперсій від місцеположення точки факторного простору, в якому проводиться конкретний дослід.
3. Незалежні зміні , вимірюються з похибкою набагато меншою, ніж величина можливого відхилення вихідного параметра Y під впливом неврахованих неконтрольованих факторів.
При проведенні обчислень за класичним методом найменших квадратів до форми рівняння регресії висувається така вимога: це рівняння повинно бути лінійним за параметрами або допускати можливость лінеарізації. Так, наприклад, процедура проведення регресійного аналізу однакова для рівнянь і , оскільки підстановка приводить друге рівняння до першого. Тоді задача пошуку коефіцієнтів рівняння регресії зводиться до вирішення системи нормальних рівнянь.
, (2.3)
де - експериментальне значення вихідного параметра, одержане в n-му факторному просторі; - значення вихідного параметра, знайдене з рівняння регресії в тих самих точках; - кількість членів в рівнянні регресії.
Для розв’язання задачі необхідно в кожному конкретному випадку вираховувати значення коефіцієнтів і , які мінімізують суму відхилень u . Для цього слід знайти часткові похідни функції u по і і прирівняти їх до нуля. Наприклад для двох коефіцієнтів регресії одержимо:
(2.4)
Звідси
(2.5)
В матричній формі вирази (2.14)-(2.16) будуть мати вигляд: Y=X*B. Для розв’язання системи нормальних рівнянь у матричній формі помножемо її на обернену і зробивши нескладні перетворення одержимо:
. (2.6)
Для того, щоб така система лінійних алгебраїчних рівнянь мала єдине рішення, необхідно, щоб матриця була невиродженою, тобто вектори-стовбці повинні бути лінійно незалежними. Для виконання цієї вимоги в першу чергу необхідно шляхом відкидання забезпечити лінійну незалежність вхідних факторів Х1, Х2, ..., Хм. Цей процес являється одним з найбільш складних, так як не має формального алгоритмічного пояснення і залежить від професійних знань про об’єкт, досвіду та інтуїції дослідника. Формально дана задача може бути вирішена методами ідентифікації, які розглядаються в наступній роботі.
А в поточній поботі необхідно виключити з вхідних даних ті фактори (стовпчики матриці Х), які приводять до поганої обумовленості цієї матриці. В противному випадку, в якості рішення, ми отримаємо множину коефіцієнтів регресії, які не мають нічого спільного з реальними даними. Причина основних труднощів полягають в тому, що поліноми Тейлора записуються через степені х-ів та їх лінійну комбінацію. А ці функції є майже лінійно залежні і, тому, матриця коефіцієнтів нормальних рівнянь близька до виродження. Для мінімізації цих залежностей необхідно: по-перше, видалити лінійно залежні фактори, і по-друге, функції зі степенями х-ів використовувати тільки в тому випадку, коли модель першої степені – не адекватна.
З співвідношень математичної статистики відомо, що мірою лінійного звязку між двома випадковими величинами Хі та Хj може бути коефіцієнт парної кореляції:
(2.7)
Значимість коефіцієнта кореляції визначається F-відношенням:
, , , (2.8)
де , а - залишкова дисперсія.
Для того, щоб перевірити чи не випадково коефіцієнт кореляції відрізняється від нуля, тобто що дійсно існує кореляційний звязок між двома вибірками, використовують t-критерій. Для цього розраховують:
.
Якщо , тобто табличного значення, тоді кореляція між двома вибірками вважається суттєвою.
Статистичні критерії для перевірки гіпотез
Критерій Фішера.
При нормальному законі розподілу випадкової величини для перевірки гіпотези про рівність вибіркових дисперсій, в якості критерію значимості використовують статистику, яка рівна відношенню 2-х незалежних оцінок дисперсій s1 і s2 :
, (2.9)
де вибірки мають відповідні степені свободи
;
n1 і n2 – обєми виборок.
Знайдене експериментальне значення F порівнюють з теоретичним занченням FT , яке для заданої кількості степенів свободи і необхідної достовірності визначається з таблиці, побудованої для F-розподілу [__]. Таблиця побудована таким чином, що відношення дисперсій двох незалежних виборок (2.9) повинне бути не менше за табличне значення FT з заданою ймовірністю P. На практиці, як правило, користуються значеннями Р=0,05 або Р=0,01. Параметр визначає значення FT по стовбчику, а параметр визначає значення FT по рядку.
Якщо , тоді гіпотеза про рівність вибіркових дисперсій приймається.
Критерій Стьюдента.
В класичному випадку, даний критерій використовується для перевірки гіпотези про рівність двох вибіркових середніх значень випадкової величини, що має нормальний закон розподілу. Тобто, якщо ми маємо вибірку обємом n , яку ми взяли з партії виробів обсягом N , тоді за допомогою критерію Стьюдента можна перевірити гіпотезу чи середнє значення нашої вибірки рівне середньому значенню партії чи ні.
Щоб використати даний критерій, необхідно розмістити вибіркові середні арифметичні значення випадкової величини в ранжований ряд від найменшої Хmin до найбільшої Хmax . Далі розраховують величину стандартного відхилення цих середніх арифметичних по формулі:
. (2.10)
Для випадку, коли обєм вибірки n значно менший за обєм партії виробів N , з якої беруться вибірки, формула (2.10) приймає наступний вигляд:
.
Якщо генеральна характеристика - не відома, а так буває найбільш часто, тоді в формулах використовують її оцінку і отримуємо:
.
Після того, як визначено min та max значення вибіркового середнього арифметичного і , розраховуємо величину стьюдентового розмаху t по формулі:
.
Знайдене експериментальне значення порівнюють з його теоретичним значенням tT , яке визначають по таблицях стьюдентового розмаху [__]. При заданій імовірності Р кількість виборок k визначає значення tT по рядку, а кількість степенів свободи визначає значення tT по стовбчику.
Якщо , тоді гіпотеза про рівність вибіркових середніх арифметичних приймається.
Перевірка адекватності рівняння регресії
Після знаходження коефіцієнтів регресії необхідно перевірити адекватність отриманої моделі. Така перевірка необхідна, тому що вид функціональної залежності був наперед невідомим і вибирався по можливості найпростішим. Перевірка адекватності може проводитися за обчисленням залишкової дисперсії
(2.6)
де - поточне значення контрольованої величини, розраховане за допомогою регресійного рівняння.
Залишкову дисперсію потім порівнюють з дисперсією середнього арифметичного за допомогою F критерію Фішера з числом степенів свободи і . Якщо залишкова дисперсія не перевищує дисперсію досліду, тоді можна вважати, що математична модель адекватно описує результати експеримента. Сама перевірка гіпотези про адекватність проводиться за допомогою :
(2.7)
Критерій Фішера дозволяє ніби порівняти загальний розкид відносно лінії регресії з розкидом в точці. Задаючи рівень значимості q=0.05, знаходять табличне значення критерію Фішера. Якщо воно більше обчисленого по формулі (2.7), тоді регресійна модель адекватна результатам експеримента. Якщо ні, то потрібно вибрати іншу, більш складнішу залежність.
Перевірка значимості коефіцієнтів регресії
Наступний етап, який необхідно реалізувати в рамках регресійного аналізу – це перевірка коефіцієнтів регресії на їх гіпотетичну значимість. Основою оцінки значимості є порівняння абсолютного значення коефіцієнта та дисперсії похибки його визначення . В лабораторній роботі для цього можна використати довірчі інтервали та квантиль розподілу Стьюдента.
Значимость коефіцієнтів регресії визначають за критерієм Ст’юдента:
(2.8)
де-діагональний елемент матриці, зворотної до матриці нормальних рівнянь C=(XТX)-1. Обраховане порівнюється з табличним при числі степенів свободи .
Коефіцієнт bi приймається значимим, якщо ti перевищує критичне значення tкр для прийнятого рівня значимості.
Якщо використовувати довірчий інтервал коефіцієнтів регресії, тоді він знаходиться з умови:
(2.9)
де - значення коефіцієнтів регресії у генеральній сукупності.
Таким чином, коефіцієнт є значимим, якщо він більший за довірчий інтервал. Тобто, якщо його усереднений вплив на вихідну контрольовану характеристику Yi більший, ніж вплив розкиду від неточностей моделі та ін. “заважаючих” факторів. Статистична незначимість коефіцієнтів bi може бути викликана наступними обставинами: - рівень базового режиму по даній змінній Xi близький до точки екстремума; - діапазон зміни даного фактора в пасивному експерименті був надто малий; - велика похибка експериментів із-за великого впливу неуправляємих і неконтрольованих факторів; - даний фактор дійсно не впливає на значення вихідного параметра.
Хід роботи:
Висновок: Під час даної лабораторної роботи я ознайомився з основними етапами побудови статистичних математичних моделей, побудував емпіричну залежність контрольованої характеристики, перевірив адекватність моделі і значимість коефіцієнтів регресії.