Подякувати Студентському архіву довільною сумою
Admin
26.02.2023 12:38
Дякуємо, що користуєтесь нашим архівом!
Інформація про навчальний заклад
ВУЗ:
Національний університет Львівська політехніка
Інститут:
Інститут комп’ютерних наук та інформаційних технологій
Факультет:
Інформаційні технології проектування
Кафедра:
Не вказано
Інформація про роботу
Рік:
2008
Тип роботи:
Методичні вказівки
Предмет:
Системи автоматизованого проектування ЗВТ
Частина тексту файла (без зображень, графіків і формул):
МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ
НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ “ЛЬВІВСЬКА ПОЛІТЕХНІКА”
ІНСТИТУТ КОМП’ЮТЕРНИХ НАУК ТА ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ
Кафедра “Системи автоматизованого проектування”
КОМП’ЮТЕРНЕ МОДЕЛЮВАННЯ НЕЙРОННОЇ МЕРЕЖІ
У СЕРЕДОВИЩАХ ПРОГРАМ MATLAB І MICRO-CAP
МЕТОДИЧНІ ВКАЗІВКИ
до виконання лабораторних робіт № 4,5
з дисципліни “Моделювання систем”
для студентів спеціальності 7.080402
“Інформаційні технології проектування”
Затверджено
на засіданні кафедри систем
автоматизованого проектування
Протокол № від . .2008 р.
на засіданні методичної ради ІКНІ
Протокол № від . .2008 р.
ВАК № від . .2008 р.
Львів-2008
Комп’ютерне моделювання нейронної мережі у середовищах програм Matlab і Micro-Cap. Методичні вказівки до виконання лабораторних робіт № 4,5 з дисципліни “Моделювання систем” для студентів спеціальності 7.080402 “Інформаційні технології проектування” для денної та заочної форм навчання/Укл. П.В.Тимощук. - Львів: Національний університет ”Львівська політехніка”, 2008. – 16 с.
Укладач: Тимощук П.В.
Відповідальний за випуск: Лобур М. В., д-р техн. наук, професор
Рецензенти: Мичуда З. Р., д-р техн. наук, професор
Каркульовський В. І., канд. техн. наук, доцент
МЕТА РОБОТИ
Вивчити і закріпити знання та основні аспекти роботи, а також отримати практичні навички моделювання та схемотехнічної реалізації аналогової нейронної мережі у середовищах програм Matlab і Micro-Cap.
МОДЕЛЮВАННЯ НЕЙРОННОЇ МЕРЕЖІ
1. Моделювання нейронної мережі ідентифікації більшого за величиною з двох невідомих сигналів. Задача визначення максимальних сигналів є ключовою в нейронних мережах прийняття рішень, розпізнавання зображень та конкуруючого навчання. Цей тип задач природно виникає при розробці нейронних схем класифікаторів та класифікації зображень. Схеми, що розв’язують такі задачі, використовується у сортувальних мережах із застосуванням у менеджменті баз даних, при конструюванні мікросхем великої інтеграції (VLSI), у цифровій обробці сигналів та у телекомунікаціях, особливо для керування пакетними перемикачами даних.
Нехай задано дійсних чисел від до , N>1 у діапазоні [, ], як невідомих вхідних сигналів і необхідно ідентифікувати максимальне з них. Скаляри та є мінімальним та максимальним значеннями всіх можливих вхідних сигналів відповідно. Припустимо, що вхідні сигнали не рівні між собою і впорядковані у спадаючому порядку за величиною, тобто
=>>…>=, (1)
де різних індексів належать до множини . Сконструюємо нейронну мережу, яка обробляє вектор вхідних сигналів таким чином, що після певного часу збіжності отримується відповідний вектор вихідних сигналів такий, що
>0;<0, (2)
для всіх та . При заданому векторі , який задовольняє умову (1), нерівності (2) відображують властивість мережі знаходити максимальний з вхідних сигналів (так звану WTA властивість), тобто, що лише компонент буде позитивним вихідним сигналом. Іншими словами, “виграє” конкуренцію, а отже, є найбільшим компонентом вектора .
Для побудови нейронної мережі в якості будівельного блоку використаємо аналогову нейронну мережу другого порядку типу Хопфілда. Така мережа описується диференційним рівнянням виду:
(3)
де ,), ,)- постійні вхідні сигнали та стани мережі відповідно; - скаляр, що відповідає вхідній провідності нейрона ; - скаляр, який відповідає вхідній ємності нейрона ; - коефіцієнт підсилення активаційної функції; матрицю взаємозв’язків
(4)
виберемо діагонально-стабільною симетричною матрицею з .
Зробимо додаткові припущення:
),g());→. (5)
Нехай функція - локально неперервна за Ліпшицем та нелінійно діагональна. Припустимо, що активаційні функції задовольняють умову та умову
(6)
для кожного , . Відмітімо, що умова (6) гарантує існування неспадаючого характеру активаційної функції.
Функціональна блок-схема аналогової нейронної мережі, яка описується рівнянням (3), представлена на рис. 1. Мережа містить блоки ваг зв’язків ;
коефіцієнти підсилення (реалізують коефіцієнти ); та (реалізує коефіцієнт підсилення ); сумування ∑; сигмоїдних або кусково-лінійних активаційних функцій ), ); інтегрування ; відних сигналів ,; станів ,; початкових умов . Мережа реалізується у сучасній схемній елементній базі, використовуючи такі традиційні електронні компоненти, як резистори, конденсатори, суматори, підсилювачі, інтегратори неперервного часу та джерела напруги або струму.
На основі властивостей діагонально-стабільних нейронних мереж для вищевказаного класу мереж отримано наступний результат: Для діагонально-стабільної матриці зв’язків T з активаційною функцією G(∙), яка задовольняє умову (6), модель (3) має єдину точку рівноваги, яка є глобально асимптотично стійкою. Отже, умова діагональної стабільності матриці зв’язків нейронної мережі в сукупності з припущенням, що активаційні функції - локально неперервні за Ліпшицем і задовольняють умову (6), гарантує єдиність точки рівноваги (3). Крім цього, дана умова при тих самих припущеннях на матрицю та активаційні функції ), ) означає глобальну асимптотичну стабільність єдиної точки рівноваги.
Рис. 1. Функціональна схема нейронної мережі, що описується моделлю (3).
Існують різні типи активаційних функцій, які можуть бути використані у цьому контексті. Використаємо кусково-лінійну активаційну функцію G(∙), хоч результати будуть придатними також для нейронної схеми з сигмоїдними активаційними функціями. Однак, виберемо кусково-лінійну активаційну функцію тому, що вона зручніша з точки зору простоти і дешевизни реалізації за допомогою сучасних VLSI технологій та перемикаючих конденсаторів. Нехай така функція описується виразом:
(7)
Як можна побачити з (7), вибрана кусково-лінійна нелінійність задовольняє умову (6).
Розглянемо рівняння рівноваги моделі (3), що має наступний вигляд:
(8)
У випадку нейронної мережі другого порядку із змінними рівноваги та рівняння (8) набуває вигляду двох наступних скалярних рівнянь:
(9)
де ,.
Умова існування властивості (2) у моделі мережі другого порядку (3), яка має діагонально-стабільну матрицю зв’язків T (4), для будь-яких вхідних сигналів b, що задовільняють умову має наступний вигляд:
(10)
де - роздільна здатність вхідних сигналів мережі. Більш строго формулюється наступним чином: якщо для діагонально-стабільної моделі нейронної мережі (3) розв’язок рівняння рівноваги (9) демонструє властивість (2) для будь-яких вхідних сигналів у діапазоні i=1,2, тоді умова (10) є справедливою для будь-яких параметрів та a>p>0.
Умова існування у нейронній мережі єдиного стійкого стану з властивістю (2) для будь-яких вхідних сигналів у діапазоні може бути отримана, використовуючи відповідні значення параметрів та Цей факт формулюється у наступній формі: якщо умова (10) має місце, тоді існують такі параметри l>0, та a>p>0 такі, що модель Хопфілда другого порядку (3) з діагонально-стабільною матрицею зв’язків T (4) має єдину стійку точку рівноваги, яка демонструє властивість (2) для будь-яких вхідних сигналів з діапазону
Максимальний діапазон зміни вхідних сигналів , i=1,2, в якому розв’язки рівнянь рівноваги (9) можуть існувати, наступний: . Отже, якщо умова (10) виконується, тоді завжди можна задати такі значення параметрам a,p,l та , що модель мережі типу Хопфілда другого порядку (3) буде мати стійку єдину точку рівноваги для будь-яких вхідних сигналів з діапазону , i=1,2. Оскільки умова (10) виражає мінімальну та максимальну дозволені різниці між значеннями вхідних сигналів та , залежність (10) відображує роздільну здатність вхідних сигналів мережі, як функцію параметрів та .
Описана мережа характеризується властивістю жорсткості (робастності), оскільки діагональна стабільність при діагональній домінантності матриці зв’язків має властивість жорсткості, що гарантує при зміні параметрів мережі збіжність значень її вихідних сигналів до єдиної точки рівноваги. Більше того, виконання умови (10) гарантує не лише існування властивості (2), але й можливість зміни значень параметрів мережі у певних межах.
Нерівність (10) при умові гарантує коректне функціонування мережі залежно від значень параметрів та . Значення цих параметрів впливають на розмір діапазону зміни вхідних сигналів , в якому знаходиться лише один переможець. Показано, що діапазон є максимальним діапазоном зміни вхідних сигналів , i=1,2, в якому розв’язок рівнянь рівноваги (9) є коректним розв’язком.
Проілюструємо вищенаведені факти для конкретних числових значень параметрів мережі, виконавши евристичний пошук на основі рекурентного розв’язання нелінійних рівнянь встановленого режиму (9). Для цього задамо наступні значення парамерів мережі: a=1, p=0.95,s=1, l=1. Використаємо кусково-лінійну нелінійність (7) з коефіцієнтом підсилення 50. Задамо різні значення вхідним сигналам у діапазоні [-2,2] і знайдемо відповідні стани рівноваги . Позначимо стани, які відповідають нульовій кількості переможців через “0”, стани, які відповідають одному переможцю, через “+”, а стани, які відповідають двом переможцям, через “*”. В результаті розподіл кількості зон переможців в залежності від значень вхідних сигналів та буде мати вигляд, представлений на рис. 2. Згідно з рис. 2 мережа забезпечує
Рис. 2. Розподіл зон кількості переможців для мережі другого порядку, як функція від вхідних сигналів та при a=1,p=0.95,l=1,.
двох переможців, якщо вхідні синали є такими, що , i=1,2, одного переможця, коли виконуються нерівності та два переможці, якщо . Відмітимо, що мережа забезпечує одного переможця, якщо виконується нерівність , i=1,2, скрізь, крім точок, в яких умова (10) порушується, тобто . В таких точках коректне функціонування мережі порушується, оскільки з (10) випливає, що у цьому випадку p>a, що суперечить умові діагональної стабільності матриці T (4).
Нейронна мережа (3) має дві головні переваги порівняно з іншими існуючими нейронними мережами, призначеними для знаходження максимального з невідомих сигналів. Зокрема, на противагу мережам типу Хопфілда, які мають багато локальних точок рівноваги, у зв’язку з чим можуть формувати некоректні вихідні сигнали або для отримання правильних розв’язків повинні задовольняти багатьом обмеженням на свої параметри, модель (3) має глобально стійку точку рівноваги, а тому забезпечує однозначні вихідні сигнали. На відміну від відомих нейронних мереж типу Хопфілда, стани яких не мають єдиної точки рівноваги, а тому їх вихідні сигнали можуть приймати некоректні значення, модель нейронної мережі з діагонально-стабільною матрицею зв’язків (3) завжди має єдиний стійкий стан, оскільки вона отримується на основі мереж другого порядку, які володіють цією властивістю.
На відміну від мереж, побудованих на аналогових компараторах, які мають обмежену надійність та точність функціонування в умовах похибок вхідних сигналів та нестабільності температури зовнішнього середовища, сконструйована на аналогових інтеграторах нейронна мережа (3) є надійною і точною. Компаратори є чутливими до дестабілізуючих факторів, зокрема, до змін температури зовнішнього середовища та шумів, які зумовлюють виникнення дрейфа напруги нуля, а тому призводять до зниження встановлення порогу чутливості і в результаті до зменшення точності та стабільності їх функціонування. Тому мережам, які будуються на основі компараторів, притаманні обмеження на роздільну здатність вхідних сигналів та швидкість їх обробки.
Важливою перевагою нейронної схеми, яка описується моделлю (3), порівняно з іншими мережами, є відсутність необхідності мати додаткову підсхему “відновлення” між обробкою множин вхідних сигналів, а також економія затрат часу на режим “відновлення” з точки зору теоретичних гарантій єдиного асимптотично-стабільного стану рівноваги вихідних сигналів схеми. Фактично встановлення єдиного режиму схеми не залежить від початкових умов на відміну від інших мереж, де “відновлення” при зміні вхідних сигналів має бути зроблено. Це важливо для функціонування нейронної схеми у реальному часі. Відмітимо, що модель мережі (3) у встановленому режимі гарантує також збереження впорядкованості сигналів.
Описана нейронна мережа може бути рекомендована для реалізації в сучасній елементній базі на основі VLSI технологій та перемикаючих конденсаторів.
2. Комп’ютерне моделювання нейронної мережі. Розглянемо деякі приклади, які демонструють коректне функціонування мережі другого порядку, що описується моделлю (3).
Приклад 1. Задамо значення , які задовольняють умову (10), для розміщення сигналів в області одного переможця з рис. 2 та активаційну функцію (7) при та . Динаміка станів вектора u(t) у нормалізованих одиницях та нормалізованому масштабі часу буде мати форму, представлену на рис. 3. Згідно з рис. 3 компоненти демонс-
Рис. 3. Динаміка станів моделі при - приклад 1.
трують властивість (2). Переможцем є , тобто значення вхідного сигналу є більшим, ніж значення .
Приклад 2. Застосуємо в моделі (3) параметри a=1, p=0.95, і активаційну функцію (7) при та . Динаміка станів вектора u(t) для цього випадку представлена на рис. 4. Згідно з рис. 4
компоненти u(t) мають перехідний режим. Зокрема, розв’язок демонструє перехідний режим при досягненні позитивного значення у встановленому режимі, а розв’язок переходить від позитивного значення через нульовий рівень у негативну півплощину і досягає коректного значення у встановленому режимі.
Приклад 3. Задамо у прикладі 1 наступні вхідні сигнали: , =-2.1. Динаміка станів буде мати форму, представлену на рис. 5. Згі-
дно з рис. 5 компоненти у встановленому режимі мають негативні значення, тобто є переможеними відповідно до розподілу з рис. 2.
Рис. 4. Перехідні процеси станів моделі – приклад 2.
Приклад 4. Задамо у прикладі 3 наступні вхідні сигнали: =3.7, =3.9. Тоді стани вихідних сигналів будуть мати форму, представлену на рис. 6. Згідно з рис. 6 компоненти отримують позитивні знаки,тобто обоє
вхідних сигналів є переможцями відповідно до розподілу зон кількості переможців з рис. 2.
Приклад 5. Дослідимо вплив на вихідні сигнали моделі мережі похибок її параметрів. Для цього введемо похибки величиною 1% при омінальних значеннях параметрів . Вихідні сигнали, отримані для , представлені на рис. 7. Згідно з рис. 7, компоненти вихід-
них сигналів моделі мережі мають властивість (2). Для інших вхідних сигналів з діапазону зміни також отримуються коректні вихідні сигнали, отже модель є стійкою до зміни параметрів у заданих межах.
Рис. 5. Стани моделі у випадку двох переможених – приклад 3.
КОНТРОЛЬНІ ЗАПИТАННЯ
1. Сформулювати проблему визначення більшого з двох невідомих сигналів.
2. Прелічити недоліки існуючих нейронних мереж визначення максимальних сигналів.
3. Описати модель аналогової нейронної мережі другого порядку.
4. Що таке стабільність та єдиність встановленого режиму мережі другого порядку?
5. Пояснити основну властивість нейронної мережі другого порядку.
6. Що таке властивість збереження впорядкування вхідних сигналів?
8. Пояснити один з прикладів комп’ютерного моделювання нейронної мережі.
ЗАВДАННЯ ДО ЛАБОРАТОРНИХ РОБІТ
Ознайомитися з теоретичними відомостями
Увімкнути комп'ютер. Переконатись у наявності встановлених програм Matlab і Micro-Cap. Запустити Matlab і Micro-Cap.
Написати на мові Matlab програму моделювання аналогової нейронної мережі, яка описується диференційним рівнянням (3). Отримати графіки часових залежностей станів моделі з прикладу (n-м), де n - № прізвища студента у списку групи,
Рис. 6. Стани моделі у випадку двох переможців – приклад 4.
Сформувати в середовищі Simulink програми Matlab модель нейронної мережі за функціональною схемою з рис. 1. Отримати графіки часових залежностей станів моделі за даними з прикладу (n-м) і завдання 5.
Сформувати за допомогою програми Micro-Cap модель нейронної мережі, функціональна схема якої подана на рис. 1. Отримати графіки динаміки станів моделі за даними з прикладу (n-м) і завдання 5.
За функціональною схемою з рис. 1 реалізувати схему нейронної мережі в елементній базі Micro-Cap. Побудувати графіки часових залежностей станів моделі за даними з прикладу (n-м) і завдання 5.
Порівняти результати моделювання нейронної мережі за допомогою мови Matlab, тулбоксу Simulink програми Matlab, програми Micro-Cap, а також результати схемної реалізації мережі в елементній базі Micro-Cap.
Проінформувати викладача про завершення роботи.
Продемонструвати на комп’ютері та пояснити результати виконання отриманих завдань.
Оформити звіт.
Рис. 7. Динаміка станів моделі при варіації параметрів - приклад 5.
ЗМІСТ ЗВІТУ
1. Титульний аркуш.
2. Зміст.
3. Мета роботи.
4. Короткі теоретичні відомості.
5. Завдання.
6. Хід роботи.
7. Отримані результати.
8. Висновки.
ВИМОГИ ДО ЗВІТУ
Звіт повинен бути оформлений на стандартних листках формату А4. Звіт може бути надрукований (розмір шрифта – 14, інтервал між рядками – 1.5) або якісно написаний від руки українською мовою. В обох випадках текст розміщується на двох сторонах аркуша. Рекомендується розміщувати до 30 рядків на сторінці.
На аркушах слід залишати поля. Розмір лівого поля – 25 мм, правого – не менше 10 мм, верхнього і нижнього – не менше 20мм. На початку розділів рекомендується збільшувати розмір верхнього поля до 40 мм.
Нумерація сторінок має бути наскрізною, першою сторінкою є титульний лист. На титульному листі номер сторінки не ставиться.
Звіт повинен бути стислим, чітким, лаконічним і містити лише інформацію, що має пряме відношення до предмету дослідження. Обсяг теоретичних відомостей не повинен перевищувати двох сторінок.
РЕКОМЕНДОВАНА ЛІТЕРАТУРА
1. Автоматизация схемотехнического проектирования. Учебное пособие для высших учебных заведений. / В.И.Ильин, В.Г.Фролкин, А.И.Бушко / М., 1987.
2. Аналоговые и цифовые интегральные микросхемы. Справочное пособие/Под ред. С.В. Якубовского.-М.: Радио и связь, 1985.-432с.
3. Дьяконов В., Круглов В. Математические пакеты расширения MATLAB. Специальный справочник.-СПб.: Питер, 2001.-480с.
4. Ильин В.И., Коган В.Л. Разработка и применение программ автоматизации схемотехнического проектирования. –М., 1984.
5. Калахан Д. Современный синтез цепей.-М.: Энергия, 1966.-192 с.
6. Лозинський А., Мороз В., Паранчук Я. Розв’язування задач електромеханіки в середовищах пакетів MathCAD і MATLAB: Навчальний посібник. - Львів: Видавництво Національного університету “Львівська політехніка”, 2000.-166 с.
7. Лэм Г. Аналоговые и цифровые фильтры. Расчет и реализация: Пер. с англ.-М.: Мир, 1982.-592с.
8. Мичуда З.Р. Логарифмічні аналого-цифрові перетворювачі – АЦП майбутнього. -Львів: Простір, 2002.-242с.
9. Потемкин В.Г. Система инженерных и научных расчетов МАТЛАБ 5.x:-В 2-х т. Том 1.-М.: ДИАЛОГ-МИФИ, 1999.-366с.
10. Потемкин В.Г. Система инженерных и научных расчетов МАТЛАБ 5.x:-В 2-х т. Том 2.-М.: ДИАЛОГ-МИФИ, 1999.-304с.
11. Разевиг В.Д. Схемотехническое моделирование с помощью Micro-Cap 7.-М.: Телеком, 2003.-368с.
12. Справочник по нелинейным схемам. Проектирование устройств на базе аналоговых функциональных модулей и интегральных схем/Под ред. Д.Шейнгольда.-М.:Мир, 1977.-528с.
13. Тимощук П.В., Лобур М.В. Основи теорії проектування нейронних мереж: Навч. посібник. – Львів: Видавництво Національного університету ”Львівська політехніка”, 2007. – 328 с.
14. Титце У., Шенк К. Полупроводниковая схемотехника: Справочное ру 118. Хоровиц П., Хилл У. Искусство схемотехники. Т. 1.-М.: Мир, 1986.-598с.
15. Функциональные устройства на микросхемах/Под ред. В.З.Найдерова.-М.: Радио и связь, 1985.-200с.
16. Чуа Л.О., Пен-Мин Лин. Машинный анализ электронных схем. –М.,1980.
17. J.A.Connelly, Analog Integrated Circuits. Devices, Circuits, Systems, and Applications, John Wiley and Sons, 1977.
18. Сайт http://www.cadence.com.
19. Сайт http://www.mathworks.com.
20. Сайт http://www.netlib.org.
21. Сайт http://www.spectrum-soft.com.
22. Довідка (Help) програми Matlab.
23. Довідка (Help) програми Micro-Cap.
НАВЧАЛЬНЕ ВИДАННЯ
КОМП’ЮТЕРНЕ МОДЕЛЮВАННЯ НЕЙРОННОЇ МЕРЕЖІ
У СЕРЕДОВИЩАХ ПРОГРАМ MATLAB І MICRO-CAP
МЕТОДИЧНІ ВКАЗІВКИ
до виконання лабораторних робіт № 4,5
з дисципліни “Моделювання систем”
для студентів спеціальності 7.080402
“Інформаційні технології проектування”
Укладач: Тимощук Павло Володимирович
Ділись своїми роботами та отримуй миттєві бонуси!
0%
Оголошення від адміністратора