МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ КІСіТ КНЕУ ім. В. Гетьмана Самостійна робота №7 з предмету: "Методи та засоби комп’ютерних інформаційних технологій” за ІІ семестр 2010-2011 н.р. Тема: Вибір архітектури нейронної сіткі. Когнітрон і його модифікація Київ-2011 1. Вибір архітектури нейронної сіткі Реалізація нейронною сіткою деяких логічних функцій вимагає прийняття рішення про вибір одно - чи багатошарової архітектури сітки: скільки повинно бути схованих нейронів в окремих шарах, чи є достатньою одношарова сітка для всіх випадків, чи є логічні функції, які через їхню складність вимагають багатошарової сітки. В роботі доведено, що будь-яка функція, яка містить n вхідних і k вихідних бітів, може бути подана двошаровою нейронною сіткою. Якщо для адаптації сіткою задано функцію у вигляді пар:
  і усі вихідні вектори yk різні, то в схованому шарові повинні бути два різних вихідних вектори з різним розташуванням. Таким чином, можливе мінімум N різних розташувань, і це при k схованих нейронах буде мати місце, якщо
або при
  Звідси випливає, що якщо N - кількість різних вихідних векторів функції, що адаптується, то кількість схованих нейронів у двошаровій сітці повинна бути не менш двійкового логарифму lg(N). 2. Когнітрон і його модифікація Когнітрон Когнітрон - варіант багатошарової нейронної сітки - запропонований Фукушима в 1975 р. для систем адаптивного розпізнавання образів [ ]. Ця структура являє собою вперед спрямовану сітку, що містить n шарів, причому кожний шар має два типи нейронів (рис. 3.8): збуджуючі, або активізуючі  (excitatory) і гальмуючі (inhibitory) нейрони. Збуджуючі нейрони мають позитивні, а гальмуючі - негативні ваги. Збудження дійсно позитивні, оскільки застосовано наступну активаційну функцію:
 Рис. 3.8 Тришаровий когнітрон: I, II, III — шари когнітрона; I — активізуючі нейрони; 2 - гальмуючі нейрони    
  Структуру сітки на рис. 3.8 побудовано так, що гальмуючі нейрони кожного шару стимулюються тільки активізуючими нейронами цього ж шару, у той час як на активізуючі нейрони наступного шару впливають як збуджуючі, так і гальмуючі нейрони попереднього шару. Збудження активізуючого нейрона визначається зваженою сумою його збуджуючих і гальмуючих входів. Для тренування сітки застосоване навчання без учителя як більш правдоподібне. Одержуючи навчальний набір вхідних образів, сітка самоорганізується за допомогою зміни ваг семантичних зв'язків. При цьому відсутні попередньо визначені кінцеві образи, що представляють необхідну реакцію сітки, проте сітка самонастроюється з метою розпізнавання кінцевих образів з високою точністю. Процедура навчання базується на розширеному правилі Хэбба: вага wi j корегується в той момент, коли нейрон i збуджений і коли нейрон j уявляє собою постсемантичну комірку з найбільшою активністю. Згідно рис. 3.8 вхідні сигнали постсемантичного нейрона багаторазово перекриваються. Це дублювання функцій виправдовується взаємною конкуренцією між найближчими нейронами. Якщо сусідні нейрони в початковий момент мають ідентичний вихід, незначні відхилення все-таки будуть мати місце. В результаті один з цих нейронів буде мати більш сильну реакцію на вхідний образ, аніж сусідні нейрони. Його сильне збудження буде впливати на збудження сусідніх нейронів, і тільки його сигнали будуть підсилюватися, а сигнали сусідніх нейронів залишаться незмінними (див. рис. 3.6). Вихід збуджуючого нейрона в когнітроні визначається відношенням його збуджуючих входів до гальмуючого. Ця незвичайна функція має практичні і теоретичні переваги. Сумарний збуджуючий вхід нейрона є зваженою сумою входів від збуджуючих нейронів попереднього шару:   
, (3.15)  де wi, иi — відповідно вага і вихід i-го  збуджуючого нейрона. Сумарний гальмуючий вихід є зваженою сумою входів від усіх гальмуючих нейронів:   
, (3.16)  де gj,
, — вага і вихід j-го гальмуючого нейрона; усі чисельні значення ваг є позитивними. З урахуванням співвідношень (3.15) і (3.16) для виходу нейрона використовується наступна залежність:   
(3.17)  Причому   
  Завдяки відсутності механізму зміни ваг, вони просто зростають у процесі навчання. Великі збуджуючі і гальмуючі входи результуються обмежуючою формулою:    
  Неокогнітрон S- і С-нейрони утворюють шари, що чередуються в сітці по черзі один за одним, чи точніше: вхідним є S-шар, а за ним іде С-шар і т.д. вихідний як С-шар. Здатністю до навчання володіють тільки ваги до S-шарів. Відмінною рисою такої сітки є те, що рецептивна (приймальна) область нейрона складається лише з декількох нейронів попереднього шару (рис. 3.8). До того ж ця сітка по лінії передачі сигналів винятково симетрична. Завдяки цьому сітка в певній мері толерантна до локальних помилок в образі, особливо це до певного ступеня виявляється при трансляції і перекручуваннях образу. Неокогнітрон спочатку був орієнтований на моделювання зорової системи людини. Але оскільки в ньому відсутні обмеження для використання тільки для обробки візуальних даних, він досить універсальний і може знайти широке застосування як узагальнена система розпізнавання образів. Необхідно, однак, враховувати, що неокогнітрон є складною системою і вимагає істотних обчислювальних ресурсів, що поки ускладняє його використання для побудови оптимальних інженерних систем розпізнавання образів. Контрольні питання: Розписати про вибір архітектури нейронної сіткі. Розрисати про когнітрон і його модифікація.