Загальні співвідношення для градієнту похибки. Самостійна робота з Методи та засоби комп’ютерних інформаційних технологій. Робота № 521469

Загальні співвідношення для градієнту похибки

Інформація про навчальний заклад

ВУЗ:

Інші

Інститут:

Не вказано

Факультет:

Не вказано

Кафедра:

Не вказано

Інформація про роботу

Рік:

2013

Тип роботи:

Самостійна робота

Предмет:

Методи та засоби комп’ютерних інформаційних технологій

Завантажити

Частина тексту файла (без зображень, графіків і формул):

МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ КІСіТ КНЕУ ім. В. Гетьмана Самостійна робота №6 з предмету: "Методи та засоби комп’ютерних інформаційних технологій” за ІІ семестр 2010-2011 н.р. Тема: Загальні співвідношення для градієнту похибки. Зворотне поширення похибки Київ-2011 1 Загальні співвідношення для градієнту похибки Розглянемо застосування співвідношення (4.4) для загального випадку, коли нейронна мережа має кілька прихованих шарів, а для навчання використовується множина векторів даних. Навчальною послідовністю називають набір пар , де Xm – вектор входу, а Tm– очікуване значення виходу нейронної мережі. Іноді вектор Xm називають образом, а Tm – реакцією нейромережі. Представлення при навчанні всієї послідовності називають епохою. Визначимо величину сумарної похибки за епоху для мережі, що складається з K шарів нейронів: , де -величина похибки для nK -го виходу нейронної мережі при представленні m – го вектору навчальної послідовності Xm : Щоб знайти реакцію довільного нейрона k –го шару представимо співвідношення (4.3) в такому вигляді: ; . Величини порогу b(nk) та активаційні функції нейронів fn будемо вважати однаковими в межах одного шару мережі. Визначимо градієнт сумарної похибки мережі за епоху для виходу нейромережі, тобто для зв’язків нейронів K-го шару мережі: . Користуючись ланцюговим правилом обчислення похідних, знайдемо величину градієнту для нейронів довільного l-го (l< k) шару: Такі обчислення можна продовжувати впритул до першого (рецепторного ) шару мережі. В 1986 р. Румельхардтом та ін. було запропоновано метод спрощення таких розрахунків, який дістав назву Back Propagation – зворотного поширення похибки. 2 Зворотне поширення похибки Розглянемо спочатку мережу, що має лише один прихований шар нейронів і визначимо градієнт для шару виходів (2-го) та прихованого шару (1-го): ; . Введемо величини та , що позначають приведене значення похибки для i-го нейрона відповідно першого та другого шару мережі: , . Підставляючи ці величини в наведені раніше формули для градієнта, одержимо: ; . Розглядаючи співвідношення можна дійти висновку, що приведена похибка поширюється у зворотному напрямку від виходу нейромережі до її входу через зв’язки між нейронами. Для мережі з довільною кількістю шарів значення приведеної похибки можна обчислити за рекурентним співвідношенням: . Відповідно можна представити співвідношення градієнту похибки у компактному вигляді: . Контрольні питання: Розписати про загальні співвідношення для градієнту похибки. Розрисати про зворотне поширення похибки.

Самостійна робота Методи та засоби комп’ютерних інформаційних технологій

daniel

17.03.2013 16:18

Коментарі

Ви не можете залишити коментар. Для цього, будь ласка, або зареєструйтесь.

Ділись своїми роботами та отримуй миттєві бонуси!

поділитись