Подякувати Студентському архіву довільною сумою
Admin
26.02.2023 12:38
Дякуємо, що користуєтесь нашим архівом!
Загальні співвідношення для градієнту похибки
Інформація про навчальний заклад
ВУЗ:
Інші
Інститут:
Не вказано
Факультет:
Не вказано
Кафедра:
Не вказано
Інформація про роботу
Рік:
2011
Тип роботи:
Самостійна робота
Предмет:
Методи та засоби комп’ютерних інформаційних технологій
Частина тексту файла (без зображень, графіків і формул):
МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ
КІСіТ КНЕУ ім. В. Гетьмана
Самостійна робота №6
з предмету: "Методи та засоби комп’ютерних інформаційних технологій”
за ІІ семестр 2010-2011 н.р.
Тема: Загальні співвідношення для градієнту похибки.
Зворотне поширення похибки
Київ-2011
1 Загальні співвідношення для градієнту похибки
Розглянемо застосування співвідношення (4.4) для загального випадку, коли нейронна мережа має кілька прихованих шарів, а для навчання використовується множина векторів даних. Навчальною послідовністю називають набір пар , де Xm – вектор входу, а Tm– очікуване значення виходу нейронної мережі. Іноді вектор Xm називають образом, а Tm – реакцією нейромережі. Представлення при навчанні всієї послідовності називають епохою.
Визначимо величину сумарної похибки за епоху для мережі, що складається з K шарів нейронів:
,
де -величина похибки для nK -го виходу нейронної мережі при представленні m – го вектору навчальної послідовності Xm :
Щоб знайти реакцію довільного нейрона k –го шару представимо співвідношення (4.3) в такому вигляді:
; .
Величини порогу b(nk) та активаційні функції нейронів fn будемо вважати однаковими в межах одного шару мережі.
Визначимо градієнт сумарної похибки мережі за епоху для виходу нейромережі, тобто для зв’язків нейронів K-го шару мережі:
.
Користуючись ланцюговим правилом обчислення похідних, знайдемо величину градієнту для нейронів довільного l-го (l< k) шару:
Такі обчислення можна продовжувати впритул до першого (рецепторного ) шару мережі. В 1986 р. Румельхардтом та ін. було запропоновано метод спрощення таких розрахунків, який дістав назву Back Propagation – зворотного поширення похибки.
2 Зворотне поширення похибки
Розглянемо спочатку мережу, що має лише один прихований шар нейронів і визначимо градієнт для шару виходів (2-го) та прихованого шару (1-го):
; .
Введемо величини та , що позначають приведене значення похибки для i-го нейрона відповідно першого та другого шару мережі:
,
.
Підставляючи ці величини в наведені раніше формули для градієнта, одержимо:
; .
Розглядаючи співвідношення можна дійти висновку, що приведена похибка поширюється у зворотному напрямку від виходу нейромережі до її входу через зв’язки між нейронами. Для мережі з довільною кількістю шарів значення приведеної похибки можна обчислити за рекурентним співвідношенням:
.
Відповідно можна представити співвідношення градієнту похибки у компактному вигляді:
.
Контрольні питання:
Розписати про загальні співвідношення для градієнту похибки.
Розрисати про зворотне поширення похибки.
17.03.2013 16:03-
Ділись своїми роботами та отримуй миттєві бонуси!
0%
Оголошення від адміністратора