Подякувати Студентському архіву довільною сумою
Admin
26.02.2023 12:38
Дякуємо, що користуєтесь нашим архівом!
Інформаційні моделі сигналів - Частина1
Інформація про навчальний заклад
ВУЗ:
Національний університет Львівська політехніка
Інститут:
Не вказано
Факультет:
Комп’ютерні науки
Кафедра:
Не вказано
Інформація про роботу
Рік:
2006
Тип роботи:
Конспект лекцій
Предмет:
Методи та засоби комп’ютерних інформаційних технологій
Частина тексту файла (без зображень, графіків і формул):
Розділ 1
ІНФОРМАЦІЙНІ МОДЕЛІ СИГНАЛІВ
1.1. Кількість інформації і невизначеність. Ентропія як міра невизначеності
Будь -який інформаційний пристрій працює за єдиною схемою (рис. 1.1). На вхід пристрою подається сукупність повідомлень EMBED Equation.3 . Завдання пристрою полягає в тому, щоб передати множину цих повідомлень з достатньо високою достовірністю, або, іншими словами, щоб перевести вектор повідомлень на вході EMBED Equation.3 у відповідний йому вектор повідомлень на виході EMBED Equation.3 без помилок або із допустимими помилками.
EMBED Visio.Drawing.6
Рис. 1.1. Узагальнена схема передачі інформації
В процесі передачі повідомлення може піддаватися численним перетворенням, які істотно змінюють його фізичні характеристики. Проте сама інформація повинна залишатися інваріантною при всіх перетвореннях. Природно, що кількість інформації, яка отримана на виході пов'язана з невизначеністю, яка мала місце щодо повідомленнь на вході. У зв'язку з цим необхідно ввести кількісну міру оцінки інформації і невизначеності повідомлень, які передаються .
Фундаментальним питанням теорії інформації є питання про кількісну міру інформації. Необхідно відзначити, що інформація з’являється у споживача тільки після отримання повідомлення, тобто в результаті досліду. Повідомлення, отримане на приймальній стороні, несе корисну інформацію лише в тому випадку, якщо є невизначеність щодо стану джерела повідомлень.
Якщо дослід має лише один результат і не містить ніякої невизначеності, то спостерігач наперед знатиме результат цього досліду і не отримає ніякої інформації.
Хай дослід має два рівноімовірні результати. Наприклад, результат контролю, повинен вказати, що контрольований параметр знаходиться в межах норми або поза її межами. Повідомлення в цьому випадку може приймати два значення і містить певну інформацію.
Розглянемо як третій приклад - джерело, вихідна напруга якого може з однаковою імовірністю приймати десять різних значень. В цьому випадку буде більша попередня невизначеність щодо джерела ніж у попередньому, а повідомлення (конкретний результат досліду), що поступив, дасть більш уточнену характеристику стану входу джерела.
Розглянемо загальний випадок, коли джерело може передавати незалежні і несумісні повідомлення EMBED Equation.3 із імовірностями EMBED Equation.3 відповідно. Природно, що чим менша апріорна імовірність події, тим більшу кількість інформації вона несе. Так, наприклад, повідомлення про те, що влітку температура повітря в Криму вища нуля, не несе істотної інформації, бо імовірність такої події дуже велика. Повідомлення ж про те, що температура повітря на Південному березі Криму в червні нижча нуля, містить значно більшу кількість інформації, бо така подія є вельми рідкісною.
Тому природно припустити, що кількісною мірою невизначеності окремого повідомлення, а також інформації, яка ним передається, може бути величина, обернена його апріорній імовірності EMBED Equation.3 . Проте така міра суперечлива тим, що у разі достовірної події її імовірність рівна одиниці, і кількість інформації, згідно прийнятій мірі, рівна одиниці. Насправді ж результат такого досліду не дає ніякої інформації. Крім того, така міра не має властивості адитивності. Дійсно, якщо має місце складна подія із двох незалежних подій EMBED Equation.3 то імовірність такої події визначатиметься добутком імовірностей EMBED Equation.3 . Кількість інформації в складному повідомленні повинна оцінюватися величиною EMBED Equation.3 .
З цієї точки зору найбільш прийнятною є логарифмічна міра кількості інформації
EMBED Equation.3 (1.1)
При цьому кількість інформації, що міститься в складному повідомленні із двох, що представляє сукупність незалежних подій EMBED Equation.3 буде рівна EMBED Equation.3
Логарифмічна міра, як видно, має властивість адитивності. Крім того, ця міра у разі подій з одним результатом дає нульову кількість інформації.
Вираз (1.1) характеризує кількість інформації, що міститься в повідомленні EMBED Equation.3 . Він характеризує також апріорну невизначеність цього повідомлення. У зв'язку з цим вираз (1.1) може бути використаний для кількісної оцінки невизначеності повідомлення
EMBED Equation.3 (1.2)
Величину (1.2), яка характеризує невизначеність окремого (i-ro) повідомлення, прийнято називати частковою ентропією.
Кількість інформації і невизначеність для всієї сукупності випадкових повідомлень можна отримати усередненням по всіх подіях:
EMBED Equation.3 (1.3)
EMBED Equation.3 (1.4)
Залежність (1.3) і (1.4) виражають середню на одну подію (повідомлення) кількість інформації і ентропію. Термін “ентропія” запозичений з термодинаміки, де аналогічний вираз характеризує середню невизначеність стану системи молекул речовини.
Не дивлячись на ідентичність залежностей (1.3) і (1.4), ентропія EMBED Equation.3 і кількість інформації EMBED Equation.3 принципово різні. EMBED Equation.3 , яка виражає середню невизначеність стану джерела повідомлень, є об'єктивною характеристикою джерела повідомлень, і, якщо відома статистика повідомлень, може бути обчислена апріорно, тобто до отримання повідомлення. EMBED Equation.3 є апостеріорною характеристикою і визначає кількість інформації, яка отримана з надходженням повідомлень. Співпадіння виразу (1.3) із виразом (1.4) свідчить лише про те, що кількість інформації, яка отримана, чисельно рівна ентропії джерела повідомлень.
Одиниці вимірювання кількості інформації і ентропії залежать від вибору основи логарифма у формулах (1.3) і (1.4). При використовуванні десяткових логарифмів кількість інформації і ентропія визначаються в дітах. У разі використання двійкових логарифмів - у бітах. Нарешті, при використовуванні натуральних логарифмів одиницею вимірювання є ніт.
При аналізі інформаційних процесів в комп’ютерах і інших пристроях, що функціонують на основі двійкової системи числення, зручно користуватися двійковими одиницями. При аналізі процесів в приладах, що працюють в десятковій (або двійково-десятковій) системі числення, доцільно користуватися дітами. В математичних викладках зручно користуватися натуральними одиницями. При подальшому викладі користуватимемося двійковими одиницями.
Міра кількості інформації у вигляді (1.3) вперше була запропонована Клодом Шеноном в 1948 році.
У разі однакової імовірності повідомлень вираз (1.3) для кількості інформації приводиться до вигляду
EMBED Equation.3 (1.5)
де EMBED Equation.3 кількість можливих повідомлень.
Така міра кількості інформації була запропонована в 1928 році Р. Хартлі.
1.2. Властивості ентропії дискретного джерела
Виходячи з виразу (1.4) можна встановити такі властивості дискретного джерела повіломлень:
Ентропія величина дійсна, і невід’ємна, тому що для будь-якого EMBED Equation.3 змінюється в інтервалі від 0 до 1, і, відповідно, EMBED Equation.3 величина додатня.
Ентропія - величина обмежена. Для доданків EMBED Equation.3 у діапазоні EMBED Equation.3 обмеженість очевидна. залишається визначити границю, до якої прямує цей доданок при EMBED Equation.3 , оскільки EMBED Equation.3 при цьому прямує до EMBED Equation.3 :
Позначаючи EMBED Equation.3 і використовуючи правило Лопіталя отримаємо
EMBED Equation.3 .
Ентропія стає рівною нулю лише у тому випадку, якщо імовірність одного із станів джерела рівна одиниці. Тоді імовірності всіх решти станів рівні нулю. Це означає,що стан джерела повністю визначений.
Ентропія максимальна, якщо повідомлення рівноімовірні. Скориставшись методом невизначених множників Лагранжа, знайдемо екстремум функції
EMBED Equation.3 ,
яка утворена із урахуванням додаткової умови EMBED Equation.3 . Диференціюючи функцію EMBED Equation.3 по EMBED Equation.3 і прирівнюючи похідну до нуля, отримуємо
EMBED Equation.3 ,
або
EMBED Equation.3 .
Остання рівність показує, що EMBED Equation.3 не залежить від індексів i. Це можливо лише у тому випадку, коли всі імовірності EMBED Equation.3 рівні між собою: EMBED Equation.3 EMBED Equation.3 . Відповідно
EMBED Equation.3 (1.6)
Для n=2 (альтернативні події) EMBED Equation.3 .
EMBED Equation.3 (1.7)
Максимум ентропії досягається для рівноімовірних подій при EMBED Equation.3 і рівний
EMBED Equation.3 (1.8)
Графік залежності від імовірності однієї із подій наведений на рис. 1.2.
EMBED Visio.Drawing.6
Рис.1.2. Залежність ентропії від імовірності альтернативної події
Таким чином, можна стверджувати, що одна двійкова одиниця (біт) – це ентропія системи двох рівноімовірних незалежних подій.
1.3. Ентропія неперервних повідомлень
Неперервне повідомленя як випадкова величина характеризується функцією густини розподілу імовірностей EMBED Equation.3 (рис. 1.3). EMBED Visio.Drawing.6
Рис. 1.3. Диференціальний закон розподілу імовірностей сигналу.
Використаємо операцію квантування і перехід до границі при EMBED Equation.3 . Розіб’ємо шкалу рівнів неперервної величини х на невеликі ділянки EMBED Equation.3 і в середині кожної ділянки виберемо точки EMBED Equation.3 так, щоб виконувалася умова
EMBED Equation.3 (1.9)
Вираз (1.9) характеризує імовірність EMBED Equation.3 попадання випадкової величини х в інтервал EMBED Equation.3 при заміні неперервної випадкової величини х сукупністю дискретних повідомлень EMBED Equation.3 , імовірності появи яких визначаються із виразу (1.9). Така заміна тим точніша, чим менше EMBED Equation.3 .
Ентропія еквівалентного дискретного повідомлення
EMBED Equation.3
Здійснюємо граничний перехід при EMBED Equation.3 .
EMBED Equation.3 (1.10)
тому що
EMBED Equation.3
Другий член виразу (1.10) при EMBED Equation.3 прямує до безмежності. Відповідно, ентропія неперервного повідомлення повинна дорівнювати безмежності.
Перший доданок
EMBED Equation.3 (1.11)
залежить тільки від виду розподілу, називається відносною диференціальною ентропією неперервнрго сигналу або просто диференціальною ентропією. Вона має скінчене значення і не залежить від кроку квантування, а залежить тільки від закону розподілу неперервної велечини x. Вираз для ентропії по структурі співпадає з виразом для дискретного джерела. Другий член навпаки залежить тільки від кроку квантування.
Диференціальну ентропію можна трактувати як середню невизначеність вибору випадкової велечини Х із довільним законом розподілу в порівнянні з середньою невизначеністю вибору випадкової велечини EMBED Equation.3 , яка змінюється в діапазоні 0-1 і має рівномірний розподіл.
Дійсно, для випадкової величини EMBED Equation.3
EMBED Equation.3 ,
звідки при EMBED Equation.3
EMBED Equation.3
Диференціальна ентропія завжди використовується в різницях ентропій джерел.
1.4. Ентропія складних повідомлень
При рішенні задач передачі інформації часто мають справу з декількома джерелами, що дають залежні повідомлення. Сукупність повідомлень, що виробляються декількома джерелами, назвемо складним повідомленням.
Хай є два джерела повідомлень. Повідомлення першого джерела приймають значення EMBED Equation.3 із імовірностями EMBED Equation.3 і повідомлення другого джерела приймають значення EMBED Equation.3 із імовірностями EMBED Equation.3 .
Сумісну ентропію сукупності повідомлень EMBED Equation.3 і EMBED Equation.3 можна представити у вигляді
EMBED Equation.3 (1.12)
де EMBED Equation.3 - імовірність сумісної появи повідомлень EMBED Equation.3 і EMBED Equation.3 . Враховуючи, що сумісна імовірність може бути представлена у вигляді EMBED Equation.3 , де EMBED Equation.3 - умовна імовірність повідомлення EMBED Equation.3 за умови, що поступило повідомлення EMBED Equation.3 і вираз (1.12) можна привести до вигляду
EMBED Equation.3
EMBED Equation.3
EMBED Equation.3
З урахуванням того що EMBED Equation.3 , оскільки за наявності повідомлення EMBED Equation.3 обов'язково буде одне із повідомлень ансамблю EMBED Equation.3 вираз для сумісної ентропії може бути перетворений таким чином:
EMBED Equation.3
EMBED Equation.3 (1.13)
де EMBED Equation.3 - так звана часткова умовна ентропія, що виражає ентропію повідомлення EMBED Equation.3 при умові, що мало місце повідомлення EMBED Equation.3 . Другий член виразу (1.13) є усередненням EMBED Equation.3 по всіх повідомленнях EMBED Equation.3 і називається середньою умовною ентропією повідомлення EMBED Equation.3 за умови надходження повідомлення EMBED Equation.3 . Позначивши його через EMBED Equation.3 , остаточно отримаємо
EMBED Equation.3 (1.14)
де
EMBED Equation.3
EMBED Equation.3
Основний зміст умовної ентропії EMBED Equation.3 полягає в тому, що вона показує, яку ентропію дають повідомлення EMBED Equation.3 , коли вже відома ентропія повідомлень EMBED Equation.3 .
З очевидної рівності EMBED Equation.3 отримаємо
EMBED Equation.3
де
EMBED Equation.3 (1.15)
Таким чином, сумісна ентропія двох повідомлень рівна сумі безумовної ентропії одного з повідомлень і умовної ентропії другого повідомлення.
Для об’єднання кількох довільних ансамблів відповідно маємо
EMBED Equation.3 (1.16)
Можна відзначити наступні основні властивості ентропії складних повідомлень.
При статистично незалежних повідомленнях сумісна ентропія рівна сумі ентропії повідомлень
EMBED Equation.3 (1.17)
Дійсно, при статистично незалежних повідомленнях умовна імовірність рівна безумовній EMBED Equation.3 , а сумісна імовірність рівна добутку імовірності EMBED Equation.3 . Тоді умовна ентропія
EMBED Equation.3
Провівши підсумовування по і, з урахуванням рівності EMBED Equation.3 отримаємо
EMBED Equation.3 .
Отже, при статистично незалежних повідомленнях умовна ентропія подій рівна безумовній.
2. При повній статистичній залежності повідомлень Х і EMBED Equation.3 сумісна ентропія рівна безумовній ентропії одного з повідомлень.
Дійсно, повна статистична залежність відповідає випадку, коли умовні імовірності EMBED Equation.3 і EMBED Equation.3 рівні нулю або одиниці. У цьому випадку вирази
EMBED Equation.3 і EMBED Equation.3
і, відповідно, умовні ентропії EMBED Equation.3 і EMBED Equation.3 . Тоді отримаємо
EMBED Equation.3 , (1.18)
Умовна ентропія може змінюватися в межах
EMBED Equation.3 (1.19)
Оскільки умовна ентропія додатня, рівна нулю при повній статистичній залежності подій, максимальна при повній статистичній незалежності подій і рівна безумовній ентропії, то звідси безпосередньо випливає ця властивість.
4. Для сумісної ентропії завжди справедливе співвідношення
EMBED Equation.3 (1.20)
Дана властивість сумісної ентропії безпосередньо випливає із попереднього співвідношення.
Якщо x і y є неперервними випадковими величинами, то по аналогії із виразом для безумовної ентропії (1.№) вираз для ентропії об'єднання повідомлень Х і Y можна представити у вигляді
EMBED Equation.3
= EMBED Equation.3
Провівши інтегрування у першому доданку по y і враховуючи, що
EMBED Equation.3 ,
отримаємо
EMBED Equation.3
EMBED Equation.3 (1.21)
де EMBED Equation.3 - диференціальна ентропія повідомлення Х; EMBED Equation.3 - умовна диференціальна ентропія повідомлення Y; EMBED Equation.3 - густина сумісного розподілу X i Y; w(x) - густина розподілу X; EMBED Equation.3 - умовна густина розподілу Y відносно X.
1.5. Кількість інформації при неповній достовірності повідомлень
В реальних умовах передача повідомлень відбувається при дії завад. Завади спотворюють повідомлення, внаслідок чого повідомлення на приймальній стороні в тій або іншій мірі відрізнятимуться від переданих, тобто матиме місце неповна достовірність передачі. Оцінимо кількість переданої при цьому інформації для випадків дискретних і неперервних повідомлень.
Дискретні повідомлення. Внаслідок відмінності повідомлень, що приймаються, від переданих, при оцінці кількості переданої інформації доцільніше розглядати дві системи: систему переданих X і систему повідомлень, що приймаються, Y.
Хай передане повідомлення може приймати значення EMBED Equation.3 із апріорною імовірністю відповідно EMBED Equation.3 .
Повідомлення, що приймаються, характеризуються сукупністю значень EMBED Equation.3 Наявність завад порушує однозначну відповідність між переданими і прийнятими повідомленнями. Оскільки завади мають випадковий характер, то при прийомі якого-небудь повідомлення EMBED Equation.3 неможливо точно встановити, яке повідомлення було передано. Можна говорити лише про умовну імовірність EMBED Equation.3 що визначає імовірність передачі повідомлення EMBED Equation.3 за умови, що буде прийнято повідомлення EMBED Equation.3 .
Оцінимо кількість інформації, яка міститься в одному із прийнятих повідомлень EMBED Equation.3 про одне із переданих повідомлень EMBED Equation.3 .
Умовна імовірність EMBED Equation.3 свідчить про те, що є невизначеність в повідомленні EMBED Equation.3 щодо повідомлення EMBED Equation.3 . Ця невизначеність може бути оцінений умовною ентропією
EMBED Equation.3 (1.22)
Таким чином, внаслідок дії завад початкова апріорна ентропія повідомлення EMBED Equation.3 , яка визначається кількісно виразом EMBED Equation.3 знімається при отриманні повідомлення EMBED Equation.3 не повністю, а лише зменшується до значення EMBED Equation.3 . Кількість одержаної інформації в цьому випадку буде рівна знятій частині невизначеності:
EMBED Equation.3 (1.23)
Формула (1.23) виражає кількість інформації, яка міститься в прийнятому повідомленні EMBED Equation.3 щодо переданого EMBED Equation.3 . Цю кількість інформації прийнято називати частковою кількістю інформації, що міститься в повідомленні EMBED Equation.3 щодо повідомлення EMBED Equation.3 .
Середня кількість інформації про всі EMBED Equation.3 що міститься в одному прийнятому повідомленні EMBED Equation.3 , можна отримати шляхом усереднення по всіх EMBED Equation.3 .
EMBED Equation.3 (1.24)
Формула (1.24) виражає часткову кількість інформації, що міститься в прийнятому повідомленні EMBED Equation.3 щодо всієї сукупності переданих повідомлень Х.
Нарешті, для того, щоб визначити кількість інформації, що міститься у всій сукупності прийнятих повідомлень Y щодо всієї сукупності переданих повідомлень X, необхідно здійснити усереднення по всіх EMBED Equation.3
EMBED Equation.3
EMBED Equation.3 (1.25)
Використовуючи рівність
EMBED Equation.3
отримаємо
EMBED Equation.3 (1.26)
Формули (1.25) і (1.26) визначають середню кількість інформації, що міститься в Y по відношенню до X.
Формулу (1.26) можна привести до вигляду
EMBED Equation.3
Формули (1.25) і (1.26) визначають середню кількість інформації, що міститься в Y по відношенню до X.
Формулу (1.26) можна привести до вигляду
EMBED Equation.3 (1.27)
Провівши перетворення в другому доданку правої частини виразу (1.27) з урахуванням рівності EMBED Equation.3 отримаємо
EMBED Equation.3 (1.28)
Таким чином, середня кількість інформації, одержувана при неповній достовірності повідомлень, рівна різниці безумовної ентропії H(X), яка характеризує початкову (апріорну) невизначеність повідомлень, і умовної ентропії EMBED Equation.3 , що характеризує залишкову (апостеріорну) невизначеність повідомлень.
Використовуючи властивість умовної ентропії
EMBED Equation.3
вираз (1.28) можна привести до вигляду
EMBED Equation.3 (1.29)
Отже, кількість переданої інформації може бути виражена через суму ентропій переданих Х і прийнятих Y повідомлень, за вирахуванням сумісної ентропії H(X,Y).
Оскільки
EMBED Equation.3 ,
то
EMBED Equation.3 ,
або
EMBED Equation.3 .
З останньої рівності випливає, що
EMBED Equation.3 , (1.30)
тобто кількість інформації, яка міститься в повідомленні Y щодо повідомлень X, рівна кількості інформації, що міститься в X відносно Y. Тому EMBED Equation.3 називають також повною взаємною інформацією.
Неперервні повідомлення. Для визначення кількості інформації при неперервних повідомленнях скористаємося як початковим виразом (1.28), який визначає кількість інформації при дискретних повідомленнях.
В цьому виразі початкова і залишкова ентропії повідомлень відповідно
EMBED Equation.3 ,
EMBED Equation.3 . (1.31)
Для переходу до неперервних випадкових величин виразимо імовірності через функції розподілу густини імовірності
EMBED Equation.3 ,
EMBED Equation.3 ,
EMBED Equation.3 ,
EMBED Equation.3 ,
де EMBED Equation.3 і EMBED Equation.3 елементарні ділянки, на які розбиті шкали рівнів випадкових величин х і y, EMBED Equation.3 EMBED Equation.3 EMBED Equation.3 EMBED Equation.3 значення функцій густини розподілу. Тоді, провівши в (1.31) відповідні заміни, отримаємо
EMBED Equation.3
EMBED Equation.3
Здійснимо граничний перехід при EMBED Equation.3 і EMBED Equation.3 .
Границя виразу для початкової ентропії H(X)
EMBED Equation.3 .
Визначимо границю для залишкової ентропії:
EMBED Equation.3
EMBED Equation.3
EMBED Equation.3
EMBED Equation.3
EMBED Equation.3
EMBED Equation.3
тому що
EMBED Equation.3
Таким чином, після здійснення граничних переходів одержуємо вираз для кількості інформації при неперервних повідомленнях
EMBED Equation.3
EMBED Equation.3 (1.32)
Отже, і при неперервних повідомленнях кількість переданої інформації визначається різницею початкової і залишкової ентропії повідомлення.
Якщо врахувати, що
EMBED Equation.3 ,
то вираз (1.32) можна представити в іншому вигляді:
EMBED Equation.3
EMBED Equation.3
EMBED Equation.3 (1.33)
На відміну від диференціальної ентропії кількість інформації не залежить від масштабу неперервних повідомлень, якщо масштаби X і Y однакові.
На закінчення розглянемо два граничні випадки передачі повідомлень:
а) повна статистична залежність переданих X і прийнятих повідомлень Y. Практично це має місце при незначному рівні завад або при повній їх відсутності. У цьому випадку умовна ентропія
EMBED Equation.3
Отже, кількість інформації, що міститься в Y відносно X, рівна ентропії переданих повідомлень.
б) повна статистична незалежність повідомлень X і Y. Це має місце при високому рівні завад, коли завади повністю придушують корисний сигнал. У цьому випадку умовна ентропія рівна початковій і кількість інформації, що міститься в Y відносно X
EMBED Equation.3 ,
тобто повідомлення Y не містить ніякої інформації про повідомлення X. З розгляду окремих випадків виходить, що інформація, що міститься в Y відносно X, не перевищує ентропії X. Максимальна кількість інформації у разі абсолютно достовірної передачі повідомлень
EMBED Equation.3 . (1.34)
Вираз (1.34) справедливий лише для дискретних повідомлень.
При абсолютно достовірній передачі неперервних повідомлень кількість інформації не рівна диференціальній ентропії повідомлення. Оскільки неперервні повідомлення відтворюються з обмеженою точністю, то кількість інформації залежить не тільки від статистики повідомлення h (X), але і від способу його відтворення. При цьому кількість інформації, що міститься у відліках EMBED Equation.3 щодо повідомлення X, визначиться різницею диференціальних ентропій
EMBED Equation.3 . (1.35)
де EMBED Equation.3 - умовна диференціальна ентропія, що характеризує втрату інформації за рахунок обмеженої точності відтворення повідомлення.
Вираз (1.35) можна привести до вигляду
EMBED Equation.3 .
Можливі випадки, коли задаються вимоги до вірності відтворення X. Як критерій вірності може бути використано допустиме значення середнього квадратичного відхилення X* від X, тобто:
EMBED Equation.3
Варіюючи умовною густиною імовірності EMBED Equation.3 можна змінити кількість інформації EMBED Equation.3 . Очевидно, що найвигіднішим буде те значення функції EMBED Equation.3 при якому EMBED Equation.3 має найменше значення, бо при цьому забезпечується задана вимога до вірності відтворення при отриманні мінімальної кількості інформації. Найменше значення EMBED Equation.3 , при якому задовольняється ця вимога, називають епсилон-ентропією. Згідно визначенню, епсилон-ентропія рівна
EMBED Equation.3
при
EMBED Equation.3 ,
де EMBED Equation.3 - допустиме значення помилки відтворення. Эпсилон-ентропія визначає інформаційну місткість джерела неперервних повідомлень при заданому критерії вірності відтворення.
1.6. Надлишковість повідомлень
Як вже відмічалося, середня ентропія повідомлень при однаковій кількості елементів може бути різною залежно від статистичних характеристик повідомлень. Ентропія максимальна і визначається виразом (1.10), якщо елементи повідомлень рівноімовірні і взаємно незалежні. Якщо надходження елементів повідомлень не рівноімовірне, то ентропія зменшується і визначається виразом (1.9).
Ще меншою буде ентропія за наявності корелятивних зв'язків між елементами повідомлень. Повідомлення, ентропія яких максимальна, є оптимальними з точки зору найбільшої кількості інформації,.що передається.
Кількісною оцінкою того, наскільки дане реальне повідомлення по своїй ентропії відрізняється від відповідного йому оптимального повідомлення, є коефіцієнт стиснення
EMBED Equation.3 ,
де EMBED Equation.3 - ентропия реального повідомлення; EMBED Equation.3 - ентропія відповідного йому оптимального повідомлення.
Якщо неоптимальне і оптимальне повідомлення характеризуються однаковою загальною ентропією, то справедлива рівність
EMBED Equation.3
де n - число елементів неоптимального повідомлення; n' число елементів відповідного оптимального повідомлення.
Оскільки середня ентропія на елемент оптимального повідомлення максимальна, то число елементів неоптимального повідомлення завжди буде більше числа елементів відповідного йому оптимального повідомлення.
Коефіцієнт стиснення можна виразити через кількість елементів повідомлень
EMBED Equation.3 .
Таким чином, реальні повідомлення при однаковій інформативності володіють певною надлишковістю в елементах в порівнянні з оптимальними повідомленнями.
Мірою кількісної оцінки надлишковості є коефіцієнт надлишковості
EMBED Equation.3 . (1.)
Надлишковість приводить до збільшення часу передачі повідомлень, зайвому завантаженню каналу зв'язку. Проте не завжди потрібно прагнути того, щоб надлишковість EMBED Equation.3 . Деяка надлишковість буває корисною для забезпечення необхідній надійності систем, підвищення завадостійкості передачі повідомлень. Наприклад, іноді практикується повторна передача одного і того ж повідомлення з метою підвищення достовірності передачі в умовах дії завад.
Розглянемо це питання на прикладі російської мови. Оцінка статистики російської мови показує наступне.
Російський алфавіт містить 31 букву (при умові, якщо не розрізняти букву “е” і “ё”, а також м'який і твердий знаки). З урахуванням пропуску між буквами російська мова, таким чином, володіє 32 символами.
При умові рівноімовірності і незалежності символів середня ентропія на символ буде максимальна і рівна
EMBED Equation.3 .
Якщо врахувати різну імовірність повторення символів, то
EMBED Equation.3 .
Із врахуванням парної кореляції ентропія зменшується до значення
EMBED Equation.3 ,
між трьома символами – до значення
EMBED Equation.3 ,
між вісьмома символами - до значення
EMBED Equation.3 ,
і далі залишається незмінною.
Отже, надлишковість російської мови складає
EMBED Equation.3 .
Слід відмітити, що у всіх європейських мовах надлишковість приблизно однакова. Надлишковість розмовних мов сформувалася в результаті дуже тривалої суспільної практики і дозволяє відновлювати цілі слова і фрази при їх спотвореннях під впливом різних чинників.
1.7. Узагальнені характеристики сигналів і інформаційних каналів
У будь-якій інформаційній системі можна виділити джерело, канал передачі і одержувача інформації, а інформаційні процеси, що відбуваються в цих пристроях, представити в загальному випадку у вигляді процесу передачі інформації по деякому каналу.
Узагальнена схема канала передачі інформації представлена на рис. 1.4.
EMBED Visio.Drawing.6
Рис. 1.4. Узагальнена схема канала передачі інформації
Повідомлення X джерела інформації ДІ після кодування і модуляції в перетворювачі EMBED Equation.3 перетворюються на сигнал Y, що поступає в лінію зв'язку ЛЗ. В результаті дії завад EMBED Equation.3 сигнал Z на приймальній стороні відрізняється від Y. Приймальна частина містить перетворювач EMBED Equation.3 , який демодулює і декодує сигнали і переробляє їх в повідомлення W, що поступають в приймач інформації ПІ.
Безпосереднім носієм інформації є сигнал, в загальному випадку є фізичною випадковою величиною,. На практиці при розгляді інформаційних процесів зручно оперувати узагальненими показниками, характерними для множини сигналів даного виду і найістотнішими з точки зору передачі інформації що міститься в них . Кожний сигнал має певну тривалість. Тривалість сигналу характеризує час передачі повідомлень, тривалість зайнятості інформаційного каналу. Таким чином, цілком природно як першу узагальнену характеристику узяти час передачі сигналу EMBED Equation.3 .
Кожний сигнал характеризується цілком певним частотним спектром. Теоретично ширина спектру сигналу скінченої тривалості необмежена. Проте вивчення спектрів реальних сигналів показує, що їх спектральна густина спадає із зростанням частоти. Це дозволяє за певних умов розглядати сигнали як процеси з обмеженим спектром. Існують різні критерії обмеження спектру сигналу. Одним з таких критеріїв є допустимі спотворення сигналу. Наприклад, практика показала, що при передачі мовного сигналу розбірливість і якість мови практично повністю зберігаються при ширині спектру від 300 до 3400 Гц. Таким чином, другою узагальненою характеристикою сигналу повинна бути ширина його частотного спектра EMBED Equation.3 . Третьою важливою характеристикою сигналу є його енергетична характеристика - середня потужність EMBED Equation.3 . Оскільки при передачі на сигнали завжди впливають завади, то як енергетичну характеристику сигналу доцільно брати відношення середньої потужності сигналу EMBED Equation.3 до середньої потужності завади EMBED Equation.3 EMBED Equation.3 . Звичайно це відношення виражають в логарифмічній мірі EMBED Equation.3 і називають динамічним діапазоном, причому при оцінці інформаційної змістовності зручно виражати динамічний діапазон через логарифм із основою 2.
Добуток
EMBED Equation.3 (1.)
прийнято називати об'ємом сигналу.
Інформаційний канал можна характеризувати також трьома відповідними параметрами: часом використовування каналу EMBED Equation.3 , шириною смуги частот, що пропускаються каналом EMBED Equation.3 , і динамічним діапазоном каналу EMBED Equation.3 , що характеризує його здатність передавати різні рівні сигналу.
Величина
EMBED Equation.3 (1.)
називається місткістю каналу.
Неспотворена передача сигналів можлива тільки за умови, що сигнал по своєму об'єму “вміщається” в місткість каналу.
Отже, загальна умова узгодження сигналу з каналом передачі інформації визначається співвідношенням
EMBED Equation.3 (1.)
Проте співвідношення (1.) виражає необхідну, але недостатню умову узгодження сигналу з каналом. Достатньою умовою є узгодження по всіх параметрах:
EMBED Equation.3 (1.)
Для інформаційного каналу користуються поняттями: швидкість введення інформації, швидкість передачі інформації і пропускна спроможність каналу.
Під швидкістю введення інформації (потоком інформації) EMBED Equation.3 розуміють середню кількість інформації, що вводиться від джерела повідомлень в інформаційний канал за одиницю часу. Це характеристика джерела повідомлень і визначається тільки статистичними властивостями повідомлень.
Швидкість передачі інформації EMBED Equation.3 - середня кількість інформації, яка передається по каналу за одиницю часу. Вона залежить від статистичних властивостей сигналу і від властивостей каналу.
Пропускна спроможність C - найбільша теоретично досяжна для даного каналу швидкість передачі інформації. Це характеристика каналу і не залежить від статистики сигналу.
З метою най,skmi ефективного використовування інформаційного каналу необхідно вживати заходів до того, щоб швидкість передачі інформації була якомога ближчою до пропускної спроможності каналу. Разом з тим швидкість введення інформації не повинна перевищувати пропускну спроможність каналу, інакше не вся інформація буде передана по каналу.
Ця основна умова динамічного узгодження джерела повідомлень і інформаційного каналу.
Одним з основних питань в теорії передачі інформації є визначення залежності швидкості передачі інформації і пропускної спроможності від параметрів каналу і характеристик сигналів і завад. Ці питання були вперше глибоко досліджені К. Шенноном.
Розглянемо два види каналів: дискретний канал без завад і дискретний канал з завадами.
1.8. Швидкість передачі інформації і пропускна спроможність дискретного каналу без завад
Під дискретним каналом передачі інформації прийнято розуміти сукупність засобів, призначених для передачі дискретних сигналів На вхід такого канала подаються дискретні повідомлення X створені у первинному алфавіті EMBED Equation.3 . Останні кодуються за допомогою перетворювача EMBED Equation.3 (рис. 1.4) і перетворюються в кодовані сигнали Y. Для кодування використовується деякий алфавіт символів EMBED Equation.3 а суть кодування зводиться до представлення окремих повідомлень або послідовностей повідомлень певними комбінаціями символів алфавіту, що використовується.
Для дискретних джерел, що видають стаціонарні послідовності повідомлень достатньо великої тривалості Т, введено поняття “типічних” і “нетипічних” послідовностей повідомлень. При EMBED Equation.3 всі типічні послідовності мають приблизно однакову імовірність появи, тоді як сумарна імовірність появи всіх нетипічних послідовностей прямує до нуля. Відзначені властивості послідовностей дискретного джерела узагальнені теоремою асимптотичної рівноімовірності, яка випливає із закону великих чисел.
При EMBED Equation.3 для типічних послідовностей з дуже малою похибкою справедливе співвідношення
EMBED Equation.3 (1.)
де EMBED Equation.3 - кількість типічних послідовностей, п - довжина послідовностей (кількість символів в послідовності); Н (X) - ентропія на один символ.
Для дискретного каналу швидкість передачі інформації визначається відношенням кількості інформації, яка переноситься окремими сигналами, до тривалості сигналів EMBED Equation.3 .
За деяких умов (наприклад, ергодичний характер завад) при EMBED Equation.3 буде типічною послідовність повідомлень і на виході каналу. Тому при EMBED Equation.3 швидкість передачі інформації буде постійною величиною незалежно від тривалості сигналу і є усередненою характеристикою роботи інформаційного каналу.
У зв'язку з цим теоретично швидкість передачі інформації виражають таким чином:
EMBED Equation.3 . (1.)
Аналогічно швидкість введення інформації
EMBED Equation.3 (1.)
де Н(X) - ентропія послідовності повідомлень на виході джерела повідомлень; EMBED Equation.3 - тривалість послідовності.
Для реального дискретного канала середня швидкість передачі інформації визначається співвідношенням
EMBED Equation.3 . (1.)
де EMBED Equation.3 - середня кількість інформації на один символ сигналу; EMBED Equation.3 - середня тривалість символа.
За відсутності статистичної залежності між сигналами
EMBED Equation.3 . (1.)
де EMBED Equation.3 апріорна імовірність і тривалість і-го сигналу.
Швидкість введення інформації
EMBED Equation.3 , (1.)
де Н(X) - середня ентропія одного повідомлення; EMBED Equation.3 - середня тривалість повідомлення; EMBED Equation.3 - середня швидкість надходження повідомлень від джерела.
В каналі без завад кожному певному вхідному сигналу завжди відповідатиме один і той же сигнал на виході каналу, іншими словами, вхідні і вихідні сигнали зв'язані однозначною функціональною залежністю.
В цьому випадку середня кількість інформації перенесена одним символом рівна ентропії символу на вході каналу
EMBED Equation.3
Швидкість передачі інформації
EMBED Equation.3 , (1.)
де EMBED Equation.3 - швидкість передачі елементарних символів сигналу; EMBED Equation.3 - середня тривалість елементарних сигналів.
Пропускна спроможність дискретного каналу без завад
EMBED Equation.3 .
Вважаючи EMBED Equation.3 заданою, отримаємо, що максимальна швидкість передачі інформації буде забезпечена при максимальному значенні ентропії кодованого сигналу
EMBED Equation.3 , (1.)
тобто при рівномірному розподілі імовірності і статистичній незалежності символів алфавіту сигналів.
Таким чином, швидкість передачі інформації може бути максимальною при умові, якщо статистичні характеристики джерела повідомлень певним чином узгоджені з властивостями інформаційного каналу. Для кожного джерела повідомлень це узгодження може бути досягнутий спеціальним вибором способу кодування сигналів.
Теорема Шенона для дискретного каналу без завад відповідає на питання про те, в якій мірі швидкість передачі інформації може бути наближена до пропускної спроможності інформаційного каналу. Теорема формулюється таким чином: якщо потік інформації, що виробляється джерелом, достатньо близький до пропускної спроможності каналу, тобто якщо справедлива рівність
EMBED Equation.3 , (1.)
де EMBED Equation.3 - як завгодно мала величина, то завжди можна знайти такий спосіб кодування, який забезпечить передачу всіх повідомлень, що виробляються джерелом, причому швидкість передачі інформації буде вельми близька до пропускної спроможності каналу:
EMBED Equation.3 ,
Обернене твердження теореми полягає в тому, що неможливо забезпечити тривалу передачу всіх повідомлень, якщо потік інформації, що виробляється джерелом, перевищує пропускну спроможність каналу
EMBED Equation.3 .
Таким чином, теорема Шенона стверджує, що при виконанні умови (1.) швидкість передачі інформації може бути у принципі як завгодно наближена до пропускної спроможності каналу. Це може бути забезпечено відповідним кодуванням сигналів.
1.9. Швидкість передачі інформації і пропускна спроможність
дискретного каналу із завадами
За наявності завад в каналі передачі інформації порушується однозначна відповідність між вхідним і вихідним алфавітами каналу. Одному вхідному сигналу із пеними умовними імовірностями можуть відповідати різні вихідні сигнали.
Швидкість передачі інформації по дискретному каналу з завадами
EMBED Equation.3 (1.)
де EMBED Equation.3 залишкова ентропія сигналу, зумовлена дією завад.
Вираз для швидкості передачі інформації може бути таким
EMBED Equation.3 (1.)
де EMBED Equation.3 ентропія вихідного сигналу; EMBED Equation.3 - умовна ентропія ви...
Ділись своїми роботами та отримуй миттєві бонуси!
0%
Оголошення від адміністратора