Аналіз та реалізація стиснення даних за допомогою алгоритма LZ-Хаффмана

Інформація про навчальний заклад

ВУЗ:
Національний університет Львівська політехніка
Інститут:
Не вказано
Факультет:
КН
Кафедра:
Кафедра САПР

Інформація про роботу

Рік:
2007
Тип роботи:
Інші
Предмет:
Методи та засоби комп’ютерних інформаційних технологій

Частина тексту файла (без зображень, графіків і формул):

Міністерство Освіти та Науки України Національний Університет “Львівська Політехніка” Кафедра САПР Пояснювальна записка до курсової роботи з дисципліни "Методи та засоби комп’ютерних та інформаційних технологій" на тему “Аналіз та реалізація стиснення даних за допомогою алгоритма LZ-Хаффмана” Львів•2007 Завдання до курсової роботи 1. Тема роботи: “ Аналіз та реалізація стиснення даних за допомогою алгоритма LZ-Хаффмана ” 2. Термін здачі студентом закінченої роботи: 3. Вихідні дані для роботи: виконуваний файл курсової роботи записка до курсової роботи 4. Зміст розрахунково-пояснювальної записки: розробка програми 5. Перелік графічного матеріалу 6. Дата видачі завдання: 16.03.03 Анотація Авер’янов.Р.Б., “ Аналіз та реалізація стиснення даних за допомогою алгоритма LZ-Хаффмана ”. Курсова робота. - НУ “Львівська політехніка”, каф.: САПР, дисципліна: “Методи та засоби комп’ютерних та інформаційних технологій”, 2007. Курсова робота складається з 24 сторінок, 9 рисунків, 1 додатку. У даній курсовій роботі розроблено програму кодування файлів методом Хаффмана. Зміст Завдання до курсової роботи    Анотація 3   Зміст 4   Вступ 5  1 Теоретична частина 6  1.1 Різновидності кодів 6  1.2 Рівномірні прості цифрові коди. 6  1.3 Складні коди 7  1.4 Рефлексні (відбиті) коди. 6  1.5 Оптимальне (ефективне) кодування. 8  1.6 Метод Хаффмана. 9  2 Практична частина 11  2.1 Опис програмної реалізації 11  2.2 Числовий приклад 12  2.3 Аналіз результатів 13  3 Висновки 13  4 Список використаної літератури 14   Додаток 15   Вступ По формі представлення в каналі передачі розрізняють послідовні і паралельні коди. При послідовних кодах елементарні сигнали, що передають кодову комбінацію посилаються в канал передачі послідовно в часі. Вони можуть бути розділені часовим інтервалом або опитуватися в певні моменти часу (наприклад, як у послідовному інтерфейсі RS - 232 C). Для паралельних кодів потрібні багатопровідні канали, тому при передачі інформації на значну відстань вони використовуються рідко через великі затрати (наприклад, паралельний інтерфейс Centronics). Паралельне представлення найчастіше використовується коли потрібна висока швидкість передачі даних (Centronics – 80 – 120 Кбайт/сек, сучасні двонаправлені системи – до 250 Кбайт/сек). По можливості виявлення та виправлення помилок розрізняють прості (примітивні) і коректуючі коди. В простих кодах помилка у будь-якому елементі кодової комбінації приводить до неправильного прийому декодованого повідомлення. Коректуючі коди дозволяють виявляти і усувати помилки у кодових комбінаціях. По основних законах кодоутворення коди поділяються на комбінаторні (нечислові) і арифметичні (числові). У даній роботі для кодування файлів використовується метод Хаффмана. Метод полягає в побудові кодового дерева Хаффмана, положення символа на якому визначається частотою (ймовірністю) його появи. 1. Теоретична частина 1.1. Різновидності кодів По формі представлення в каналі передачі розрізняють послідовні і паралельні коди. При послідовних кодах елементарні сигнали, що передають кодову комбінацію посилаються в канал передачі послідовно в часі. Вони можуть бути розділені часовим інтервалом або опитуватися в певні моменти часу (наприклад, як у послідовному інтерфейсі RS - 232 C). Для паралельних кодів потрібні багатопровідні канали, тому при передачі інфрмації на значну відстань вони використовуються рідко через великі затрати (наприклад, паралельний інтерфейс Centronics). Паралельне представлення найчастіше використовується коли потрібна висока швидкість передачі даних (Centronics – 80 – 120 Кбайт/сек, сучасні двонаправлені системи – до 250 Кбайт/сек). По можливості виявлення та виправлення помилок розрізняють прості (примітивні) і коректуючі коди. В простих кодах помилка у будь-якому елементі кодової комбінації приводить до неправильного прийому декодованого повідомлення. Коректуючі коди дозволяють виявляти і усувати помилки у кодових комбінаціях. По основних законах кодоутворення коди поділяються на комбінаторні (нечислові) і арифметичні (числові). Комбінаторні коди будуються по законах теорії поєднань. Наприклад, код з m різних символів утворює кодові комбінації з n<m символів. Довжина коду постійна і рівна n, а можлива кількість кодових комбінацій ; Наприклад, комбінації з 3 по 2: a, b, c =>ab, ac, bc. Арифметичні (числові, цифрові) коди базуються на системах числення і найчастіше використовуються в технічних системах. 1.2. Рівномірні прості цифрові коди. Системи числення, на основі яких будуються цифрові коди, поділяються на позиційні і непозиційні. В позиційних сисмтемах значення символа залежить від його позиції в ряду символів, що утворюють число. В непозиційних – ні. В позиційних системах значення кожного наступного розряду більше від попереднього в m раз (m – основа системи чиселення). При цьому будь-яке n-розрядне число може бути представлене у вигляді суми  де: lі - значення і-го розрядного коефіцієнта. Кількість можливих значень lі рівна m (від 0 до m-1). Приклад: чотирьохрозрядне десяткове число 4752=4*103+7*102+5*101+2*100. Максимальна кількість кодових комбінацій Nmax=mn. На практиці в технічних системах найчастіше використовуються двійкові коди  де: li = 0(1; Nmax = 2n; N=2010=0*25+1*24+0*23+1*22+0*21+0*20 (0101002) Двійковий код зручний для обробки машиною, однак для оператора громіздкий, тому використовують вісімкову або шістнадцяткову системи з основою рівною 23 і 2 4 відповідно.  N=(0248)= (0000101002)  N=(01416)= (0000000101002) Для запису шістнадцяткових чисел використовуються цифри 0-9 та букви А-F. Складні коди. Складні коди базуються на системах числення, що мають дві і більше основ. При такому кодуванні числа, задані в системі з основою q, записуються за допомогою цифр іншої системи числення з основою p<q. Найбільш характерні двійково-десяткові коди. Вони використовуються як проміжні при переводі десяткових у двійкові та навпаки. У двійково-десятковій системі числення основна система числення десяткова. Однак кожна цифра десяткового числа записується у вигляді чотирьохрозрядного двійкового числа. Найбільш часто використовують чотирьохрозрядні двійкові вагові коди 8-4-2-1; 7-4-2-1; 5-1-2-1; 2-4-2-1. Так як з 16 комбінацій використовують 10, то код – надлишковий. Приклад: 8 4 2 1 7 4 2 1 5 1 2 1 2 4 2 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 2 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 3 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1 4 0 1 0 0 0 1 0 0 0 1 1 1 0 1 0 0 5 0 1 0 1 0 1 0 1 1 0 0 0 1 0 1 1 6 0 1 1 0 0 1 1 0 1 0 0 1 1 1 0 0 7 0 1 1 1 1 0 0 0 1 0 1 0 1 1 0 1 8 1 0 0 0 1 0 0 1 1 0 1 1 1 1 1 0 9 1 0 0 1 1 0 1 0 1 1 1 1 1 1 1 1 1.4. Рефлексні (відбиті) коди. У простому (двійковому) коді при переході від одного числа до сусіднього може бути зміна цифр у кількох розрядах. Це може спричинити значні помилки при кодуванні неперервних повідомлень. Так, наприклад, кодування секторним перетворювачем кута при переході від 7 до 8 (1112 => 10002) тимчасово може дати значення 1111 (помилка у 2 рази). Для усунення цього явища використовують спеціальні двійкові коди, у яких при переході від числа до числа міняється тільки один розряд. При цьому похибка за рахунок неоднозначності зчитування не буде перевищувати одиниці цього числа. Одним з таких кодів є код Грея. Це непозиційний код, вага одиниці якого не визначається номером розряду. У цих кодах спостерігається симетричність відносно деякої осі відбиття – тобто ідентичність молодших розрядів. Звідси - “рефлексний код” (reflect – відбивати). У коді Грея вага одиниці у j-му розряді по абсолютній величині визначається формулою Wj= Причому знак сумованих членів додатній для всіх непарних одиниць в числі (записаних у коді Грея зліва направо) і від’ємний для всіх парних [1101101]г=--++ =64+32+16+8+4+2+1-32-16-8-4-2-1-8-4-2-1+4+2+1+1=57 двійковий код код Грея двійковий код код Грея 0 0000 0000 8 1000 1100 1 0001 0001 9 1001 1101 2 0010 0011 10 1010 1111 3 0011 0010 11 1011 1110 4 0100 0110 12 1100 1010 5 0101 0111 13 1101 1011 6 0110 0101 14 1110 1001 7 0111 0100 15 1111 1000 1.5. Оптимальне (ефективне) кодування. Ентропія джерела повідомлень визначається формулою  де:  - ймовірність появи xi з N символів алфавіту джерела. N – об’єм алфавіту джерела. Теорема Шенона для каналу без завад: в каналі зв’язку без завад можна так перетворити послідовність символів джерела, що середня довжина символів коду буде як завгодно близька до ентропії джерела повідомлень. Ентропія H(x) виступає кількісною мірою різноманітності повідомлень джерела і є його основною характеристикою. Ентропія джерела максимальна, якщо ймовірності повідомлень є рівними. Якщо одне повідомлення достовірне, а інші неможливі, то H(x)=0. Одиниця виміру ентропії – 1 біт. Це та невизначеність, коли джерело має однакову ймовірність двох можливих повідомлень (0 або 1). Ентропія H(x) визначає середню кількість двійкових знаків, необхідних для кодування початкових символів джерела. Наприклад, для російських букв n=32=25. Якщо вони подаються рівномірно і незалежні між собою, то H(x)<5. Для російського літературного тексту H(x)=1.5 біт, для віршів H(x)=1 біт, а для телеграм H(x)=0.8 біт. Це означає, що при певному способі кодування на передачу букви може бути затрачено відповідно 1.5, 1, 0.8 двійкових символів. Якщо символи нерівноімовірні і залежні, то ентропія буде менша від свого максимального значення Нmax(x)=log2N. При цьому можливе деяке більш економне (ефективне) кодування, при якому на кожен символ буде в середньому затрачено n*=H(x) символів коду. Коефіцієнт надлишковості визначається такою формулою Кнадл=1-H(x)/Hmax(x) Для характеристики досягнутого стиснення використовують коефіцієнт стиснення Кстисн=Lпочат/Lстисн Можна показати, що Кнадл>Кстисн. Різні методи оптимального кодування базуються на зменшенні надлишковості викликаної неоднаковою апріорною ймовірностю символів або залежністю між порядком надходження символів. В першому випадку для кодування використовується нерівномірний код - більш ймовірні символи мають коротший код, а менш ймовірні – довший. В другому випадку переходять від кодування окремих символів до кодування їх груп. При цьому здійснюється укрупнення алфавіту джерела, через те N зростає. Загальна надлишковість укрупненого алфавіту при цьому не міняється. Однак, зменшення надлишковості обумовлене зменшенням різниці ймовірностей різних груп символів. Таким чином, процес кодування зводиться до двох операцій: укрупнення алфавіту і кодування оптимальним нерівномірним кодом. Стиснення буває із втратами і без втрат. Втрати допустимі при стисненні аудіо-та відеоінформації (наприклад, MPEG - 20 до 1; MPEG3 - 100 до 1; TIFF - 10до 1 при 10% втрат, 100 до 1 при 20% втрат і т.д.). 1.6. Метод Хаффмана. Метод полягає в побудові кодового дерева Хаффмана, положення символа на якому визначається частотою (ймовірністю) його появи. Реалізація методу здійснюється по таких кроках: 1. Всім символам ставиться у відповідність одна з вершин дерева. 2. Об’єднуємо дві вершини з мінімальними частотами і для нової вершини вказуємо сумарну частоту. 3. Переходимо на пункт 2, доки не об’єднаємо всі вершини. 4. Обходимо дерево і визначаємо розряди коду по такому правилу: перехід вліво – розряд =1, перехід вправо – розряд = 0 (рис.3). Для програмної реалізації методу можна використати таку таблицю c 22 22 22 26 32 42 58 100 01 e 20 20 20 22 26 32 42 00 h 16 16 16 20 22 26 111 l 16 16 16 16 20 110 a 10 10 16 16 100 k 10 10 10 1011 m4 6 10101 b 2 10110 Рис. 3. 2. Практична частина Опис програмної реалізації Алгоритм програмної реалізації можна подати у вигляді наступної блок-схеми:  Рис. 2.1.1. Алгоритм програмної реалізації Розглянемо ці п’ять частин програми детальніше: 1. Задання вхідного файлу. На цьому етапі користувач безпосередньо взаємодіє із інтерфейсом програми, тобто він має змогу ввести ім’я вхідного файлу, а також опцію, для архівування/розархівування файлу: Відкриття файлу спроба відкрити вказаний файл якщо спроба вдала, виконуєм операцію. Архівування /розархівування тексту якщо вказана опція архівувати файл, то викликається Project1.exe здійснюється перевірка чи файл дійсно заархівований .za отримуємо попередню назву файлу отримуємо заархівований файл з розширенням .za розархівовуєм текст 4. Якщо файл треба розпаковуєм, то викликається Project2 - записуєм назву файлу для розпакування - розпакований “rozar.txt” 5. Кінець виконання операцій 2.2. Числовий приклад Project1.exe Begin time: 15:48:12.922 End time: 15:48:31.429 Вхідний файл – 1.txt Вхідний розмір файлу – 1,15кб Вихідний файл – 1.za Вихідний розмір файлу – 1.01кб Project2.exe Begin time: 15:49:51.574 End time: 15:50:2.59 Вхідний файл – 1.za Вхідний розмір файлу – 1.01кб Вихідний файл – rozar.txt Вихідний розмір файлу – 1.15кб 2. Project1.exe Begin time: 16:0:14.39 End time: 16:0:47.948 Вхідний файл – 2.txt Вхідний розмір файлу – 500kb Вихідний файл – 1.za Вихідний розмір файлу – 470kb Project2.exe Begin time: 16:2:44.916 End time: 16:2:53.48 Вхідний файл – 1.za Вхідний розмір файлу – 470kb Вихідний файл – rozar.txt Вихідний розмір файлу – 500kb 2.3. Аналіз результатів Час кодування – 18507 мс Час декодування – 13016 мс Розмір файлу вхідного – 1.15 Розмір вихідного файлу- 1.01 Час кодування – 33552 мс Час декодування – 8524 мс Розмір файлу – 500кб Розмір вихідного файлу – 470 кб 3.Висновки Темою даної курсової роботи є розробка програми для кодування файлів за допомогою метода Хаффмана. Метод полягає в побудові кодового дерева Хаффмана, положення символа на якому визначається частотою (ймовірністю) його появи. Код Хаффмана є нерівнозначним кодом, тобто, для розкодування послідовності бітів, яка є закодована кодом Хаффмана, недостатньо лише самої послідовності. Тобто це означає, що разом із самою послідовністю, потрібно передавати, або створений словник, який складається із символів, та відповідно їх кодів, або передавати кодове дерево. Передача готового словнику, як додаткової інформації є більш оптимальною з огляду, на швидкодію, оскільки, не треба по кодовому дереві формувати знову цей словник. Тобто раз сформувавши, ми вже користуємось ним. Також, якщо подивитися на довжину словника, та на довжину кодового дерева, яке по суті являє собою структуру даних, яка містить символи, та їх відповідні частоти, то виявиться, що довжина словника є не набагато меншою, за кодове дерево. Отже в цьому плані передача словника є більш ефективнішою. 4. Список використаної літератури Цымбал В.П. Теория информации и кодирование.: - К.: Вища школа, 1992. Лагутин О.И. Модемы. Справочник пользователя –СПб.:”Лань”,1997. У.Титце, К. Шенк. Полупроводниковая схемотехника.: - М.: Мир, 1982.. Додаток Метод Хаффмана Запаковування program Project1; {$APPTYPE CONSOLE} uses SysUtils; type Haf = record index:integer; sss:string; rozmir: integer; znachennya: byte; bik: byte; tf:boolean; end; tabl = record mass:string; byt:string; end; var gg,gr:integer; f:textfile; charf:file of char; kk,iii,n:integer; strn,ff,rrar,sa:string; h:integer; arr:array[1..5000000] of tabl; arra:array[1..5000000] of Haf; stra,sss:array[1..5000000,1..2] of string; s,s1:string; c:char; i,j,lk:integer; plus,glob:integer; Procedure minimum; var min1,min2,min:integer; i,ii,j,c:integer; m1,m2,zn1,zn2:integer; f:boolean; begin f:=true; for j:=1 to 2 do begin Min1:=plus+100000; for i:=1 to lk do begin begin if (arra[i].tf=true) and (arra[i].rozmir<=min1) then begin min1:=arra[i].rozmir; m2:=i; end end; end; arra[m2].tf:=false; zn2:=m2; if f=true then begin min:=min1; zn1:=m2; f:=false; end; end; arra[zn2].bik:=1; lk:=lk+1; arra[zn1].znachennya:=lk; arra[zn2].znachennya:=lk; arra[lk].index:=lk; arra[lk].sss:=arra[zn1].sss+arra[zn2].sss; plus:=min1+min+plus; arra[lk].rozmir:=min1+min; arra[lk].tf:=true; min:=0; min1:=0; end; Procedure dod; var ii,cod,z:integer; ss:string; f:boolean; begin f:=true; for ii:=1 to j do if c=stra[ii,1] then begin ss:=stra[ii,2]; val(ss,z,cod); z:=z+1; str(z,ss); stra[ii,2]:=ss; f:=false; end; if f=true then begin lk:=lk+1; stra[lk,1]:=c; stra[lk,2]:='1'; end; end; Procedure drova; var i,j:integer; Begin j:=0; for i:=1 to lk do begin j:=j+1; arra[i].index:=j; arra[i].sss:=stra[i,1]; arra[i].rozmir:=strtoint(stra[i,2]); arra[i].znachennya:=0; arra[i].bik:=0; arra[i].tf:=true; end; glob:=lk; for i:=1 to lk-1 do minimum; end; function xxx(kk:integer):string; var m:integer; begin strn:=strn+inttostr(arra[kk].bik); end; Procedure list; var i,j:integer; m,k,l:integer; s,str:string; begin l:=-1; h:=0; for iii:=1 to glob do begin h:=arra[iii].index; kk:=arra[iii].znachennya; strn:=inttostr(arra[h].bik); while kk<>0 do begin xxx(kk); kk:=arra[arra[kk].index].znachennya; end; for i:=1 to length(strn) do begin l:=l+1; k:=length(strn)-l; s:=s+strn[k]; end; l:=-1; k:=0; delete(s,1,1); strn:={str+}s; arr[h].mass:=arra[h].sss; arr[h].byt:=strn; s:=''; end; end; Procedure writeff; var i,x,k,j,n,ii,q,qq,g,k1:integer; cc:char; st,c,sss:string; begin gr:=0; j:=0; n:=256; q:=0; k:=0; qq:=0; for i:=1 to gg do begin for g:=1 to glob do begin if s[i]=arr[g].mass then st:=st+arr[g].byt end; end; qq:=length(st) mod 8; // writeln(qq); if qq<>0 then begin for i:=1 to (8-qq) do begin st:=st+'0'; end; end; sa:=st; while (length(st)-j)>=8 do begin while length(c)<>8 do begin j:=j+1; c:=c+st[j]; end; // k:=strtoint(c[1])*(n)+k; for ii:=1 to 8 do begin k:=strtoint(c[ii])*(n div 2)+k; k1:=n; n:= k1 div 2; // n:=round(n/2); end; // writeln(k); sss:=sss+chr(k); gr:=gr+1; k:=0; n:=256; c:=''; end; //writeln(st); //writeln(qq); //writeln('END'); rrar:=sss; end; Procedure fff; var i:integer; begin delete(ff,length(ff)-3,4); ff:=ff+'.zip'; writeln(ff); assignfile(f,ff); rewrite(f); // writeln(f,sa); writeln(f,gr); writeln(f,gg); writeln(f,glob); for i:=1 to glob do begin write(f,arr[i].mass); write(f,' '); writeln(f,arr[i].byt); end; writeln(f,rrar); closefile(f); end; VAR ii:longint; ch:char; BEGIN lk:=0; j:=0; n:=0 ; Writeln('Input your filename in this directory to pack.'); readln(ff); assignfile(charf,ff); reset(charf); N:=filesize(charf); for ii:=1 to N do begin read(charf,ch); s:=s+ch; end; closefile(charf); for i:=1 to length(s) do begin j:=j+1; gg:=j; c:=s[j]; dod; end; drova; list; writeff; fff; END. end. Розпакування {$H+} unit unr; interface uses Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms, Dialogs, StdCtrls; type m=record s:string; z:string; end; type TForm1 = class(TForm) Edit1: TEdit; Button1: TButton; procedure Button1Click(Sender: TObject); private { Private declarations } public { Public declarations } end; var aray: array[1..100000] of m ; Form1: TForm1; f:file of char; tf:textfile; str,st,strn,lis,sa:string ; kk:char; il,il1,kks:integer; l,l1:integer; implementation {$R *.dfm} function _char:string; begin str:=''; while true do begin read(f,kk); if kk=#13 then begin read(f,kk); break; end; str:=str+kk; _char:=str; end; end; function _char1:string; begin read(f,kk); str:=kk; read(f,kk); str:=str+kk; while true do begin read(f,kk); if kk=#13 then begin read(f,kk); break; end; str:=str+kk; _char1:=str; end; end; procedure TForm1.Button1Click(Sender: TObject); var i,m,k,j,n,q,ii,s:integer; str,ss,ss1:string; min,mm:integer; c:char; ccc:char; begin form1.Caption:=IntToStr(sizeof(ss)); assignfile(f,edit1.Text); //assignfile(tf,edit1.Text+'.my'); assignfile(tf,'unrar.txt'); rewrite(tf); reset(f); //sa:=_char; kks:=strtoint(_char); il:=strtoint(_char); il1:=strtoint(_char); for i:=1 to il1 do begin st:=_char1; aray[i].s:=st[1]; delete(st,1,2); aray[i].z:=st; end; min:=length(aray[1].z); for i:=2 to il1 do begin if min>(length(aray[i].z)) then min:=length(aray[i].z); end; st:=''; for i:=1 to kks do begin read(f,ccc); st:=st+ccc; end; //st:=_char; for i:=1 to length(st) do begin str:=''; c:=st[i]; //memo1.Lines.Add(c); l1:=ord(st[i]); q:=l1; l:=q; for ii:=1 to 8 do begin k:=l mod 2; s:=l div 2; str:=inttostr(k)+str; l:=s; end; ss:=ss+str; end; {ss1:=copy(ss,1,1); delete(ss,1,1); ss:=ss+ss1; } n:=1; //m
Антиботан аватар за замовчуванням

31.03.2013 00:03-

Коментарі

Ви не можете залишити коментар. Для цього, будь ласка, увійдіть або зареєструйтесь.

Ділись своїми роботами та отримуй миттєві бонуси!

Маєш корисні навчальні матеріали, які припадають пилом на твоєму комп'ютері? Розрахункові, лабораторні, практичні чи контрольні роботи — завантажуй їх прямо зараз і одразу отримуй бали на свій рахунок! Заархівуй всі файли в один .zip (до 100 МБ) або завантажуй кожен файл окремо. Внесок у спільноту – це легкий спосіб допомогти іншим та отримати додаткові можливості на сайті. Твої старі роботи можуть приносити тобі нові нагороди!
Нічого не вибрано
0%

Оголошення від адміністратора

Антиботан аватар за замовчуванням

Подякувати Студентському архіву довільною сумою

Admin

26.02.2023 12:38

Дякуємо, що користуєтесь нашим архівом!