Подякувати Студентському архіву довільною сумою
Admin
26.02.2023 12:38
Дякуємо, що користуєтесь нашим архівом!
Моделювання роботи препроцесора для попередньої обробки мовних сигналів
Інформація про навчальний заклад
ВУЗ:
Національний університет Львівська політехніка
Інститут:
Не вказано
Факультет:
Не вказано
Кафедра:
Кафедра ЕОМ
Інформація про роботу
Рік:
2006
Тип роботи:
Розрахункова робота
Предмет:
Моделювання
Група:
СКС-52
Частина тексту файла (без зображень, графіків і формул):
.Міністерство освіти і науки України
Національний університет „Львівська політехніка”
Кафедра ЕОМ
Розрахункова робота №2
на тему:
„Моделювання роботи препроцесора
для попередньої обробки мовних сигналів ”
Підготував: ст. гр. СКС-52
Цигилик Л. О.
Прийняв: Попович Р. Б.
Львів 2006
Тема: Моделювання роботи препроцесора для попередньої обробки мовних сигналів.
Мета: Опрацювати та випробувати в середовищі MATLAB 6.0 програму, яка реалізує етапи попередньої обробки мовних зразків.
Теоретичне підґрунтя
Сучасні системи для розпізнавання суцільної мови з великим словником ґрунтуються на принципах статистичного розпізнавання образів [3,4]. На рис.1 показана структура типової системи статистичного розпізнавання, що включає чотири складових.
Складові виконують такі функції:
- звуковий препроцесор здійснює початковий етап обробки, на якому з мовного сигналу вибирається вся необхідна звукова інформація в компактному вигляді;
- звукова модель забезпечує обчислення правдоподібності будь-якої послідовності звукових векторів при заданій послідовності слів;
- модель мови забезпечує обчислення апріорної ймовірності послідовності слів незалежно від спостереження мовного сигналу. Для цього треба забезпечити механізм оцінки ймовірності певного слова у фразі, якщо знаємо попередні слова;
- класифікатор зводить воєдино дані від трьох раніше описаних компонент і знаходить найбільш імовірний текст (транскрипцію).
Принципи статистичного розпізнавання образів полягають у наступному [4].
На першому етапі мовний зразок перетворюється звуковим процесором на послідовність звукових векторів . Кожен вектор є стислим поданням короткочасного мовного спектру на інтервалі, як правило, близько 25 мс зі зсувом інтервалів на 10 мс. Типова фраза з десяти слів по 6-7 звуків у кожному може мати тривалість біля 3 с і представлятися послідовністю з Т=300 звукових векторів.
У загальному, фраза складається з послідовності слів . Робота системи розпізнавання полягає у визначенні найбільш імовірної послідовності слів , маючи звуковий сигнал Y. Для цього використовується правило Байєса [4]:
.
Ця рівність показує, що для знаходження найбільш правдоподібної послідовності слів W, повинна бути знайдена послідовність, що робить максимальним добуток P(W) та P(Y/W).Так як значення знаменника P(Y) не залежить від W, то його при розпізнаванні ігнорують.
Перший із співмножників є апріорною ймовірністю спостереження W незалежно від спостереження мовного сигналу. Ця ймовірність визначається моделлю мови.
Другий співмножник є ймовірністю спостереження послідовності векторів Y при заданій послідовності слівW. Ця ймовірність визначається звуковою моделлю.
В звуковій моделі послідовності слів розбиваються на базові звуки – фонеми. Кожна індивідуальна фонема представляється прихованою моделлю за Марковим (англійська назва – hidden Markov model (HMM)). HMM-модель фонеми, як правило, має три породжуючі стани та вхідний і вихідний стан. Вхідний і вихідний стани дозволяють моделям фонем об’єднуватися, щоб утворювати слова та об’єднувати слова для утворення речень (послідовності слів).
Розглянемо більш детально функції препроцесора для попередньої обробки мовних сигналів.
Звуковий препроцесор
Потрібен початковий етап обробки, на якому з мовного сигналу вибирається вся необхідна звукова інформація в компактному вигляді.
Принципове припущення, яке робиться в сучасних розпізнавачах [3,4] є те, що мовний сигнал розглядається як стаціонарний (тобто спектральні характеристики відносно постійні) на інтервалі в кілька десятків мілісекунд. Тому основною функцією попередньої обробки є розбиття вхідного мовного сигналу на інтервали [1 - 4] і отримання для кожного інтервалу згладженої спектральної оцінки. Зсув між інтервалами звичайно рівний 10 мс. Інтервали, як правило , перекриваються і мають тривалість 25 мс. Як звичайно для обробки такого типу до кожного інтервалу на початку застосовується функція вікна (наприклад, вікно Гемінга). Часто застосовують високочастотне підсилення, щоб компенсувати послаблення, спричинене розсіюванням звуку від губ.
Щоб отримати спектральні оцінки використовується швидке перетворення Фур’є.
Фур’є спектр згладжується додаванням спектральних коефіцієнтів у межах “трикутних” частотних смуг розташованих на нелінійній (подібній до логарифмічної) Mel-шкалі [4]. Для граничної частоти мови (16 КГц) беруть 24 таких частотних смуги. Mel-шкала введена для наближення частотного розділення людського вуха, яке є лінійним до 1000 Гц та логарифмічним понад 1000 Гц.
З метою зробити статистику оціненого спектру потужності мови близькою до Гауссової до виходів набору фільтрів застосовується логарифмічний стиск.
До прологарифмованих коефіцієнтів застосовують дискретне косинусне перетворення. Це зосереджує спектральну інформацію в кепстральних коефіцієнтах з малими номерами, а також декорелює їх, дозволяючи при наступному статистичному моделюванні використовувати діагональні коваріаційні матриці. Перші 12 кепстральних коефіцієнтів та логарифм енергії інтервалу сигналу утворюють базовий 13-елементний звуковий вектор.
Є ряд додаткових перетворень, які можна застосувати для отримання остаточного звукового вектора.
Для зменшення мультиплікативного шуму на звукових векторах роблять нормалізацію кепстральних коефіцієнтів. Для кожної з дванадцяти компонент обчислюються середні значення по всіх звукових векторах даного мовного зразка. Ці середні значення віднімаються від відповідних компонент всіх звукових векторів даного мовного зразка.
Компоненти логарифму енергії даного мовного зразка, які менші від максимального значення на 50 дБ, заміняються на значення цього порогу. Потім всі значення логарифму енергії масштабуються так, щоб максимальне значення стає рівним 1,0.
Припускається, що кожен звуковий вектор не зв’язаний зі своїми сусідами. Це досить грубе припущеня, бо фізичні обмеження голосового тракту людини передбачають плавні переходи між сусідніми спектральними оцінками. Проте додавання різниць та різниць різниць базових елементів значно пом’якшує припущення. Переважно для цього беруться два попередні та два наступні вектори. У результаті отримуємо 39-елементний вектор [4]. Кілька інших можливих варіантів отримання звукових векторів описано в [3].
Попередня обробка мовних зразків (реалізація звукового препроцесора) ISOLET
База даних ISOLET складається з 7800 мовних зразків окремо вимовлених звуків англійської мови. Два зразки кожного звуку були записані від 150 осіб. Зразки дискретизовані з частотою 16 КГц та мають розрядність 16. Середня тривалість зразків - 0,5 с.
Етапи попередньої обробки мовних зразків у базі даних ISOLET детально описані нижче.
1. Оцифрований (дискретизований за часом та квантований за рівнем) мовний сигнал розбиваємо на блоки по 25.6 мс із зсувом кожні 10 мс , тобто, блоки по 409 відліків кожен блок, із зсувом на 160 відліків.
2. Пропускаємо блоки через фільтр першого порядку
,
де Sn – n-й відлік у блоці.
3. Застосовуємо до блоку вікно Гемінга згідно з виразом
для n =1,...,409
4. Збільшуємо довжину блоку до 512 елементів за рахунок доповнення його вкінці потрібною кількістю нулів. Після цього застосовуємо дискретне перетворення Фур’є й отримуємо 256 спектральних комплексних значень.
5. Нульовий член ігноруємо, а величини решта 255 спектральних значень усереднюємо. Усереднення реалізуємо як 24 трикутні смугопропускні фільтри. Нижня, середня та верхня частоти подані в таблиці. Вони апроксимують Mel-шкалу згідно з формулою
g=2595 log10(1+ f / 700),
де g – частота в Mel, f – частота в Герцах.
Смуга
Нижня частота
Середня частота
Верхня частота
1
0,000 Гц
74,24 Гц
156,4 Гц
2
74,24 Гц
156,4 Гц
247,2 Гц
3
156,4 Гц
247,2 Гц
347,6 Гц
4
247,2 Гц
347,6 Гц
458,7 Гц
5
347,6 Гц
458,7 Гц
581,6 Гц
6
458,7 Гц
581,6 Гц
717,5 Гц
7
581,6 Гц
717,5 Гц
867,9 Гц
8
717,5 Гц
867,9 Гц
1034 Гц
9
867,9 Гц
1034 Гц
1218 Гц
10
1034 Гц
1218 Гц
1422 Гц
11
1218 Гц
1422 Гц
1647 Гц
12
1422 Гц
1647 Гц
1895 Гц
13
1647 Гц
1895 Гц
2171 Гц
14
1895 Гц
2171 Гц
2475 Гц
15
2171 Гц
2475 Гц
2812 Гц
16
2475 Гц
2812 Гц
3184 Гц
17
2812 Гц
3184 Гц
3596 Гц
18
3184 Гц
3596 Гц
4052 Гц
19
3596 Гц
4052 Гц
4556 Гц
20
4052 Гц
4556 Гц
5113 Гц
21
4556 Гц
5113 Гц
5730 Гц
22
5113 Гц
5730 Гц
6412 Гц
23
5730 Гц
6412 Гц
7166 Гц
24
6412 Гц
7166 Гц
8000 Гц
6. Логарифмуємо отримані 24 середні значення.
7. Обчислюємо перші 12 значень дискретного косинусного перетворення.
для i=1…12
де mj - значення логарифму j-го середнього значення.
8. У кінець додаємо тринадцятий елемент, енергію поточного блока .
Далі можна обчислювати ще 26 елементів. Це ”різниця” та “різниця-різниць” коефіцієнти. 13 “дельт” [O(u)t]14,….,[O(u)t]26 апроксимують степінь зміни базових коефіцієнтів косинусного перетворення та енергетичних коефіцієнтів. Їх обчислюємо так:
13 “дельта-дельт” , які апроксимують прискорення базових коефіцієнтів косинусного перетворення Фур’є та енергетичних коефіцієнтів, отримуємо за наведеною вище формулою.
Кожний логарифмічний енергетичний профіль запису скануємо і низькочастотні
значення заміняємо значенням на 50дБ нижче пікового значення. Потім енергетичний профіль масштабуємо так, щоб пікове значення було 1.0.
Зразок програми на мові сценаріїв MATLAB 6.0
Далі наведено зразок програми на мові сценаріїв MATLAB 6.0, яка реалізує описані вище етапи 1-5 попередньої обробки мовних зразків у базі даних ISOLET.
clear all;
vybirka = 1 ;
signal = wavread('example.wav') ;
subplot(3,3,1); plot(signal);title('example.wav');
d = length(signal) ;
i = 1 ;
while i < d - 408
vybirka = vybirka + 1 ;
y = signal(i : i + 408) ;
S(1) = 0.0 ;
for n = 2 : 409
S(n) = y(n) - y(n - 1) ;
end;
for n = 1 : 409
D(n) = (0.54 - 0.46 * cos(2 * pi * (n - 1) / 408)) * S(n) ;
end;
B = abs(fft(D ,512)) ;
C = B(1:256);
Hz = [0; 74.24; 156.4; 247.2; 347.6; 458.7; 531.6; 717.5; 867.9 ; 1034; 1213; 1422;1647; 1895; 2171;
2475; 2812; 3184; 3596; 4052; 4556; 5113; 5730;6412; 7166; 8000];
for n = 1 : 26
V(n) = round (Hz(n) * 256 / 8000) ;
V(1) = 1;
end;
Sum = 0 ;
R(1 : 24) = 0;
for j = 1 : 24
N = V(j + 2) - V(j);
N1 = V(j + 1) - V(j);
D1 = 1 / N1;
for k = 1 : N1
Sum = Sum - S(k + V(j)) * D1 * k;
end;
N2 = V(j + 2) - V(j + 1);
D2 = 1 / N2;
for k = 1 : N2
Sum = Sum - S(k + V(j + 1)) * (1 - D2 * k) ;
end;
R(j) = Sum / N ;
Result (vybirka,j) = R(j);
end;
i = i + 160;
end;
subplot(3,3,2); plot(y);title(' 409 values ');
subplot(3,3,3); plot(S);title(' applying filters');
subplot(3,3,4); plot(D);title(' Hemming');
subplot(3,3,5); plot(B);title(' 512 fft ');
subplot(3,3,6); plot(C);title(' 256 elements ');
subplot(3,3,7); plot(Result(vybirka,1:24));
title(' 24-element vector');
Типовий мовний зразок, який обробляємо – звуковий файл example з розширенням wav (вимовлене мною слово ”орестович”). Файли цього типу можна створювати, редактувати та прослуховувати за допомогою звукової плати, мікрофона й навушників у середовищі професійного звукового редактора Cool Edit Pro. Вигляд вікна цього звукового редактора показано нижче.
Графічне вікно середовища MATLAB 6.0, у якому ілюструються етапи попередньої обробки мовного зразка example.wav згідно з наведеною програмою, показано далі.
Висновок: в даній розрахунковій роботі я опрацював та випробував у середовищі MATLAB 6.0 програму, яка реалізує етапи попередньої обробки мовних зразків.
12.02.2013 18:02-
Ділись своїми роботами та отримуй миттєві бонуси!
0%
Оголошення від адміністратора