МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ
НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ «ЛЬВІВСЬКА ПОЛІТЕХНІКА»
кафедра Захисту інформації
ЗВІТ
про виконання лабораторної роботи №3
з курсу “Робота в Інтернеті”
Вивчення пошукових систем і програм для знаходження інформації в інтернеті
Варіант №4
Виконав:
студент групи ІБ - 44
Прийняв:
Ракобовчук Л.М.
Львів 2009
Мета: ознайомлення з пошуковими системами і програмами для пошуку інформації в Інтернеті, вивчення проблем пошуку та здійснення пошуку по ключовим словам й каталогам, пошук у зонах і елементах web-сторінки.
Короткі теоретичні відомості
У мережі Internet знаходяться мільярди Web-сторінок, терабайти інформації в різних файлах, але вся проблема в тому, що для одержання потрібної інформації необхідно вказати її точну адресу – URL. Саме цю адресу нам і потрібно знайти в першу чергу. Якщо ми знайдемо такий URL, то без проблем введемо його в адресний рядок програми Internet Explorer і побачимо потрібну Web-сторінку, або скачаємо файл.
Найпростіший спосіб знпходження адреси (URL)– побачити доменні імена в різних рекламних матеріалах. Як правило, вказується коротка адреса, що складається лише з доменного імені www.ukr.net.
Якщо адреса зовсім невідома, то для цього потрібно звернутися до спеціальних пошукових систем. Пошукові системи (пошукові каталоги, пошукові сервери) виконані у виді Web-сторінок, але на цих сторінках розташовується не інформація як така, а анотовані посилання на інші ресурси (сторінки, сайти).
Для виклику пошукової системи необхідно в адресному рядку програми Internet Explorer вказати її адресу.
Перший етап роботи пошукової системи – це індексування інформації, що знаходиться в Internet. Мережевний робот пошукової системи переглядає величезну кількість сторінок і заносить адреси і короткий зміст цих сторінок до себе в базу даних, точніше в пошуковий індекс. Власники сайтів будуть дуже раді, якщо їх сайт перегляне мережевий робот. Для того, щоб робот обов'язково переглянув сайт і вніс його в пошуковий індекс, власники самі реєструють свої сайти в пошуковій системі (як правило, у декількох пошукових системах). Процес занесення адреси й описи сторінки в пошукову систему називається індексація.
Пошук по ключових словах
Яндекс – це досить велика і популярна пошукова система. Щоденна аудиторія Яндекса складає більш 1 мільйона чоловік, а щомісячна – близько 8 мільйонів. Обсяг проіндексованої інформації, включеної в пошуковий індекс складає 5610 Гб – це 180 мільйонів унікальних документів, розташованих більш ніж на мільйоні серверів, і, звичайно, ці цифри постійно ростуть.
Основний алгоритм пошуку наступний:
введення ключових слів в поле запиту;
натиснення кнопки Знайти.
Після натискання кнопки Знайти, Яндекс виведе список посилань на документи, що найбільше точно відповідають запитові.
На сторінці Яндекс є деякі спеціальні позначення і посилання, призначені для полегшення перегляду і сортування знайдених сторінок.
Пошукова форма. Головний її елемент – поле запиту.
Статистика пошуку: кількість знайдених документів.
Сортування по спаданні дат чи по ревалентності. Спочатку список сортується по ревалентності, тобто по ступені відповідності результату запитові.
Результати пошуку – список знайдених посилань. Для кожного документа видається наступна інформація: заголовок – посилання на ресурс, коротка анотації ресурсу (сторінки), знайдені слова, схожі документи, і, якщо знайдений сайт описаний у каталозі, перехід у відповідну рубрику каталогу. Крім цього, інформація про розмір, дату документа, URL документа.
Перехід на наступні сторінки результату (потрібно клацнути по номерах сторінок).
Статистика запитів іншими корустувачами за місяць по кожному ключовому слову.
Рубрики каталогу. При натисненні на посилання відбувається перехід у відповідний розділ каталогу (виводиться лише при точній відповідності запитові).
Пошук в інших пошукових системах.
Мітками R1-R2 на малюнку позначені різні рекламні блоки.
Користуючись системою пошуку Яндекс знайдемо популярні пошукові сервери, Норвегії та Білорусії.
При введенні відповідного запиту пошукова система виводить такі результати:
В Норвегії популярним пошуковим сервером є Leti, а в Білорусі Kvazir та Зубр.
Завдання № 1. Знайти популярні пошукові сервери
7)США, 14)Білорусії
За допомогою пошукової системи Яндекс маємо такі результати:
популярними пошуковим сервером
США:
AOL Search
MSN
Netscape
Yahoo
Google
Білорусії:
KVAZIR
ЗУБР
Завдання № 2.
Знайти відповіді на наступні запитання, згідно свого варіанту
7) Знайти перелік всіх Пап Риських за всю історію їх існування Ватикану
I век Пётр • Лин • Клет • Климент I • Эварист
II век Александр I • Сикст I • Телесфор • Гигин • Пий I • Аникет • Сотер • Элевтерий • Виктор I • Зефирин
III век Каликст I • Урбан I • Понтиан • Антер • Фабиан • Корнелий • Луций I • Стефан I • Сикст II • Дионисий • Феликс I • Евтихий • Гай • Марцеллин
IV век Марцелл I • Евсевий • Мильтиад • Сильвестр I • Марк • Юлий I • Либерий • Дамасий I • Сириций • Анастасий I
V век Иннокентий I • Зосима • Бонифаций I • Целестин I • Сикст III • Лев I • Гиларий • Симплиций • Феликс III (II) • Геласий I • Анастасий II • Симмах
VI век Гормизд • Иоанн I • Феликс IV (III) • Бонифаций II • Иоанн II • Агапит I • Сильверий • Вигилий • Пелагий I • Иоанн III • Бенедикт I • Пелагий II • Григорий I
VII век Сабиниан • Бонифаций III • Бонифаций IV • Адеодат I • Бонифаций V • Гонорий I • Северин • Иоанн IV • Теодор I • Мартин I • Евгений I • Виталий • Адеодат II • Домн • Агафон • Лев II • Бенедикт II • Иоанн V • Конон • Сергий I
VIII век Иоанн VI • Иоанн VII • Сизинний • Константин • Григорий II • Григорий III • Захарий • Стефан II • Стефан II (III) • Павел I • Стефан III (IV) • Адриан I • Лев III
IX век Стефан IV (V) • Пасхалий I • Евгений II • Валентин • Григорий IV • Сергий II • Лев IV • Бенедикт III • Николай I • Адриан II • Иоанн VIII • Марин I • Адриан III • Стефан V (VI) • Формоз • Бонифаций VI • Стефан VI (VII) • Роман • Теодор II • Иоанн IX • Бенедикт IV
X век Лев V • Сергий III • Анастасий III • Ландон • Иоанн X • Лев VI • Стефан VII (VIII) • Иоанн XI • Лев VII • Стефан VIII (IX) • Марин II • Агапит II • Иоанн XII • Лев VIII • Бенедикт V • Иоанн XIII • Бенедикт VI • Бенедикт VII • Иоанн XIV • Иоанн XV • Григорий V • Сильвестр II
XI век Иоанн XVII • Иоанн XVIII • Сергий IV • Бенедикт VIII • Иоанн XIX • Бенедикт IX • Сильвестр III • Бенедикт IX • Григорий VI • Климент II • Бенедикт IX • Дамасий II • Лев IX • Виктор II • Стефан IX (X) • Николай II • Александр II • Григорий VII • Виктор III • Урбан II • Пасхалий II
XII век Геласий II • Каликст II • Гонорий II • Иннокентий II • Целестин II • Луций II • Евгений III • Анастасий IV • Адриан IV • Александр III • Луций III • Урбан III • Григорий VIII • Климент III • Целестин III • Иннокентий III
XIII век Гонорий III • Григорий IX • Целестин IV • Иннокентий IV • Александр IV • Урбан IV • Климент IV • Григорий X • Иннокентий V • Адриан V • Иоанн XXI • Николай III • Мартин IV • Гонорий IV • Николай IV • Целестин V • Бонифаций VIII
XIV век Бенедикт XI • Климент V • Иоанн XXII • Бенедикт XII • Климент VI • Иннокентий VI • Урбан V • Григорий XI • Урбан VI • Бонифаций IX
XV век Иннокентий VII • Григорий XII • Мартин V • Евгений IV • Николай V • Каликст III • Пий II • Павел II • Сикст IV • Иннокентий VIII • Александр VI
XVI век Пий III • Юлий II • Лев X • Адриан VI • Климент VII • Павел III • Юлий III • Марцелл II • Павел IV • Пий IV • Пий V • Григорий XIII • Сикст V • Урбан VII • Григорий XIV • Иннокентий IX • Климент VIII
XVII век Лев XI • Павел V • Григорий XV • Урбан VIII • Иннокентий X • Александр VII • Климент IX • Климент X • Иннокентий XI • Александр VIII • Иннокентий XII • Климент XI
XVIII век Иннокентий XIII • Бенедикт XIII• Климент XII • Бенедикт XIV • Климент XIII • Климент XIV • Пий VI • Пий VII
XIX век Лев XII • Пий VIII • Григорий XVI • Пий IX • Лев XIII
XX век Пий X • Бенедикт XV • Пий XI • Пий XII • Иоанн XXIII • Павел VI • Иоанн Павел I • Иоанн Павел II
XXI век Бенедикт XVI
14) Мережна система захисту
Система виявлення і запобігання вторгненням (IPS| - Intrusion| Prevention| System|) хакерів, програм-черв'яків в комп'ютерні мережі|сіті|, дозволяє в автоматичному режимі здійснювати активний захист IT-інфраструктури| з|із| реагуванням на зміни погроз в реальному масштабі часу.
Система передбачає установку пристрою|устрою| XSGuard| IPS| в лінію доступу в Інтернет послідовно з|із| firewall| (брандмауером), а також підключення до сервісного центру XSGuard| Systems| для підтримки баз даних вразливостей|, як показано на малюнку.
Краще всього якщо пристрій|устрій| XSGuard| IPS| буде підключений перед брандмауером або маршрутизатором, щоб|аби| максимально захистити IT-інфраструктури|у|, включаючи активне (комунікаційне) устаткування|обладнання| і засоби|кошти| захисту. Само пристрій|устрій| не взаємодіє з|із| мережевою|мережною| інфраструктурою.
Основою системи є|з'являється| аналіз вхідного трафіку з боку мережі Інтернет. В процесі аналізу перевіряється кожен пакет і визначається, чи є|з'являється| він шкідливим. Шкідливий пакет блокується. Після того, як пакет був заблокований, посилається інформація про це на призначений для користувача портал, де можна детально дізнатися про характер|вдачу| атаки.
У цьому і є принципова різниця між IDS| (Система виявлення вторгнень) і IPS| (Система запобігання вторгненням) системами. IDS| (Intrusion| Detection| System|) тільки|лише| повідомляє адміністратора про аномалію, а система XSGuard| IPS| відразу блокує атаки, при цьому посилаючи|відсилати| в центр підтримки невідомі аномалії для подальшого|дальшого| дослідження. Якщо дана аномалія виявилася невідомою атакою, то з|із| центру оновлення відразу розсилається оновлення на всі пристрої|устрої| XSGuard|.
У своїй роботі система порівнює дані пакетів з|із| більш ніж 5000 відомих зловмисних еталонів атак, таких як: Worms|, Trojan|, Code| Injection|, Cross| Site| Scripting|, SQL| Injection| і так далі Пристрій|устрій| в своїй роботі використовує два методи для виявлення і запобігання вторгненням.
Перший використовуваний метод - це аналіз сигнатур, а другий - аналіз протоколів. Обидва методи мають свої сильні і слабкі|слабі| сторони але|та|, працюючи разом як єдине ціле, вони дозволяють системі XSGuard| IPS| виявити і заблокувати атаки, які не можуть бути виявлені при використанні тільки|лише| одного з|із| методів. Так, аналіз протоколу використовує детальне знання про очікувані|сподівані| або нормальні значення в полях пакету, для того, щоб виявити шкідливий трафік.
Інструменти, використовувані в системі XSGuard| IPS|, перевіряють велику кількість полів різних протоколів на різних рівнях (включаючи 7-ою рівень) моделі OSI|. Система XSGuard| IPS| завдяки своєму аналізатору протоколів може виявити і заблокувати «найсвіжіші» атаки («эксплоиты| нульового дня»).
Пристрій|устрій| XSGuard| IPS| є|з'являється| невидимим для всіх IT-інфраструктур||: як внутрішніх, так і зовнішніх. Завдяки тому, що у|біля| пристрою|устрою| відсутній IP| і MAC| адресу його не можна скомпрометувати (атакувати) як із|із| зовнішньою, так і з внутрішньої сторони.
Передача даних між сервером XSGuard| і пристроєм|устроєм| XSGuard| IPS| надійно закрита|зачиняти| від несанкціонованого доступу. По цьому каналу передаються в реальному масштабі часу оновлення і облікові записи журналу|часопису| подій. Причому ініціалізація оновлень відбувається|походить| по команді сервера XSGuard| автоматично, без участі споживача.
Система підтримує більшість операційних систем (Windows|, Unix|, MacOs| і ін.) і працює зі|із| всіма протоколами (http|, ftp|, smtp|, pop3|, imap|, dns|, smb|), окрім|крім| нестандартних і протоколів шифрування. Не потребує налаштування устаткування|обладнання| і не вимагає фахівця з інформаційної безпеки. Підключення пристрою|устрою| займає|позичає| не більше чотирьох хвилин|мінут|.
Завдання № 3. Виконати завдання, згідно свого варіатну (див. табл.)
1) Користуючись розширеним пошуком знайти всі пошукові системи, які знаходяться в доменах .com, .ru та .net.
Пошукові системи
Найбільш популярні:
Yandex/Яндекс - yandex|.ru
Google| - google|.ru
Rambler/Рамблер - rambler|.ru
aport|.ru
Mail|.RU -
metabot|.ru - Metabot|.ru – Метапоїськ за допомогою ведучих російських пошукових систем. Міжнародний пошук.
go|.km.ru - пошук KM|.RU
rupoisk|.ru
lupa|.ru - пошукова система Лупа.ру
turtle|.ru - пошукова система Turtle| – Черепаха
rosisk|.ru - пошуковий сервер "Розшук"
files|.ru – Files|.Ru Російська Файлова пошукова система. Пошук по імені файлу або каталога (вони складаються з букв|літер| англійського алфавіту)
search|.kinklub.com – дитяча пошукова система "АГА"
Завдання № 4. Здійснити пошук відповіді на запитання, які подані в завданні № 2, але використовуючи програми для пошуку інформації в Інтернеті. Програма за допомогою якої потрібно здійснити пошук подається в таблиці.
Використовуючи програму Copernic Search маємо такі результати:
Висновок: Для пошуку інформації в сережі Інтернет кращою є пошукова система, ніж програма для пошуку, але треба зауважити, що прогама дає більш точний результат по конкретному запиту.