МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ
НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ “ЛЬВІВСЬКА ПОЛІТЕХНІКА”
ВИВЧЕННЯ ПОШУКОВИХ СИСТЕМ І ПРОГРАМ ДЛЯ ЗНАХОДЖЕННЯ ІНФОРМАЦІЇ В ІНТЕРНЕТІ
МЕТОДИЧНІ ВКАЗІВКИ
ДО ЛАБОРАТОРНОЇ РОБОТИ № 3
З КУРСУ “РОБОТА В ІНТЕРНЕТІ”
для студентів базових напрямків
6.1601 «Інформаційна безпека»
6.170101 «Безпека інформаційних і комунікаційних систем»
6.170102 «Системи технічного захисту інформації»
6.170103 «Управління інформаційною безпекою»
Затверджено
на засіданні кафедри
“Захист інформації” протокол № від 2009 р.
Львів – 2009
Вивчення пошукових систем і програм для знаходження інформації в Інтернеті: Методичні вказівки до лабораторної роботи з курсу “Робота в Інтернеті” для студентів базових напрямків 6.1601 «Інформаційна безпека», 6.170101 «Безпека інформаційних і комунікаційних систем», 6.170102 «Системи технічного захисту інформації», 6.170103 «Управління інформаційною безпекою» / Укл. А.З. Піскозуб, І.І. Рудик, Л.М. Ракобовчук. - Львів: НУЛП, 2009, - 22 с.
Укладачі: Піскозуб А.З.., канд. техн. наук, доц.
Рудик І.І., асистент
Ракобовчук Л.М., канд. техн. наук, доц.
Відповідальний за випуск:
Дудикевич В.Б., проф., д.т.н, зав.каф. Захист інформації
Рецензенти:
Мета: ознайомлення з пошуковими системами і програмами для пошуку інформації в Інтернеті, вивчення проблем пошуку та здійснення пошуку по ключовим словам й каталогам, пошук у зонах і елементах web-сторінки.
Основні теоретичні відомості
Проблема пошуку і пошукові системи
У мережі Internet знаходяться мільярди Web-сторінок, терабайти інформації в різних файлах, але вся проблема в тому, що для одержання потрібної інформації необхідно вказати її точну адресу – URL. Саме цю адресу нам і потрібно знайти в першу чергу. Як Ви пам'ятаєте, адреса URL складається з доменного імені (або IP-адреси), шляху до файлу й імені файлу.
Якщо ми знайдемо такий URL, то без проблем введемо його в адресний рядок програми Internet Explorer і побачимо потрібну Web-сторінку, або скачаємо файл.
У мінімальному варіанті нам необхідно знати хоча б доменне ім'я ресурсу, а потім, переходячи по гіперпосиланнях, ми зможемо добратися до потрібної нам інформації.
Як знайти адресу (URL)? Існує декілька способів. Найпростіший спосіб – це побачити доменні імена в різних рекламних матеріалах. В даний час будь-яка поважаюча себе фірма, у тому числі будь-яке видавництво книг, журналів, редакції телеканалів мають свою адресу в Internet і звичайно вказують її на упаковках, у книгах, журналах, в ефірі телепрограм. Як правило, вказується коротка адреса, що складається лише з доменного імені, щось на зразок: http://www.ukr.net або ще коротше: www.ukr.net.
Але як бути, якщо адреса зовсім невідома? Наприклад, Вам необхідно знайти розклад потягів, але, швидше за все, Ви зовсім не знаєте по якій адресі його можна знайти. Так буває дуже часто і часом на пошук інформації іде до половини часу роботи в Internet. Отже, нам необхідно знайти URL або хоча б доменне ім'я ресурсу. Для цього звернемося до сховищ таких адрес, до спеціальних пошукових систем. Пошукові системи (пошукові каталоги, пошукові сервери) виконані у виді Web-сторінок, але на цих сторінках розташовується не інформація як така, а анотовані посилання на інші ресурси (сторінки, сайти).
Для виклику пошукової системи необхідно в адресному рядку програми Internet Explorer вказати її адресу. Пошукових систем у мережі Internet зараз досить багато. У таблиці 1 нижче перераховані лише найбільш популярні пошукові системи. Звичайно, у російськомовних системах міститься більше посилань на російськомовні ресурси, а в англомовних – на англомовні, тому пошук російськомовних ресурсів краще здійснювати в російськомовних пошукових системах.
Таблиця 1
Найменування
Адреса
Яндекс (рос.)
http://www.yandex.ru
Rambler (рос.)
http://www.rambler.ru
Апорт (рос.)
http://www.aport.ru
Google (укр.)
http://www.google.com.ua
Meta (укр.)
http://www.meta.ua
Yahoo!(англ.)
http://www.yahoo.com
AltaVista (англ.)
http://www.altavista.com
InfoSeek (англ.)
http://www.infoseek.com
Як працює пошукова система? Перший етап роботи пошукової системи – це індексування інформації, що знаходиться в Internet. Мережевний робот пошукової системи переглядає величезну кількість сторінок і заносить адреси і короткий зміст цих сторінок до себе в базу даних, точніше в пошуковий індекс. Власники сайтів будуть дуже раді, якщо їх сайт перегляне мережевий робот. Для того, щоб робот обов'язково переглянув сайт і вніс його в пошуковий індекс, власники самі реєструють свої сайти в пошуковій системі (як правило, у декількох пошукових системах). Процес занесення адреси й описи сторінки в пошукову систему називається індексація.
Таким чином, коли Ви запитаєте пошукову систему про те, де знаходиться розклад потягів, вона не буде шукати цю інформацію у величезній мережі Internet, а всього лиш шукатиме у своєму заздалегідь підготовленому пошуковому індексі, причому зробить це дуже швидко.
Зрозумілим є те, що другий етап роботи пошукової системи – це видача накопиченої і відібраної, відсортованої і класифікованої інформації згідно запитів користувачів. Далі буде детально розглянута робота одного з найбільш популярних пошукових систем – Яндекс.
Пошук по ключових словах
Найбільш простим і результативним пошуком є пошук по ключових словах. Давайте підключимося до Internet, відкриємо програму Internet Explorer і введемо в адресний рядок адресу пошукової системи: http://www.yandex.ru/. Ми докладно розберемося з правилами пошуку по ключових словах у пошуковій системі Яндекс. В інших системах ці правила можуть відрізнятися, але основні положення будуть ідентичні.
Ми вибрали Яндекс, оскільки Яндекс – це досить велика і популярна пошукова система. Щоденна аудиторія Яндекса складає більш 1 мільйона чоловік, а щомісячна – близько 8 мільйонів. Обсяг проіндексованої інформації, включеної в пошуковий індекс складає 5610 Гб – це 180 мільйонів унікальних документів, розташованих більш ніж на мільйоні серверів, і, звичайно, ці цифри постійно ростуть.
Рис. 3.1. Головна сторінка пошукової системи Яндекс.
Основний алгоритм пошуку наступний:
введіть ключові слова в поле запиту (наприклад, розклад потягів),
натисніть кнопку Знайти.
Після натискання кнопки Знайти, Яндекс виведе список посилань на документи, що найбільше точно відповідають запитові, і Ви побачите наступне:
Рис.3.2. Результат виконання запиту.
Давайте розберемося, яка інформація міститься на даній сторінці. Тут є деякі спеціальні позначення і посилання, призначені для полегшення перегляду і сортування знайдених сторінок.
Пошукова форма. Головний її елемент – поле запиту.
Статистика пошуку: кількість знайдених документів.
Сортування по спаданні дат чи по ревалентності. Спочатку список сортується по ревалентності, тобто по ступені відповідності результату запитові.
Результати пошуку – список знайдених посилань. Для кожного документа видається наступна інформація: заголовок – посилання на ресурс, коротка анотації ресурсу (сторінки), знайдені слова, схожі документи, і, якщо знайдений сайт описаний у каталозі, перехід у відповідну рубрику каталогу. Крім цього, інформація про розмір, дату документа, URL документа.
Перехід на наступні сторінки результату (потрібно клацнути по номерах сторінок).
Статистика запитів іншими корустувачами за місяць по кожному ключовому слову.
Рубрики каталогу. При натисненні на посилання відбувається перехід у відповідний розділ каталогу (виводиться лише при точній відповідності запитові).
Пошук в інших пошукових системах.
Мітками R1-R2 на малюнку позначені різні рекламні блоки.
Оскільки в системі Яндекс дуже багато різної інформації, то результат пошуку по фразі «розклад потягів» дуже великий, для полегшення перегляду потрібної інформації її слід уточнити, для цього давайте розглянемо, що для цього передбачено в пошуковій формі.
Рис. 3.3. Пошукова форма системи Яндекс.
Два основних елементи в пошуковій формі ми вже знаємо, це пошукове поле і кнопка Знайти. Прапорець «у знайденому» дозволяє шукати в результатах попереднього запиту. Наприклад, по запиті розклад потягів система видала 300 тис. Сторінок, ми вводимо наступний запит далекого прямування і встановлюємо прапорець «у знайденому» – тепер пошук буде здійснюватись серед цих 300 тис. Сторінок.
Обмежуючи область пошуку, ми тим самим відкидаємо частину свідомо непотрібної нам інформації. Але часто буває необхідність вести пошук у всій базі, але для відкидання непотрібної інформації доводиться вводити різні додаткові відомості. Для цього служить Розширений пошук. Він вмикається натисненням по посиланню «розширений пошук», або по значку «+».
Рис. 3.4. Сторінка введення умов розширеного пошуку.
Ця сторінка дозволяє Вам більш тонко вказати умови пошуку. Важливим є те, що знайдені в результаті документи будуть відповідати відразу всім умовам, поставленим Вами. Давайте розберемося з особливостями введення умов розширеного пошуку.
Поле запиту – введіть слова, що обов'язково повинні бути в знайдених документах, перед словами, яких не повинно бути в документах поставте знак мінус (пробіл ставте до знака, але не після), наприклад, -електричка.
Розташування слів відносно один одного – підряд, в одному словосполученні, не дуже далеко (у межах декількох рядків), на одній сторінці.
Розташування слів на сторінці – де завгодно (у будь-якому місці сторінки), у заголовку (заголовок сторінки відображається в заголовку вікна програми Internet Explorer, тобто в синій смузі), у тексті посилання (слово є гіперпосиланням), також можна вказати адресу, куди веде дане посилання – таким чином, зручно шукати ті сторінки, що посилаються на дані (адресу яку Ви вказали).
Форма вживання слів. Система Яндекс вміє ставити у відмінки введене слово і за замовчуванням знаходить документи, у яких зустрічаються усі форми слова. Якщо Ви виберете «точно так, як у запиті», то Яндекс буде шукати лише введену Вами форму слова. Це зручно при пошуку цитат.
Мова сторінки – вкажіть мову, на якій повинна бути виведена сторінка. Мова міститься в невидимому користувачеві заголовку сторінки. В базу Яндекса вносяться документи російськомовного Інтернету, що знаходяться в доменах su, ru, am, az, by, ge, kg, kz, md, tj, ua, uz, а також закордонні сайти, що представляють інтерес для російськомовного пошуку.
Дата сторінки – вкажіть кожен із запропонованих варіантів, або введіть період (дати початку і кінця), у межах якого повинна знаходитися дата документа.
Формат документа. Усі Web-сторінки мають формат HTML, тобто виконані з використанням мови розмітки гіпертексту, однак, у мережі Internet присутні документи й інших форматів, що також можна переглядати за допомогою програми Internet Explorer: PDF – файл публікації, DOC – документ, створений у програмі Microsoft Word, RTF – відформатований текст (універсальний формат).
Сторінки містять посилання – вкажіть URL цього посилання.
Сторінки знаходяться на сайті – вкажіть доменне ім'я сайта.
Сторінки схожі на сторінку – вкажіть URL сторінки-зразка.
У нижній жовтій панелі «Разом:» буде цілком сформульований Ваш запит. Оскільки ми шукаємо «свіжий» розклад руху потягів, то можна скористатися умовою Дата сторінки.
Поради при пошуці в системі Яндекс
1. Перевіряйте орфографію. Якщо пошук не знайшов жодного документа, то Ви, можливо, допустили орфографічну помилку в написанні слова. Перевірте правильність написання. Якщо ви використовували при пошуці кілька слів, то подивіться на кількість кожного зі слів у знайдених документах (перед їх списком після фрази «Результат пошуку»). Якесь зі слів не зустрічається жодного разу? Швидше за все, його ви і написали невірно.
2. Використовуйте синоніми. Якщо список знайдених сторінок занадто малий або не містить корисних сторінок, спробуйте змінити слово. Наприклад, замість «реферати» як найбільше підійдуть «курсові роботи» або «твору». Спробуйте задати для пошуку три-чотири слова-синоніма відразу. Для цього перелічіть їх через вертикальну риску (|). Тоді будуть знайдені сторінки, де зустрічається хоча б одне з них. Наприклад, замість «фотографії» спробуйте «фотографії | фото | фотознімки».
3. Шукайте більше, ніж по одному слову. Слово «психологія» або «продукти» дадуть при пошуці поодинці велику кількість безглуздих посилань. Додайте одне або два ключових слів, пов'язаних із шуканою темою. Наприклад, «психологія Юнга» або «продаж і покупка продовольчих товарів». Рекомендуємо також звужувати область вашого питання. Якщо ви цікавитеся автомобілями ГАЗ, то запити «автомобіль Волга» або «автомобіль ГАЗ» видадуть більш потрібні документи, а ніж «легкові автомобілі».
4. Не пишіть великими буквами. Починаючи слово з великої літери, ви не знайдете слів, написаних з маленької літери, якщо це слово не перше в пропозиції. Тому не набирайте звичайні слова з Великої Літери, навіть якщо з них починається ваше питання Яндексу. Великі літери в запиті рекомендується використовувати лише в власних іменах. Наприклад, «телепередача Здоров'я».
5. Знайти схожі документи. Якщо один зі знайдених документів ближче до шуканої теми, ніж інший, натисніть на посилання «схожі документи». Посилання розташоване під короткими описами знайдених документів. Яndex проаналізує сторінку і знайде документи, схожі на той, що ви вказали.
6. Використовуйте знаки «+» і «-«. Щоб виключити документи, де зустрічається визначене слово, поставте перед ним знак мінус. І навпаки, щоб визначене слово обов'язково було присутнє в документі, поставте перед ним плюс. Зверніть увагу, що між словом і знаком плюс-мінус не повинно бути пробілу. Наприклад, якщо вам потрібен опис Парижа, а не пропозиції численних турагентств, має сенс задати такий запит «путівник по Парижу –агентство –тур». Плюс варто використовувати в тому випадку, коли потрібно знайти так звані стоп-слова (найбільш частотні слова російської мови, в основному це займенники, прийменники, частки). Щоб знайти цитату з Гамлета, треба задати запит «+бути або +не бути».
7. Спробуйте використовувати мову запитів. За допомогою спеціальних знаків ви зможете зробити запит більш точним. Наприклад, вкажіть, яких слів не повинно бути в документі, або що два слова повинні йти підряд, а не просто обидва зустрічатися в документі.
8. Шукати без морфології. Ви можете змусити Яндекс не враховувати форми слів із запиту при пошуці. Наприклад, запит Іваново знайде лише сторінки зі згадуванням цього прізвища, а не міста «Іваново».
9. Пошук картинок і фотографій. Яндекс вміє шукати не лише в тексті документа, але і відшуковувати картинки за назвою файлу або підпису, назві посилання на картинку.
Рис. 3.5. Пошук картинок.
При пошуку можна задати бажаний розмір картинки. Картинки групуються по площі:
«Дрібні» до 1000 квадратних пікселів
«Маленькі» від 1000 до 10 000 квадратних пікселів
«Середні» від 10 000 до 100 000 квадратних пікселів
«Великі» від 100 000 до 1000 000 квадратних пікселів
«Величезні» понад 1000 000 квадратних пікселів
Для пошуку введіть пошуковий вираз, вкажіть бажаний розмір картинки і клацніть по посиланню Картинки.
При пошуці по можливості виключаються рекламні баннери і копії картинок (однакові зображення). У результатах пошуку видається не більш однієї картинки від одного сайту. Також доступна розширена інформація про картинку.
Синтаксис мови запитів
У системі Яндекс як і в будь-якій іншій пошуковій системі існує спеціальна мова запитів, використовувати яку більш складно, ніж форму розширеного пошуку, але при її використанні можна одержати більш кращий результат.
Пошуковий запит вводиться в пошукове поле, він може містити ключові слова і спеціальні символи, що дозволяють встановити взаємозв'язок між цими словами і ввести додаткові параметри. Більшість цих символів представлено в таблиці 2.
Таблиця 2
Синтаксис мови запитів системи Яндекс.
Символ
Призначення
Приклад
" "
пошук фрази
"червона шапочка"(еквівалентно червона /+1 шапочка)
+
обов'язкова наявність слова в знайденому документі
+бути або +не бути
~~ або -
не повинно бути слова в межах документа (І НЕ)
путівник по парижеві ~~ (агентство | тур)
~
не повинно бути слова в межах одного словосполучення (І НЕ)
банки ~ закон
!
шукати лише зазначену форму слова
!Париж
пробіл або &
логічне І (у межах пропозиції)
фабрика зірок
&&
логічне І (у межах документа)
музика && (фабрика зірок)
|
логічне АБО
малюнок | картинка | фото | колаж
/(n m)
відстань між словами (-назад +вперед)
постачальники /2 кавамузичне /(-2 4) утвореннявакансії ~ /+1 студентів
&&/(n m)
відстань у кроках (-назад +вперед)
банк && /1 податки
( )
груповання слів
(технологія | виготовлення) (сиру | сиру)
Основні положення мови запитів:
Якщо ключові слова є стійким словосполученням або єдиною фразою, то пишіть їх у лапках.
Якщо слова не об'єднані лапками, то кожне слово буде саме по собі і перед кожним з них можна поставити знак плюс «+», якщо слово обов'язково повинно бути в знайдених документах, мінус «-», якщо слово не повинно бути в знайдених документах (пробіл ставиться перед знаком, але не після). Якщо перед словом поставити знак ~ (тильда), то цього слова не повинно бути в межах одного словосполучення в сукупності з поруч розташованим в запиті словом. Примітка: за замовчуванням будуть знайдені і ті документи, що задовольняють хоча б одному з ключових слів. Такі посилання будуть мати низьку ревалентність і будуть знаходитися наприкінці результатів запиту.
Незалежно від того, у якій формі ви вжили слово в запиті, Яндекс враховує усі форми цього слова за правилами російської мови. Щоб цього не відбувалося, поставте знак оклику перед незмінним словом.
Усі слова, написані через пробіл або знак & (логічне І) повинні одночасно знаходитися в знайдених документах у межах одного словосполучення. Усі слова, написані через && повинні одночасно знаходитися в знайдених документах, але відстань між ними не враховується.
Слова, написані через символ | (логічне АБО) є заміняючими одне одного (синонімами), і будуть знайдені документи, що задовольняють хоча б одному з цих слів.
Можна вказати відстань між словами. Якщо пронумерувати слова в словосполученнях, то відстань між словами – це різниця номерів слів. Наприклад, якщо між двома словами може знаходитися лише одне слово, то відстань між ними дорівнює 2 (3 мінус 1). Число вказується після знаку /, наприклад регіональний /2 центр. У цьому випадку будуть знайдені документи, у яких ці слова знаходяться або разом, або між ними є ще одне слово. Запис /2 еквівалентна запису /(-2 +2), у такій формі можна вказати максимальну і мінімальну кількість слів, наприклад, від 3 до 5 записується /(3 5). Мінус і плюс вказують на порядок слів: мінус – зворотний порядок. Якщо перед символом / указати &&, то відстань буде обчислюватися в кроках.
Для груповання окремих частин запиту використовуйте круглі дужки.
Пошук у зонах і елементах web-сторінки.
Web-сторінка складається з визначених зон і елементів. Відповідно можна здійснювати пошук у зонах і в елементах. Наприклад, для пошуку в заголовку сторінки (заголовок відображається в заголовку вікна оглядача) вказують: $title (вираз), пошук у тексті посилань аналогічний (див. Таблицю 3), а загальний синтаксис такий: $ім'я_зони (вираз)
Примітка: вираз може бути представлений як одним ключовим словом, так і декількома словами, об'єднаними зазначеними вище знаками логічних операцій.
Для пошуку в елементах використовується синтаксис: #ім’я_елемента=(вираз)
Елементи відрізняються від зон тим, що їх здебільшого не видно користувачеві, що переглядає сторінку. Так, наприклад, ключові слова вказуються в невидимому заголовку Web-сторінки і не виводяться в браузері. Їх можна побачити лише виконавши Вид-В виде HTML. Більшість документів мають опис (abstract), що також не виводиться на сторінку. Підпис малюнків видно тлише в тому випадку, якщо завантаження малюнків відключене, або якщо навести мишку на малюнок, то підпис з'явиться у вигляді підказки.
Таблиця 3
Синтаксис пошуку в елементах і зонах
Синтаксис
Призначення
Приклад
$title (вираз)
пошук у заголовку
$title (Яндекс)
$anchor (вираз)
пошук у тексті посилань
$anchor (Яндекс | Апорт)
#keywords=(вираз)
пошук у ключових словах
#keywords=(пошукова система)
#abstract=(вираз)
пошук в описі
#abstract=(искалка | пошук)
#image="значення"
пошук файлу зображення
#image="tort*"
#hint=(вираз)
пошук у підписах до зображень
#hint=(lviv | львів)
#url="значення"
пошук на заданому сайті (сторінці)
#url="www.lp.edu.ua*"
#link="значення"
пошук посилань на заданий URL
#link="www.yandex.ru*"
#mime="значення"
пошук у документах даного (pdf або rtf) типу
#mime="pdf"
Сортування результатів запиту.
Після того, як пошукова система вибере сторінки, що задовольняють запитові, вона сортує посилання на ці сторінки в порядку спадання їхньої ревалентності.
Ревалентність – це ступінь відповідності змісту документа пошуковому запитові. Релевантність документа залежить від ряду факторів, у тому числі від частотних характеристик шуканих слів, ваги слова або виразу, близькості шуканих слів у тексті документа один від одного і т.д.
Користувач може вплинути на порядок сортування, використовуючи оператори ваги й уточнення запиту. Вага вказується для того, щоб збільшити ревалентність документів, що містять слово або вираз, вага якого зазначена.
Синтаксис: слово:число або (пошуковий_вираз):число Чим більша вага зазначена для слова (або виразу), тим вище ревалентність документів, що його містять. Наприклад, по запиту Батьківщина Франка:5 у результатах пошуку нагорі списку будуть знаходитися документи, в яких частіше зустрічається саме слово Франка. Уточнююче слово або вираз застосовується для того, щоб збільшити релеватність документів, що їх містять.
Синтаксис: <- слово або <- (уточнюючий_вираз). Наприклад, по запиту телефон <- автовідповідач будуть знайдені всі документи, що містять слово телефон, але першими будуть видані сторінки, що містять слово автовідповідач.
Примітка: крім сортування по ревалентності Ви можете вибрати сортування по даті документів, клацнувши по відповідному посиланню.
Пошук по каталогах
Коли мережевний робот пошукової системи сканує Internet і автоматично вносить описи й адреси сторінок у свій пошуковий індекс, то разом з корисними й адекватними посиланнями в базі даних виявляється багато пошукового сміття або пошукового спаму, тому що деякі несумлінні власники сайтів, намагаючись збільшити відвідуваність своїх ресурсів, додають у свої сторінки найбільш популярні пошукові слова, що зовсім не відносяться до теми сторінки. Це і деякі інші обставини змушують творців пошукових систем крім автоматичного індексу вести також каталоги ресурсів, складені вручну. Такий каталог є й у пошуковій системі Яндекс.
Каталог дозволяє класифікувати ресурси і згрупувати їх по тематиці. Тематичне дерево каталогу Яндекса зроблено максимально простим. На першому рівні в ньому всього сім тем:
Розваги,
Спорт і відпочинок,
Робота і навчання,
Технології
Бізнес,
Будинок і авто,
Сайти Львова
Якщо клацнути за назвою теми, то відкриються підтеми (рубрики). При подальшому русі всередину будуть відкриватися наступні рівні (підрубрики), і в підсумку відкриється список ресурсів (сайтів) обраної тематики.
Рис. 3.6. Тематика каталогу системи Яндекс.
Ресурси в системі чітко структуровані по тематиці, однак, крім теми, у каталозі існує ряд додаткових ознак (фасет), що дозволяють уточнити характер ресурсів, що користувач хоче побачити в тематичних категоріях. Ці нетематичні ознаки характеризують ресурси по регіону, секторові економіки, ступені вірогідності (джерела) інформації, її потенційної аудиторії (адресатові інформації), жанрові (художня література, науково-технічна література, і т.д.), мети (пропозиція товарів і послуг, інтернет-представництво) і т.д.
Сайти в рубриках розташовані по спаданню їхнього тематичного індексу цитування. Тематичний індекс цитування – це показник, що показує кількість посилань на даний ресурс з інших ресурсів. При розрахунку цього індексу посиланням надається різна «вага» (значимість) у залежності від авторитетності сайту, на який посилається. Таким чином, у перших позиціях каталогу будуть саме найбільш визнані ресурси, ресурси – джерела інформації, ресурси, що цитують, на які посилаються. У каталозі можна також здійснювати пошук по ключових словах, як і у всьому пошуковому індексі, для цього необхідно після введення ключових слів у пошуковій формі (рис. 3.3) клацнути по посиланню Каталог.
Пошук у каталозі ведеться по текстах заголовків і описів, складених редакторами пошукової системи Яндекс. Оскільки заголовки відбивають основний профіль сайта, сайти, знайдені по заголовку, варують у результатах пошуку більше, ніж сайти, знайдені по опису.
На закінчення необхідно відзначити, що якщо пошук у системі Яндекс як у всій базі, так і в каталозі не дав необхідних результатів, то спробуйте пошукати те саме в іншій пошуковій системі. Для цього на сторінці результатів пошуку є відповідні посилання.
Програми для пошуку інформації в Інтернеті
Іншим типом пошуку інформації, що допомагають Вам орієнтуватися в ресурсах Інтернету, є автономні пошукові програми-роботи, тобто спеціалізовані програми, встановлені на комп’ютер користувача, що полегшують йому пошук і іноді отримання інформації з мережі. Пошук інформації за допомогою таких програм має одну незаперечну перевагу: є можливість вибору пошукової системи і настройок параметрів пошуку в повній відповідності із запитами користувача.
Copernic 2000 представляє собою класичний приклад програми-робота. Ця програма проста в обігу і одночасно дуже могутня по своїх можливостях. Робот проглядає одноразово безліч пошукових серверів, розбитих на групи (що дозволяє заздалегідь обмежити область пошуку), причому посилання, що повторюються, віддаляються. Результати пошуку виводяться у вікні програми і можуть зберігатися у вигляді html-файлів. Copernic уміє також зберігати знайдені документи на диску для їх подальшого перегляду і проводити пошук серед них.
Search+ призначена для швидкого інтегрованого пошуку необхідної інформації в Інтернеті. Серед плюсів використання Search+ можна виділити мінімізацію завантажуваної інформації, одночасний пошук і проглядання результатів пошуку відразу по декількох серверах, можливість перевірки посилань, розділення пошукових серверів по регіонах, відкритий код визначення пошукових серверів – ви можете самі додавати пошукові машини, багатомовний інтерфейс (англійський – російський – український – німецький-французький). Як недоліки можна відзначити неповне використання всіх можливостей окремо взятого пошукового серверу.
Окрім вузькоспеціалізованих пошукових програм, пошукові системи можуть бути інтегровані в деяких інших програмах. Наприклад, популярний менеджер завантаження файлів з Інтернету Net Vampire, дозволяє знайти альтернативні адреси для забезпечення виконання існуючого завдання. Він також має нагоду виконати пошук нового файла і, грунтуючись на результатах пошуку, створити нове завдання. Всього пошук здійснюється на 11 пошукових систем, в основному по протоколу FTP, але програма дозволяє знайти розташування файла і в HTTP, використовуючи такі пошукові машини, як Yahoo, Alta Vista або Excite. Вампір не тільки уміє відшукувати потрібні файли, але і може тестувати лінії зв’язку із знайденими архівами, видаючи різноманітну корисну інформацію, що дозволяє вибрати для закачування файла найбільш швидкий сервер.
Завдання для виконання роботи
У будь-якій з відомих пошукових систем здійснити пошук інформації (перелік тем вказаний нижче). При пошуці максимально використати синтаксис мови запитів, і ті з запитів які були найпродуктивнішими подати в звіті.
Завдання № 1. Знайти популярні пошукові сервери, згідно свого варіанту (див. табл.): 1)Польщі, 2)Данії, 3)Норвегії, 4)Фінляндії, 5)Чехії, 6)Німеччини, 7)США, 8)Австрії, 9)Голландія, 10)Італії, 11)Швеції, 12)Франції, 13)Австралії, 14)Білорусі, 15)Литви, 16)Хорватії, 17) Греції
Завдання № 2. Знайти відповіді на наступні запитання, згідно свого варіанту (див. табл.):
Скільки було всього президентів США
Коли народився перший президент України
Коли була створена і хто був першим президентом Національної Академії наук України
Застосування функцій режиму «Головний документ» під час створення документів
Рейтинг антивірусного забезпечення (3-4 джерела)
Знайти сайти, на яких розміщенні електронні перекладачі (2-3 сайти)
Знайти перелік всіх Пап Риських за всю історію їх існування Ватикану
Знайти основні поняття і визначення факторного аналізу
Знайти склад команди Радянського Союзу, яка брала участь у фіналі Чемпіонату світу 1986 року
10) Вимоги до захисту секретної інформації
11) Оцінка надійності систем захисту інформації
12) Системний підхід до проектування системи захисту інформації
13) Архітектура системи захисту
14) Мережна система захисту
15) Механізми парольного захисту
16) Управління доступом до ресурсів
17) Технологія програмно-апаратного захисту
18) Дайте визначення поняттю «комерційна таємниця» (відповідно до законодавства)
19) Правові наслідки розголошення комерційної таємниці
20) Знайти маршрут руху всіх маршрутних таксі м.Львова
21) Знайти маршрут руху трамваїв м. Львова
22) Що таке допуск та доступ до державної таємниці?
Завдання № 3. Виконати завдання, згідно свого варіатну (див. табл.)
1) Користуючись розширеним пошуком знайти всі пошукові системи, які знаходяться в доменах .com, .ru та .net.
Дослідіть дію операторів “+”-“ “~”. Проведіть пошук з використанням цих операторів.
Порівняйте результат пошуку з ключем, що складається з двох слів і ключем, що містить ці ж два слова, але взяті в подвійні лапки.
Користуючись метакомандою link: знайти всі сторінки, які посилаються на сторінку www.google.com.ua.
Здійснити пошук слова «Захист інформації» на сайті www.lp.edu.ua використовуючи пошукову систему.
Завдання № 4. Здійснити пошук відповіді на запитання, які подані в завданні № 2, але використовуючи програми для пошуку інформації в Інтернеті. Програма за допомогою якої потрібно здійснити пошук подається в таблиці.
№ варіанту
Завдання № 1
Завдання № 2
Завдання № 3
Завдання №4
1
1, 3
21, 3
1
Copernic
2
2, 6
2, 6
2
Search+
3
5, 4
5, 4
3
WebMachine
4
7, 14
7, 14
4
Fast Privat Proxy
5
9, 12
9, 12
5
SearchTree
6
16, 10
16, 19
1
Surf Pilot SE
7
13, 8
13, 8
2
WebSearch
8
15, 11
15, 18
3
PathFinder
9
17, 6
17, 6
4
Copernic
10
9, 16
9, 16
5
Search+
11
7, 1
7, 1
1
WebMachine
12
13, 5
13, 5
2
Fast Privat Proxy
13
12, 8
12, 8
3
SearchTree
14
10, 1
10, 22
4
Surf Pilot SE
15
2, 11
2, 11
5
WebSearch
16
14, 3
14, 3
1
PathFinder
17
16, 12
16, 12
2
Copernic
18
4, 7
4, 17
3
Search+
19
17, 2
18, 2
4
WebMachine
20
6, 13
6, 13
5
Fast Privat Proxy
21
1, 12
22, 19
1
SearchTree
22
2, 9
2, 9
2
Surf Pilot SE
23
11, 7
20, 7
3
WebSearch
24
1, 4
11, 4
4
PathFinder
25
16, 17
16, 21
5
Copernic
Контрольні запитання
Що необхідно зробити для виклику пошукової системи?
Як працює пошукова система?
Що таке індексація?
Алгорит пошуку по ключовим словам?
Яке призначення спеціального символа «!» при здійсненні пошуку?
Яке призначення спеціальних знаків "+" і "-"?
Для чого використовуються круглі дужки при здійсненні пошуку?
З якому метою використовується даний спеціальний символ «|»?
Який вираз потрібно вказати для пошуку в заголовку сторінки ?
Що таке ревалентність?
Як впливають оператори ваги на ревалентність?
Що таке тематичний індекс цитування?
Які є програми для пошуку інформації в Інтернеті?
Яку перевагу мають програми для пошуку інформації в Інтернеті?
Зміст звіту
Короткі теоретичні відомості.
Використовуючи пошукову систему виконати завдання № 1.
Відповідь на поставлені питання у завданні № 2.
Результат виконання завдання № 3.
Використовуючи програму для пошуку інформації в Інтернеті, задану в таблиці варіантів, здійснити пошук відповідей на питання поставлені у завданні № 2.
Зробити висновок, який метод дав кращий результат: пошукова система чи програми для пошуку інформації в Інтернеті.
Список літератури.
Гусев В. С. Эффективный поиск информации в Internet. Самоучитель. – Диалектика, 2004. – 88 с.
Хонникат Дж., Браун М.Р., Фронцковяк Т. та інші. Использование Интернет: Пер. с англ, 4-е изд. – СПб.: “Вильямс”, 1998. – 592 с.
Копистянський А., Максимюк О., Павликевич А., Терлецький Я., Шимків Д. Знайомство з Internet. – СП “БаК”, 1997. – 127 с.
Леонтьев В.П. Новейшая энциклопедия Интернет. – ОЛМА-ПРЕСС, 2003. – 781 с.
Навчальне видання
Вивчення пошукових систем і програм для знаходження інформації в Інтернеті: Методичні вказівки до лабораторної роботи з курсу “Робота в Інтернеті” для студентів базових напрямків 6.1601 «Інформаційна безпека», 6.170101 «Безпека інформаційних і комунікаційних систем», 6.170102 «Системи технічного захисту інформації», 6.170103 «Управління інформаційною безпекою» / Укл. А.З. Піскозуб, І.І. Рудик, Л.М. Ракобовчук. - Львів: НУЛП, 2009, - 22 с.
Укладачі: Піскозуб Адріан Збіґневич
Рудик Ігор Ігорович
Ракобовчук Лариса Маратівна