Мафия Клуб: Закрытый клуб - Mafia Club

Ранжування (пошукові системи)

GBV — Wed, 15 Jul 2015 08:26:55 GMT

Ранжируванням в застосуванні до пошукових систем називають сортування сайтів в пошуковій видачі. Як правило, існує безліч факторів для ранжирування, серед яких можна відзначити рейтинг сайту, кількість і якість зовнішніх посилань, релевантність тексту до пошукового запиту і багато інших, на підставі яких пошукова система формує список сайтів в пошуковій видачі.

Ранжирування сайту в пошуковій видачі залежить від безлічі факторів. Алгоритм ранжирування того чи іншого пошукача змінюється в процесі його функціонування.

Зокрема, один з механізмів ранжирування — це так зване посилальне ранжування, фактично представляє собою перенесення механізму підрахунку індексу цитування світу з наукових публікацій у всесвітню павутину (індекс цитування веб-сайтів). Цей вид ранжирування використовується всіма великими пошуковими системами.

На сьогодні ранжування сайтів формується виходячи з корисності користувачам сайту. Тобто крім використання прийомом в SEO для того що б сподобатися пошуковим системам (мета теги, внутрішня перелиновка заголовках (h1-h6), унікальність і корисність тексту, а також унікальність і підписи картинок та ін) ще враховується поведінковий фактор сайту (то наскільки сайт подобається користувачам, тобто показники відмов, час, проведений на сайті, глибина перегляду та інші дані доступні в засобах аналітики (найбільш популярні від Google та Yandex)) а також оцінювання сайту асесорами пошукових систем.

SERP

GBV — Wed, 15 Jul 2015 08:15:48 GMT

Сторінка результатів пошуку (англ. Search engine results page, SERP) або пошукова видача — веб-сторінка, що генерується пошуковою системою у відповідь на пошуковий запит користувача.

На сторінці результатів пошуку в сучасних пошукових системах можна виділити кілька областей:

органічні пошукові результати — основна частина видачі;

контекстні оголошення (платні посилання) — невеликі фрагменти тексту, які розміщуються в результатах пошуку на платній основі. Це один з основних способів монетизації для пошукової системи;

шорткаты (one-box'и, колдунщики тощо) — область перед основними результатами пошуку, де може бути поміщений готовий відповідь на запит, корисна інформація чи посилання, або запропоновано виправлення помилок у запиті;

пов'язані запити — переформулювання і уточнення введеного запиту, схожі на нього запити;
елементи керування:

поле введення пошукового запиту, можливість автоматичних підказок (завершення);
посилання для переходу на наступну, попередню і кілька сусідніх сторінок видачі.

Основну частину пошукової видачі складають органічні (або природні) пошукові результати. Це список документів, знайдених і проіндексованих пошуковою системою, на ранжирування і показ яких не впливає продається пошуковою системою реклама. Зазвичай він відсортований за спаданням релевантності документів пошуковому запиту згідно застосовуваним в пошуковій системі алгоритмів ранжирування, але в багатьох системах передбачені також і інші види сортування, наприклад, по даті документів.

В якості документів зазвичай виступають веб-сторінки, але багато хто системи здатні також індексувати і видавати посилання на файли в таких форматах, як .pdf .doc, .ppt і т. д., сторінки з Flash-анімацією (.swf). Деякі системи запровадили так званий універсальний пошук (англ. універсальний search) — поряд зі звичайними документами в пошукову видачу можуть замішуватися, наприклад, результати пошуку по картинках, відеороликів, новин, карт. З зростанням популярності структурованих даних (Structured data) все частіше в пошуковій видачі можна спостерігати "розширені" фрагменти, які займають близько 20-30% від першої сторінки Google.

Для кожного документа, як правило, показується принаймні його назву, адресу та фрагментом, який засвідчує слова запиту в контексті документа. Часто поруч з адресою є також посилання на збережену копію документа в кеші пошукової системи і функцію пошуку схожих документів. Google здатний показувати для деяких документів карту сайту (sitemap) і додаткові релевантні сторінки з того ж сайту.

В багатьох пошукових системах для деяких типів запитів в пошуковій видачі з'являються спеціальним чином складені результати, відразу дають відповідь на користувальницький запит, коли це можливо, або надають корисну посилання або інформацію. Загальноприйнятого назви цих результатів не склалося. Yahoo і деякі незалежні дослідники називають їх «шорткатами» (англ. shortcuts), Google — «one-box " амі», Яндекс — «колдунщиками» Bing — «швидкими відповідями» (англ. instant answers), QIP — «чудодеями», DuckDuckGo — «корисних речей» або «смакотою» (англ. goodies). Зазвичай вони з'являються над результатами органічної видачі. Шорткаты можна розглядати як частина технології універсального пошуку.

В якості прикладів нижче перераховані деякі з one-box ів, реалізованих в Google:
Калькулятор. У відповідь на запит, що містить арифметичний вираз, що обчислюється його значення. Google також підтримує функцію переказу грошей з різних валют як частина калькулятора.
Пошук визначень. Наприклад, запит «що таке астрофізика» виведе визначення цього терміна, знайдене на сторінці з Вікіпедії.

Пошук фактів. Google здатний розпізнавати і відповідати на такі запити, як, наприклад, «висота Ельбрусу».

Запит «MSFT» (тікер корпорації Microsoft на фондових біржах) видає інформацію про котирування її акцій.

Запит «час у Москві» покаже поточний час у цьому місті.

Цілісність інформації

GBV — Wed, 15 Jul 2015 05:58:00 GMT

Цілісність інформації (також цілісність даних) — термін в інформатиці (криптографії, теорії телекомунікацій, теорії інформаційної безпеки), що означає, що дані не були змінені при виконанні якої-небудь операції над ними, будь то передача, зберігання і відображення.

В телекомунікації цілісність даних часто перевіряють, використовуючи хеш-суму повідомлення, обчислену алгоритмом MAC (англ. message authentication code).

У криптографії та інформаційної безпеки цілісність даних (у широкому розумінні) — це збереження даних в тому вигляді, в якому вони були створені. Приклади порушень цілісності даних:

спроба зловмисника змінити номер запису в банківській транзакції, або спроба підробки документа;

випадкове зміна інформації при передачі або при несправній роботі жорсткого диска;

спотворення фактів засобами масової інформації з метою маніпуляції громадською думкою.

У теорії баз даних, цілісність даних означає коректність даних та їх несуперечність. Зазвичай вона також включає цілісність зв'язків, що виключає помилки зв'язків між первинним і вторинним ключем. Приклади порушень цілісності даних:

існування записів-сиріт (дочірніх записів, що не мають зв'язку з батьківськими записами);

існування однакових первинних ключів.

Для перевірки цілісності даних в криптографії використовуються хеш-функції, наприклад, MD5. Хеш-функція перетворює послідовність байт довільного розміру у послідовність байт фіксованого розміру (число). Якщо дані зміняться, то і число, що генерується хеш-функцією, теж зміниться.

Цілісність даних — властивість, при виконанні якого дані зберігають заздалегідь певний вид і якість.

Шифрування даних не гарантує того, що цілісність даних не буде порушена. Тому для перевірки цілісності даних в криптографії використовуються додаткові методи. Під порушенням цілісності розуміється наступне:

інверсія бітів;
додавання нових бітів (зокрема абсолютно нових даних) третьою стороною;

видалення яких-небудь бітів даних;

зміна порядку слідування біт або груп біт.

У криптографії рішення задачі цілісності інформації передбачає застосування заходів, що дозволяють виявляти не стільки випадкові викривлення інформації, так як для цієї мети цілком підходять методи теорії кодування з виявленням і виправленням помилок, скільки цілеспрямоване зміна інформації активним криптоаналитиком.

Процес контролю цілісності забезпечується введенням в передану інформацію надмірності. Це досягається додаванням до повідомлення деякої перевірочної комбінації байтів. Така комбінація байтів обчислюється згідно з певним алгоритмом і дозволяє перевірити, чи були дані змінені дані третьою стороною. Ймовірність того, що дані були змінені, служить мірою имитостойкости шифру.

Додаткову надлишкову інформацію, внесену до повідомлення, називають имитовставкой. Имитовставка може обчислюватися до початку або під час шифрування повідомлення.

Проблема перевірки цілісності даних тісно пов'язана з проблемою перевірки їх дійсності (тобто — з проблемою визначення джерела даних). Ці проблеми не можуть розглядатися окремо. Дані, які були змінені, фактично мають новий джерело. Якщо новий джерело невідомий (немає посилання на джерело), питання про зміну даних не може бути дозволено. Таким чином, механізми перевірки цілісності даних забезпечують перевірку їх достовірності і навпаки.

FTP

GBV — Wed, 15 Jul 2015 05:52:59 GMT

FTP (англ. File Transfer Protocol — протокол передачі файлів) — це стандартний протокол, призначений для передачі файлів по протоколу TCP мереж (наприклад, Інтернет). Використовує 21е порт. FTP часто використовується для завантаження веб-сторінок та інших документів з приватного пристрою розробки на відкриті сервера хостингу.

Протокол побудований на архітектурі «клієнт-сервер» і використовують різні мережеві з'єднання для передачі команд і даних між клієнтом і сервером. Користувачі FTP можуть пройти аутентифікацію, передаючи логін і пароль, відкритим текстом, або ж, якщо це дозволено на сервері, можуть підключитися анонімно. Можна використовувати протокол SSH для безпечної передачі, приховує (шифрувальної) логін і пароль, а також шифрувальної вміст.

Перші клієнтські FTP-програми були інтерактивними інструментами командного рядка, які реалізують стандартні команди і синтаксис. Графічні інтерфейси з тих пір були розроблені для багатьох використовуються донині операційних систем. Серед цих інтерфейсів програми загального веб-дизайну кшталт Microsoft Expression Web, так і спеціалізовані FTP-клієнти (наприклад, FileZilla).

FTP є одним з найстаріших прикладних протоколів, що з'явилися задовго до HTTP, і навіть до TCP/IP, у 1971 році. У перший час він працював поверх протоколу NCP. Він і сьогодні широко використовується для розповсюдження і доступу до віддалених хостів.

Досить яскрава особливість FTP в тому, що він використовує множинне (як мінімум — подвійне) підключення. При цьому один канал є управителем, через який надходять команди сервера і повертаються його відповіді (зазвичай через TCP-порт 21), а через інші відбувається власне передача даних, по одному каналу на кожну передачу. Тому в рамках однієї сесії по протоколу FTP можна передавати кілька файлів одночасно, причому в обох напрямках. Для кожного каналу даних відкривається свій TCP порт, номер якого вибирається або сервером, або клієнтом, в залежності від режиму передачі.

Протокол FTP має двійковий режим передачі, що скорочує накладні витрати трафіку і зменшує час обміну даними при передачі великих файлів. Протокол ж HTTP обов'язково вимагає кодування двійкової інформації у текстову форму, наприклад за допомогою алгоритму Base64.

Починаючи роботу через протокол FTP клієнт входить у сесію, і всі операції проводяться в рамках цієї сесії (простіше кажучи, сервер пам'ятає поточний стан). Протокол HTTP нічого не «пам'ятає» — його завдання — віддати дані і забути, тому запам'ятовування стану при використанні HTTP здійснюється зовнішніми по відношенню до протоколу методами.

FTP працює на прикладному рівні моделі OSI і використовується для передачі файлів за допомогою TCP/IP. Для цього повинен бути запущений FTP-сервер, що очікує вхідних запитів. Комп'ютер-клієнт може зв'язатися з сервером по порту 21. Це з'єднання (потік управління) залишається відкритим на час сесії. Друге з'єднання (потік даних), може бути відкритий як сервером з порту 20 до порту відповідного клієнта (активний режим), або ж клієнтом з будь-якого порту до порту відповідного сервера (пасивний режим), що необхідно для передачі файлу даних. Потік управління використовується для роботи з сесією — наприклад, обмін між клієнтом і сервером командами і паролями з допомогою telnet-такого протоколу. Наприклад, «RETR ім'я файлу» передасть вказаний файл від сервера клієнту. Внаслідок цієї двухпортовой структури, FTP вважається внешнеполосным протоколом, на відміну від внутриполосного HTTP.

FTP-сервер використовує звичайну схему ім'я користувача/пароль для надання доступу. Ім'я користувача надсилається сервера командою USER, а пароль — командою PASS. Якщо надана клієнтом інформація прийнята сервером, то сервер відправить клієнту запрошення і починається сесія. Користувачі можуть, якщо сервер підтримує цю особливість, увійти в систему без надання облікових даних, але сервер може надати тільки обмежений доступ для таких сесій.

Хост, що забезпечує FTP-сервіс, який може надати анонімний доступ до FTP. Користувачі зазвичай входять в систему як «anonymous» (може бути регистрозависимым на деяких FTP-серверах) в якості імені користувача. Хоча зазвичай користувачів просять надіслати адресу їх електронної пошти замість пароля, ніякої перевірки фактично не проводиться. Багато FTP-сайтів, що надають оновлення програмного забезпечення, що підтримують анонімний доступ.

Спеціально для роботи FTP-протоколу через міжмережеві екрани було зроблено розширення NAT, зване NAT-PT (rfc2766), що дозволяє транслювати вхідні з'єднання від сервера до клієнта через NAT. У процесі такого з'єднання NAT підміняє передані дані від клієнта, вказуючи істинний адресу сервера і порт, з яким зможе з'єднатися сервер, а потім транслює з'єднання від сервера від цієї адреси клієнту на його адресу. Незважаючи на всі заходи і нововведення, прийняті для підтримки FTP-протоколу, на практиці функція NAT-PT зазвичай відключається у всіх роутерах і маршрутизаторах з метою забезпечення додаткової безпеки від вірусних погроз.

FTP зазвичай передає дані при наявності з'єднання сервера з клієнтом, після того як клієнт відправив команду PORT. Це створює проблему як для NAT, так і для брандмауерів, які не дозволяють з'єднання з інтернету до внутрішніх хостів. Для NAT додатковою проблемою є те, що подання IP-адреси і номера порту в команді PORT відноситься до IP-адреси і порту внутрішнього хоста, замість публічного IP-адреси і NAT-порту. Існує два підходи до цієї проблеми. Перший полягає в тому, що клієнт FTP і FTP-сервер використовують команду PASV, яка викликає з'єднання для передачі даних, встановлене від клієнта до сервера. Другий підхід — зміна для NAT значень команди PORT з допомогою шлюзу на прикладному рівні.

FTP не розроблявся як захищений (особливо за нинішніми мірками) протокол і має численні уразливості в захисті. У травні 1999 автори RFC 2577 звели уразливості в наступний перелік питань:

Приховані атаки (bounce attacks)

Спуф-атаки (spoof attacks)

Атаки методом грубої сили (brute force attacks)

Перехоплення пакетів, сниффинг (packet capture, sniffing)

Захист ім'я користувача

Захоплення портів (port stealing)

FTP не може зашифрувати свій трафік, всі передачі — відкритий текст, тому імена користувачів, паролі, команди і дані можуть бути прочитані ким завгодно, здатним перехопити пакет по мережі. Ця проблема характерна для багатьох специфікацій Інтернет-протоколу (у їх числі SMTP, Telnet, POP, IMAP), розроблених до створення таких механізмів шифрування, як TLS і SSL. Звичайне рішення цієї проблеми — «безпечні», TLS-захищені версії вразливих протоколів (FTPS для FTP, TelnetS для Telnet і т. д.) або ж інший, більш захищений протокол, начебто SFTP/SCP, що надається з більшістю реалізацій протоколу Secure Shell.

Існує кілька методів безпечної передачі файлів в один чи інший час званих «Безпечним FTP».

Явний FTPS — розширення стандарту FTP, що дозволяє клієнтам вимагати того, щоб FTP-сесія була зашифрована. Це реалізується відправкою команди «AUTH TLS». Сервер має можливість дозволити або відхилити сполуки, які не запитують TLS. Це розширення протоколу визначено в специфікації RFC 4217. Неявний FTPS — застарілий стандарт для FTP, вимагає використання SSL або TLS-з'єднання. Цей стандарт повинен був використовувати відмінні від звичайного FTP порти.

SFTP, або «SSH File Transfer Protocol», не пов'язаний з FTP, за винятком того, що він теж передає файли і має аналогічний набір команд для користувачів. SFTP, або безпечний FTP — це програма, що використовує SSH (Secure Shell) для передачі файлів. На відміну від стандартного FTP він шифрує і команди, і дані, оберігаючи паролі та конфіденційну інформацію від відкритої передачі через мережу. По функціональності SFTP схожий на FTP, але так як він використовує інший протокол, клієнти стандартного FTP не можуть зв'язатися з SFTP-сервер і навпаки.

FTP через SSH (не SFTP) відноситься до практики тунелювання звичайної FTP-сесії через SSH-з'єднання. Оскільки FTP використовує кілька TCP-з'єднань, тунелювання через SSH особливо важко. Коли багато SSH-клієнтів намагаються встановити тунель для каналу управління (споконвічне «клієнт-сервер» з'єднання з порту 21), захищений буде тільки цей канал; при передачі даних програмне забезпечення FTP на будь-якому кінці встановить нові TCP-з'єднання (канали даних), які обійдуть SSH-з'єднання і, таким чином, втратять цілісної захисту.

Інакше, для клієнтського програмного забезпечення SSH необхідно мати певні знання про FTP для відстеження і перезапису повідомлень потоку управління FTP і автономного відкриття нових перенаправлень для потоку даних FTP. Програмні пакети, які підтримують цей режим:
Tectia ConnectSecure (Win/Linux/Unix) з пакету SSH Communications Security
Tectia Server for IBM z/OS з пакету SSH Communications Security
FONC (під ліцензією GPL)
Co:Z FTPSSH Proxy

FTP через SSH іноді відносять до безпечним FTP; але не варто плутати його з іншими методами, такими як SSL/TLS (FTPS). Інші методи передачі файлів за допомогою SSH і не пов'язані з FTP — SFTP і SCP; в кожному з них та облікові і файлові дані завжди захищені протоколу SSH.

FXP (англ. File eXchange Protocol — протокол обміну файлами) — спосіб передачі файлів між двома FTP-серверами безпосередньо, не завантажуючи їх на свій комп'ютер. При FXP-сесії клієнт відкриває два FTP-з'єднання до двох різних серверів, запитуючи файл на першому сервері, вказуючи в команді PORT IP-адресу другого сервера.

Безперечною перевагою підтримки стандарту FXP є те, що на кінцевих користувачів, охочих скопіювати файли з одного FTP-сервера на інший, вже не діє обмеження пропускної спроможності їх власного інтернет-з'єднання. Немає необхідності завантажувати собі файл, щоб потім завантажити його на інший FTP-сервер. Таким чином, час передачі файлів буде залежати тільки від швидкості з'єднання між двома видаленими FTP-серверами, яка в більшості випадків свідомо більше «користувача».

FXP став використовуватися зловмисниками для атак на інші сервери: в команді PORT вказується IP-адресу і порт атакується сервісу на комп'ютері жертви, і командами RETR/STOR провадиться звернення на цей порт від особи FTP-сервера, а не атакуючої машини, що дозволяло влаштовувати масштабні DDoS-атаки з використанням одразу багатьох FTP-серверів, або обходити систему безпеки комп'ютера жертви, якщо він покладається тільки на перевірку IP клієнта і використовується для атаки FTP-сервер знаходиться в довіреної мережі або на шлюзі. В результаті зараз практично всі сервери перевіряють відповідність IP-адреси, зазначеної в команді PORT, IP-адресою FTP-клієнта і за замовчуванням забороняють використання там IP-адрес третіх сторін. Таким чином, використання FXP неможливо при роботі з публічними FTP-серверами.

Пошукова система

GBV — Wed, 15 Jul 2015 05:37:05 GMT

Пошукова система (англ. search engine) — це комп'ютерна система, призначена для пошуку інформації. Одне з найбільш відомих застосувань пошукових систем — веб-сервіси для пошуку текстової або графічної інформації у Всесвітній павутині. Існують також системи, здатні шукати файли на FTP-серверах, товари в інтернет-магазинах, інформацію в групах новин Usenet.

Для пошуку інформації за допомогою пошукової системи користувач формулює пошуковий запит. Робота пошукової системи полягає в тому, щоб за запитом користувача знайти документи, що містять зазначені ключові слова, або слова, пов'язані з ключовими словами. При цьому пошукова система генерує сторінку результатів пошуку. Така пошукова видача може містити різні типи результатів, наприклад: веб-сторінки, зображення, звукові файли. Деякі пошукові системи також отримують інформацію з відповідних баз даних і каталогів ресурсів в Інтернеті.

Пошукова система тим краще, чим більше документів, релевантних запиту користувача, вона буде повертати. Результати пошуку можуть ставати менш релевантними з-за особливостей алгоритмів (див. «Міхур фільтрів»[⇨]) або внаслідок людського фактору[⇨]. Станом на 2015 рік найпопулярнішою пошуковою системою в світі є Google, однак є країни, де користувачі віддали перевагу іншим пошуковикам. Так, наприклад, в Росії «Яндекс» обганяє Google більше, ніж на 10 %[⇨].

За методами пошуку та обслуговування поділяють чотири типи пошукових систем: системи, що використовують пошукових роботів, системи, керовані людиною, гібридні системи та мета системи[⇨].

В архітектуру пошукової системи зазвичай входять:

пошуковий робот, який збирає інформацію з сайтів мережі Інтернет або з інших документів,

індексатор, що забезпечує швидкий пошук по накопиченій інформації, та

пошуковик — графічний інтерфейс для роботи користувача.

Існує чотири типи пошукових систем: з пошуковими роботами, керовані людиною, гібридні та мета системи.

Складаються з трьох частин: краулер («бот», «робот» чи «павук»), індекс і програмне забезпечення пошукової системи. Краулер потрібний для обходу мережі і створення списків веб-сторінок. Індекс — великий архів копій веб-сторінок. Мета програмного забезпечення — оцінювати результати пошуку. Завдяки тому, що пошуковий робот в цьому механізмі постійно досліджує мережа, інформація більшою мірою актуальна. Більшість сучасних пошукових систем є системами даного типу.

системи, керовані людиною (каталоги ресурсів)

Ці пошукові системи отримують списки веб-сторінок. Каталог містить адреса, заголовок та короткий опис сайту. Каталог ресурсів шукає результати тільки з описів сторінки, представлених йому веб-майстрами. Гідність каталогів в тому, що всі ресурси перевіряються вручну, отже, і якість контенту буде краще порівняно з результатами, отриманими системою першого типу автоматично. Але є і недолік — оновлення даних каталогів виконується вручну і може суттєво відставати від реального стану справ. Ранжування сторінок не може миттєво змінюватися. В якості прикладів таких систем можна привести каталог Yahoo[en], dmoz і Galaxy.
гібридні системи
Такі пошукові системи, як Yahoo, Google, MSN, поєднують в собі функції систем, що використовують пошукових роботів і систем, керованих людиною.
мета-системи
Метапоисковые системи об'єднують і ранжирують результати відразу декількох пошуковиків. Ці пошукові системи були корисні, коли у кожної пошукової системи був унікальний індекс, і пошукові системи були менш «розумними». Оскільки зараз пошук набагато покращився, потреба в них зменшилася. Приклади: MetaCrawler[en] і MSN Search.'

W3C

GBV — Wed, 15 Jul 2015 05:29:04 GMT

Консорціум Всесвітньої павутини (англ. World Wide Web Consortium, W3C) — організація, яка розробляє та впроваджує технологічні стандарти для Всесвітньої павутини. Консорціум очолює сер Тімоті Джон Бернерс-Лі, автор безлічі розробок в області інформаційних технологій.

W3C розробляє для Інтернету єдині принципи і стандарти (звані «рекомендаціями», англ. W3C Recommendations), які потім впроваджуються виробниками програм і обладнання. Таким чином досягається сумісність між програмними продуктами та апаратурою різних компаній, що робить Всесвітню мережу більш досконалою, універсальною і зручною.
Місія W3C: «Повністю розкрити потенціал Всесвітньої павутини, шляхом створення протоколів і принципів, що гарантують довгострокове розвиток Мережі».

Більш конкретна мета W3C — допомогти комп'ютерним програмам досягти здатності до взаємодії в Мережі (т. зв. «мережева інтероперабельність», англ. Web interoperability). Застосування єдиних стандартів в Мережі — це ключовий крок для досягнення такої взаємодії.

Дві інші найважливіші завдання консорціуму — забезпечити повну «інтернаціоналізацію Мережі» і зробити Мережу доступною для людей з обмеженими можливостями. Для вирішення першого завдання консорціум активно співпрацює з організацією «Юнікод» (англ. Unicode) і рядом інших робочих груп, що займаються міжнародним співробітництвом в Інтернеті і мовними технологіями. Для вирішення другого завдання консорціум не тільки співпрацює з організаціями відповідного профілю, але і розробив свої власні рекомендації, які зараз активно набирають популярність.

Рекомендації консорціуму Всесвітньої павутини відкриті, то є не захищені патентами і можуть впроваджуватися будь-якою людиною без всяких фінансових відрахувань консорціуму. На відміну від інших організацій, які займаються розробкою стандартів для Інтернету, консорціум Всесвітньої павутини не має програм сертифікації на відповідність рекомендаціям консорціуму) і не планує їх вводити, тому рекомендації W3C отримали набагато більше поширення, ніж стандарти будь-яких інших організацій. У той же час, через відсутність сертифікації багато виробники слідують рекомендаціям лише частково. Рекомендації консорціуму побудовані таким чином, що часткове впровадження не порушує загальних стандартів. Деякі популярні рекомендації мають кілька ступенів впровадження — кому як зручніше. Ступінь впровадження — це нове слово в мережевих стандартах, яке принесло консорціуму Всесвітньої павутини і його рекомендаціям заслужену популярність.

Рекомендації W3C найчастіше добре опрацьовані і деталізовані. З іншого боку, більшість рекомендацій доступні для будь-яких категорій користувачів — від експертів-програмістів до початківців веб-майстрів. Крім технічних специфікацій, Консорціум також публікує багато настанов і порад, що полегшують впровадження рекомендацій. За останній час W3C провів величезну роботу по популяризації своїх стандартів, особливо в Європі.

Будь стандарт W3C проходить 5 стадій погодження:

Чернетка специфікації (англ. Draft);

Робочий проект (англ. Working Draft);

Останнє скликання (англ. Last Call);

Можлива рекомендація (англ. Candidate Recommendation);

Запропонована рекомендація (англ. Proposed Recommendation);

і лише після цього офіційно стає рекомендацією W3C.

Рекомендації можуть час від часу оновлюватися. До рекомендацій публікуються повідомлення про виявилися помилки і неточності (англ. errata). Коли накопичується достатній запас виявлених помилок, виходить нова, виправлена і допрацьована редакція (англ. edition) рекомендації (наприклад, «редакція 1.1»). У виняткових випадках вся рекомендація може бути відкликана консорціумом для переробки.

Для зручності користувачів консорціумом створені спеціальні програми-валідатори (англ. Online Validation Service), які доступні по Мережі і можуть за кілька секунд перевірити документи на відповідність популярним рекомендацій W3C. Консорціумом також створено багато інші утиліти для полегшення роботи веб-майстрів і програмістів. Більшість утиліт — це вільні програми, всі вони безкоштовні. Останнім часом, слідуючи світовим тенденціям, консорціум в цілому набагато більше уваги приділяє проектів з відкритим вихідним кодом.

Метадані

GBV — Tue, 14 Jul 2015 20:47:40 GMT

Метадані, в загальному випадку, це:

Метадані — це субканальная інформація про використовуваних даних.
Структуровані дані, що представляють собою характеристики описуваних сутностей для цілей їх ідентифікації, пошуку, оцінки, управління ними.
набір допустимих структурованих описів, які доступні в явному вигляді і призначення яких може допомогти знайти об'єкт. Термін використовується в контексті пошуку об'єктів, природ, ресурсів.

Дані з більш загальної формальної системи, що описує задану систему даних.
Інформація про міститься на веб-сторінці інформації (творця тощо). Приклад: Ім'я автора правки в тексті.

Цей термін у широкому сенсі слова використовується для будь-якої інформації про даних: імена таблиць, колонок в таблиці в реляційних базах даних, номер версії у файлі програми (тобто як інформативна частина в бінарному файлі) і т. п.

Структуровані у вигляді ієрархії метадані більш правильно називати онтологією або схемою метаданих (наприклад, XML-схема).

Зазвичай неможливо провести однозначне поділ на дані та метадані в документі, оскільки:

Що може бути як дані, так і метаданими. Так, заголовок статті можна одночасно віднести як до метаданих (як елемент метаданих — заголовок), так і до власне даними (оскільки заголовок є частиною самого тексту).

Дані та метадані можуть мінятися ролями. На вірш, розглянуте як дані, може бути написана музика, в цьому випадку весь вірш може бути «прикріплено» до музичного файлу і в цьому випадку розглядатися як метадані. Таким чином, віднесення до однієї чи іншої категорії залежить від точки зору (або простору імен, системи відліку).

Можливе створення мета-мета-...-метаданих (див. аксіома вибору). Оскільки, у відповідності зі звичайним визначенням, метадані є даними, то можна створити метадані метадані, метадані для виводу на спеціальні пристрої, або читання їх опису з використанням програмного забезпечення, перетворює текст в мову.

Інші описові метадані можуть використовуватися автоматизованими робочими потоками. Наприклад, якщо деяка розумна програма «знає» вміст і структуру даних, то дані можуть бути автоматично перетворені і передані іншій «розумної» програми як вхідні дані. В результаті, користувачі будуть звільнені від необхідності виконання безлічі рутинних операцій, якщо дані надані для роботи такими небагатослівними» програмами.

Метадані стають важливими в World Wide Web з причини необхідності забезпечення пошуку корисної інформації серед величезної кількості доступною. Метадані, створені вручну, мають велику цінність, оскільки це гарантує осмисленість. Якщо веб-сторінка на якусь певну тему містить слово або фразу, то всі інші веб-сторінки на цю тему можуть містити таке ж слово або фразу. Метадані також мають різноманітністю, тому якщо з якоюсь темою пов'язані два значення, то кожне з них може бути використано. Наприклад, стаття про Живий Журнал може бути означена за допомогою кількох значень: «Живий Журнал», «ЖЖ», «LiveJournal».

Метадані використовуються для зберігання інформації про записи audio CD. Аналогічно MP3 файли зберігають метадані у форматі ID3.

Редагувати метадані графічних файлів можна в спеціальних програмах для роботи з метаданими.

Метадані можна класифікувати за:

Змістом. Метадані можуть описувати сам ресурс (наприклад, назва і розмір файлу), або вміст ресурсу (наприклад, «у цьому відеофайлі показано як хлопець грає у футбол»).

По відношенню до ресурсу в цілому. Метадані можуть ставитися до ресурсу в цілому або його частин. Наприклад, «Title» (назва фільму) відноситься до фільму в цілому, а «Scene description» (опис епізоду фільму), окреме для кожного епізоду фільму.

По можливості логічного виводу. Метадані можна підрозділити на три шари: нижній шар — це «сирі» дані самі по собі; середній шар — метадані, що описують зазначені «сирі» дані; і верхній шар — метадані, які дозволяють робити логічний висновок, використовуючи другий шар.

Трьома найбільш використовуваними класами метаданих є:

Внутрішні метадані, що описують структуру чи складові частини речі, те, чим річ є. Наприклад, формат і розмір файлу.

Адміністративні метадані, що вимагаються для процесів обробки інформації, призначення речі. Наприклад, інформація про автора, редактора, дата публікації і т. п.

Описові метадані', які описують природу речі, її ознаки. Наприклад, набір пов'язаних з інформацією категорій, посилання на інші речі, пов'язані з даною.

Метаданими на практиці зазвичай називають дані, представлені у відповідності з одним з форматів метаданих.

Формат метаданих — представляє собою стандарт, призначений для формального опису деякої категорії ресурсів (об'єктів, сутностей тощо). Такий стандарт зазвичай включає в себе набір полів (атрибутів, властивостей, елементів метаданих), що дозволяють характеризувати аналізований об'єкт. Наприклад, формат MARC дозволяє описувати книги (і не лише книги), містить поля для опису назви, автора, тематики і безлічі інших характеристик (формат MARC дозволяє описати сотні характеристик).

Формати можна класифікувати, по-перше, за обсягом і подробиці типів описуваних ресурсів. По-друге, по ширині і подробиці області опису ресурсів і потужності структури елементів метаданих. Крім цього, можна класифікувати по предметним областям, або цілям розробки і використання формату метаданих.

Формати метаданих часто розробляються міжнародними організаціями або консорціумами, що включають в себе зацікавлені в появі стандарту державні організації та приватні компанії. Розроблений формат часто закріплюється як стандарт в одній або декількох організаціях, що займаються розробкою і прийняттям стандартів (наприклад W3C, ISO, ANSI і т. п.)

Класифікація форматів метаданих по розглянутій предметній області:

DCMI є одним з найбільш поширених в інтернет форматів метаданих для опису ресурсів будь-якого типу (як електронних документів, так і реальних фізичних об'єктів). Інші формати метаданих, призначені для опису архівів та інших електронних ресурсів GILS, EAD.

для опису персон і організацій vCard і FOAF

для опису бібліографічних ресурсів призначені формати колекції MARC (MARC 21, використовуваний в США і Великобританії, і UNIMARC, який використовується в Європі та Азії); UNIMARC у свою чергу підрозділяється на національні розширення цього формату (так, у Росії використовується RUSMARC); у силу великої складності форматів колекції MARC для вирішення завдань інтеграції даних був розроблений формат MODS.

для опису музейних та історичних цінностей використовується формат CDWA

для опису видавничої продукції використовуються PRISM і ONIX

для кристалографічної інформації CIF

для роботи з зображеннями з супутників ВІКАРІЄМ

для опису новин NewsXML

і т. д.

Метатеги

GBV — Tue, 14 Jul 2015 20:42:49 GMT

Метатеги (англ. meta tags) — (X)HTML-теги, призначені для надання структурованих метаданих про веб-сторінці. Як правило, вказуються в заголовку (X)HTML-документа. Елемент meta приймає як мінімум чотири атрибути: content, http-equiv, name і scheme. З них обов'язковий тільки атрибут content і виключення тег revisit.

Один з варіантів застосування тега meta — вказівка HTTP-заголовків, які повинні бути відправлені клієнту до відправки самої веб-сторінки. Наприклад:

Така запис вказує, що сторінка повинна бути відправлена разом з HTTP-заголовком Content-Type: text/html. Такий заголовок вказує браузеру або іншій програмі тип відправляється документа. Тим не менш, незважаючи на те, що спочатку передбачалося, що веб-сервери будуть зчитувати метатеги всередині надсилаються клієнту веб-сторінок, і формувати HTTP-заголовки залежно від їхнього вмісту, на практиці це не реалізовано в найбільш використовуваних веб-серверах, відповідно, веб-сервери не змінюють надсилаються клієнту HTTP-заголовки, а клієнт (браузер) обробляє ці метатеги самостійно (зокрема, дані з метатегів можуть замінювати дані, одержувані з HTTP-заголовків).

Крім того, метатеги можуть використовуватися для того, щоб повідомити браузеру інформацію про документі, коли HTTP-заголовки недоступні (наприклад, якщо сторінка відкривається локально з диска, а не завантажується з веб-сервера).

У загальній формі метадані записуються у наступному вигляді: в тегу meta вказується атрибут name (ім'я) і пов'язаний із ним атрибут вміст), в якому описується який-небудь аспект веб-сторінки, наприклад, ключові слова:

Функції Метатегів досить різноманітні, однак на даний момент не існує їх чіткої стандартизації. Тим не менш, можна виділити кілька основних напрямів використання мета-тегів:

Метатеги здатні ідентифікувати авторство Інтернет-сторінки, її адресу, частоту її оновлення;

Метатеги використовуються для індексації пошуковими системами і створення заголовків гіпертекстових документів;

Не выводясь на екран, метатеги впливають на режим відображення Інтернет-сторінок.

Рейтинг@Mail.ru

GBV — Tue, 14 Jul 2015 20:38:59 GMT
Рейтинг Mail.ru — система веб-аналітики, що збирає дані про відвідувачів веб-сайтів і їх пристроях. Встановлена на 850 000 сайтів, щодня заміряє статистику відвідувань більше 90 млн унікальних відвідувачів. Належить компанії Mail.ru Group.

Рейтинг Mail.ru дозволяє власникам сайтів оцінити показники відвідуваності своїх ресурсів, подивитися соціально-демографічні та технологічні характеристики аудиторії і будувати аналітичні звіти по цим даним.

Збір даних про відвідуваних веб-ресурсах дозволяє формувати рейтинг популярних сайтів за категоріями витримує рекордні навантаження і вимірювати інтернет-активність користувачів сайтів.

Сторонні користувачі можуть оцінити або порівняти різні сайти за показниками відвідуваності і популярності (наприклад, при виборі партнера або рекламного носія).

Rambler’s Top100

GBV — Tue, 14 Jul 2015 20:35:50 GMT
Rambler's Top100 — рейтингова система, підтримувана інтернет-холдинг Rambler Media Group. Сервіс реалізований на спеціальному програмному забезпеченні. Користувачам сервісу надається можливість мати докладну статистику веб-сайту за останню добу, а також динаміку відвідувань веб-сайту за два останніх місяці.

Дати можливість власникам власних сторінок, які не є веб-майстрами, швидко і точно визначити кількість візитів на їх сторінки, надати їм можливість аналізувати свою статистику.

Залучити власників великих серверів для порівняльної оцінки їх популярності. Дане порівняння буде коректним так як всі лічильники працюють за одним і тим же алгоритмом для всіх зареєстрованих сайтів.

Дати можливість рекламодавцям оцінити трафік їх потенційних партнерів для прийняття рішення про доцільність розміщення реклами.

Система реєструє наступні параметри:

Загальна кількість відвідувань на сторінки.

Денне, 7 - й 30-ти денний кількість відвідувань сторінки.

Кількість незасчитанных відвідувань за сьогодні, вчора, 7 і 30 днів і все, причини з яких відвідування не були зараховані.

Кількість підозрілих відвідувань (розбіжність Referer c заявленого при реєстрації URL).

Кількість перевызовов сторінки (Reload).

Кількість повернень до сторінки менш ніж через годину.

Кількість повернень до сторінки через годину.

Розподіл відвідувань за часом доби.

Для поточного дня реєструються наступні параметри:

Усі адреси і імена комп'ютерів відвідувачів.

Кількість відвідувань для кожного з них.

Кількість ігнорованих відвідувань і перевызовов для кожного візитера.

Кількість повернень до сторінки менш ніж через годину і через годину для кожного з відвідувачів.