Інтернет-робот

Програмний агент, що імітує користувача Інтернет та виконує певні рутинні функції.

Ідея, час якої настав

У продовж останніх років одною з найважливіших задач сайтобудування є задача популяризації сайту.
Існують різні підходи до вирішення даної задачі. Проте, для більшості з них характерним є боротьба за покращання позиції сайту в пошукових системах. Дана задача вимагає досить компексного аналізу сайту на всіх етапах розв'язання. Причому аналізу достатньо специфічного – аналізу не стільки “внутрішнього”, коли аналізується вміст, структура чи журнали сайту, а “зовнішнього”, коли аналізується ставлення WWW до сайту.

Turnitin судять за плагіат

Якщо вірити ось цьому джерелу - http://www.securitylab.ru/news/293658.php, на систему збору та аналізу Веб-контенту Turnitin подали позов у сумі майже мільйон доларів за недозволене використання чужих інформаційних матеріалів.
Особливої оригінальності даній події додає те, що Турнітін є власне системою виявлення плагіату, а головними споживачами даної послуги є західні освітні заклади.
До суду притягнули Турнітін студенти, які вважають, що їхні матеріали потрапили в службу без дозволу власників і потім використовувалися на комерційних засадах (річ у тім, що послуги Турнітіна є платними).

Технологія AJAX та пошукові системи

Технологія AJAX стрімко увірвалася в типовий набір технологій формування Веб-сторінок і зараз набуває ще більшої популярності.
Вперше користувачі близько познайомилися з AJAX в новій пошті Google Mail (Gmail) і були вражені високою інтерактивністю Веб-сторінок та їхньою “легкістю” під час змін. Фактично, по інтерактивності такі сторінки вже більше співмірні з локальними програмами “офісного” класу ніж з традиційними HTML-сторінками.
Я не буду зараз вдаватися в деталі технології (це тема для окремого матеріалу, і сподіваюся, що такий матеріал в нас на сайті ще зявиться), відмічу коротко що суть технології наступна. Браузер, окрім статичного HTML разом зі сторінкою підтягує досить хитрий JavaScript код, який постійно тримає звязок зі сервером, отримує потрібні інструкції зі сервера, і відповідно до них модифікує код сторінки (сторінка видозмінюється).
Детальніше про технологію можна почитати наприклад тут http://en.wikipedia.org/wiki/Ajax_%28programming%29
У цій статті мова дещо про інше. Річ у тім, що окрім броузерів сторінки сайту “переглядають” і роботи пошукових систем. А для них звичайно AJAX не значить нічого, і замість AJAX-сторінок вони бачать пусте місце, або стартовий статичний HMTL-код сторінки.
Тут і виникає певна проблема. Попри всю зручність і ефектність сайт виконаний по технології AJAX може для пошукової системи бути пустим місцем. Тобто відвідувачі на сайт з пошуківців потрапляти не будуть. А таку розкіш можуть дозволити далеко не всі власники сайтів.
Коли я вперше познайомився з AJAX, моя думка щодо технології з наведеної вище причини була цілком негативною.
Проте, при детальнішому розгляді стає зрозуміло, що не все так погано. Більше того, використання AJAX для деяких типів сайтів за певних умов може стати навіть корисним з точки зору позиціонування в пошукових системах.

Якоб Нільсен: “Пошукові системи – пиявки на тілі Вебу”

Невелика стаття провідного фахівця з юзабіліті Веб-сайтів Якоба Нільсена Search Engines as Leeches on the Web уже встигла трохи наробити шуму.
Як і багато інших теоретиків та практиків Веб-технологій, Якоб Нільсен звернув увагу на те, що пошукові системи часто позбавляють користувача потреби заходити на сайт, з якого отримано інформацію.
Нільсен стверджує, що має місце тенденція до зміни характеру запитів користувачів до пошукових машин в напрямку конкретизації. Як наслідок, часто користувач задовольняє свою інформаційну потребу, просто переглядаючи результати пошуку. Важко сказати, наскільки правий Нільсен, але слід мати на увазі, що він має серйозну аналітичну службу, яка досліджує поведінку людей у Вебі.
Відзначу також, що деякі аналогічні проблеми взаємодії пошукових машин та інших сайтів уже обговорювалися на ІТ-Аналітика (зокрема ось тут - Пошукові системи та інтелектуальна власність )
У своїй статті Нільсен фактично декларує необхідність виходу сайтів з під залежності від пошукових систем.
У завершальній частині статті автор пропонує власникам сайтів ряд механізмів, які мають допомогти звільнитися від такої залежності. Це зокрема наступні засоби:

Акселератор від Google

Гугл випустив чергову цяцьку - на цей раз це програма акселератор, яка вствновлюється на комп'ютер користувача як проксі-сервер. Призначення - оптимізація трафіку користувача з метою покращення швидкодії.
Механізм - проміжне кешування та компресія сторінок на спеціальних серверах Гугла. Тобто сторінки до вашого броузера доставлятимуться не напряму зі сайту, а через сервери Гугла.
Для мене загадка - чому це не можна було зробити як звичайні проксі, а потрібно ще спеціальне ПЗ? Гугл усе більше починає нагадувати Майкрософт - принаймні в області ігнорування стандартів та традицій.
Акселератор відкриває для себе спеціальний порт 9100 (не забудьте налаштувати файрвол) та висить як окремий сервіс.
Приватність даних що йдуть через сервери Гугла забезпечуються відповідними зобов'язаннями Гугла, який не виключає аналізу вашого трафіку (а виключає можливість передачі приватної інформації в треті руки).
Хто хоче експериментувати з акселератором - прошу сюди http://webaccelerator.google.com
Навіщо це все Гуглу (адже витрати немаленькі) ? А глобальний моніторинг трафіку в Інтернеті з можливістю оптимізації пошуку та виявлення пошукового спаму? А фіксація підозрілого трафіку (приватність приватністю, але співпрацю з спецслужбами ще ніхто не відміняв)? А привязка до внутрішніх стандартів, далеких від стандарів галузевих, з можливістю подальшої монополізації різноманітних Інтернет-сервісів? Кілька цікавих матеріалів та думок по даній темі:

Пошукові системи та інтелектуальна власність

Усе частіше пошукові системи та інші системи агрегації інформації з інтернету стають об’єктами переслідування за порушення інтелектуальної власності.
На цей раз “під обстріл” знову попав Гугл – Франс Прес подало в суд позов сумою 17 млн доларів на Гугл за порушення копірайту при републікації на своїй службі Google News новин агенства. http://news.com.com/2100-1030_3-5626341.html
Нагадаю, що дана служба автоматично агрегує новини з різноманітних джерел, рангує їх, і найважливіші виводить на чільні сторінки та забезпечує можливість тематичного пошуку по новинах.
Основними напрямками, по яких виникають проблеми глобальних сервісів з копірайтом є:

  • Результати пошуку по “брендах”
  • Контекстна реклама по “брендах”
  • Видача та кешування інформації, що захищена копірайтом

Ботнети

Моя теза про наявність передумов для появи глобальних загроз для інтернету, яку я висловив пару на своєму персональному блозі, таки знаходить, на жаль, підтвердження.
Нарешті на широкі маси винесено аналітичну інформацію про таку загрозу, як ботнети – мережі користувацьких комп’ютерів, що можуть віддалено керуватися зловмисниками. Дана інформація широко обійшла спеціалізовані сайти, з нею зокрема можна познайомитися тут - SecurityLab.ru - ПК-зомбоиды нацеливают на кражу персональных данных

Деякі цифри – вражають. Мільйон зазомбованих робочих станцій – це вже серйозно. Проте, насправді, я підозрюю, що число таких станцій може бути суттєво більше і вимірюватися десятками мільйонів або може бути швидко доведене до даного числа.

Продовжується використання пошуківців шкідливим ПЗ

Намітилися прогнозована тенденція до активного використання глобальних пошукових машин (таких як Гугл) шкідливим ПЗ, в першу чергу хробаками, які шукають жертв для атаки
Тепер цим займається нова версія хробака MyDoom
New MyDoom worm uses search engines to spread: Internet News: The Industry Standard

В своїй діяльності вірус користає послугами Google, Lycos, Yahoo

Хробак, який нищить phpBB форуми

Вкрай небезпечний хробак нового класу Net-Worm.Perl.Santy.a останніми днями поширювався мережею Інтернет. Особливістю хробака є його орієнтація на високорівневі прикладні серверні рішення (у даному випадку форум phpBB), а не робочі станції користувачів.
Крім того, хробак має ряд інших особливостей, які можна в певній мірі вважати визначальними для шкідливого ПЗ нового покоління.

Lycos організовує DDoS атаку?

Дивну новину опубліковано на на сайті SecurityLab.Ru. Відомий інтернет-холдинг Lycos планує випустити безкоштовний screensaver, який буде автоматично посилати запити на сервери спамерів, тим самим утруднюючи їм роботу.

Ідея досить дивна, особливо з огляду на певні її аспекти:

Syndicate content

© Інформаційні технології. Аналітика , Рідна Мережа