Интеллектуальные развлечения. Интересные иллюзии, логические игры и загадки.

Евгений Леонидович Ющук
Интернет-разведка. Руководство к действию

Текст предоставлен издательством itres.ru/
«Интернет-разведка. Руководство к действию»: Вершина; М.:; 2007
ISBN 5-9626-0290-0
Аннотация

Согласно расхожему мнению, человек, владеющий информацией, владеет миром. Интернет – гигантская информационная база современности, и необходимость освоения тонкостей работы в сети скоро станет насущной для всех – от специалистов по конкурентной разведке, маркетингу и PR, в жизни которых Интернет уже играет не последнюю роль, до рядовых служащих.
Как найти в Интернете информацию о конкретных людях, компаниях и товарах? Как организовать продвижение собственного предприятия в Сети? Как уберечься от хакеров и спрятать информацию на своем компьютере от посторонних? Как бороться с вирусами и вредоносными программами? Ответы на эти и многие другие вопросы вы найдете в нашей книге – подробном путеводителе по миру Интернета. Представленные здесь практические советы помогут вам не просто выстоять в конкурентной или информационной борьбе, но и победить в ней, изучив неизвестные рядовому пользователю возможности Всемирной паутины.
Издание представляет практический интерес для специалистов по бизнес-разведке, маркетингу, рекламе и PR, а также для директоров и менеджеров, желающих эффективно продвигать свое предприятие на современном рынке.

Евгений Ющук
Интернет-разведка. Руководство к действию

Введение

Эта книга предназначена не только для специалистов по конкурентной разведке, но и для всех специалистов, которые используют Интернет в своей повседневной работе как современный, эффективный, быстрый и недорогой инструмент. То есть практически для всех, кто имеет отношение к бизнесу: будь то производственное предприятие, торговая фирма, финансовое учреждение либо консалтинговая компания.
Представленные здесь практические советы помогут вам не просто выстоять в конкурентной или информационной борьбе, но и победить в ней, опираясь, в том числе, и на скрытые от обычного пользователя возможности Интернета, и персонального компьютера.
Методы работы, изложенные в книге, прошли «обкатку» в отечественной и зарубежной конкурентной разведке и доказали свою эффективность. Автор лично убедился в реальной пользе практического применения каждого данного им совета. Предлагаемые вашему вниманию рекомендации помогли повысить конкурентоспособность и эффективность работы самых разных организаций – от крупных производственных и дистрибьюторских компаний федерального и регионального уровня, государственных учреждений и силовых структур до розничных торговых сетей и предприятий сферы услуг, небольших кафе и ресторанов.
Сфера конкурентной разведки, в силу своей специфики, первой находит новейшие, передовые способы работы с информацией, делая выводы о возможных преимуществах и недостатках того или иного решения.
Современная конкурентная разведка, которая еще недавно воспринималась в нашей стране как часть службы безопасности компании, сегодня шагнула далеко за пределы этих узких рамок и стала инструментом специалистов отделов маркетинга, сбыта, стратегического планирования, равно как и инструментом топ-менеджера, от решения которого зависит успех или провал предприятия на рынке и даже само его выживание.
Инструменты конкурентной разведки, опираясь на отточенные разведкой общие принципы работы с информацией, эффективно используют специалисты по информационным войнам.
Вот почему эта книга будет полезна руководителю и менеджеру любой компании в той же мере, что и специалисту по конкурентной разведке. А кого-то, возможно, она подтолкнет к тому, чтобы сделать конкурентную разведку своей второй специальностью.
Конкурентная разведка как адаптированная к бизнесу версия государственной разведки, не имеет ничего общего с детективами. И она на самом деле гораздо ближе к маркетингу и информационно-аналитической работе, нежели к Службе безопасности компании. Причем, одинаково заблуждаются как те, кто при слове «разведка» представляет себе погони, перестрелки и тайное проникновение во вражеский сейф при непосредственном участии длинноногой блондинки, так и те, кто считает, что разведка заключается в сборе информации.
Ошибочность таких подходов хорошо иллюстрируют слова Иссура Хареля (Issur Hare), первого главы израильской разведки Моссад, пересказанные нам Артуром Вейсом (Arthur Weiss) в кулуарах конференции SCIP в Лондоне в 2005 г.:

Мы работаем не с несомненными фактами. Мир разведки – это мир вероятностей. Сбор информации – как правило, не самая сложная задача. Что действительно сложно – так это ее правильная интерпретация. Анализ информации – самая главная часть работы разведки. А Джеймсу Бонду в реальной жизни места нет.

Для того, чтобы лучше понять, что и скакой целью мы будем рассматривать далее, напомним несколько основных терминов, которые использует конкурентная разведка.
Специалисты конкурентной разведки оперируют пришедшими из государственной разведки ключевыми понятиями – «объекты» (Targets) и «источники» (Sources).
Объекты – это люди или документы, которые могут ответить на интересующие вас вопросы. Как правило, это первичные носители нужных сведений.
Источники – это люди или средства, которые могут помочь получить доступ к нужному человеку и информации напрямую или опосредованно. В этом случае их иногда называют подысточниками.
Источники, если говорить о человеческих ресурсах, бывают внешними и внутренними.
Внутренние источники работают на вашем собственном предприятии.
Внешние источники работают на ваше предприятие, но не являются его сотрудниками. К этой категории обычно относят консультантов и клиентов. Кто-то из них работает за деньги, кто-то – бесплатно (либо бескорыстно, либо решая с вашей помощью какие-то свои задачи). К внешним источникам могут относиться и аналитики, специализирующиеся на исследуемой вами отрасли, и журналисты, пишущие на интересующие вас темы. Нередко такие люди, хорошо информированные в определенных специфических областях, официально продают имеющиеся у них сведения – в форме консалтинговой услуги или аналитического отчета.
Очень часто бывает, что ваши внутренние источники могут вывести на источники внешние.
Кроме того, источники подразделяют на первичные и вторичные.
Первичные источники – те, которые получили информацию непосредственно от объекта и передали ее вам. Полученной из первичных источников можно считать также информацию, которую вы добыли самостоятельно (например, лично посчитали количество грузовиков на парковке перед складом вашего конкурента).
Вторичные источники (или подысточники) получили информацию «из вторых рук».
Кроме того, считаем нужным напомнить, что никакая разведка невозможна без четкого целеуказания. Специалист конкурентной разведки не может начинать работу, не имея ясного представления о том, на какой вопрос он ищет ответ. А в идеале он должен еще и представлять себе, что руководитель намерен делать с полученными данными, поскольку в таком случае специалист крнкурентной разведки сможет работать максимально эффективно.
Надеемся, что этот краткий повтор основных терминов, относящихся к работе с информацией, напомнит вам, что специалист любой разведки не имеет права уклоняться в сторону различных интересных фактов, которые встретятся ему в ходе работы, а должен работать целенаправленно, для того, чтобы найти ответ на вопрос, ради которого вся работа и проводится. Мы уже очертили круг людей, которым эта книга, на наш взгляд, может быть полезна, поэтому для краткости в дальнейшем будем говорить только о специалистах конкурентной разведки, имея в виду при этом всю целевую аудиторию книги.
Наша книга практически полностью посвящена Интернету как инструменту конкурентной разведки. У человека неподготовленного это может создать иллюзию, что работа с глобальной информационной сетью – и есть конкурентная разведка.
На самом деле это не так.
Интернет – ее инструмент. Он имеет свои плюсы и минусы. Случается, что он действительно помогает решить главную задачу, поставленную перед специалистом конкурентной разведки руководителем компании, однако это скорее исключение из общей ситуации. В целом Интернет – важный, но ограниченный в своих возможностях инструмент, играющий в конкурентной разведке заметную роль. Заметную, но все же не ведущую. А потому его нельзя переоценивать, хотя и недооценивать тоже не следует.
Интернет часто незаменим в начале операции конкурентной разведки, потому что он обычно позволяет быстро и недорого «прицелиться», то есть сориентироваться в ситуации в целом, наметить объекты, располагающие нужной информацией, а также источники, которые позволят эту информацию получить.
Кроме того, Интернет удобен для получения справочной информации, а также иногда позволяет отслеживать динамику фактов или мнений по тем или иным вопросам.
Действительно, бывает и так, что Интернет позволяет получить ответы на все вопросы, которые стоят перед специалистом разведки. Иногда складывается ситуация, когда Интернет вообще позволяет получить информацию от первичного источника (например, когда вы получаете на Интернет-форуме ответ на прямо заданный вопрос от человека, личность которого вам достоверно известна, и который является объектом применительно к вашей операции). Однако значительно чаще для выполнения поставленной задачи специалисту конкурентной разведки приходится выходить «в поле» и работать с людьми, либо с документами вне Интернета.
Работа «в поле» – наиболее значимая по результатам часть конкурентной разведки, но она останется за пределами настоящей книги. Здесь мы сознательно сосредоточимся только на работе с Интернетом и покажем, как выполнить ее максимально эффективно.
Подобно боевой авиации, которая обеспечивает выяснение обстановки там, куда невозможно просто прийти, и позволяет воздействовать на противника, оставаясь невидимой за облаками, Интернет позволяет удаленное, бесконтактное, а порой и незаметное для объекта наблюдение за ним или поиск его следов на другом конце Земного шара.
Как и армия без авиации, конкурентная разведка без Интернета работать не может.
Авиация коренным образом изменила характер войны, систему обороны и саму организацию армии. Интернет же буквально вдохнул новую жизнь в конкурентную разведку.
Роль Интернета в конкурентной разведке гораздо существеннее, нежели в разведке государственной. Хотя надо отметить, что последняя – в силу всемирной компьютеризации – решает с его помощью все более и более широкий круг вопросов.
В общем, мы считаем, что не надо рассматривать Интернет как панацею, следует научиться правильно пользоваться им в целях конкурентной разведки, и тогда уже делать вывод о том, насколько эффективным может быть его применение в конкретном виде бизнеса.
А разные виды бизнеса действительно неодинаково зависят от Интернета. Ведь даже на уровне бытовой логики понятно, что операторы сотовой связи и производители агустителей для йогуртов используют в своем бизнесе глобальную сеть в различной степени.
Читатель этой книги познакомится с разными аспектами работы с Интернетом. Здесь есть как развернутое объяснение принципов работы поисковых машин и описание языков запросов самых популярных из них, информация о конкретных ресурсах Интернета, полезных в работе специалиста конкурентной разведки, так и тонкости приемов работы и «потайные ходы», которые позволяют в рамках закона и этики решать поставленные задачи.

Интернет как уникальный инструмент маркетинга

Среди множества преимуществ Интернета как инструмента маркетинга можно выделить два основных.
Во-первых, Интернет предлагает для исследования практически любых процессов такие возможности, какие не предоставляет никакой другой источник информации. Это относится также и к возможностям продвижения компании или ее продукции.
Во-вторых, Интернет позволяет следить за тенденциями развития потребительских предпочтений. Более того, он способен их формировать. А принимая во внимание практически равные возможности пользователей сети в донесении до людей своей точки зрения, Интернету под силу вовремя исправлять ситуацию при ее неблагоприятном развитии.

Интернет как инструмент PR

Всемирная Паутина для специалистов по PR стала инструментом мониторинга и формирования общественного мнения. Немаловажно, что Интернет позволяет проводить мониторинг, не обнаруживая перед окружающими своего интереса к тому или иному событию или явлению.
Дешевизна, оперативность и относительная (а порой и полная) анонимность вброса информации открывают перед специалистами PR новые возможности, хотя и ставят их перед лицом новых угроз. Так, с одной стороны, удобно, когда можно развить целую дискуссию и увести за собой людей, интересующихся той или иной темой, но с другой стороны, участились и случаи, когда в Интернете инспирируется ложная информация, а затем со ссылкой на нее начинается волна в печатных СМИ. Данная книга покажет, как специалист PR может использовать в своих интересах особенности Интернета, и одновременно научит выявлять, и нейтрализовать активность противника.

Принципы организации и поиска информации в Интернете

Поиск информации в Интернете проводится двумя основными способами – с помощью каталогов (их еще называют директориями) и с помощью поисковых машин.
Директории обеспечивают контекстный поиск для структурированного просмотра, тогда как поисковые машины, как следует из их названия, контекста не обеспечивают, однако позволяют находить конкретные слова или фразы.
Директории можно уподобить оглавлению книги, а поисковые машины – предметному указателю.
Часто поисковые системы объединяют в себе как поисковую машину, так и директории.
Это хорошо видно на примере первой страницы Яндекса, где под поисковой строкой размещается список директорий, которые позволяют пользователю уточнять запрос по мере продвижения в глубь каждой из них.
Ввиду того, что принцип организации директорий понятен каждому, кто пользовался библиотечным каталогом – а среди читателей таких, смеем полагать, подавляющее большинство, – мы не будем подробно останавливаться на технике работы с директориями и уделим больше внимания работе с поисковыми машинами. В завершение же разговора о каталогах приведем пример «цепочки», по которой осуществляется поиск в каталоге Яндекса: Бизнес > Реклама > Реклама в Интернете.
Все поисковые машины работают по одному и тому же алгоритму и основаны на одних и тех же принципах. Различия между ними возникают лишь на уровне технической реализации этих принципов в работе.
Чтобы понять принцип работы поисковой машины, попробуем разделить вопрос на две части: на чем основан поиск и как он реализован.

На чем основан поиск

Все поисковые машины базируются на трех основных операторах, лежащих в основе Булевой алгебры (ее также называют Булевой логикой или Booean).
Это логические операторы «И», «ИЛИ» и «НЕ». Работают они следующим образом.
1. Логическое «И». Если между двумя словами в запросе стоит оператор «И», то в результате поиска будут найдены лишь те документы, в которых содержатся оба слова. Так, например, по запросу собака И кошка будет найден документ, содержащий предложение «собака гналась за кошкой», документов же, состоящих из текста «кошка отдыхала» или «корм для собак», мы не увидим .
2. Логическое «ИЛИ». Если между словами стоит оператор «ИЛИ», то результа том поиска станут документы, в которых содержится хотя бы одно из этих слов .
Если мы не сделаем специальных ограничительных оговорок, то материалы, в которых оба эти слова присутствуют, также будут найдены.
По запросу собака ИЛИ кошка мы получим документы, исключенные в прошлом запросе и содержащие текст «кошка отдыхала» или «корм для собак», а также материал с предложением «собака гналась за кошкой».
3. Логическое «НЕ». Если два предыдущих оператора описывали те слова, ко торые вы хотите включить в запрос, то оператор «НЕ» слова из запроса исклю чает. Пользователи, впервые сталкивающиеся с операторами запросов, нередко высказывают удивление: мол, не проще ли и вовсе не включать ненужное слово в запрос? Зачем вводить дополнительный оператор? Увы, нет. Не проще.
На самом деле, чтобы понять важность логического оператора «НЕ», имеет смысл вспомнить, что наш запрос не создает в Интернете ничего нового. Мы лишь выуживаем то, что нам нужно, из имеющегося огромного, но все же конечного массива. При этом необходимо отсечь информационный мусор. Его-то мы и отсекаем с помощью оператора «НЕ». К сожалению, не нам решать, увидим ли мы этот мусор в выдаче. Так, например, по запросу сведений о коньке крыши неизменно появляется информационный мусор в виде документов о Коньке-Горбунке, фигурном катании, хоккее, лошадях и т. п. Без логического «НЕ» тут никак не обойтись.
Давайте рассмотрим примеры работы логического оператора «НЕ».
По запросу собака НЕ кошка будет найден документ, содержащий текст «корм для собак», а вот документы со словами «кошка отдыхала» или «собака гналась за кошкой», и даже «корма для собак и кошек» из выдачи будут исключены.
Часто встречается чуть более сложный вариант написания запроса, который содержит все или почти все вышеперечисленные операторы. В этом случае лучше пользоваться таким элементом, как круглые скоби. Скобки позволяют отделять однотипные слова запроса от остальных. Кроме того, самому составителю при этом визуально гораздо удобнее различать отдельные фрагменты запроса. Мы не будем чересчур теоретизировать о скобках, а просто продемонстрируем работу указанного элемента на конкретных примерах. На наш взгляд, так будет понятнее, как и для чего используются скобки.

Так, запрос пушистые И (собаки ИЛИ кошки)

позволит получить документы, относящиеся как к пушистым собакам, так и к пушистым кошкам – по отдельности или вместе. Скобки при этом «раскрываются» по обычным арифметическим правилам вынесения за скобку общего множителя (для тех, кто не любит математику, поспешим сказать, что болеше углубляться в нее мы не будем). А вот запрос пушистые И (собаки ИЛИ кошки) НЕ (собаки И кошки)
выдаст документы, в которых написано про пушистых собак или пушистых кошек, но не будет содержать текстов, где одновременно будут упомянуты и кошки, и собаки.
Еще раз повторимся, все поисковые машины сегодня работают на основе анализа этих трех операторов, хотя нюансы их написания в разных поисковых машинах могут отличаться.

Как поиск реализован

Каждая полноценная поисковая машина располагает собственным штатом роботов, или пауков. Их еще называют краулерами (crawers) и спайдерами (spiders,). Это программы, которые перескакивают со страницы на страницу и сканируют находящиеся на них тексты, не вникая при этом в их содержание. После чего сбрасывают документы на серверы своих хозяев и идут к следующим страницам. Как паук определяет, куда ему пойти? Он находит так называемую гиперссылку (ту самую, при наведении на которую курсор приобретает вид раскрытой ладони, и при клике по которой происходит переход на другую страницу) и идет по ней. Вот почему, если на страницу не ведет ни одна ссылка, паук на нее тоже не придет. Исключение составляет ситуация, когда владелец страницы вручную сообщит о ней поисковой машине, заполнив специальную форму на сайте поисковой машины.
На сервере поисковой машины текст разбивается на отдельные слова, каждому из которых присваиваются координаты, после чего они заносятся в таблицу сервера вместе со ссылкой на тот адрес в Интернете, по которому текст размещался в момент посещения его пауком.
Сам по себе поисковик представляет собой большую локальную сеть, состоящую из мощных компьютеров с огромным объемом дисковой памяти. Эти машины разделены на подгруппы (так называемые кластеры), между которыми распределяется информация, собранная пауками.
Когда поисковая система получает запрос, она ищет ответ именно в своей таблице, а не в Интернете.
При этом важно понять, как паук решает, с какой частотой ему следует посещать ту или иную страницу. Выглядит этот алгоритм приблизительно следующим образом. Поработав со страницей, паук возвращается на нее, н у, например, через две недели. И если видит, что никаких изменений не произошло, он планирует следующее посещение через более длительный период – скажем, через месяц. А если и тогда не обнаружит ничего нового, то наведаетсяя сюда еще позже, месяца через полтора-два.
Вот почему нередко бывает так, что поисковая машина по запросу результат выдает, а попытка перейти на страницу по полученной ссылке безрезультатна – вероятнее всего, никакой страницы уже просто не существует на прежнем месте, но паук на нее давно не заходил, и, соответственно, поисковая система о ее удалении не знает.
Весь комплекс процессов, описанных выше, называется индексацией.

История развития поисковых машин

История эволюции поисковых машин наиболее полно, на наш взгляд, представлена в книге признанных экспертов в области невидимого интернета Криса Шермана и Гарри Прайса «Невидимый Интернет».
До середины 1960-х годов компьютеров было немного. Изолированные друг от друга, они не могли обмениваться информацией.
В 1962 г. профессор Ликлайдер (Lickider) из ведущего технического вуза США – Массачусетского Технологического института – сформулировал концепцию глобальной компьютерной сети «Gaactic Network». Идея начала воплощаться в жизнь сотрудником американского министерства обороны Ларри Робертсом (Larry Robberts), который через четыре года после публикации статьи профессора предложил объединить отдельные компьютеры министерства в сеть, описанную Ликлайдером. Таковы предпосылки возникновения сети «ARPANET», которая затем превратилась в то, что сегодня величают Интернетом. Первый узел «ARPANET» появился в 1969 г., и следующие несколько лет к нему подключались университеты и различные контрагенты, работавшие по заказам военного ведомства США.
В 1973 г. американское министерство обороны инициировало новую программу, предполагавшую обеспечивать надежную связь компьютеров между собой с помощью очень большого числа различных соединений. Целью такого решения было повышение устойчивости системы к попыткам массированно нарушить электронные средства коммуникации. Поскольку все это происходило во времена «холодной войны», речь шла об устойчивости к устрашающим последствиям, которыми грозило стратегическое ядерное противостояние. Поскольку «ARPANET» представлял собой одну-единственную сеть, что на системном уровне понижало его способность сопротивляться разрушениям, возникла идея создания «сети из сетей», которая теоретически могла бы быть бесконечно большой. Этот проект и назвали «Internetting», а саму сеть «Internet».
По мере того, как количество присоединенных к Интернету машин увеличивалось, объективно назрел вопрос о необходимости инструментов, позволяющих легко находить текст и другие файлы на удаленном компьютере, в идеале – на любом, где бы он ни располагался в Сети.
Доступ к файлам на самых ранних этапах развития Интернета осуществлялся в два этапа, каждый из которых выполнялся вручную: специальные команды вводились с клавиатуры. Кстати, тогда компьютеры могли управляться лишь специалистами, способными вводить команды в соответствующую строку. Графического интерфейса, позволяющего комфортно работать с машиной неподготовленному человеку, еще не изобрели. Так вот первым делом с помощью программы Tenet устанавливалось прямое соединение с компьютером, на котором находится нужный файл. На данном этапе лишь налаживалась связь, ничего и никуда в этот момент еще не передавалось. И только затем с помощью специальной программы – FTP – можно было этот конкретный файл взять.
Очевидно, что на поиски нужного документа уходила масса времени: требовалось знать точный адрес компьютера, на котором он находится.
Между тем файлов становилось все больше, интерес к ним постоянно рос, и для того, чтобы найти адрес одного из них, обычно приходилось обращаться в дискуссионные группы с просьбой о помощи и в надежде на то, что кто-нибудь из собеседников подскажет заветный адрес, по которому хранится нужная информация.
В результате, стали появляться специальные FTP-серверы, которые представляли собой хранилище файлов, организованных в директории, по принципу хранения информации на персональном компьютере. Такие серверы существуют и по сей день.
Первый работоспособный, общедоступный инструмент поиска файлов, хранящихся на FTP-серверах, назывался «Арчи» (Archie) и был создан в 1990 г. группой системных администраторов и студентов старших курсов Университета Мак Джил (McGi) в Монреале. «Арчи» был прототипом сегодняшних поисковых машин, но значительно более примитивным и ограниченным в своих возможностях. Он бродил по Интернету, разыскивал файлы на разных FTP-серверах и загружал список директорий каждого найденного сервера на собственный, формируя общий каталог.
Этот каталог затем обрабатывался и хранился в центральной базе данных, внутри которой можно было организовать поиск. Поиск на собственном компьютере к тому моменту существовал уже издавна и, несмотря на то, что тоже требовал ввода команд, трудностей в работе не создавал. Однако без специальной подготовки использовать компьютер полноценно человек не мог. База данных находилась в университете Мак Джилл и обновлялась ежемесячно.
В 1991 г. команда Марка Мак Кахилла (Mark McCahi) из Университета Миннесоты создала программу «Голден Гофер» (Goden Gopher – в переводе с английского «золотоискатель» или «старатель»), которая совмещала в себе оба протокола – Tenet и FTP. Все, что нужно было сделать пользователю для получения доступа к нужной информации, – щелкнуть по гиперссылке, приведенной в меню. Таким образом, впервые в истории вводить какие-либо команды уже не требовалось, так что отныне по ресурсам Интернета люди могли «бродить» и без специальной подготовки.
Программа показывала пользователю последовательно возникающие пошаговые меню, что позволяло ему без проблем идти в глубь базы директорий, все более приближаясь к специфическим документам, которые и составляли цель поиска. Этот алгоритм, по сути, сохранен и сегодня в Каталогах, расположенных в Интернете.
Стало возможно получать как текстовые документы, так и графические, и музыкальные, без привязки к какому-то определенному формату. А самое главное, стало в принципе возможно легко найти и получить в Интернете нужную информацию.
Однако проблемы все же оставались. Одна из них, и довольно серьезная, была связана с тем, что компьютеры были построены на разных платформах, которые порой не понимали друг друга. Тут можно провести аналогию с людьми, которые говорят на совершенно разных языках и потому не могут построить более или менее осмысленную беседу. В те времена между собой конкурировали не операционные системы, как сейчас, а производители компьютерного «железа». Сегодня в меньшей степени важно, кто произвел компьютер. Гораздо существеннее, что на нем установлено: Windows, Linux, Mac OS или какая-то другая система. А тогда именно производители «железа» определяли лицо Интернета.
Объективно назревала идея, согласно которой компьютеры разных платформ должны иметь возможность работать в одном протоколе, позволяющем просматривать страницы вне зависимости от того, на какой конкретно машине эти страницы созданы. Требовалось придумать такой универсальный протокол и сделать его удобным для пользователей. Первым, кто догадался объединить известную к тому времени простую форму гипертекста с универсальными коммуникационными протоколами, был Тим Бернерс-Ли (Tim Berners-Lee).
Чтобы пользователь получил в руки независимый от платформы и при этом простой инструмент, Бернерс-Ли создал HTML (HyperText Markup Language, то есть Язык гипертекстовой разметки). Все Web-документы, отформатированные с помощью тегов HTML, видны совершенно одинаково во всем мире, вне зависимости от типа компьютера, на котором человек открыл страницу сайта. Поэтому и сегодня при переводе файла в формат HTML, например, на машине, работающей под управлением операционной системы MacOS, можно быть уверенным в том, что этот файл будет выглядеть точно так же и на компьютере, работающем под управлением Windows.
Затем Бернерс-Ли придумал Universa Resource Identifier – метод стандартизации адресов, при котором компьютерам в Интернете присваиваются уникальные адреса (сегодня мы их называем URL, это то, что в привычном для пользователя виде обычно начинается с «www»). Наконец, изобретатель собрал вместе все эти элементы, создав систему в форме Web-серверов, которые хранят HTML-документы и предоставляют их другим компьютерам, создавая HTML-запросы о документах по определенным URL.
Но Бернерс-Ли хотел видеть Интернет как информационное пространство, в котором можно получить свободный доступ к данным любых типов. На ранних этапах развития глобальной Сети преобладали простые текстовые документы HTML. К тому времени существовали системы поиска информации на локальных машинах, поэтому появилось несколько серверов, которые пытались проиндексировать какую-то часть страниц Web и прежде, чем отправляться за чем-то в Интернет, предлагали поискать необходимые сведения на этих серверах.
При этом основная проблема заключалась в том, чтобы отыскать страницы, которые в принципе можно бы было индексировать. Поскольку Интернет лишен централизованной структуры и общего оглавления, единственный способ, позволявший добиться этого, состоял в поиске ссылки на страницу и переходе по этой ссылке, с последующим добавлением найденного ресурса к индексу.
Однако вскоре возникла еще одна проблема. Наиболее популярные страницы посещались пауками чаще остальных, так как на них указывало максимальное количество ссылок. Пауки, количество и возможности которых были ограничены, «зависали» на таких страницах и впустую расходовали ресурсы, оставляя непосещенным множество других адресов, пока еще менее популярных. Для решения этой проблемы требовалось создать программу, которая позволила бы игнорировать уже проиндексированные страницы и сосредоточиться на поиске новых. Иначе это грозило проблемой с ресурсами.
В 1993 г. студент-физик Массачусетского технологического института Мэтью Грей (Mathew Gray) создал первый широко известный Web-робот, названный «Word Wide Web Wanderer» или просто «Вандерер», что в переводе с английского означает «скиталец» или «странник». Дело в том, что Грей заинтересовался статистикой. Результатом такого увлечения стало появление «странника»: изобретение было призвано помочь студенту проанализировать размеры Интернета и скорость его роста. «Вандерер» просто приходил на страницу и определял сам факт ее существования, не занося в базу содержимого найденного адреса. Несмотря на то, что создатель робота не преследовал никаких других целей, его детище, фактически дебютировавшее в «забеге» прогрессивных интернет-находок, легло в основу более сложных программ, которые к умению «скитальца» перемещаться по Сети добавили способность сохранять содержимое страниц в базе данных после их посещения.
Случилось так, что 1994 г. стал переломным в истории создания поисковых машин. Студент выпускного курса Вашингтонского университета Брайан Пинкертон (Brian Pinkerton) устал от бесконечной череды электронных писем, которые посылали ему друзья, с информацией о хороших сайтах, найденных ими в Интернете. Безусловно, сайты ему были нужны, однако шквал посланий с их адресами раздражал, а посещение всех страниц отнимало уйму времени. Однако Пинкертон нашел решение проблемы – он создал робота, которого назвал WebCrawer (что-то вроде «вездеход для Интернета»). «ВебКраулер», как и «Вандерер», ползал со страницы на страницу, запоминая при этом весь текст Web-документа и сохраняя его в базе данных, которая была доступна поисковым словам. Изобретатель представил свое детище публике в апреле 1994 г., причем сделал это виртуально – через Web-интерфейс. База данных в тот момент содержала информацию с 6000 самых разных серверов. Уже через неделю она начала расширяться, причем ежедневный прирост составлял более 100 новых серверов. Так родилась первая поисковая машина.
Тогда же был введен в обиход интернетчиков термин «краулер» или «паук», который применяется, как мы уже говорили, и по сей день.
Ну а далее ситуация развивалась еще более стремительно. Крис Шерман и Гари Прайс приводят такую хронологию возникновения и развития современных поисковых машин.
1994 г. – WebCrawer, Lycos, Yahoo!
1995 г. – Infoseek, SavvySearch, AtaVista, MetCrawer, Excite. Появление метапоисковых машин.
1996 г. – HotBot, LookSmart.
1997 г. – NorthernLight.
1998 г. – Googe, InvisibeWeb.com.
1999 г. – FAST.
2000 г. и далее – Сотни новых поисковых машин.
Русскоязычные поисковые машины появлялись в такой последовательности:
1996 г. – Ramber (ramber.ru);
1997 г. – Yandex (yandex.ru);
2004 г. – русскоязычная версия Googe (googe.ru) и русскоязычная версия Yahoo! (ru.yahoo.com).

Из чего состоит сайт

Прежде, чем перейти к описанию языка запросов поисковых машин, рассмотрим, из каких элементов, с которыми предстоит работать пауку, состоит обычно сайт.
Надо сказать, что язык HTML достаточно прост и логичен. Он представляет собой способ разбивки текста с помощью специальных элементов – тегов, которые определяют структуру и внешний вид текста при просмотре его в браузере. О тегах следует знать, что они всегда парные и что они бывают открывающими (обозначают начало определенного форматирования) и закрывающими (обозначают его окончание). Закрывающий тег – такой же по написанию, как открывающий, но перед ним стоит косая черта.
Приведем пример очень простого сайта (рис. 1).

Рис. 1. Пример сайта, как его видно в браузере Мозилла Файрфокс .

Наверху страницы, изображенной на рисунке, то есть не в тексте сайта, а на верхнем поле рамки страницы, рядом с круглым значком браузера, расположена надпись: «Показываем устройство сайта». Она находится в так называемом заголовке страницы (который заключен между открывающим тегом &t;TITLE> и закрывающим тегом &t;/TITLE>). Обращаем ваше внимание на то, что это заголовок именно всей страницы, а не текста.
Посередине представленного рисунка жирным курсивом выведено: «Это простой сайт». Данная надпись – и есть заголовок текста. Шрифт фразы «Это простой сайт» по размеру превосходит шрифт текста на сайте, он специально выделен как заголовок текста. При разметке с помощью HTML этот текст расположен ниже тега &t;TITLE>, но при этом вместе с тегом &t;TITLE> находится внутри тега &t;Head>. То есть содержимое, заключенное в &t;TITLE>, – это часть того, что находится в &t;Head>. Такое расположение дает дополнительную возможность пауку лучше определять ключевые слова на сайте. Ведь если слова вынесены в заголовок текста или, тем более, всей страницы, вероятность того, что страница и текст посвящены теме, формулируемой этими словами, повышается.
Ниже фразы «Это простой сайт» приведены четыре варианта написания основного текста сайта:
– обычный;
– жирный (пишется под тегом &t;B>);
– курсив (пишется под тегом &t;i>);
– текстовая гиперссылка (пишется под тегом &t;A H=ur. ru>«Текст гиперссылки»&t;/A>).
Основной текст сайта, вне зависимости от того, каким вариантом шрифта он написан, располагается внутри тега &t;BODY>. Именно содержимое тега &t;BODY> представляет собой основной объект для паука и рассматривается им как текст страницы (собственно, это действительно текст страницы).
Чтобы увидеть внутреннюю разметку сайта, надо в браузере Мозилла Файрфокс навести курсор на любой незанятый текстом участок поля и нажать правую кнопку мыши. В всплывающем меню следует выбрать пункт «Просмотр исходного кода страницы».
Применительно к сайту, который мы рассматривали на рис. 1, этот исходный код будет выглядеть следующим образом:

&t;HTML>
&t;HEAD>
&t;TITLE>
Показываем устройство сайта:
&t;/TITLE>
&t;CENTER>
&t;B>&t;I>
&t;SPAN STYLE=«font-size: arge»>Это простой сайт&t;/SPAN>
&t;/CENTER>
&t;/B>&t;/I>
&t;/HEAD>
&t;BODY>
&t;P>
Это текст на сайте. Обычный шрифт.
&t;/P>
&t;P>
&t;B>
Жирный шрифт.
&t;/B>
&t;/P>
&t;P>
&t;I>
Курсив. &t;/I>
&t;/P>
&t;A H=ur.ru>«А это – гиперссылка»&t;/A>
&t;/BODY>
&t;/HTML>

Здесь можно увидеть все элементы, описанные нами выше. Кроме того, в исходном коде видны теги &t;P>, которые обеспечивают расположение текста в новой строке и с промежутком по отношению к тексту, расположенному в предыдущей строке.
Разметка HTML по умолчанию не предполагает переноса текста и его форматирования. Поэтому текст, не содержащий никаких тегов, воспроизводится подряд, но с соблюдением пробелов между словами. Для того чтобы текст оказался написан не просто в новой строке, а с промежутком относительно находящейся выше строки, используется, как мы уже показали, тег &t;P>, а для того, чтобы текст был написан в новой строке, но без промежутка между выше– и нижерасположенной строками, применяется тег &t;BR>.
Начало сайта, созданного с помощью разметки HTML, отмечено тегом &t;HTML>, а его окончание – тегом &t;/HTML>.

Описание языков запросов различных поисковых машин

Язык запросов поисковой машины Яндекс

Лучшая, на наш взгляд, работа по изучению операторов поисковой машины Яндекс выполнена специалистом из Санкт-Петербурга Денисом Фурсовым. На его ресурсе постоянно проводятся дополнительные исследования, отслеживаются и оцениваются изменения в работе операторов указанной поисковой машины.
Ниже речь пойдет о том, как с помощью специальных фильтров, основанных на Булевой алгебре, создавать запросы, максимально соответствующие потребностям специалиста, который ищет информацию в Интернете.
При изучении этого вопроса, не следует забывать, что компьютер очень исполнителен, но лишен способности думать, поэтому следует составлять запрос, исходя из того, что он будет обработан компьютером буквально, а не с учетом того, что же на самом деле имел в виду пользователь, создавая свое обращение.
Лучше всех эту мысль проиллюстрировал летом 2005 г. Алексей Амилющенко, главный аналитик отдела маркетинга Яндекса на следующем примере.

Вот еще одна история с семинаров, но ее приходится рассказывать не очень часто. Иногда случается, что заходит разговор о том, что хорошо бы поисковым системам учитывать не только слова, которые есть в индексируемых документах, но и смысл написанного. В ответ говорю, что знаю фразу, про которую и человек-то не скажет, о чем это. Вот она.
Эти типы стали есть в прокатном цехе.
И что тут написано? Я знаю, минимум, три разных смысла. Не подглядывайте в ответ
сразу (он ниже). Попробуйте сначала самостоятельно…
Обычно, когда это предложение видит зал, сначала становится тихо (видно, что думают),
потом начинаются смешки (до кого-то дошло), потом хихикают уже все.
Но к делу, что же здесь все-таки написано?
1. Скучный такой вариант.
Эти типы стали (варианты металлопроката) есть (имеются в наличии) в прокатном цехе.
2. Более творческий, с элементами мизантропии.
Эти типы (неприятные автору личности) стали (начали) есть (принимать пищу) в прокатном цехе.
3. Несколько надуманный, конечно, но…
Эти типы стали (варианты металлопроката) есть (надлежит принимать в пищу) в прокатном цехе.
Вот видите, даже протеиновые мозги не справляются, а вы хотите, чтобы у силиконовых это получалось.

Текст запроса мы будем помещать в квадратные скобки [] для того, чтобы визуально выделить его из текста книги. Если уважаемый читатель решит ввести приведенные ниже запросы в поисковую строку поисковой машины, чтобы проверить их работоспособность на практике, то эти квадратные скобки вводить не надо.
Итак, перейдем непосредственно к операторам запросов Яндекса.
1. Логическое «И».
Яндекс поддерживает три разных оператора, относящихся к логическому «И», что делает его самым гибким из всех поисковиков, работающих с русским языком. Столь развитая, практически уникальная система операторов поисковых запросов дает возможность предельно точно настроить запрос и сформировать такой фильтр для данных в Интернете, который максимально качественно выбирает нужную информацию и отсекает ненужную.
1.1. Пробел.
Слова, разделенные пробелом, должны располагаться недалеко друг от друга . Специалисты поясняют, что термин «недалеко» отнюдь не фиксированная величина и меняется в зависимости от того, с какими словами указанный оператор в каждом конкретном случае используется. Если они часто употребляются, то «недалеко» – значит, на расстоянии нескольких слов друг от друга. Если же они редко встречаются в обиходе, то даже их нахождение в разных концах документа будет восприниматься как «недалеко».
При этом, несмотря на то, что логическое «И» в общем виде Булевой алгебры подразумевает присутствие всех упомянутых слов, Яндекс, тем не менее, действительно выдает сначала те документы, в которых есть все ключевые слова, представленные в запросе. После чего начинает выдавать документы, в которых на одно ключевое слово меньше, чем в запросе, затем – на два слова меньше и так далее.

Запрос: [маркетинг менеджмент]
Результат поиска: страниц – 2 442 393, сайтов – не менее 1456
В выдаче: Маркетинг , Финансы, Реклама, Менеджмент

1.2. Амперсанд (&).
Слова, разделенные амперсандом, находятся в одном предложении. Важно : амперсанд должен быть отделен пробелами с двух сторон от любых других слов.

Запрос: [маркетинг & менеджмент]
Результат поиска: страниц – 1 190 379, сайтов – не менее 1093
В выдаче: … Филип Котлер в краткой форме представляет все наиболее значительные и интересные положения самой известной своей работы «Маркетинг менеджмент »…

1.3. Двойной амперсанд (&&).
Слова, разделенные двойным амперсандом, находятся в любом месте одного и того же документа.
Важно : между амперсандами не должно быть пробелов, но сам оператор должен быть отделен пробелами с двух сторон от любых других слов.

Запрос: [маркетинг && менеджмент]
Результат поиска: страниц – 3 641 056, сайтов – не менее 1 295
В выдаче, к примеру, будут присутствовать учебные планы вузов, в которых слова «маркетинг» и «менеджмент» находятся в разных частях текста, в том числе – на разных страницах опубликованного в Интернете многостраничного плана занятий.

Чтобы увидеть это наглядно, читатели могут нажать в результатах выдачи гиперссылку «Найденные слова», которая приводится во всех итогах поиска. И тогда слова, которые есть в запросе, будут подсвечены и не придется тратить время на их «отлавливание» в тексте.
2. Логическое «НЕ».
Логическое «НЕ» представлено двумя операторами.
Прежде чем рассказать о них, отвечу на вопрос, который часто возникает у людей, впервые приступивших к изучению операторов поиска: «Зачем нужно логическое „НЕ“? Его ведь можно и вовсе не вводить, и тогда оно нам не понадобится!». Отвечаем: если мы сами решаем, что нам вводить, а что нет, то это утверждение справедливо. Но проблема в том, что часто в выдаче принудительно оказывается «мусор» и другого способа избавиться от него, кроме как убрать эти слова при помощи логического «НЕ», у нас нет. Так, например, если вас интересует конек крыши, то по слову «конек» в выдаче окажется информация и о роликовых, и о фигурных коньках, и даже о Коньке-Горбунке. Для таких-то случаев логическое «НЕ» и придумано.
Итак, вернемся к нашим операторам.
2.1. Тильда (~).
Знак тильды – это верхняя левая клавиша на буквенно-цифровой клавиатуре. Символ вводится на английском регистре с нажатой клавишей SHIFT. Как и амперсанд, тильда должна быть отделена пробелами с обеих сторон. Часто допускают ошибку, «приклеивая» тильду к следующему за ней слову. Иногда отсутствие пробела между тильдой и последующим словом не влияет на результат, но бывает и наоборот, поэтому лучше внимательно проследить за пробелами вокруг этого знака.
Тильда означает, по аналогии с диаметрально противоположным символом – амперсандом, что слова не должно быть в предложении.

Запрос: [маркетинг ~ менеджмент]
Результат поиска: страниц – 12 604 153, сайтов – не менее 4442
В выдаче: … комплексный подход к услуге интернет-маркетинга, охватывающий все возможности для продвижения интернет-представительств компаний в сети Интернет.

2.2. Двойная тильда (~~).
По аналогии с двойным амперсандом, двойная тильда пишется слитно внутри самого этого оператора, но отделяется от остальных слов пробелами с обеих сторон.
Она означает, что слова, которое за ней расположено, не должно быть в документе совсем.

Запрос: [маркетинг ~~ менеджмент]
Результат поиска: страниц – 9 675 995, сайтов – не менее 3 976
В выдаче: Форум по маркетингу и рекламе – Маркетинг и Реклама, маркетинговые коммуникации, виды рекламы: реклама в СМИ (печатная реклама, телереклама, радиореклама), наружная реклама, BTL: POS-материалы, У вас есть вопрос по маркетингу и рекламе?

Обратите внимание: в результатах выдачи слова «маркетинг» и «маркетингу» выделены как релевантные, «маркетинговые» же – нет. Это происходит потому, что термин «маркетинг» – существительное, а «маркетингу» – его словоформа, тогда как «маркетинговые» – совсем другая часть речи, а отнюдь не производное от слова «маркетинг». Подобное явление надо учитывать, если вы рассчитываете на способность Яндекса самостоятельно перебирать словоформы. Игнорирование этого факта нередко приводит к искажению результатов выдачи и также является частой ошибкой начинающих специалистов по поиску в Интернете.
На самом деле, в Яндексе есть еще один оператор логического «НЕ», который обозначается знаком «минус». По мнению Дениса Фурсова, с которым автор полностью согласен, _ «минус» – это не всегда корректно работающая двойная тильда, поэтому пользоваться им смысла нет. Мы не знаем наверняка, но предполагаем, что знак «минус» в качестве логического «НЕ» – это способ унифицировать Яндекс с другими поисковыми машинами, поскольку в большинстве своем они обозначают логическое «НЕ» именно этим знаком. Мы не пользуемся оператором «минус» при поиске в Яндексе.
3. Логическое «ИЛИ» (оператор |).
Логическое «ИЛИ» представлено оператором, имеющим вид вертикальной черты |.
На клавиатуре этот оператор находится обычно выше (реже он расположен ниже) клавиши Enter и вводится в английском регистре, при нажатой клавише SHIFT.
В подавляющем большинстве случаев оператор | и слова, с которыми он используется, заключаются в скобки, так как чаще всего этот оператор относится сразу к двум и более словам.

Если мы хотим сделать запрос, который должен показать, что нас интересует документ, содержащий в одном предложении слова «маркетинг» и «менеджмент», но при этом нигде по тексту не должно быть слов «курс», «работа», «конференция», «теория», «книга», «семинар», «бизнес», «прибыль», «клиент», то сформулировать его необходимо следующим образом:
[маркетинг & менеджмент ~~ (курс | работа | конференция | теория | книга | семинар | бизнес | прибыль | клиент)]
Результат поиска: страниц – 46 082, сайтов – не менее 1483
В выдаче: Форумы на Sostav.ru / Доска объявлений / Продам Маркетинг Менеджмент Котлера
Или:
Ответы к госам по дисциплине Маркетинг – Менеджмент (по конспектам преподавателей СПбГУ)

Обратите внимание, что скобки, как в арифметике при вынесении за скобку общего множителя, позволяют распространить действие оператора «двойная тильда» на все слова, расположенные внутри них.
Кстати, для удобства восприятия этот запрос лучше оформить так, чтобы слова «маркетинг» и «менеджмент» были сгруппированы. Смысловой нагрузки это не несет, а потому и на выдачу не влияет, однако снижает вероятность того, что вы сами запутаетесь в своем запросе, если он будет достаточно длинным. Соответственно, мы бы советовали обратиться к поисковику так:

[(маркетинг & менеджмент) ~~ (курс | работа | конференция | теория | книга | семинар | бизнес | прибыль | клиент)]

4. Яндекс учитывает морфологию слов.
Это означает, что Яндекс по запросу «Учет» выдаст результаты, содержащие слова «Учету», «Учетом», «Учетов» и т. п., которые он выделяет как релевантные теме поиска.

Запрос: [Учет]
В выдаче: Последний день сдачи индивидуальных сведений персонифицированного учета истекает 1 марта 2006 года.
Результат поиска: страниц – 23 287 782, сайтов – не менее 13 745
Запрос: [Учетом]
ведение бухгалтерского учета поставщика, прежде всего учета реализации
В выдаче: Учет русской морфологии Подсветка найденных…Yandex поисковая система с учетом морфологии русского языка Россия…
Результат поиска: страниц – 23 675 161, сайтов – не менее 13 745

5. Можно отключить поддержание морфологии слов.
Если слова с изменяющимися окончаниями «замусоривают» результаты, то можно принудительно заставить Яндекс искать только слова в нужной словоформе. Это бывает полезно, например, при совпадении названия компании с общеупотребительными словами. Скажем, маловероятно, чтобы фирма «Река» упоминалась в публикациях со словами «Реке» или «Реку».
Для того чтобы принудительно искать только нужную словоформу в Яндексе, используют оператор восклицательный знак . Он пишется слитно со словом, которое за ним следует, как если бы этот символ был первой его буквой.

Запрос: [!Река]
В выдаче: Рекламное агентство Река – размещение рекламы…
Результат поиска: страниц – 2 267 142, сайтов – не менее 4976
А если запрос сделать без восклицательного знака: Река
В выдаче: Речные круизы по рекам России и Европы
Результат поиска: страниц – 10 470 689, сайтов – не менее 13 932

Видно, что количество страниц и сайтов в случае запроса с оператором «восклицательный знак» уменьшается почти в пять раз за счет исключения форм слова «река», таких как «реки», «ре&heip;