Самостоятельное создание сайта
Самостоятельная раскрутка и продвижение сайта

Поисковые системы

Поисковые системы являются наиболее ефективным способом привлечения посетителей на Ваш сайт, поэтому вы должны очень хорошо знать принципы их действия и уметь максимально возможно настраивать свой сайт под них.

  1. Зачем нужна раскрутка сайта в поисковиках?;
  2. Роботы поисковой системы;
  3. Как работают роботы поисковой машины?;
  4. Как они читают страницы вашего web-сайта?;

   Зачем нужна раскрутка сайта в поисковиках?
    Привлечение клиента через сеть дешевле, чем различными офлайновыми способами. Качество же трафика обеспечивается правильно подобранными ключевыми словами.
   Посетитель, который целенаправленно что-то искал с помощью поисковой системы, является более ценным и более целевым, чем посетитель, просто кликнувший на красивом, завлекательном изображении, или перешедший по какой-то ссылке.
   Посещаемость сайта, обеспеченная баннерной или другими видами рекламы, резко падает с окончанием рекламной кампании. В сравнении с этим поисковый трафик обладает несомненным преимуществом - индексация страниц сайта поисковыми системами дает стабильный поток новых посетителей в течение всего времени существования сайта. Поэтому усилия, направленные на раскрутку сайта в поисковых системах, окупаются очень быстро.
   Однако прежде, чем приступать к чтению дальнейшего материала, вы должны знать, что если ваша информация никому не нужна, если ваш сайт загружен графикой и пользователи должны ждать по несколько минут, прежде, чем они что-то увидят, если в навигации по вашему сайту совершенно не разобраться и пользователи путаются в его структуре, если вы годами не обновляете свой сайт, знайте, что то даже при самой лучшей рекламе и самой лучшей оптимизации сайта для поисковых систем все ваши усилия в конце концов окажутся тщетными.

Роботы поисковой системы
   Роботы поисковой системы («Web-паук», паук, спайдер, краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для обхода страниц Интернета с целью занесения информации о них (ключевые слова) в базу поисковика.
   По своей сути паук больше всего напоминает обычный браузер. Он сканирует содержимое страницы, забрасывает его на сервер поисковой машины, которой принадлежит и отправляется по ссылкам на следующие страницы. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он подключен к Интернету.
   Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения ключевых слов определяется алгоритмами поисковой машины.
   В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.
   Роботы не понимают фреймов, Flash анимаций, изображений или JavaScript. Они не могут зайти в разделы, защищенные паролем и не могут нажимать на все те кнопочки, которые есть на сайте. Они могут "заткнуться" в процессе индексирования динамических адресов URL и работать очень медленно, вплоть до остановки и безсилием над JavaScript-навигацией.
   Также многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для индексирования. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается единственной возможностью заявить о его существовании.
   Ограничить индексацию сайта можно с помощью файла robots.txt, однако некоторые поисковые системы могут игнорировать наличие этого файла. Полная защита от индексации обеспечивается механизмами, обойти которые пока паукам не под силу. Обычно — установкой пароля на странице, либо требованием заполнить регистрационную форму перед тем, как получить доступ к содержимому страницы.
   Большинство пользователей интернета ищут информацию о нужных товарах и услугах, прибегая к помощи ведущих поисковых систем, таких как Yandex, Rambler, Google, Aport. Эти поисковики дают сайту 60%, 17%, 15%, 2% посетителей - соответственно. При этом почти 90% всех пользователей довольствуются результатами выдачи первой "Десятки" по заданным запросам, и только 10% пользователей идут на вторую страницу и менее 3% далее. Именно поэтому Вам так важна оптимизация сайта для попадания его в "Десятку" выдачи по запросу, и особенно Яндекса! Поэтому регистрироваться в наиболее значимых поисковых системах нужно вручную. Использовать для этого автоматизированные сервисы не рекомендуется.

Как работают роботы поисковой машины?
   Поисковые роботы стоит воспринимать, как программы автоматизированного получения данных, путешествующие по сети в поисках информации и ссылок на информацию.
   Когда, зайдя на страницу "Submit a URL", вы регистрируете очередную web-страницу в поисковике - в очередь для просмотра сайтов роботом добавляется новый URL. Даже если вы не регистрируете страницу, множество роботов найдет ваш сайт, поскольку существуют ссылки из других сайтов, ссылающиеся на ваш. Вот одна из причин, почему важно строить ссылочную популярность и размещать ссылки на других тематических ресурсах.
   Прийдя на ваш сайт, роботы сначала проверяют, есть ли файл robots.txt. Этот файл сообщает роботам, какие разделы вашего сайта не подлежат индексации. Обычно это могут быть директории, содержащие файлы, которыми робот не интересуется или ему не следовало бы знать.
   Роботы хранят и собирают ссылки с каждой страницы, которую они посещают, а позже проходят по этим ссылкам на другие страницы. Вся всемирная сеть построена из ссылок. Начальная идея создания Интернет сети была в том, что бы была возможность перемещаться по ссылкам от одного места к другому. Вот так перемещаются и роботы.
   "Остроумность" в отношении индексирования страниц в реальном режиме времени зависит от инженеров поисковых машин, которые изобрели методы, используемые для оценки информации, получаемой роботами поисковика. Будучи внедрена в базу данных поисковой машины, информация доступна пользователям, которые осуществляют поиск. Когда пользователь поисковой машины вводит поисковый запрос, производится ряд быстрых вычислений для уверенности в том, что выдается действительно правильный набор сайтов для наиболее релевантного ответа.
   Вы можете просмотреть, какие страницы вашего сайта уже посетил поисковый робот, руководствуясь лог-файлами сервера, или результатами статистической обработки лог-файла. Идентифицируя роботов, вы увидите, когда они посетили ваш сайт, какие страницы и как часто. Некоторые роботы легко идентифицируются по своим именам, как Google's "Googlebot". Другие более скрытые, как, например, Inktomi's "Slurp". Другие роботы так же могут встречаться в логах и не исключено, что вы не сможете сразу их идентифицировать; некоторые из них могут даже оказаться броузерами, которыми управляют люди.
   Помимо идентификации уникальных поисковых роботов и подсчета количества их визитов, статистика также может показать вам агрессивных, поглощающих ширину катала пропускания роботов или роботов, нежелательных для посещения вашего сайта.

Как они читают страницы вашего web-сайта?
   Когда поисковой робот посещает страницу, он просматривает ее видимый текст, содержание различных тегов в исходном коде вашей страницы (title tag, meta tags, и т.д.), а так же гиперссылки на странице. Судя по словам ссылок, поисковая машина решает, о чем страница. Есть много факторов, используемых для вычисления ключевых моментов страницы «играющих роль». Каждая поисковая машина имеет свой собственный алгоритм для оценки и обработки информации. В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базу данных поисковой системы.
   После этого, информация, доставленная в индексные базы данных поисковой системы, становится частью поисковика и процесса ранжирования в базе. Когда посетитель существляет запрос, поисковик просматривает всю базу данных для выдачи конечного списка, релевантного поисковому запросу.
   Базы данных поисковых систем подвергаются тщательной обработке и приведению в соответствие. Если вы уже попали в базу данных, роботы будут навещать вас периодически для сбора любых изменений на страницах и уверенности в том, что обладают самой последней информацией. Количество посещений зависит от установок поисковой машины, которые могут варьироваться от ее вида и назначения.
   Иногда поисковые роботы не в состоянии проиндексировать web-сайт. Если ваш сайт упал или на сайт идет большое количество посетителей, робот может быть безсилен в попытках его индексации. Когда такое происходит, сайт не может быть переиндексирован, что зависит от частоты его посещения роботом. В большинстве случаев, роботы, которые не смогли достичь ваших страниц, попытаются позже, в надежде на то, что ваш сайт в ближайшее время будет доступен.
   Многие поисковые роботы не могут быть идентифицированы, когда вы просматриваете логи. Они могут посещать вас, но логи утверждают, что кто-то использует Microsoft броузер и т.д. Некоторые роботы идентифицируют себя использованием имени поисковика (googlebot) или его клона (Scooter = AltaVista).
   В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базы данных поисковой машины.
   Базы данных поисковых машин подвергаются модификации в различные сроки. Даже директории, имеющие вторичные поисковые результаты используют данные роботов как содержание своего web-сайта.
   Собственно, роботы не используются поисковиками лишь для вышеизложенного. Существуют роботы, которые проверяют баз данных на наличие нового содержания, навещают старое содержимое базы, проверяют, не изменились ли ссылки, загружают целые сайты для просмотра и так далее.
   По этой причине, чтение лог-файлов и слежение за выдачей поисковой системы помогает вам наблюдать за индексацией ваших проектов.

1162
4.7 9
Рейтинг: +4.7 , голосов 9
Вы еще не голосовали!
Добавить комментарий (комментариев: 3)
Удалить ответ

Ваш почтовый ящик никогда не будет опубликован
Трудно разобрать цифры? Нажмите на рисунок, чтобы обновить.
#1 26/01/2013 17:06 Владислав
reply
Поисковые системы являются наиболее ефективным способом привлечения посетителей на Ваш сайт, а по этому нужно для начала зарегистрировать сайт во всех поисковых системах, которые только существуют. Лучший пока пример,что я знаю так это программа "Resipo v.1.3", которая регистрирует в 48-ми поисковых системах. Кому интересно, вот официальный сайт программы - "Pro-web"
#2 16/11/2011 14:54 Юрий
reply
Спасибо вам за ответ! Я так и подозревал
#3 15/11/2011 14:34 Юрий
reply
Подскажите пожалуйста! Если поставить пароль на доступ к чтению к статье и пароль будут знать только определенные пользователи, но в файле robot.txt не запрещать индексировать эту статью. Так сможет ли робот индексировать эту статью или нет? Просто когда вы заходите на сайт то видите название статьи но ниже видно поле для ввода пароля и надпись (Данная запись защищена паролем). Сайт создан на CMS.
16/11/2011 14:33 admin
робот ничем не отличается от обычного пользователя, если анонимный пользователь может видеть страницу, то и робот может, если анонимный пользователь видет запрос на вторизацию, то робот вместо вашей страницы натолкнется на авторизацию

Дополнительно

Разработка сайта за 1 день 600 р: создание сайтов Тверь.

» С чего начать сайт?

» Установка программ

» Пример создания сайта

» Хостинг и домен

» Оптимизация сайта

» Раскрутка сайта

» Заработок web-мастера

» Примеры PHP/Javascript

» Блог и мои записки

Последние новости

Статьи по рейтингу

» Особенности покупки контента 5.0 1
» Выбор хостинга 4.8 5
» Поисковые системы 4.7 9
» Курс молодого web-мастера 4.6 21
» Где взять бесплатные ссылки 4.5 11
» Что такое сниппеты 4.5 6
» Addstudio - SEO модуль 4.5 4
» Отладка js и CSS 4.4 14
» Стратегия дохода на Sape.ru 4.3 3
» Каталоги и биржи статей 4.3 4