Недавно я обновлял дизайн своего сайта. Старый дизайн стал неактуальным и я решил поменять его и вдобавок изменить движок. Сайт был написан на простом PHP + Smarty. Где-то 1,5 года назад я начал изучать фреймворк Symfony и стех пор я с ним не расстаюсь. Он очень простой в использовании, а главное все процессы: от создания таблиц в базе данных до автогенерации админки с пейджингом и фильтрами для поиска делается автоматически с помощью консольных команд.
В процессе обновления сайта я отказался от некоторых страниц, таких как обмен ссылками, каталога полезных ресурсов и т.п. Таких страниц собиралось около 30, что составило приблизительно 15-20% от общего числа количества страниц сайта. Дизайн получился удачным и движок славно работает, вот только трафик упал на 200 человек в сутки. Раньше он колебался между 550 - 650 уникальных посетителей, а теперь 350-450. Хотя те страницы, которые я убрал никакой ценности не имели и полезной информации там особо не было.
Все дело в том, что как показывает статистику показов в разделе "Поисковые запросы" на сервисе Google "Инструменты для веб-мастеров", мои показы сайта уменьшились с 3500 до 1600 или почти в 2 раза. Из-за уменьшения показов уменьшилось количество кликов с 300 до 100. Возникает вполне резонный вопрос: "Что же случилось, что показы сайта резко уменьшились?". Причем та же статистика показывает, что это случилось в тот же период, когда я обновил свой сайт.
Единственной причиной по которой уменьшились количество показов стало резкое ненахождение Google ботом значительного количества проиндексированых страниц на сайте в результате обновления сайта. Таким образом, мой сайт попал под пессимизацию и когда он выйдет из нее пока неизвестно, надеюсь что скоро. Хотя прошел уже месяц, но пока подвижек со стороны Google я не замечаю.
Итак, главный вывод который Вы должны сделать для себя, это не делать никаких резких движений на сайте. В особенности убирать со своего сайта много страниц одновременно, пусть даже если они Вам не нужны и бесполезны. Как решение для постепенного удаления лишних страниц на сайте я вижу использование robots.txt.
Для вывода бесполезных страниц из индекса поисковых систем для начала используйте robots.txt, запрещая роботам посещать ненужные страниц. Далее по истечение некоторого срока 1-2 месяца, если Вы не найдете эти странице в индексе. то можете их смело удалять.
Помимо страниц, которые Вы удалили в разделе "Ошибки сканирования" на сервисе Google "Инструменты для веб-мастеров" отображаются url найденные на Вашем сайте, которые введут на несуществующие страницы. Как правило, такие url создаются в результате неправильной генерации внутренних ссылок, или когда-то раньше Вы изменили алгоритм создания url, а реализовали это не на всех страницах или даже банальная ошибка в навигации. Причины неважны, главное что наличие таких ошибок существенно подрывает репутацию Вашего сайта в глазах поисковых систем.
Вам нужно находить такие url и исправлять их на корректные. Но делать это вручную очень нудно и долго. Я нашел в интернете уже готовые программы, которые проверяют на Вашем сайте все ссылки и выводят статистику всех ссылок со статусами ошибок, и также местонахождение таких ссылок на страницах Вашего сайта.
Для поиска битых ссылок я нашел программу Xenu's Link Sleuth, она довольно шустро прошлась по всем страницам моего сайта и нашла несколько некорректных ссылок. Пользоваться программой очень просто, для просмотра страницы источника, где ссылается некорректная ссылка используйте свойства ссылки.
Целью статьи было описать проблему с которой я столкнулся и таким образом предупредить Вас об избежании аналогичных ошибок. Если Вы не хотите, чтобы Google пессимизировал Ваш сайт, просто по Вашей неосведомленности проблемах с некорректными url используйте возможности сервиса Google "Инструменты для веб-мастеров" и тщательно отслеживайте все изменения.