Как упавший сервер влияет на SEO

Сложно назвать компанию или сферу рынка, которая не представлена в онлайне. Параллельно с развитием бизнеса и узнаваемостью бренда увеличивается трафик посетителей на сайт, в результате нагрузка на сервер возрастает. А к чему приводит, казалось бы, положительный, но бесконтрольный рост пользователей и как избежать критичных последствий, разберемся в этой статье. 

Причины простоя сервера

Простой или падение сервера — это проблема (ошибка) на стороне сервера, связанная с обработкой HTTP-запроса пользователя к сайту. Обычно она возникает вследствие таких причин:

• использование в CMS двух несовместимых (конфликтующих) плагинов;
• неверный синтаксис файла .htaccess;
• нехватка оперативной памяти сервера при выполнении скрипта;
• скрипты сайта с неправильными сценариями;
• DDoS-атака;
• аппаратные сбои.

Открывая привычный адрес страницы, пользователи видят код ошибки 5хх, то есть браузер отправил запрос верно, но сервер не смог его обработать. Чтобы подсказать посетителям, что происходит, владелец сайта может установить дизайн страницы с ошибкой 500.

Вот несколько самых распространенных вариантов:

• внутренняя ошибка сервера 500;
• ошибка 500 Internal Server Error;
• временная ошибка (500);
• HTTP status 500 internal server error.

При падении сервера сайт или сервис выходит из строя, покупатели или клиенты больше не могут получить к нему доступ, а поисковые роботы — просканировать. Ниже расскажем, чем это грозит, но для начала рассмотрим, какие еще бывают проблемы с сервером и что обозначает код 5хх.

Ошибка №5хх

Самыми популярными проблемами с сервером, помимо 500 кода, являются 502 и 503.

Ошибка 502, или Bad Gateway, встречается, если сервер, который выступает в качестве шлюза, получил недопустимый ответ от сервера на другом конце при обработке запроса.

Код ответа 503, или Service Unavailable, появляется, когда сам сервер не готов обрабатывать запрос. Такое может произойти, если в текущий момент выполняется обслуживание или перезагрузка машины. Хорошая практика в таком случае — предупредить пользователя о том, что сайт или страница скоро станут доступны. Для этого можно заранее подготовить страницу с предупреждением, указав расчетное время решения проблемы.

Последствия падения сервера для SEO

Давайте рассмотрим, какие санкции могут применить поисковики при возникновении проблемы с доступом к сайту.

Ухудшение поведенческих факторов: увеличение количества отказов. Самая предсказуемая реакция посетителей, особенно покупателей, которые столкнулись с ошибкой 500. Пользователи закрывают сайт или страницу и продолжают поиск дальше на другом ресурсе.

Потеря позиций. Такое возможно при ухудшении показателя поведенческих факторов. Для формирования выдачи Яндекс, например, использует попарное сравнение с аналогичным по наполнению документом. И если у вашего ресурса будут хуже оценки по другим характеристикам (а при падении сервера вероятность очень велика), то пессимизация в выдаче обеспечена.

В зависимости от масштаба бедствия при следующем посещении роботом веб-ресурса, если проблему с падением сервера не исправить, может произойти следующее: 

• Удаление страницы из выдачи. Если был недоступен только один документ. Трафик посетителей будет потерян только на конкретную проблемную страницу.
• Удаление сайта из выдачи. Самый нежелательный исход, так как нет гарантии возвращения веб-ресурса на те же позиции, которые он занимал прежде в поисковой выдаче, особенно если сайт многостраничный.

Краулеры поисковых систем постоянно собирают актуальную информацию обо всех страницах сайта, чтобы предоставлять пользователям самую свежую и подходящую по запросу. 

Администратор сайта может самостоятельно инициировать появление робота, например, отправить страницу на переобход в вебмастере поисковой системы, разместить ссылку на определенную страницу на авторитетном ресурсе или настроить периодичность обновления контента с помощью XML-карты сайта. Но точно спрогнозировать, когда именно будет происходить оценка сайта на соответствие, невозможно. 

Существует огромное количество факторов ранжирования. По некоторым данным, у Яндекса их больше 1900. Но одним из самых важных все же остается доступность сайта или конкретной страницы для пользователя. И если на ресурсе будут неполадки, а тем более отказ в доступе к серверу, то спустя какое-то время робот перестанет считать информацию с него полезной и сайт начнет терять позиции в выдаче.

У Google более 200 основных критериев. В «Инструкции для асессоров» говорится, что для витальной — наиболее высокой — отметки важна доступность страницы и веб-сайта.

Разберем два реальных примера, как упавший сервер повлиял на доступность веб-ресурсов. 

Удаление страницы медицинской организации из выдачи

Сотрудник медицинской компании установил для одной из страниц плагин, несовместимый с CMS. Всю работу он вел вечером, в результате страница была недоступна около 12 часов. 

Так как сайт сам по себе небольшой, около 100 страниц, поисковому роботу Яндекса было проще отслеживать изменения. Реакция на 500 код последовала достаточно быстро, и поисковик удалил документ из выдачи.

Массовая потеря позиций у сайтов

В личном блоге seo-специалист Евгений рассказывает про свой опыт столкновения с DDoS-атаками на хостинг и падением сервера. На скриншоте ниже показано падение просмотров до нуля на одном из ресурсов с хорошей ежедневной посещаемостью. 

Также, по наблюдениям Евгения, 15 сайтов, находившихся на упавшем сервере, сильно просели в позициях. При этом восемь из них потеряли часть страниц в выдаче.

Что делать, если страница или сайт исчезли из выдачи

Чем быстрее будет найдена и исправлена проблема, тем меньше вероятность негативного результата. После первого сканирования поисковый робот вернется для проверки повторно. И если код ответа документа или всего ресурса изменился на 200, то последствий для SEO-оптимизации может и не быть. 

Но если все же страница или сайт пропали из выдачи, вот небольшой план действий, как постараться их вернуть.

Как исправить проблему?

1. Обозначить масштаб и определить, что именно вылетело: один документ (страница) или весь веб-ресурс.
2. Как можно быстрее определить причину (время реагирования играет важную роль) и устранить ее. Рассмотрим подробнее, как это можно сделать в зависимости от вида проблемы.
   1. Несовместимые плагины. Достаточно распространенная ситуация, когда новый плагин некорректно взаимодействует с CMS, а страницы просто недоступны. Самым простым решением будет заменить плагин на другой.
   2. Неверный синтаксис .htaccess. Тот самый случай, когда ошибка в одной букве может отключить весь сайт. И чем скорее ее найти и исправить, тем больше шансов вернуть все на свои места.
   3. Закончилась оперативная память. При расширении онлайн-бизнеса важно учесть возможность автоматического масштабирования, чтобы в самый ответственный момент (например, во время распродажи) ресурс оставался доступным. В противном случае придется срочно увеличивать инфраструктуру.
   4. Скрипты сайта с неправильными сценариями. Чтобы избежать появления 500 ошибки и вовремя исправить скрипт, лучше всего тестировать код на стороннем ресурсе.
   5. DDoS-атака. Хорошее решение обеспечить защиту и безопасность сайту — подключить услуги межсетевого экрана и файрвол, которые помогут контролировать и отсеивать подозрительный трафик.
3. После исправления всех проблем необходимо отправить страницу или сайт на индексирование в вебмастер поисковой системы, чтобы робот как можно быстрее зафиксировал исправление поломки. 

А чтобы исключить или минимизировать последствия возникновения 500 ошибки, рекомендуем еженедельно отслеживать состояние сайта. Для этого существует множество онлайн-сервисов и программ.

Инструменты для контроля позиций сайта

Первые помощники в отслеживании и контроле состояния сайта для веб-мастера, владельца бизнеса и SEO-специалиста — сервисы от популярных поисковых систем Google Search Console и Яндекс Вебмастер. Оба вебмастера имеют понятный интерфейс, с которым легко разобраться даже новичку.

Например, в Яндексе во вкладке «Статистика обхода» можно увидеть, какие страницы обошел робот с их кодами ответа.

Также существует огромное количество программ, которые отображают информацию по конкретной странице или списку. В определенных случаях краулер помогает сократить время на поиск проблем. Но нужно помнить, что самый точный источник информации — вебмастер поисковой системы.

Краулер обошел страницы сайта Selectel и показал их код ответа.

Также популярны онлайн-сервисы по отслеживанию состояния сайта. На них можно настроить частоту проверки ресурса — при нахождении каких-либо неполадок сервис сразу же пришлет уведомление на email. Такие инструменты помогут точно отследить период изменений и исключить повторение нежелательных ситуаций.

Как избежать простоя бизнесу 

Если ошибку 500 в рамках SEO можно отследить сервисами или нивелировать с течением времени, то для бизнеса обычно не все так просто. По данным Forbes, падение сервера может исчисляться потерей миллионов или даже миллиардов рублей. Так, eBay еще в 1998 году за 24 часа простоя потерял  три миллиона долларов. А Skype в 2007 году за два дня стал дешевле на  один миллиард долларов. Проблемы случались и у облачного сервиса Amazon, серверы которого из-за неправильных сетевых настроек не работали в течение четырех дней. 

Обычно самый опасный период приходится на моменты распродаж (например, Черной пятницы) или проведения акций, когда серверы не способны выдержать огромную нагрузку от посетителей и выполняемых операций. Именно поэтому очень важно предварительно подготовиться к подобным мероприятиям, чтобы избежать простоя:

• рассчитать количество возможных онлайн-покупателей в этот день;
• масштабировать систему под необходимый объем, чтобы исключить ситуацию с недостаточным количеством памяти у сервера.

Также нужно помнить про DDoS-атаки, которые способны принести значительный урон как репутации, так и финансовой составляющей. Поэтому компании все чаще выбирают облачных провайдеров услуг, готовых предоставить качественное обслуживание физических серверов, возможность быстрого масштабирования и защиты от хакерских атак.

Как мы в Selectel следим за доступностью сайта

Нам в Selectel, помимо удобности использования сайта и качественного представления продукта для клиентов, также важна постоянная доступность ресурса. За этим параметром следят сразу несколько команд, как отвечающих за железо, так и маркетинговых. 

Чтобы обеспечить бесперебойную работу серверов в Selectel, технические специалисты отслеживают критически важные показатели 24/7, контролируя все — от температуры до нагрузки на конкретную машину.

А вот как это делаем мы, SEO-специалисты, в департаменте маркетинга:

• тщательно отслеживаем все важные параметры основного сайта и поддоменов с помощью вебмастеров Яндекса и Google; 
• регулярно проводим SEO-аудит с помощью краулеров, чтобы вовремя предупредить появление проблем с отображением страниц, а также скоростью их загрузки;
• анализируем трафик и его «роботность», чтобы определить «нежелательные» адреса и предупредить DDoS-атаку со своей стороны.

Услуги Selectel

Мы стремимся предоставить своим клиентам высокий уровень сервиса и защиты IT-инфраструктуры, чтобы помочь освободить время для ведения бизнеса. А вот какие наши услуги помогут в этом.

• Отказоустойчивая сетевая инфраструктура. Сделаем все, чтобы свести к минимуму простои — от небольших аппаратных сбоев до масштабных ЧП.
• Облачный файрвол для управления фильтрацией входящего и исходящего трафика по IP-адресам, портам и протоколам.
• Межсетевой экран для защиты от кибератак и утечек.
• Балансировщик нагрузки для распределения входящего трафика между виртуальными серверами. Повышайте отказоустойчивость и масштабируйтесь без простоев.
• Мониторинг. Анализируйте доступность портов, состояние баз данных и веб-сервисов из разных точек мира.
• Защита от DDoS. Предоставляем три вида защиты для сайтов и веб-приложений: базовый, расширенный и Qrator.