«Скорость обхода» — изменения в учете директивы Crawl-delay

Здравствуйте, уважаемые читатели блога Pass-Money.ru. Сегодня мы поговорим о новом инструменте Яндекс.Вебмастер под названием «Скорость обхода».

Скорость обхода

В Яндекс.Вебмастере появился новый инструмент — «Скорость обхода», который располагается в пункте «Индексирование». Данный инструмент дает возможность самому регулировать, как часто Яндекс может совершать запросы к вашему ресурсу, то есть корректировать скорость обхода сайта поисковыми роботами. По умолчанию Яндекс подбирает максимальную скорость для определенного сайта, принимая во внимание допустимые нагрузки для сервера.

Настройка скорости обхода

Проанализировав все сообщения (за 2016 и 2017 года) которые поступили в техподдержку по вопросам индексирования, в Яндексе выяснили, что одна из ключевых причин медленного скачивания документов является неправильная настройка директивы Crawl-delay в robots.txt. Разработчики сайтов часто не думают о ней и её значимости, и просто устанавливают такой же показатель, как на устаревших сайтах, серверами которых служили еще «стационарные» компьютеры, а не современные серверы в дата-центрах.

Так, в некоторых случаях встречаются такие значения величин, как 30, 60, а временам и даже 100. И это при всем при том, что если этот показатель был указан больше 2, то скорость обхода сайта очень снижается — ведь, как раз эта директива отвечает за то, как часто поисковые роботы могут обращаться к вашему сайту. В результате неправильно установленной директивы страницы ресурса очень долгое время не могут проиндексироваться роботом.

Для того чтобы вебмастерам не приходилось больше об этом беспокоиться и чтобы все самые важные страницы сайта появлялись и обновлялись в поисковой выдаче быстро, Яндекс решил отказаться от учёта директивы Crawl-delay. Если же по какой-либо причине необходимо ограничить скорость обхода сайта, то можно использовать новый инструмент — «Скорость обхода». Он заменяет собой рекомендованные значения из директивы, настроить его можно уже сейчас, но учитываться они начнут с 22 февраля 2018 года.

Если же вы не знаете, какое значение Crawl-delay нужно устанавливать в настройках инструмента для вашего ресурса, — нужно просто оставить значение «Доверять Яндексу» (см. скриншот выше). Поисковый робот сам подберет наиболее оптимальную частоту индексирования веб-сайта.

Удачи всем! До новых встреч на страницах блога Pass-Money.ru

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Top