Как сделать XML-карту и задать режим обхода

Создание XML-карты ресурса (sitemap.xml) — неотъемлемый момент в списке работ по внутренней оптимизации сайта. Для чего нужен файл sitemap, где он располагается и как его создать, разберемся в этой статье.

Отличие HTML-карты сайта от XML версии

Под термином «карта сайта» понимают два вида документов:

• HTML — список ссылок на страницы сайта. Необходима для навигации посетителей, обычно оформляется как древовидная структура, имеет адрес вида: www.site.ru/sitemap/ или www.site.ru/karta-saita/ и другие.

• XML — документ в корневой папке ресурса, содержащий список URL с информацией об их финальном обновлении и преимуществе в индексировании. Нужен для поисковых роботов, должен быть доступен по адресу www.site.com/sitemap.xml.

Необходимо чтобы на сайте присутствовали и HTML карта, и XML. Первая нужна для посетителей, вторая — для поисковых роботов. Далее подробней поговорим об XML-карте сайта.

Синтаксис sitemap.xml

В первой строке в файле sitemap указывается гиперссылка на область имен языка XML (определение стандарта, на основе которого создан файл). Строка типовая и абсолютно всегда выглядит вот так:

<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″>

XML-карта веб-сайта должна иметь кодировку UTF-8 и заключать в себе следующие теги:

• <urlset> — раскрывающий/закрывающий тег, в него включаются все ссылки файла sitemap.
• <url> — содержит в себе всю требуемую для робота информацию о каждой ссылке: URL, как часто обновляется информация по этому адресу, дату крайнего обновления и преимущество в индексировании.

• <loc> — удерживает конкретный URL:

• <changefreq> — задает цикличность обновления информации на веб-странице: never, always, hourly, daily, weekly, monthly, yearly, (никогда, всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно).

• <lastmod> — показывает дату последнего обновления страницы. Так робот понимает, поменялось ли что-нибудь с момента его последнего посещения.

• <priority> — дает роботам указание о приоритете индексирования. Главная страница неизменно имеет <priority> 1, остальные можно расставить в зависимости от предпочтений оптимизатора (примерно, 0,8, 0,6 и так далее до 0,1).

Рекомендация по числу ссылок в файле sitemap.xml — не более 50 тысяч. Если сумма страниц сайта превосходит это число, нужно сделать несколько карт, а в файле по адресу site.com/sitemap.xml установить на них ссылки:

XML-карта дает возможность экономить краулинговый бюджет

Краулер (паук) — поисковый робот, который сканирует страницы сайта и присоединяет их к индексу. Краулинговый бюджет — это количество страниц за одно посещение робота, для различных сайтов бюджет ограничен — это может быть от нескольких десятков до сотен документов. Именно поэтому необходимо направить краулера по тем страницам, которые важны для продвижения сайта, и сделать все, чтобы он не добирался до некачественных, служебных, малоинформативных страниц.

Отсутствие файла sitemap не считается критической ошибкой. Но если поисковый робот не найдет файл sitemap.xml, он станет добавлять в индекс документы по своему решению, и тогда наличие «мусорных», служебных страниц, дублей, страниц с ошибкой 404 в индексе может стать преградой к выходу сайта в топ.

Боты всех поисковых систем могут автономно обнаружить XML-карту сайта, если она открыта по адресу site.com/sitemap.xml, но есть способы донести до поисковиков главную информацию быстрее.

Как оповестить поисковымх роботов о карте сайта

1. Установить ссылку на файл в директиве sitemap файла robots.txt:

2. Добавить файл sitemap.xml в разделы «Индексирование — «Файлы Sitemap» в Google Search Console и Файлы Sitemap» Яндекс.Вебмастера.

Google и Яндекс не только просканируют добавленный файл, но и укажут на вполне вероятные ошибки.

4 способа создать sitemap.xml

1. Вручную, следуя правилами синтаксиса, которые описаны выше. Этот вариант подойдет для небольших сайтов. Не забудьте поместить файл sitemap.xml в корневой папке сайта (потребуется доступ к ftp или хостингу) и проверить, открывается ли он правильно по адресу site.com/sitemap.xml.
2. Применять платные и бесплатные программы для генерации XML-карты сайта (например, SiteMap XML Dynamic, Sitemap Generator, Sitemap Writer Pro). Такой софт использовали до широкого распространения онлайн-генераторов. На момент написания статьи все три программных продукта давно не обновлялись.
3. Использовать генераторы карты сайта онлайн — самый легкий и бесплатный метод создать файл sitemap.xml.
4. Воспользоваться возможностями системы управления ресурсом.

При каждом способе обратите внимание на следующие факторы:

• Поместить файл sitemap.xml следует в корень сайта.
• Ссылки в sitemap не должны вступать в конфликт с правилами в файле robots.txt. То есть, страниц, закрытых от индексации в robots.txt, не должно быть в XML-карте.
• После автоматической генерации надлежит проверить и подкорректировать XML-карту на предмет попадания в нее ненужных для индексации URL.

Разберем подробнее самые распространенные способы создания XML-карты.

Онлайн генераторы карты сайта

Если на сайте незначительное количество страниц, сделайте sitemap при помощи онлайн-генераторов.

Самые популярные:

• Mysitemapgenerator: бесплатно сканирует до 500 URL, есть платный тариф и подписка на автоматически обновляемый файл sitemap.xml.
• Xml-sitemaps: бесплатно и без регистрации разрешает просканировать до 500 страниц, имеется платный аккаунт и php-версия для установки на сервер. Англоязычный сервис.
• Web-Site-Map: число бесплатных страниц для генерации динамически изменяется с учетом реальной нагрузки на сервер. Содержит валидатор и сообщает о битых ссылках.
• Gensitemap: бесплатно допускается просканировать до 1000 страниц.

Огромный недостаток онлайн-генераторов — они делают файл sitemap.xml раз и навсегда. Если на сайт непрерывно добавляются новые страницы, такой прием не подходит.

Как создать sitemap.xml в различных CMS

Во всех известных системах управления сайтом (CMS) есть возможность сформировать XML-карту. Файлы sitemap в этом случае будут обновлятся автоматически, вам не понадобиться генерировать карту сайта по-новому после каждой добавленной страницы.

1C-Битрикс: интегрированная функция

Настройка sitemap.xml доступна в разделе «Маркетинг» панели ресурса:

Добавьте файл, дайте название его и активируйте чекбокс о добавлении гиперссылки в robots.txt:

Во вкладке «Файлы» установите разделы, которые вы хотите предоставить для индексации поисковым роботам:

Аналогично проделайте во вкладке «Инфоблоки».

Далее сохраняем все изменения и нажимаем кнопку «Запустить»:

После создания карты сайта вы увидите извещение, что генерация окончена:

WordPress: применяйте плагины

XML-карта сайта настраивается в двух известных SEO-плагинах: Yoast SEO и All in One SEO Pack. Есть также автономный плагин для организации XML-карты — Google XML Sitemaps.

Покажу настройку на примере второго.

Сначала устанавливаем плагин. Это делается в разделе «Плагины» консоли веб-сайта. После установки он станет доступен для настройки. Нам нужен пункт «Управление модулями»:

В нем активируем модуль, который отвечает за XML-карту:

Далее после активации модуль становится доступным для редактирования:

Затем вы можете сохранить настройки по умолчанию или установить свои. Полный материал по модулю — здесь. Она на английском языке, но даже встроенный переводчик в браузере Chrome поможет со всем разобраться.

В Yoast SEO карта сайта формируется автоматически по адресу site.com/sitemap_index.xml. Плагин также доступен для редактирования или можно оставить настройки по умолчанию.

Модули для прочих популярных CMS:

• Joomla: пользуйтесь плагинами OSMap (бесплатная версия Free и платная версия Pro), jSitemap (платный модуль, практически целый набор SEO-инструментов).
• Drupal: плагин XML Sitemap.
  Magento: можно настроить Site Map Configuration.

Подбирайте подходящий метод создания XML-карты сайта и сообщайте поисковым ботам, какие страницы им нужно посетить — это даст уверенность в том, что робот проиндексирует все необходимые страницы своевременно.