Как настроить быструю индексацию сайта?

Здравствуйте, уважаемые читатели блога Pass-Money.ru. Сегодня с вами поговорим о том, как настроить быструю индексацию сайта.

Настройка индексации сайта — первостепенный и основной шаг на пути к продвижению сайта, от которого зависит больше, чем нам хочется. Точная настройка индексации сайта обеспечивает:

• высокое количество страниц в основном индексе;
• высокую скорость индексации страниц сайта поисковыми роботами;
• большой авторитет отдельных страниц и всего сайта в глазах поисковиков;
• большой трафик и высокие позиции сайта.

Чтобы избежать трудностей с попаданием в индекс поисковых систем мусорных страниц или того, что на ваш взгляд, там находиться не должно, чтобы не расходовать временной бюджет поисковых краулеров на лишние страницы, нужно сначала определить, все страницы вашего веб-сайта в индексе. Сделать это можно, введя в строке поиска поисковой системы запрос в виде:

site:https://site.ru/

и под определенные продающие запросы, в таком виде:

site:https://site.ru/ «запрос»

Наиболее важно систематично проверять индекс поисковиков крупным сайтам, которые имеют сложное, динамичное строение категорий, а также интернет-магазинам.

Оцените, какие страницы вашего ресурса выдает поисковая система по основному запросу и какие по второстепенному. Может быть такое, что по одному ключевому запросу в индексе находится не одна страница, как желательно, а сотни, что скорее всего и является фактором, по которому эта страница под этот запрос никак не продвигается

Распространенные проблемы, которые появляются при неправильной настройке индексации сайта:

• Не попадают в индекс важные страницы;
• Индексация технических страниц
• Попадание в индекс различных страниц с одинаковым URL;
• Попадание в индекс страниц с одним и тем же контентом, но разными URL;
• Индексация и попадание в выдачу мусорных страниц;
• Попадание в индекс управленческих страниц;
• Уменьшение внутреннего веса основными страницами;
• Потеря времени краулера при индексации не значительных страниц.

Достигнуть быстрой и нужной индексации можно используя:

МЕТА-ТЕГИ

Noindex, Follow

<meta name=«robots» content= «noindex, follow» />

Если вам необходимо закрыть от индексации страницу, но нужно, чтобы поисковый робот переходил по ссылкам на эту страницу, то нужно разместить этот тег в ссылающиеся страницы. Поисковые роботы переходят по ссылкам, и нет препятствий для передачи внешнего и внутреннего ссылочного веса, но вот время на индексацию расходуется, что есть нехорошо.

Noindex, Nofollow

<meta name=«robots» content= «noindex, nofollow» />

Страницы с этим тегом не индексируются, по ссылкам не происходит переход, время поискового краулера не тратится, правда и передачи внешнего и внутреннего ссылочного веса не происходит (не передается текст ссылки, ни ранг).

Index, Nofollow

<meta name=«robots» content= «index, nofollow» />

Страницы с этим тегом индексируются, но по гиперссылкам поисковый робот не переходит, в соответствии с этим нет и передачи внешнего и внутреннего ссылочного веса. В принципе можно использовать этот тег в случае, когда вам не нужна индексация страниц, на которые ссылаются внутренние ссылки.

Cannonical + Next/Prev

<link rel=»canonical» href=» https://site.com/blog/text1″ />

Свойство rel=»canonical» для элемента, добавленного в страницу определяет главную из дублирующихся страниц, но пользоваться им следует только на схожих страницах в паре с атрибутом rel=”next” и rel=”prev” – применяется для указания взаимосвязи между несколькими URL при постраничной пагинации.

Robots.txt

«Обязательная программа» упорядочивания сайта в индексе поисковых систем, но следует принимать во внимание, что файл Robots.txt все же является не правилом, а всего лишь рекомендацией.

Приведу часто забываемые нюансы:

• В robots.txt не следует задавать, что что-то разрешено для индексации (Allow), стоит только указать то, что запрещается (Disallow);
• Для Яндекса следует указать отдельную секцию директив;
• Не забывайте корректно прописывать хост для Яндекса — Host: www.site.ru — без протокола https:// или http:// и без закрывающего слеша /;
• Если необходимо закрыть именно директорию, а не документ и директорию, то оформляете ее так — Disallow: /dir/.

Sitemap.xml

Sitemap.xml – для интернет-магазинов и сайтов с большим содержанием контента. При создании карты сайта следует обратить внимание на следующие моменты:

• объем файла не должен превышать 10 Мб;
• необходимо указать sitemap в файле robots.txt;
• для крупных сайтов нужно делать несколько файлов sitemap.xml и включить их в общий файл sitemap;
• следует указать теги priority и lastmod.

AJAX / JavaScript

AJAX – вынесем в отдельный пункт, так как этот комплекс способов можно отнести сразу к организации и внутренней, и внешней структуры.

Это метод обращения к серверу без перезагрузки страницы при помощи JavaScript, которая снижает время отклика. Использование этого метода гарантирует простоту фильтрации и просмотра продуктов при генерации лишь одного URL, а не большого количества динамических. С помощью AJAX реализуются меню, системы комментариев, фильтры, кнопки, сортировка, формы и голосования, «живой поиск» и обмен с сервером.

Но с Ajax есть ряд сложностей:

• Разработка приложения с его помощью является довольно трудоемким занятием.
• Трудности с индексацией поисковыми системами.
• Не совсем такие как необходимо ЧПУ (ЧеловекоПонятныйУрл) адреса страниц.
• Детали организации Sitemap.xml
• Деформация данных статистики.

Переход на Ajax должен быть постепенный, так как сайт может лишиться на время позиции
При помощи AJAX можно обрести ряд дополнительных положительных сторон (юзабилити и скорость) при продуманном подходе. Тем не менее при не соблюдении условий поисковиков AJAX может привести к потере трафика и позиций в поисковой выдаче.

Начиная с 2015 года Google рекомендует для AJAX следовать «Progressive Enhancement» при разработке сайтов, что может помочь поисковым роботам лучше «понимать» динамические страницы. На текущий момент Google интерпретирует .js и .css, самостоятельно распознавать страницы на AJAX без какой-либо дополнительной опции.

Фактически, не существует универсального средства, которое в один миг разрешит все проблемы, как не бывает и одного универсального метода для любого веб-сайта, необходимо разбираться с каждым конкретным случаем.

Ключевые рекомендации для интернет-магазинов:

Хотя могут быть и базовые способы для точной организации индексации и структуры сайтов разного типа.

Так можно описать основные рекомендации для настройки правильной и быстрой индексации интернет-магазина:

• Ресурс на протоколе https, «зеркала» склеены, дубли URL закрыты от индексации при помощи тега Nofollow, Noindex
• Структура URL – продвигаемые страницы статические и ЧПУ, короткие адреса. Ключевые слова в URL – для всего домена — сделать не реально, для посадочных страниц и так будут (уникальные названия и модели товаров).
• Навигационное меню – предельно структурированное, должно всегда находиться сверху
• «Хлебные крошки» двух типов – навигационная цепочка и «вернуться назад», понятно зрительно оформлены, с разметкой микроданных.
• Внутренняя перелинковка
• Блоки: «Рекомендуемые товары», «Похожие товары», «С этим товаром покупают» и т.п.

Удачи всем! До скорых встреч на страницах блога Pass-Money.ru

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Top