Краулинговый бюджет
#SPEAKIN #day61 — Продвижение школы английского языка «SPEAKIN»
💡 Краулинговый бюджет
📌 У поискового робота есть ограниченные ресурсы: время, память на диске, скорость обхода и т.д.
Поисковая система должна держать в своём индексе (хранилище) наиболее важные страницы отвечающие на запросы пользователей.
📌 В связи с ограничениями перечисленными выше, у поисковых систем есть параметр Crawl Rank — это количество страниц, которые поисковые роботы могут обойти за конкретный временной период.
📌 Crawl Rank зависит от:
1) Регулярности обновления контента на сайте
2) Входящих ссылок на хост/папку/URL
3) Трафика на сайт/папку/URL
4) Паттерн URL (посимвольный матчинг)
5) Качества и уникальности контента
📌 Что требуется для экономии и правильного распределения бюджета:
1) Крайне важно в данном случае удалить весь мусор с сайта — дубли.
2) Закрыть от индексации тех. страницы, чтобы не расходовать бюджет напрасно.
3) Настроить код ответа 304 Not Modified. Отдавая поисковому роботу 304 код, если страница не была изменена с предыдущего захода, мы даем роботу понять, что заново страницу индексировать не надо и экономим краулинговый бюджет, которым располагает наш сайт.
4) Правильное построение URL, т.к. бюджет выделяется на кластер страниц.
5) В Sitemap.xml добавляем только не проиндексированные страницы
6) Настроить «Ловец ботов» для загона в индекс нужных страниц
❗ Итог: При настройке правильной индексации, вы получите более быстрое обновление любых изменений на вашем сайте.
Справочная информация:
http://support.yandex.ru/support/webmaster/robot-work...
http://www.slideshare.net/shestakovoleg/optimization- ...
Добавить комментарий