8 октрября 5:58
Автор: admin Рубрика: 100 дней Комментариев нет

Краулинговый бюджет

#SPEAKIN #day61 — Продвижение школы английского языка «SPEAKIN»

💡 Краулинговый бюджет

📌 У поискового робота есть ограниченные ресурсы: время, память на диске, скорость обхода и т.д.

Поисковая система должна держать в своём индексе (хранилище) наиболее важные страницы отвечающие на запросы пользователей.

📌 В связи с ограничениями перечисленными выше, у поисковых систем есть параметр Crawl Rank — это количество страниц, которые поисковые роботы могут обойти за конкретный временной период.

📌 Crawl Rank зависит от:
1) Регулярности обновления контента на сайте
2) Входящих ссылок на хост/папку/URL
3) Трафика на сайт/папку/URL
4) Паттерн URL (посимвольный матчинг)
5) Качества и уникальности контента

📌 Что требуется для экономии и правильного распределения бюджета:
1) Крайне важно в данном случае удалить весь мусор с сайта — дубли.
2) Закрыть от индексации тех. страницы, чтобы не расходовать бюджет напрасно.
3) Настроить код ответа 304 Not Modified. Отдавая поисковому роботу 304 код, если страница не была изменена с предыдущего захода, мы даем роботу понять, что заново страницу индексировать не надо и экономим краулинговый бюджет, которым располагает наш сайт.
4) Правильное построение URL, т.к. бюджет выделяется на кластер страниц.
5) В Sitemap.xml добавляем только не проиндексированные страницы
6) Настроить «Ловец ботов» для загона в индекс нужных страниц

❗ Итог: При настройке правильной индексации, вы получите более быстрое обновление любых изменений на вашем сайте.

Справочная информация:
http://support.yandex.ru/support/webmaster/robot-work...
http://www.slideshare.net/shestakovoleg/optimization- ...

Комментариев нет

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: