8 октрября 3:40
Автор: admin Рубрика: 100 дней Комментариев нет

Robots.txt — файл содержащий в себе набор правил

#SPEAKIN #day15 — Продвижение школы английского языка SPEAKIN

☝ Robots.txt — файл содержащий в себе набор правил (директив) для поискового робота.

👉 На первоначальном этапе при разработке сайта обязательно необходимо прописать директиву:

User-agent: *
Disallow: /

Таким образом, мы закроем тестовый сайт от индексации и не будем показывать нерабочую версию сайта.

👌 После наполнения сайта и его финального релиза, необходимо обновить правила и открыть сайт к индексации, при этом закрыть все служебные страницы, прописать параметр главного зеркала Host, указать место размещение файла sitemap.xml, в случае необходимости настроить clean-param.

Хочешь получать статьи этого блога на почту?
Новые статьи блога
Комментариев нет

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: