Автор: admin Рубрика: 100 дней Комментариев нет

Robots.txt — файл содержащий в себе набор правил

#SPEAKIN #day15 — Продвижение школы английского языка SPEAKIN

Robots.txt — файл содержащий в себе набор правил (директив) для поискового робота.

👉 На первоначальном этапе при разработке сайта обязательно необходимо прописать директиву:

User-agent: *
Disallow: /

Таким образом, мы закроем тестовый сайт от индексации и не будем показывать нерабочую версию сайта.

После наполнения сайта и его финального релиза, необходимо обновить правила и открыть сайт к индексации, при этом закрыть все служебные страницы, прописать параметр главного зеркала Host, указать место размещение файла sitemap.xml, в случае необходимости настроить clean-param.