Файл для поисковых систем robots.txt

Файл robots.txt размещается в корне сайта (пример: http://сайт.ru/robots.txt) и служит для управления ботами посещающих Ваш ресурс. Бот (соблюдающий стандарты) при посещении сайта, прежде всего проверяет наличие файла robots.txt, если бот находит этот файл, то следует изложенной инструкции в нем. При помощи robots.txt, можно как разрешить посещение/индексировании, какого то раздела сайта, так и запретить. Пример кода файла:

User-agent: * - говорит для какого бота написана инструкция ниже, в данном случаи инструкция написана для все ботов (*). Если надо управлять конкретно каким то ботом то пишем так (пример для Яндекса): User-agent: Yandex. Вторая строчка файла Disallow: /admin/ - говорит боту, что папку admin индексировать запрещено. Тоже самое и с третьей строчкой - стоит запрет на сканирование папки img. В общем команда Disallow говорит боту о запрете на посещение какой то директории/файла/раздела.

Проверить robots.txt для Яндекса: https://webmaster.yandex.ru/tools/robotstxt/
Проверить robots.txt для Google: https://www.google.c ... ts-testing-tool