Для правильной индексации Вашего сайта поисковыми
системами в корневой папке должен находится файл robots.txt.
robots.txt — файл ограничения доступа к содержимому
роботам на http-сервере
Как правильно настроить robots.txt?
В файле robots.txt всегда должны быть как минимум две
следующие директивы:
User-agent: - определяет для какой поисковой системы
будут следующие инструкции.
Disallow: - указывает какую директорию сайта (конкретную
страницу) не индексировать.
User-agent: *– «*» указывает что инструкции для всех
поисковых систем.
User-agent: googlebot – указывает на конкретную
поисковую систему, в даном случае ботов Google.
Disallow: / – запрещает на индексацию всего сайта.
Disallow: / cgi-bin – запрет доступа определенного
робота к каталогу cgi-bin.
Конкретные
примеры написания файла robots.txt
Запрет всего
сайта к индексации всеми поисковыми роботами.
User-agent: *
Disallow: /
Разрешить весь сайт к индексации всеми поисковыми роботами.
User-agent: *
Disallow:
Запретить
несколько файлов к индексации всеми поисковыми роботами.
User-agent: *
Disallow: / cgi-bin
Disallow: /js
Файл robots.txt должен быть написан только в нижнем
регистре.
В строчке Disallow
указывать только одну директорию или файл.
Файл robots.txt должен быть размещен в корневой папке
вашего сайта, например http://my-site.ru/robots.txt.
