Для правильной индексации Вашего сайта поисковыми системами в корневой папке должен находится файл robots.txt.

    robots.txt — файл ограничения доступа к содержимому роботам на http-сервере

    Как правильно настроить robots.txt?

    В файле robots.txt всегда должны быть как минимум две следующие директивы: 

User-agent: - определяет для какой поисковой системы будут следующие инструкции.

Disallow: - указывает какую директорию сайта (конкретную страницу) не индексировать.

User-agent: *– «*» указывает что инструкции для всех поисковых систем.

User-agent: googlebot – указывает на конкретную поисковую систему, в даном случае ботов Google.

Disallow: / – запрещает на индексацию всего сайта.

Disallow: / cgi-bin – запрет доступа определенного робота к каталогу cgi-bin.

    Конкретные примеры написания файла robots.txt

Запрет всего сайта к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /

Разрешить весь сайт к индексации всеми поисковыми роботами.

User-agent: *
Disallow:

Запретить несколько файлов к индексации всеми поисковыми роботами.

User-agent: *
Disallow: / cgi-bin
Disallow: /js

    Файл robots.txt должен быть написан только в нижнем регистре.

В строчке Disallow указывать только одну директорию или файл.

Файл robots.txt должен быть размещен в корневой папке вашего сайта,  например http://my-site.ru/robots.txt.

Рекомендуем посмотреть:

Страничка Чаво на фриланс-сайте

RSS кнопка для сайта

Создание кисти из рисунка в Photoshop

Анимированный Favicon

sitemap

Главная страница