Файл robots txt

robots_txtНазначение файла

Файл robots txt предназначен для того, что бы показать поисковым роботам, что нужно проиндексировать в первую очередь и от чего индексации необходимо отказаться.

Создание файла 

Для того что бы создать файл для роботов, можно будет использовать блокнот windows, в котором будем прописывать нужные команды для поисковых роботов.
После этого нужно преобразовать в файл с расширением»txt» и назвать данный файл «robots». 

Читайте статью «Первичная настройка сайта» по ссылке http://www.info-report.ru/sajtostroenie/pervichnaya-nastrojka-sajta

Пример файла robots.txt.  Нижеприведенный файл нужно скопировать, внести название своего сайта в «Hosts» и «Sitemap» и преобразовать файл с расширением txt, затем данный файл размещаем в корневой каталог нашего сайта.

User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: ваш_сайт.ru

Sitemap: http://ваш_сайт.ru/sitemap.xml.gz
Sitemap: http://ваш_сайт/sitemap.xml

Примечание.
User-agent- означает, что правила, приведенные ниже, будут действовать для всех поисковиков.
Allow — разрешено индексировать,для вордпресс не используем.
Disallow — запрещено индексировать.
Host ваш_сайт.ru — указываем основное зеркало, сайт открывается по двум адресам с www и без www.
Sitemap — ссылка на XML-карту сайта.

Проверям файл robots txt

Для этого в адресной строке браузере набираем: http://ваш_сайт/robots.txt.



ПОДПИСКА НА НОВЫЕ СТАТЬИ
Никакого спама, гарантируем!

*Нажимая на кнопку "Подписаться", я принимаю пользовательское соглашение и подтверждаю, что ознакомлен и согласен с политикой конфиденциальности данного сайта



Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Нажимая кнопку «Отправить комментарий», я принимаю пользовательское соглашение и подтверждаю, что ознакомлен и согласен с политикой конфиденциальности этого сайта