Как создать robots.txt — Уроки SEO

Сегодня четвертый урок рубрики и посвящен он будет теме “Как создать robots.txt”. Это в принципе многие знают, но для развития блога пусть будет.

Файл robots.txt используется для указания поисковым роботам информации о том, какие страницы должны индексироваться, а какие должны быть закрыты от индексации.  На большинстве существующих файлов есть файлы и папки, которые не следует индексировать (например, кэш или файлы администратора), поэтому файл robots.txt Большинство сайтов есть файлы и папки, которые не имеют отношения к поисковые системы (например, изображения или администратора файлы), поэтому создание файла robots.txt улучшает индексацию вашего сайта.

Robots.txt представляет собой простой текстовый файл, который можно создать с помощью с помощью Блокнота. На моем блоге, который сделан на WordPress, вы можете увидеть приблизительно следующий robots.txt (содержимое ниже немного не соответствует нынешнему файлу):

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /tag
Disallow: /archive
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: flabme.ru

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /tag
Disallow: /archive
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://flabme.ru/sitemap.xml
Sitemap: http://flabme.ru/sitemap.xml.gz

Примечания:

1. Host используется только для Яндекс-бота, для определения главного зеркала сайта.
2. Robots.txt должен размещаться в каталоге верхнего уровня. Пример: http://flabme.ru/robots.txt
3. Файл robots.txt является публичным, т.е. доступен каждому для просмотра. Поэтому не стоит в нем прописывать файлы и папки типа Сапы и т.п. бирж.
4. Название файла чувствительно к регистру, поэтому есть лишь одно правильное написание – robots.txt

Тэги: SEO, уроки