Сегодня четвертый урок рубрики и посвящен он будет теме “Как создать robots.txt”. Это в принципе многие знают, но для развития блога пусть будет.
Файл robots.txt используется для указания поисковым роботам информации о том, какие страницы должны индексироваться, а какие должны быть закрыты от индексации. На большинстве существующих файлов есть файлы и папки, которые не следует индексировать (например, кэш или файлы администратора), поэтому файл robots.txt Большинство сайтов есть файлы и папки, которые не имеют отношения к поисковые системы (например, изображения или администратора файлы), поэтому создание файла robots.txt улучшает индексацию вашего сайта.
Robots.txt представляет собой простой текстовый файл, который можно создать с помощью с помощью Блокнота. На моем блоге, который сделан на WordPress, вы можете увидеть приблизительно следующий robots.txt (содержимое ниже немного не соответствует нынешнему файлу):
User-agent: Yandex Allow: /wp-content/uploads/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /tag Disallow: /archive Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Host: flabme.ru User-agent: * Allow: /wp-content/uploads/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /template.html Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /tag Disallow: /archive Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Sitemap: http://flabme.ru/sitemap.xml Sitemap: http://flabme.ru/sitemap.xml.gz
Примечания:
- Host используется только для Яндекс-бота, для определения главного зеркала сайта.
- Robots.txt должен размещаться в каталоге верхнего уровня. Пример: http://flabme.ru/robots.txt
- Файл robots.txt является публичным, т.е. доступен каждому для просмотра. Поэтому не стоит в нем прописывать файлы и папки типа Сапы и т.п. бирж.
- Название файла чувствительно к регистру, поэтому есть лишь одно правильное написание – robots.txt