Robots.txt для WordPress

Robots.txt — очень важный элемент продвижения сайта. Файл формата .txt должен быть доступен по адресу http://вашсайт.ру/robots.txt

Зачем он нужен? Все очень просто: он отсекает от попадания в индекс лишние страницы и дубли страниц. Поисковые системы будут ранжировать ваш сайт выше, если у него будет правильно настроен роботс. Один и тот же материал может быть доступен по разным адресам. Допустить, чтобы поисковая система проиндексировала страницу по двум ссылкам нельзя. В противном случае данная странница и сайт будет ранжироваться очень низко из-за дублирования материала.

Также целесообразно закрыть от индексации системные папки вордпресса. Основная цель — направить поисковой робот только на те страницы, которые мы хотим видеть в поисковой выдаче.

Какой должен быть robots.txt для WordPress? Не претендую на истину, но мой вариант выглядит таким образом.

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /?s=
Disallow: /xmlrpc.php
Host: вашсайт.ру

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /?s=
Disallow: /xmlrpc.php

Sitemap: http://вашсайт.ру/sitemap.xml.gz
Sitemap: http://вашсайт.ру/sitemap.xml

Несколько важных замечаний:

У меня заданы постоянные ссылки. Именно поэтому я закрываю от индексации стандартные ссылки на материалы.

Я отдельно прописываю настройки для яндекса и для всех остальных. Читал в свое время, что так правильно.

Также я прописываю Host: . Здесь я пишу такой вариант сайта, который я хочу видеть в поиске. Т.е. без www . Также это делается, чтобы не было дублей из-за того, что страница будет доступна с www и без.

В самом конце файла можно видеть ссылки на карту сайта. Тоже очень важный элемент оптимизации сайта.

Категория: Wordpress

Добавить комментарий

Ваш e-mail не будет опубликован.