Окт 16, 2009 | 8 022 views
robots.txt для WordPress
Надоели ошибки при индексации, попробую все-таки прописать правильный robots.txt для WordPress. Основные ошибки появляются при индексации feed, rss лент, /xmlrpc.php?rsd... при этом сообщая что «Формат документа не поддерживается». Особенно многочислены ошибки когда есть возможность подписаться на ленту комментариев отдельного поста, на отдельный тег или отдельную рубрику.Всего проще воспользоваться поиском и найти готовый для своих нужд файл:
User-agent: *
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбековDisallow: /trackback
Disallow: */trackback
Disallow: /xmlrpc.php
# запрещаем индексацию архива автора
Disallow: /author*
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и другого возможного «мусора»
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
Allow: /wp-content/uploadsUser-agent: yandex
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию архива автора
Disallow: /author*
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбеков, rss-ленты
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и другого возможного «мусора»
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
Allow: /wp-content/uploads
# прописываем директиву Host
Host: mysite.ruUser-agent: Googlebot-Image
Allow: /
# разрешаем индексировать изображенияUser-agent: YandexBlog
Allow: /
# разрешаем индексировать rss-ленту
Чтобы проверить правильность обработки яшей, можно воспользоваться сервисом Яндекса «вебмастер» -> «Анализ robots.txt»
На счет этой строки для Яши:
Disallow: */feed
Не советовал бы ее юзать из-за нее выкинули из индексации все мои записи, теперь не знаю когда вернут!=/
Не думаю, из-за этого не выкинет из индекса весь сайт, нужно сначала посмотреть весь код ваш роботс.тхт. Строчка Disallow: */feed лишь сообщает о конкретных страницах-папке. Если конечно у вас все страницы заканчиваются feed то конечно выкинет все.
Скажите, если я тупо скопирую ваш пример этого файла и создам себе, правильно будет? Русские надписи нужно убирать?
Глупости! А ведь кто-то же прочтет поверит этому бреду))
Во-первых:
Disallow: /feed
Disallow: /rss
RSS очень благополучно помогает с индексацией!
Во-вторых: необходимо добавить запись для яндекса с началом
User-agent: Yandex
и
Host: sitename.ru в конце
3) Самое смешное, что команды Allow вообще не существует:)
Есть Disallow и точка!
В общем флаг вам в руки с вашим robots.txt
обсуждала данную тему полгода назад здесь менять что-то на сайте все руки не доходят.
п.с.
Disallow: /feed
Disallow: /rss
согласна — для индексации, к сожалению яша не понимает ни фид ни рсс. только яндекс.блог, по этому, как вы и указали, но наверно и не заметили что стоят правила отдельно для бота Яши, где и название бота указано, и желаемый хост в конце (что явно не является обязательным).
Недавно начал пользоваться Я.Вебмастер и обнаружил, что Яндекс не может распознать кодировку РСС лент. Прочитал статью. С запретами все понятно, но это какое-то половинчато решение, из разряда — если не замечать проблему, то ее нет. А нельзя ли сделать так, чтобы кодировки РСС распознавались яшей, и жить с ним душа в душу?
Валерий пишите на почту расскажу как это сделать