Правильный файл robots.txt для сайта WordPress

22 Июня 2016
 

В этой статье мы разберем, как создать правильный файл robots.txt для сайта WordPress. Файл robots.txt дает команды поисковым роботам, какие файлы нужно закрыть для индексации. По сути, с его помощью происходит управление индексированием сайта. В сети много противоречивой информации о том, как правильно настраивать роботс тхт. Давайте попробуем разобраться, зачем вообще нужно запрещать индексировать определенные страницы сайта на WordPress.

Плейлист «Как создать сайт на WordPress»

TimeWeb лучший хостинг для WordPress: домен в подарок, 99 рублей в месяц.
Попробуйте, 10 дней бесплатно: РЕГИСТРАЦИЯ ОБЗОР ВИДЕО

Файл robots.txt это первое, что проверяет поисковый робот, попадая на сайт. Его отсутствие может отрицательно сказаться на индексировании. То есть, наличие файла robots.txt на сайте обязательно.Поисковые роботы периодически обходят наш сайт. Если весь сайт открыт для индексации, робот будет обходить все файлы и папки, даже те, которые никак не могут попасть в поиск. Зачем нагружать сайт, замедляя тем самым загрузку страниц? Вопрос риторический, очевидно, лучше запретить индексацию файлов, которые не должны и не могут попасть в поиск, разгрузив тем самым ресурсы нашего хостинга. Более того, такие страницы, как дубли, служебные страницы, системные файлы КЭШа крайне отрицательно влияют на продвижение сайта в поисковых системах. Исключение из индекса лишних страниц принесет только пользу нашему сайту.

Какие файлы и страницы стоит запретить для индексации. Системные папки: нужно запретить индексацию к системным файлам и каталогам, так как в них представлена информация для администратора сайта и ее попадание в индекс крайне не желательно. Страницы авторизации и регистрации: на этих страницах вводятся личные данные пользователей, поэтому индексация не желательна. Страницы поиска: индексация результатов внутреннего поиска на сайте не нужна в индексе поисковых систем, так как это может привести к созданию дублей страниц.

Не правильная настройка robots.txt может кардинально повлиять на работу сайта, поэтому рекомендую прочитать рекомендации на Яндексе и Google. Информация в этих разделах общая и, как обычно, воспринимается трудно. Поэтому и написана эта статья.

Как создать файл robots.txt. Рекомендую использовать плагин All in One SEO Pack (подробный обзор плагина здесь). Нам нужно включить два модуля. Для этого перейдите в административную панель «WordPress» ⇒ «All in One SEO Pack» ⇒ «Управление модулями» и активируйте модули «Robots.txt» и «Редактор файлов». Все, создание файла robots.txt завершено. Осталось добавить необходимые директивы, это делается через модуль «Редактор файлов». В модуле «Robots.txt» можно посмотреть содержимое самого файла.

 

Давайте разбираться дальше, что нужно добавить в файл robots.txt. Обязательно должны присутствовать три директивы robots.txt для Google, Яндекса и других поисковых систем. Важно. Для каждой поисковой системы актуальны разные директивы. Для Яндекса нужно прописать одни правила, для Google совсем другие. Три основные секции для robots.txt:

User-agent: *
User-agent: Yandex
User-agent: Googlebot

Еще один обязательный атрибут это путь к карте сайта. Особенно Яндекс ругается, если не прописана карта в роботсе. Допустимо расположение в любом месте (как в начале, так и в конце файла). Вот так нужно выводить карту сайта в robots.txt (название сайта замените на ваше):

Sitemap: http://busines-expert.com/sitemap.xml

Директива host в robots.txt. Для Яндекса нужно указать главное зеркало сайта. Основные зеркала: site.com и www.site.com. Укажите в файле реальный адрес вашего сайта (если он включает www, пропишите их). Host нужно прописать обязательно в директиве только для Яндекса. Вот так нужно выводить host в robots.txt (название сайта замените на ваше):

Host: busines-expert.com

Теперь давайте рассмотрим, что обозначают директивы robots.txt. Директива User-agent – имена поисковых роботов, для которых предназначены следующие за ней правила. Директива Disallow – отвечает за запрет индексации файлов. Директива Allow – разрешает индексацию файлов. Sitemap – карта сайта. Host – основное зеркало сайта.

Мы рассмотрели, что должно быть прописано обязательно. Теперь я приведу вам конкретный пример файла robots.txt для WordPress. На данный момент все, что прописано в примере ниже, является актуальным и правильным для всех поисковых систем, в том числе, и для Яндекса с Гуглом.

Правильный файл robots.txt для WordPress

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Host: busines-expert.com
 
User-agent: Googlebot
Allow: *.css
Allow: *.js
Allow: /wp-includes/*.js
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: */feed
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Disallow: /*?
 
Sitemap: http://busines-expert.com/sitemap.xml

Можете скопировать и вставить в ваш файл robots.txt этот текст предварительно заменив в host и sitemap адрес моего сайта на ваш.

Как создать файл robots.txt. Рекомендую использовать плагин All in One SEO Pack (подробный обзор плагина здесь). Нам нужно включить два модуля. Для этого перейдите в административную панель «WordPress» ⇒ «All in One SEO Pack» ⇒ «Управление модулями» и активируйте модули «Robots.txt» и «Редактор файлов». Все, создание файла robots.txt завершено. Осталось добавить необходимые директивы, это делается через модуль «Редактор файлов». В модуле «Robots.txt» можно посмотреть содержимое самого файла.

Как узнать адрес файла robots.txt. Адрес файл одинаков для всех сайтов, просто добавьте /robots.txt после адреса вашего сайта. Вот адрес моего роботса: http://busines-expert.com/robots.txt. Замените адрес на ваш, и вы сможете просмотреть содержимое файла robots.txt на вашем сайте.

После настройки файла robots.txt нужно обязательно поверить корректность его работы в популярных поисковых системах Яндекс и Google. Возможно, вы допустили ошибку при указании директив. Чтобы избежать отрицательных последствий, проверьте, правильно ли все отображается в поисковиках.

Как добавить robots.txt в Яндекс. Зайдите в административную панель «Яндекс Вебмастер» ⇒ «Инструменты» ⇒ «Анализ robots.txt». Убедитесь, что загружена актуальная версия файла. Это можно посмотреть в поле под надписью «Текст robots.txt», либо скачать сам файл на компьютер. Если будут ошибки, данный инструмент сообщит об этом, также сообщит, как исправить возможные ошибки.Как добавить robots.txt в Google. Зайдите в административную панель «Google WebMasters» ⇒ «Сканирование» ⇒ «Анализ robots.txt». Внизу в поле напротив названия сайта вставьте «robots.txt» и «нажмите проверить»:Затем, чтобы Google как можно быстрее проверил файл robots.txt, нужно отправьте в Google запрос на обновление. Для этого нажмите «отправить» и напротив цифры 3 также нажмите «отправить»:В ближайшее время Google обновит файл. Если будут ошибки, данный инструмент сообщит об этом, предложив варианты их решения.

Вот мы и закончили обзор файла robots WordPress. Полезного материала много. Надеюсь, дана статья помогла вам правильно настроить файл robots.txt. Напишите в комментариях, как настраиваете роботс вы, думаю, многим веб-мастерам будет интересна разноплановая информация.

Опубликовано в Как создать сайт. Пошаговая инструкция
Советую посетить следующие страницы:
Как создать и настроить файл sitemap
27 необходимых плагинов для WordPress
Разработка и создание дизайна сайта самому
Полная настройка WordPress
Лучшая капча для сайта WordPress

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*

Лучший
курс обмена
BestChange.ru – популярный сервис по подбору выгодных обменных пунктов электронных валют, который поможет вам производить свои обмены безопасно и с минимальными потерями на комиссиях.
Обменять
на

Последнее на YouTube

Популярное на YouTube
© 2015-2017 Busines-Expert.com. Все права защищены. Все о заработке в интернете
Лучший обменник WM
 mmgp
Яндекс.Метрика
Рейтинг@Mail.ru