Хотите, чтобы поисковые системы корректно индексировали страницы и разделы вашего блога? Отличное решение — сделать правильный файл Robots txt для WordPress. Разберемся как и что в нем прописать.
Для чего нужен Robots.txt?
Он предназначен для поисковых систем, их роботов и правильной индексации. Директивы файла указывают, какие разделы сайта нужно выдавать в поиске, а какие скрыть. Это позволяет нацелить поисковик на попадание нужного контента в выдаче. Например, если человек в Google введет «как отремонтировать холодильник», то ему нужно показать инструкцию по ремонту, а не страницу регистрации или информацию о сайте.
Результат поисковой выдачи после изменений robots.txt вы заметите не сразу. Может пройти от недели до нескольких месяцев. Правильно будет его создать уже во время разработки сайта.
Где лежит Robots?
Это обычный текстовый файл, который располагается в корневой папке сайта и доступен по адресу
https://site.com/robots.txt
По умолчанию Роботс не создается. Его нужно создавать вручную или использовать инструменты, которые делают это автоматически. Разберем их ниже.
Не могу найти этот файл
Если по указанной выше ссылке файл доступен онлайн, но в корне сайта его нет, то это означает, что он создан виртуально. Для поисковой системы нет разницы. Главное, чтобы его содержимое можно было получить по адресу https://site.com/robots.txt
.
Из чего состоит robots.txt
Имеет 4 основных директивы:
- User-agent — задает правила для поисковых роботов.
- Disalow — запрещает доступ.
- Allow — разрешает.
- Sitemap — полный путь (URL-адрес) XML-карты.
Пример стандартного robots.txt для ВордПресс
Вариаций этого файла много. На каждом сайте он может отличаться.
Вот пример рабочего Роботс. Посмотрим что означает каждая его строка и для чего нужна.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /license.txt
Disallow: /readme.html
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /*?replytocom
Disallow: */feed
Disallow: */rss
Disallow: /author/
Disallow: /?
Disallow: /*?
Disallow: /?s=
Disallow: *&s=
Disallow: /search
Disallow: *?attachment_id=
Allow: /*.css
Allow: /*.js
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/
Sitemap: https://site.com/sitemap_index.xml
Первая строка говорит, что ссылки сайта могут обходить все поисковые роботы.
Строки с Disallow запрещают индексировать служебные папки и файлы, кэшированные страницы, страницы авторизации и регистрации, RSS (Feed), страницы авторов, поиска и вложений.
Директивы с Allow наоборот разрешают добавлять в индекс поисковиков скрипты, стили, файлы загрузок, тем и плагинов.
Последняя строка указывает на адрес карты XML.
По этому примеру вы можете составить свой Роботс, который будет «заточен» под ваш ресурс.
Идеального содержимого этого файла для всех сайтов не существует. Его всегда нужно формировать под конкретный ресурс.
Как создать правильный robots.txt для сайта
Есть несколько способов.
Вручную
Это можно сделать обычным ручным способом. Например, в Блокноте (если локальный сайт) или через FTP-клиент (на сервере хостинга).
Если вы не доверяете сторонним решениям и хотите все сделать самостоятельно, то наиболее подходящий вариант — создать файл в любом текстовом редакторе и скопировать его на сайт по FTP-протоколу.
Для передачи данных на хостинг можно воспользоваться довольно удобным FTP-клиентом FileZilla. Отметим, что файл robots.txt должен быть скопирован в корневой каталог вашего сайта (рядом с файлами wp-config.php, wp-settings.php).
После того, как файл будет создан и скопирован на хостинг, Вы, перейдя по адресу site.ru/robots.txt, сможете посмотреть его содержимое.
Также это можно сделать с помощью ВП-плагинов. Разберем лучшие.
Clearfy Pro
Виртуальный файл поможет создать премиум-плагин Clearfy Pro, который имеет целый набор функций для SEO и оптимизации сайта.
- Установите и активируйте расширение.
- Откройте админ-раздел Clearfy Pro.
- Перейдите на вкладку SEO.
- Активируйте опцию
- Заполните содержимое директивами.
- Нажмите кнопку Сохранить изменения.
Всегда можно отредактировать содержимое Robots. Просто измените/дополните его нужным содержимым и сохраните изменения.
Активировать промокод на 15%
В плагине появилась еще одна полезная фича — ускоренная индексация новых и отредактированных страниц по протоколу IndexNow. Обязательно пользуйтесь.
Yoast SEO
Этот мощный СЕО-модуль для WP также корректно решит задачу.
- Откройте SEO > Инструменты.
- Кликните по Редактор файлов.
- Если этого файла в корне сайта нет, нажмите Создать файл robots.txt.
- Если существует, то откроется редактор, в котором можно вносить правки.
- Если изменили Роботс, кликните по кнопке ниже.
All in One SEO Pack
В этом популярном для поисковой оптимизации решении тоже есть инструменты чтобы создать/отредактировать Robots.
- После активации перейдите All in One SEO > Модули.
- Из списка выберите одноименное название модуля и нажмите Activate.
- Откройте All in One SEO > Robots.txt.
- С помощью полей добавьте директивы.
Настройка для интернет-магазинов на основе WooCommerce
Для WordPress-ресурсов с использованием этого расширения есть свои директивы. Просто добавьте их к своим.
Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Disallow: /my-account/
Файл robots.txt предназначен указания поисковым системам (роботам ПС), что на сайте можно выводить в поиске, а что нет. Поэтому от его корректного заполнения напрямую зависит трафик на вашем сайте.