Как создать robots.txt для WordPress-сайта?

Файл robots.txt предназначен для поисковых систем. Он указывает поисковому роботу, что на сайте можно выводить в поиске, а что нет. По умолчанию копия WordPress не имеет robots.txt, поэтому для его создания необходимо задействовать сторонние инструменты либо добавлять его вручную.

Самый простой вариант — воспользоваться плагином Clearfy Pro, о котором мы писали в одном из прошлых материалов.

Добавляем robots.txt на сайт

Способ 1. Ручное добавление

Если Вы не доверяете сторонним решениям и хотите все сделать самому, то наиболее подходящий для этого вариант — создать файл в любом текстовом редакторе и скопировать его на сайт по FTP-протоколу. Для передачи данных на хостинг можно воспользоваться довольно удобным FTP-клиентом FileZilla. Отметим, что файл robots.txt должен быть скопирован в корневой каталог Вашего сайта (рядом с файлами wp-config.php, wp-settings.php).

Где находится robots.txt

После того, как файл будет создан и скопирован на хостинг, Вы, перейдя по адресу site.ru/robots.txt, сможете посмотреть его содержимое.

Пример корректного robots.txt

User-agent: * 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-json/ 
Disallow: /xmlrpc.php 
Disallow: /readme.html 
Disallow: /*? 
Disallow: /?s= 
Allow: /*.css 
Allow: /*.js 
Host: site.ru

** Вместо site.ru следует указать название Вашего сайта

Способ 2. Плагин Yoast SEO

Плагин Yoast SEO позволяет автоматически создавать robots.txt, просто вставив в него нужные данные. Итак, установив и активировав плагин, необходимо в админ-панели выбрать пункт SEO -> Консоль. Далее, на вкладке Возможности, перейти в раздел Дополнительные настройки страницы, передвинуть ползунок в состояние Включено и сохранить изменения, после чего в админ-панели появятся несколько дополнительных пунктов. Далее нужно перейти по пункту SEO -> Инструменты, где выбрать Редактор файлов. На странице редактора необходимо нажать на кнопку Создать файл robots.txt, в редакторе вставить вышеописанный код и нажать Сохранить изменения в robots.txt.

Создание robots.txt в Yoast SEO

Способ 3. Плагин Clearfy Pro

Плагин Clearfy Pro, о котором мы писали в одном из наших материалов, позволяет создать robots.txt без какого-либо вмешательства пользователя.

Единственное, что остается сделать — это в админ-панели перейти Clearfy Pro -> Основные, на вкладке SEO передвинуть вправо ползунок напротив пункта Создать правильный robots.txt и нажать кнопку Сохранить изменения.

Создание файла robots.txt с помощью плагина Clearfy Pro

Понравилась статья? Поделиться с друзьями:
WordPress Plus