Google должен найти сайт! Файл robots.txt на Wordress

robots txt для wordpress

Еще один обязательный атрибут, для раскрутки вашего сайта  - это файл robots txt для wordpress,который нужен для создания «инструкций» поисковым роботам.

Проще говоря, он отсекает все лишнее, и позволяет более эффективно находить Ваш сайт через поисковики. Ставить его, или нет, даже не обсуждается! Однозначно ставить!

Файл robots.txt ускоряет индексацию,  помогает избежать дублирование контента и не забивает поисковики «ненужным хламом» который они так не любят.

Конфигураций файла robots.txt для worpress просто безумное количество, но я предлагаю Вам не заморачиваться, и поставить следующую, на мой взгляд лучшую,  конфигурацию.

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

 

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: maxneo.ru
Sitemap: http://maxneo.ru/sitemap.xml.gz
Sitemap: http://maxneo.ru/sitemap.xml

Инструкция, по установке файла:

Для создания карты сайта, в формате sitemap.xml, нам необходимо установить плагин gooogle xml sitemap, который создает карту сайта для поисковиков, а не для посетителей.

1. Создаем файл robots.txt с помощью стандартного блокнота, и просто копируем туда код

2. Вставляем в него код текст, который представлен выше, в пунктах Host и Sitemap пишем конечно же свой сайт.

3. Теперь нужно закинуть файл, в корневой каталог сайта. Есть несколько вариантов, как это сделать, но я предлагаю, через ftp клиент filezilla. Скачать можно с официального сайта http://filezilla.ru/get/

Подключаться через filezilla очень просто, но на всякий случай, дам небольшую инструкцию:

Данные, для подключения, обычно находятся в первом письме от вашего хостинга.

Хост: вида leonidas.timeweb.ru или ip адреса, без разницы

Порт:21

Нажимаем быстрое соединение, после чего должна отобразиться корневая папка вашего сайта (у хстинга Timeweb - это папка public). Кидаем в нее файл robots.txt

Все! Мы прошли важный этап раскрутки своего сайта, настроив robots txt для wordpress! Через  Google и yandex Вы будете получать стабильный трафик на свой сайт.

Проверить результаты своей работы можно с помощью сервиса http://webmaster.yandex.ru/robots.xml
Сделав этот важный шаг, вы приближаетесь к заветной цели, а именно - раскрутить свой сайт!

Подпишись на обновления сайта! Получай новые статьи себе на почту.
Введите свой Email
Подпишись на обновления сайта! Получай новые статьи себе на почту.

Понравилась статья? Поделись с друзьями!

Нравится
Опубликовать в Twitter Опубликовать в своем блоге livejournal.com
Вы можете оставить комментарий ниже.

Комментариев к записи: 17

  1. Все очень доступно написано, спасибо.

  2. Нормально написано, а особенно большой плюс статье за пример файла. У кого єто актуально — оценят. Сам когда-то на базе такого примера свой robots делал.

  3. Файл robot.txt очень важный шаг в продвижении сайта. Яндекс без него вообще страницы не индексирует.

  4. Хорошо написали, спасибо. У моего сайта тоже есть такой файлик. Теперь сайт поднимается в рейтингах неплохо

  5. Андрей:

    Я только начинаю, но прямо сейчас сделаю такой файл, огромное спасибо!!!

  6. Марк:

    Предлагаешь лучшую конфигурацию файла робота тхт,а почему сам её не используешь тогда,в полном обьёме,если она лучшая???

  7. Lady:

    Мне твоя идея понравилась , зайду еще раз…До встречи.

  8. Любопытненько тут у вас. Вот сейчас на утренник в сад схожу и вернусь почитаю. :)

  9. Сергей:

    а если у меня такой файл?

    User-agent: *
    Allow: /

    это плохо? кроме этих 2х строк ничего нет….
    добавлять все остальное нужно?

  10. а я то думаю, чего Яндекс «меня» не видит- все сделала:) теперь посмотрим увидит ли. спасибо.

  11. Макс,а здесь прокол,и очень сильный. Посмотри для интереса сюда,будет очень полезно http://berimaksimum.ru/my-sait/aktualnyiy-fayl-robots-txt-2012

  12. Макс, еще раз для интереса просмотрел твой файл для робота. Классический вариант из школы СтартАп раннего созыва. Даже у них этот файл уже изменен. А здесь и разрыв между директивами в точности как в их старом варианте. Надо бы доработать))

    • Согласен, у меня уже другой стоит давно, надо изменить и в статье будет)

      • Макс, я на всякий случай еще раз глянул твой файл, тот что сейчас стоит. Типичный СтартАповский вариант с типичным увеличенным разрывом между двумя блоками директив.Даже они уже этот недостаток убрали.Но это только минимум из того, что нужно править))

:wink: :-| :-x :twisted: :) 8-O :( :roll: :-P :oops: :-o :mrgreen: :lol: :idea: :-D :evil: :cry: 8) :arrow: :-? :?: :!: