Как создать правильный robots.txt!

Здравствуйте дорогие читатели, блогеры и гости моего блога! Долго ни чего не писал на блог, другие дела были. Вы так не поступайте, писать нужно постоянно, хотя бы раз-два в неделю для молодого блога.

В этой статье  расскажу как создать правильный robots.txt, и для чего он необходим. Нужно именно правильный robots.txt сделать для сайта, иначе вы можете открыть роботам что то лишнее на сайте или наоборот закрыть. Создать его очень просто, можете даже не создавать, а «взять мой» и пользоваться им, он рабочий.

Статья была обновлена 24.01.2016 года, актуальный файл robots.txt здесь.

Я отредактировал на своем сайте robots.txt и на данный момент у меня стоит правильный robots.txt. Можете его скачать, только не забудьте изменить его под свой сайт. В связи с тем, что у меня сайте появилась адаптация к мобильным устройствам, гугль попросил показать все файлы на сайте для корректного отображения сайта, поэтому пришлось открыть полностью для гугла сайт.

Данный файл нужен для настройки доступа индексации сайта поисковыми роботами. Если его не будет, то эти роботы проиндексируют весь ваш сайт вдоль и поперек. А некоторые страницы лучше скрыть от поисковиков. Да, и робот если очень долго будет индексировать ваш блог, то он может пропустить какие нибудь важные файлы, статьи и уйдет. Поэтому рекомендуется закрывать некоторые папки, которые можно не показывать поисковикам.

Настройку разрешений и запретов индексации, конечно, делать будете на ваше усмотрение.

Правильный robots.txt — создание и настройка файла!

Файл “robots.txt” создаете в обычном текстовом блокноте, и называете его (robots). Должен он находится в корневой папке вашего блога.

Вот пример моего файла  robots.txt (старая версия):

Правильный robots.txt — новая версия

Этот файл нормально настроен, да и WordPress рекомендует именно такой файл.

Как только робот зайдет на ваш блог, он будет искать, во-первых, этот файл. Ему необходимо узнать, что ему можно индексировать, а что нельзя. Поисковых роботов несколько, одни индексируют статьи, другие картинки, третьи медиафайлы и т.д. А также он находит (Host, и Sitemap). Sitemap.xml – это файл карты блога, если вы его не создали, то создайте, я об этом писал здесь.

Предлагаю еще посмотреть интересный видео-ролик о полезности файла “robots.txt” :

На этом у меня все, думаю вы разберетесь с этим файлом, все просто.

Всем пока и до новых встреч!