При раскрутке сайта нужно уделить внимание индексации ресурса поисковыми системами. Для того чтобы управлять ими нам потребуется карта сайта Sitemap xml. Она нам расскажет о том, насколько давно обновлялись страницы. И, конечно же, файл robots.txt он помогает индексировать то, что не содержит основной контент.
Для начала разберемся в значении robots.txt, это обычный файл, создаваемый в блокноте, прописываем специальные инструкции для работы в поисковых системах. Эти записи разрешают или запрещают индексацию отдельных страниц или блогов сайта. Файл robots.txt одним отделам сайта доступ открывает, а к другим его блокирует.
Создание файла robots.txt
robots.txt- это файл, который используется для роботов поисковых систем. Размещается этот файл в корневой папке сайта. Создать этот файл очень легко достаточно создать текстовый документ с расширением txt, загружаем его на сайт. После этого вам его необходимо сохранить в корень вашего сайта, для того чтобы файл начал работать.
Директивы robots.txt
User-agent- здесь необходимо указать робота в процессе работы буде индексировать сайт самыми основными являются Googlebot и Yandex.
Allow- в этой директиве стоит указать только то, что вам не нужно находить
Disallow- здесь необходимо прописать все отделы и сайты от и до которых не будут индексироваться.
Сходства и различия файлов индексаторов
robots.txt этот файл имеет конечно большое значение, но не все системы реагируют на его запреты.
Мета-тег robots этот файл имеет большой вес только для той страницы, где он находиться. Поисковики учитываю значения, прописанные в этом файле.
Тег Noindex и атрибут rel=»nofollow» имеет самый низкий уровень индексации. Может закрыть только отдельные фрагменты текста.
Дата публикации: 11 ноября, 2017
Добавить комментарий