Как закрыть индексацию сайта: страницы, которые нужно закрыть обязательно, критерии и места использования специальных тегов

Как закрыть индексацию сайта: страницы, которые нужно закрыть обязательно, критерии и места использования специальных тегов

Главная функция СЕО – добиться быстрой индексации любой страницы сайта. От числа проиндексированных листов зависит релевантность и размер трафика. Однако на ресурсе могут присутствовать такие тексты, которые считаются недостойными для показа пользователям, не прошедшим конверсии на конкретном сайте.

Действием частичного закрытия web-площадки могут послужить такие причины, как:

  • изменение дизайнерского оформления ресурса;
  • смена общей структуры сайта;
  • проведение технических работ.

Какие страницы подлежат закрытию

Независимо от тематического направления ресурса любую статью можно запретить индексировать роботам. В таком случае поисковик не рассматривает некоторые при формировании выдачи. При этом создавая какой-либо сайт, опытные специалисты из агентства www.infounion.com.ua, рекомендуют скрыть от поисковиков:

  1. Страницы, содержащие служебную информацию - данных зарегистрированных пользователей.
  2. Файлы обратной связи.
  3. Многоуровневые формы регистрации и другие.

Кроме этого от индексации обязательно нужно закрыть дублирующие тексты. Такое требование обуславливается тем, что любые дубли (частичные, полные - не имеет значения) заметно пессимизируют ресурс. Объясняется это большим ростом появления неуникальных статей на web-площадке.

Какие теги использовать

Чтобы принять меры по закрытию ряда определенных страниц, в теге <head> прописывается специальный мета-тег – robots, отвечающий как за разрешение, так и запрет индексации страниц. Вместе с этим он может прекратить переход по любым ссылкам, размещенным на каком-либо сайте. Главное правильно написать в коде тег и специальный атрибут - коротко это выглядит так - <meta name="robots” content=”none”>, хотя полностью это пишется так - внутри тега <head> пишется - <meta name=”robots” и обязательно content=”noindex, nofollow”>.

Также выполняет управление индексацией файл robots.t.xt находящийся в консоли web-ресурса (сайта). Его уникальность заключается в возможности задавать конкретные правила, способные запретить индексацию не только каких-то каталогов, но и группы выбранных страниц. Файл позволяет задавать конкретные правила для любого поисковика.

Для того чтобы принять меры по запрету индексации, допустим, в Google, в файле robot.txt надо написать:

User-agent: Google

Disallow: /

Когда требуется применить действия запрета ко всем поисковым системам вместо указанного Google надо поставить/написать звездочку (*).

Перед закрытием индексации надо внимательно подумать какую страницу, чтобы не допустить критических ошибок.

Автор: Субмарина
17.04.2018 (19:10)