Запрет индексации на странице

Давайте рассмотрим запрет на индексацию на странице при помощи мета-тега «robots».

Начнем с того, что всеми поисковиками воспринимается три основных мета-тега. Это keywords, description и robots. Как оказалось, к моему удивлению, про мета-тег robots знают не многие…

Именно поэтому я и решил написать про запрет индексации на странице при помощи мета-тега robots.

Запись

Записывается он таким образом. Например,

<meta name="robots" content="follow, noindex"/>

Этот элемент показывает роботу, на что именно он имеет право. То есть, создает правила для индексирующего робота

Свойства

Свойства очень простые. Значение content может быть:

  • none;
  • index;
  • noindex;
  • follow;
  • nofollow;
  • all.

Может быть как одно, так и два свойства.

Пояснение

Что они означают?
Index – брать текст можно.
Noindex – брать текст нельзя.
Follow – ходить по ссылкам можно.
Nofollow – по ссылкам ходить нельзя.

None – это тоже самое что noindex, nofollow. Не путайте, none=noindex или none=nofollow. None это именно то и то сразу.

All – это тоже самое что index, follow. Ситуация аналогична как и с none. То есть, тут сразу два значения.

Описанный выше пример,
<meta name="robots" content="follow, noindex"/>
говорит и том, что роботу можно бегать по ссылкам и учитывать их, а сам текс, то есть контент, не учитывать.

Дополнительная информация

Это мета-тег работает на уровне всей страницы. Это правило создается только для данной страницы, а не для всего сайта, как это делает файл robots.txt

Важно понимать, что при помощи него можно запрещать. Он ничего не улучшает и тому подобное. Если вы его не указали, точнее этот мета-тег вообще отсутствует, это равносильно тому, что вы всё разрешили.

<meta name="robots" content="all"/>
Или
<meta name="robots" content="index, follow"/>

Поэтому, специально его можно не писать. Его использовать нужно только тогда, когда нужно что-то реально запретить.

4 комментария

avatar
  • GOR
Мета тег роботс превосходная и очень удобная замену файлу роботс. По крайней мере, на CMS по типу ДЛЕ именно метатег косяков не вызывает, главное, правильно его составлять!
avatar
Такое закрытие не захламляет роботс и не превращает его в портянку, да и быстрее, а с тем, что многие не знают, как правильно закрыть от индексации — согласен. +1
avatar
Тем, кто не знает, лучше ничего не трогать))) Пусть дубли индексятся, нежели все нафиг перекроют)))
avatar
Кто до такой степени не знает — лучше букварь читать, а не сайтами заниматься