Nofollow, Noindex: что это такое и как использовать

Категория: SEO

– Автор: Игорь (Администратор)

В рамках данного обзора, я расскажу вам что такое Nofollow и Noindex, а так же ряд связанных с ними особенностей.

Раньше текст веб-страницы полностью формировался только ее автором. Однако, со временем появилась возможность влиять на содержимое текста обычными читателями. Это комментарии, темы в блогах, посты и тому подобное. Кроме того, сайты стали большими и появилась необходимость в страницах, которые бесполезны для поисковых систем, но нужны пользователям. Это дубликаты страниц, расположенных в разных разделах, автогенерируемые страницы с кусками текста и тому подобное.

Поэтому появилась необходимость как-то сигнализировать поисковым системам, таким как Яндекс и Google, о том, какой текст необходимо индексировать и какие ссылки учитывать в ссылочной массе. Этими сигналами стали специальные слова Nofollow и Noindex.

Но, обо всем по порядку.

Nofollow, Noindex это

Nofollow - это атрибут, который указывается в определенных ссылках или же мета-теге robots для запрета индексации ссылок и передачи по ним веса.

Noindex - это атрибут, который указывается в мета-теге robots для закрытия текста от индексации. Так же может быть представлен в виде отдельного тега, но учитывается только поисковыми системами Яндекс и Рамблер.

Как используется атрибут nofollow в ссылке:

<a href="/[адрес сайта]" <strong>rel="nofollow"</strong>>Текст</a>

Часть rel="nofollow" информирует поисковые системы, что поисковым ботам нет необходимости переходить по данной ссылке.

Как используются атрибуты nofollow и noindex в мета-теге robots:

1. Индексировать и переходить по ссылкам в странице

<meta name="robots" <strong>content="index, follow"</strong> />

Если мета-тега в странице нет, то по умолчанию считается, что страницу можно индексировать и поисковому боту необходимо переходить по ссылкам (если они не запрещены атрибутом).

2. Не индексировать текст и переходить по ссылкам в странице

<meta name="robots" <strong>content="noindex, follow"</strong> />

Так же можно не указывать follow, так как поисковики считают по умолчанию, что индексация текста и переход по ссылкам разрешены.

3. Индексировать текст и не переходить по ссылкам в странице

<meta name="robots" <strong>content="index, nofollow"</strong> />

Так же можно не указывать index, так как поисковики считают по умолчанию, что индексация текста и переход по ссылкам разрешены.

4. Не индексировать текст и не переходить по ссылкам в странице

<meta name="robots" <strong>content="noindex, nofollow"</strong> />

5. Не индексировать текст и не переходить по ссылкам в странице с помощью none

<meta name="robots" <strong>content="none"</strong> />

Однако, стоит учитывать, что в мета-теге robots поддерживаются иные вариант специальных директив. Например, noarchive означает не сохранять копию странице в кэше поисковых систем. Поэтому применять none стоит с осторожностью.

Как выглядят тег noindex в поисковых системах Яндекс и Рамблер:

1. <noindex>Неиндексируемый кусок кода</noindex>

2. <!--noindex-->Неиндексируемый кусок кода<!--/noindex-->

Читателю стоит знать, что приоритетным считается второй вариант (в виде html комментария), так как тег из первого варианта корректно воспринимается только поисковыми системами Яндекс и Рамблер (для остальных же это наличие невалидного тега в коде html).

Для чего нужны Nofollow и Noindex?

Для чего применяется Nofollow:

1. Закрытие лишних ссылок.

2. Распределение веса. Открытые ссылки передают больше веса (подробнее об этом чуть далее).

3. Скрытие технических ссылок и передачи веса по ним.

4. Не передавать вес для отдельных сайтов. Например, сомнительные ссылки.

5. Чтобы избежать спама. Площадки с возможностью публиковать открытые ссылки часто становятся объектами для спама.

6. Рекламный контент.

7. Чтобы избежать большого числа внешних открытых ссылок.

8. Приоритет сканирования. Если nofollow ссылки и будут просканированы ботом, то только после открытых.

Для чего применяется Noindex:

1. Данные не статичны, поэтому нет смысла их индексировать.

2. Данные динамически генерируются, поэтому нет смысла индексировать такие страницы. Особенно, если речь о подгрузке данных с помощью ajax.

3. Закрытие информации, которую не хотелось бы, чтобы она отображалась в поиске. Например, личные контактные данные.

4. Технические блоки (в случае тега noindex), такие как счетчики.

5. Дубликаты страниц. Как альтернативу, лучше использовать canonical, но все же.

6. Защита от спама. Обычно применяется к тем разделам, в которых часто публикуют информацию для продвижения иных проектов.

7. Цитаты и копипаст (в случае тега noindex) для увеличения уникальности текста.

8. Яндексу отображать одно, для Google другое (в случае тега noindex).

9. Чтобы текст не оказался в сниппете (в случае тега noindex).

Особенности nofollow и noindex

Вот несколько особенностей использования Nofollow и Noindex:

1. Из-за того, что ажиотаж с использованием ссылок с nofollow порой доходит до абсурда, поисковые системы все же учитывают подобные ссылки, но с меньшим весом. Например, в большинстве социальных сетей, внешние ссылки автоматически закрываются в nofollow, какого бы качества не были сайты акцепторы.

2. Если внутри тега noindex находятся ссылки без nofollow, то они будут учитываться поисковыми системами. Для Яндекса они будут безанкорными, ну а остальные системы и вовсе игнорируют тег noindex. Поэтому, если необходимо так же скрывать ссылки, то в них необходимо задавать nofollow.

3. Поисковые системы Яндекс и Google по разному воспринимают nofollow. Яндекс не учитывает ссылки, но индексирует текст. Google же не только не учитывает ссылку, но и ее текст. Это важная особенность, так как если внутри текста ссылки был адрес сайта, то Яндекс увидит его, а Google нет. Но, как уже говорилось, помните про первую особенность.

4. Учтите, что если в мета-теге robots закрыть только индексацию текста, то ссылки будут учтены.

5. Так же поисковые системы учитывают специальный HTTP заголовок "X-Robots-Tag". Например, "X-Robots-Tag: noindex, nofollow" аналогичен мета-тегу с noindex и nofollow.

6. Если вы используете несколько мета-тегов, то поисковые системы могут по разному их интерпретировать (тем более, что механизмы постоянно корректируются). Поэтому старайтесь задавать необходимое в одном мета-теге.

7. Стоит помнить, что файл "robots.txt" предполагает более высокий приоритет, чем мета-теги. Логика в том, что если страница запрещена в файле, то поисковая система проигнорирует страницу, как и ее мета-теги. Хотя, отмечу, что в интернете порой упоминается, что далеко не всегда страницы, запрещенные к индексации в файле robots, не попадают в индекс. Например, если на страницу была внешняя ссылка.

8. Поисковые системы поддерживают собственный набор мета-тегов и вариаций их представления, более подробно о них лучше смотреть в справке необходимого поисковика. Сделано это для того, чтобы разным поисковым системам можно было указывать разные ограничения.

Теперь, вы знаете что такое nofollow и noindex, а так же некоторые важные особенности.