Мета-теги index, follow и noindex, follow — это инструкции для поисковых роботов (таких как Googlebot или Яндекс.Робот), которые указывают им, как обрабатывать конкретную страницу сайта. Эти директивы размещаются в HTML-коде страницы внутри тега <head> в виде мета-тега robots.
Давайте разберем, что означает каждый из них и в каких случаях они применяются.
1. Мета-тег index, follow
Как выглядит в коде:
HTML
Что это значит:
- index:Разрешает поисковой системе добавить эту страницу в свой индекс (базу данных). Это означает, что страница может появляться в результатах поиска по релевантным запросам.
- follow: Разрешает поисковому роботу переходить по всем ссылкам, которые размещены на этой странице, и передавать им "ссылочный вес" (авторитетность).
Почему так пишут:
На самом деле, index, follow — это поведение поисковых систем по умолчанию. Если на странице вообще нет мета-тега robots, поисковик будет вести себя именно так: проиндексирует страницу и перейдет по ссылкам. Поэтому явно прописывать этот тег не обязательно, но многие CMS (системы управления контентом) или SEO-плагины добавляют его автоматически для уверенности. Это стандартная настройка для всех полезных страниц сайта (статьи, товары, главная страница, категории), которые должны приносить трафик из поиска.
2. Мета-тег noindex, follow
Как выглядит в коде: HTMLЧто это значит:
- noindex: Запрещает поисковой системе добавлять эту страницу в индекс. Страница не будет отображаться в результатах поиска.
- follow: Разрешает поисковому роботу переходить по ссылкам на этой странице и сканировать другие страницы сайта, на которые она ссылается.
Почему так пишут на страницах?
Это очень полезная и часто используемая комбинация в SEO. Она применяется в ситуациях, когда сама страница не представляет ценности для результатов поиска (или может даже навредить сайту, если попадет туда), но ссылки на ней важны для правильного сканирования всего сайта.
Вот основные случаи, когда используют noindex, follow:
- Страницы пагинации (например, страница 2, 3, 4 в каталоге товаров или блоге). Сами по себе эти страницы редко отвечают на конкретный запрос пользователя, и их попадание в индекс может создать проблему дублирования контента (так как они похожи на первую страницу). Однако на них находятся ссылки на старые статьи или товары. Тег follow позволяет роботу переходить по этим ссылкам и индексировать сами товары/статьи, а noindex скрывает страницы пагинации из поиска.
- Страницы тегов и архивов. На многих сайтах (особенно на WordPress) создаются страницы тегов, которые просто дублируют анонсы статей из основных рубрик. Чтобы избежать санкций за дублированный контент, страницы тегов закрывают от индексации (noindex), но разрешают роботам ходить по ссылкам на статьи (follow).
- Страницы с результатами внутреннего поиска по сайту. Поисковые системы крайне не любят индексировать результаты поиска других поисковых систем (даже внутренних). Такие страницы генерируются динамически и создают бесконечное количество мусорных страниц. Их закрывают через noindex, но follow может быть полезен, если на странице поиска выводятся ссылки на важные товары.
- Служебные страницы (Корзина, Оформление заказа, Личный кабинет). Эти страницы не нужны в поиске Google или Яндекса. Их закрывают от индексации, но иногда оставляют follow, чтобы робот мог свободно перемещаться по структуре сайта, если на этих страницах есть сквозные ссылки (например, в меню или футере).
- Страницы фильтров в интернет-магазинах. Если пользователь выбирает фильтр "Красные кроссовки 42 размера бренда X", создается уникальный URL. Если таких комбинаций тысячи, сайт может потратить весь свой "краулинговый бюджет" (лимит страниц, которые робот готов обойти). Чтобы в индекс не попадали миллионы бесполезных страниц с пересечениями фильтров, их закрывают noindex, но оставляют follow, чтобы робот мог найти товары, представленные на этой странице.
Если мета-теги follow и noindex, о которых мы говорили ранее, дают инструкции поисковому роботу относительно всей страницы целиком, то атрибут rel="nofollow" — это инструкция для конкретной ссылки.
Давайте разберем, что это значит и зачем это нужно.
Что значит rel="nofollow"? Когда вы ставите обычную ссылку , вы как бы говорите поисковику: «Я доверяю этому сайту, он качественный, я делюсь с ним своим авторитетом». В SEO это называется передачей "ссылочного веса" (link juice). Добавляя rel="nofollow", вы сообщаете поисковому роботу: «Я размещаю эту ссылку, но я не хочу передавать ей свой авторитет и не ручаюсь за содержание этой страницы».
Зачем и когда это используют?
Есть три основные причины, почему вебмастера пишут rel="nofollow":
- Борьба со спамом (Комментарии и форумы) Если на вашем сайте есть возможность оставлять комментарии, спамеры могут начать постить ссылки на свои сомнительные ресурсы, чтобы "накачать" их весом вашего сайта. Если все ссылки в комментариях автоматически получают nofollow, спамить становится бессмысленно, так как такие ссылки не помогают продвижению в поиске.
- Платные ссылки и реклама Правила Google и Яндекса строго запрещают покупать или продавать ссылки для манипуляции результатами поиска. Если вы размещаете рекламный баннер или платный обзор, вы обязаны пометить ссылку как nofollow (или специальным атрибутом sponsored), чтобы поисковик не посчитал это попыткой обмана. Иначе ваш сайт могут оштрафовать.
- Ссылки на "непроверенный" контент Если вы ссылаетесь на сайт, в качестве которого не уверены, или на страницу регистрации/авторизации (которую роботам индексировать не нужно), лучше поставить nofollow.
Разница между мета-тегом и атрибутом ссылки
Часто возникает путаница, поэтому важно запомнить: Мета-тег : Говорит роботу: «Не переходи ни по одной ссылке на этой странице». Атрибут : Говорит роботу: «Не передавай вес именно этой конкретной ссылке, остальные ссылки на странице обрабатывай как обычно».
Важное обновление (Hint Model)
С 2019 года Google изменил подход к nofollow. Раньше это была строгая команда "не переходить". Теперь это "подсказка" (hint). Это значит, что Google сам решает, учитывать эту ссылку или нет, но в большинстве случаев он все равно не передает по ней вес. Также появились два уточняющих атрибута, которые рекомендуется использовать вместо или вместе с nofollow: rel="sponsored" — специально для платных ссылок и рекламы. rel="ugc" — (User Generated Content) для ссылок в комментариях, постах пользователей на форумах и т.д.
Пример современной ссылки в комментариях: HTML Сайт пользователяИтог:
rel="nofollow" — это способ защитить репутацию вашего сайта перед поисковиками и не раздавать свой "авторитет" кому попало.
Редакция: Веб-студия «Простая Матрица»
Комментарии (0)