🔍 Индексация
🕷️ Краулинговый бюджет
📈 Техническое SEO
В профессиональном SEO искусство заключается не только в том, чтобы загнать в индекс поисковых систем как можно больше страниц. Гораздо важнее уметь не пускать туда технический мусор. Интернет-магазины климатического оборудования, корпоративные порталы застройщиков или каталоги медицинских услуг ежедневно генерируют сотни технических страниц: результаты фильтрации, сортировки, корзины, личные кабинеты и версии для печати. Если весь этот объем попадет в базу данных Яндекса или Google, поисковик сочтет ваш сайт некачественным (из-за обилия Thin Content — «тонкого контента») и пессимизирует весь домен.
Для хирургически точного управления тем, какие страницы должны участвовать в поиске, а какие — оставаться исключительно для внутреннего пользования, применяется HTML-тег meta robots. Это мощнейшая техническая директива, которая дает прямые приказы поисковым краулерам на уровне каждой конкретной страницы. Давайте разберем, как правильно использовать этот инструмент, чтобы направить ссылочный вес и краулинговый бюджет только на высокомаржинальные коммерческие разделы.
Фундаментальное отличие: meta robots против robots.txt
Самая частая и фатальная ошибка начинающих вебмастеров — путаница между файлом robots.txt и тегом meta robots. Несмотря на созвучные названия, они решают разные задачи и работают на разных этапах сканирования.
- Файл robots.txt — это правило на уровне всего сервера. Директива
Disallowговорит боту: «Даже не переходи по этой ссылке, не скачивай код этой страницы и не трать на нее ресурсы сервера». Однако, если на запрещенную в robots.txt страницу ведет много внешних ссылок, Google всё равно может проиндексировать ее (в выдаче она появится без описания, с пометкой об отсутствии данных). - Тег meta robots — это правило на уровне конкретного HTML-документа. Чтобы прочитать этот тег, бот обязан зайти на страницу, скачать ее код, дойти до секции
<head>и увидеть директиву. Только так он поймет команду: «Ты скачал эту страницу, но я запрещаю тебе добавлять ее текст в поисковую базу».
Золотое правило SEO: Если вы хотите гарантированно удалить страницу из поисковой выдачи, вы должны использовать тег meta robots с директивой noindex. При этом страница не должна быть заблокирована в файле robots.txt! Иначе бот просто не сможет на нее зайти и прочитать ваш приказ об удалении.
Базовый арсенал директив: Index и Follow
Мета-тег прописывается в блоке <head> HTML-документа и имеет стандартный синтаксис: <meta name="robots" content="директива1, директива2">. По умолчанию, если тега нет, поисковик считает, что действуют правила index, follow (индексировать всё и переходить по всем ссылкам).
⚙️ Директива «noindex, nofollow» (Полная изоляция)
Команда: «Не добавляй страницу в поисковую базу и не передавай ссылочный вес (PageRank) по ссылкам, которые на ней размещены».
Используется для служебных страниц, которые не несут никакой пользы для поисковика. Примеры: страницы авторизации, корзина покупок, системные разделы CMS (админка 1C-Битрикс или WordPress), страницы с результатами внутреннего поиска по сайту, пользовательские соглашения и пустые карточки товаров, снятых с производства.
⚙️ Директива «noindex, follow» (Хитрая передача веса)
Команда: «Саму страницу в поиске не показывай, но обязательно пройдись по всем ссылкам на ней и передай им статический вес».
Это любимый инструмент senior-сеошников. Идеально подходит для страниц пагинации (каталоги 2, 3, 4 страницы) или страниц тегов. Например, в интернет-магазине автозапчастей страница пагинации ?page=5 содержит только список товаров. Сама по себе в поиске она не нужна (это дубль главной страницы категории), поэтому мы ставим noindex. Но на ней размещены ссылки на карточки товаров, которые бот обязан найти и проиндексировать, поэтому мы ставим follow.
Продвинутые директивы: управление сниппетами и AI (GEO)
В эпоху Featured Snippets (нулевых кликов), Google Discover и генеративных нейросетей функционал тега meta robots значительно расширился. Вы можете управлять тем, как именно ваш сайт выглядит в поисковой выдаче.
- nosnippet: Запрещает поисковику выводить текстовое описание (сниппет) под ссылкой в выдаче, а также формировать из вашего текста расширенные капсулы ответов. Используется для защиты премиального или платного авторского контента от бесплатного цитирования.
- max-snippet:[число]: Ограничивает максимальную длину текстового сниппета в символах. Например,
max-snippet:150. - max-image-preview:large: Критически важная директива для медийных проектов и блогов. Она разрешает Google выводить большую картинку-превью в результатах поиска. Наличие этого тега — обязательное техническое условие для попадания сайта в рекомендательную ленту Google Discover, которая может приносить десятки тысяч бесплатного трафика.
- noarchive: Запрещает поисковику показывать ссылку «Сохраненная копия» в результатах выдачи. Полезно для динамических сайтов, где цены на металлопрокат или инвестиционные монеты меняются каждый час, и показ устаревшей кэшированной версии пользователю приведет к конфликту с отделом продаж.
X-Robots-Tag: управление не-HTML документами
Тег meta robots работает только внутри HTML-кода. Но как запретить индексацию конфиденциального оптового прайс-листа в формате PDF, чертежей инженерных систем в формате .dwg или внутренних Excel-таблиц, которые лежат на сервере? Классический тег туда не вставить.
Для этого используется HTTP-заголовок X-Robots-Tag. Он настраивается на уровне конфигурационных файлов сервера (Apache .htaccess или Nginx nginx.conf). Когда поисковый бот запрашивает файл price-b2b.pdf, сервер отдает ему заголовок ответа: X-Robots-Tag: noindex, nofollow. Бот считывает этот приказ до скачивания самого файла и отказывается от его индексации. Это единственный надежный способ защитить корпоративные документы от попадания в публичный поиск.
Частые вопросы (FAQ) о meta robots
❓ Я поставил noindex, но страница все еще висит в выдаче Google. Почему?
Поисковому краулеру нужно время, чтобы зафиксировать изменения. Если страница имеет низкий авторитет, бот может не заходить на нее неделями. Ускорьте процесс: зайдите в Google Search Console (или Яндекс.Вебмастер), введите URL проблемной страницы в инструмент проверки и отправьте запрос на принудительное переиндексирование. Как только бот скачает обновленный HTML-код и увидит noindex, страница исчезнет из выдачи.
⏱ Можно ли размещать тег meta robots в секции <body>?
Категорически нет. Согласно официальным спецификациям W3C и документации поисковых систем, боты ищут директивы индексации исключительно в блоке <head> HTML-документа. Если ваша CMS (или сторонний плагин) ошибочно выводит тег внутри <body>, поисковик с вероятностью 99% проигнорирует этот сигнал, и страница попадет в поисковый индекс вопреки вашим желаниям.
📍 Как проверить корректность работы meta robots на всем сайте?
Проверять каждую страницу вручную через исходный код (Ctrl+U) на крупных сайтах невозможно. Используйте десктопные краулеры, например, Screaming Frog SEO Spider или Sitebulb. Программа просканирует весь сайт и в отдельной вкладке «Directives» выведет сводную таблицу: какие страницы открыты для индексации, какие закрыты, где стоит nofollow, а где настроен серверный X-Robots-Tag. Это позволяет за 10 минут найти фатальные ошибки, например, когда программисты забыли снять глобальный noindex после переноса сайта с тестового домена на боевой.
Итог: Управление индексацией через meta robots — это гигиена технического SEO. Чем крупнее ваш проект, тем больше информационного мусора он генерирует. Поисковые системы обожают сайты с чистой, прозрачной архитектурой, где краулинговый бюджет расходуется исключительно на уникальные, высокомаржинальные страницы, а технические дубли надежно закрыты. Овладев директивами noindex, follow и X-Robots-Tag, вы берете под полный контроль то, как алгоритмы видят ваш бизнес.
