Яндекс и еще несколько иностранных поисковых систем используют новый и более оперативный способ информирования об обновлении контента на сайте — протокол IndexNow. Благодаря ему вебмастеры могут информировать краулеры об изменениях на ресурсе и быстрее добавлять новые страницы в выдачу.
В этой статье мы расскажем, что такое IndexNow, как он работает и какие задачи выполняет.
Что такое IndexNow
IndexNow — новый протокол, который создали разработчики поисковой системы для того, чтобы вебмастеры могли уведомлять ПС о создании новых страниц и изменении текущих. Используя его, специалисты улучшают индексацию сайта, особенно при внедрении точечных изменений.
Протокол IndexNow решает проблему небыстрого сканирования страниц. Раньше требовалось долго ждать, пока краулеры снова посетят сайт и обнаружат изменения. Данная проблема особенно остро стояла для огромных ресурсов с 1000+ страницами.
Поэтому разработчики создали новый протокол. Он отмечает, какие именно страницы нужно изучить в первую очередь. Поэтому индексация происходит значительно быстрее.
Как работает IndexNow
Протокол имеет достаточно простой процесс работы. Поэтому у вас вряд ли возникнут сложности во время его использования.
Суть: мгновенное уведомление поисковиков об изменениях
Главная задача IndexNow — моментальное уведомление поисковиков об изменениях. Благодаря протоколу краулеры всегда знают, какие страницы нуждаются в индексации. Поэтому новые страницы быстро попадут в индекс.
Пошаговый процесс отправки URL
Как отправить URL:
- Сгенерировать ключ для подтверждения владения сайтом. Это случайны набор символом, состоящий максимум из 128 знаков (например, 76934bb5f78b5555dac82129a90a6ec51).
- Создать текстовый файл с ключом и разместить его в корне сайта. В качестве названия рекомендуется использовать сам ключ. После этого система подтвердит владение сайтом, и вебмастер сможет отправить первый запрос.
- Отправить URL на индексацию в Яндекс. Пример запроса — https://yandex.com/indexnow?url=https://site.ru/new-page&key=76934bb5f78b555dac82129a90a6ec51.
Стоит отметить, что у CMS есть модули для автоматической передачи данных. Поэтому вам потребуется только один раз настроить его, а не отправлять запросы после каждого обновления.
Поддерживаемые форматы: GET, JSON, ключ валидации
Протокол работает с запросами 2 форматов. Чаще всего система обрабатывает запросы в формате GET. Они используются для отправки одного URL. Например, https://yandex.com/indexnow ? url=<String> & key=<String> & [keyLocation=<String>]. Запрос состоит из нескольких компонентов:
- URL — адрес страницы, которую требуется проиндексировать. Стоит отметить, что он должен быть указан по стандарту RFC3986.
- Key — ключ для подтверждения прав на сайт.
- KeyLocation — расположение файла с ключом. Этот пункт можно пропустить, если документ находится в корневой директории.
Запросы в формате JSON используются для передачи данных о нескольких страницах. Как они выглядят: POST /indexnow HTTP/1.1 Content-Type: application/json; charset=utf-8 Content-Length: 286 Host: yandex.com. Компоненты запроса:
- Host — адрес сайта.
- Key — ключ для подтверждения прав на ресурс.
- KeyLocation — расположение документа с ключом.
- urlList — массив URL. Стоит отметить, что за раз можно отправить не более 10 000 адресов.
Ключ валидации используется для подтверждения прав на сайт. Его можно сгенерировать автоматически. Требования к ключу:
- Размер — до 128 знаков.
- Наличие только знаков a-z, A-Z, 0-9, -.
- Кодировка UTF-8.
Какие поисковики поддерживают IndexNow
Протокол полностью поддерживают Bing и Yandex. Кроме того, IndexNow можно использовать для отправки оповещений поисковым системам DuckDuckGo и Baidu.
У Google есть аналогичное решение — Indexing API. Поэтому американская ПС не поддерживает более распространенное решение IndexNow.
Преимущества использования IndexNow
Вебмастерам и SEO-специалистам стоит научиться использовать протокол и настроить его на своих сайтах, потому что он дает несколько преимуществ.
Ускоренная индексация новых и измененных страниц
Новый протокол был разработан специально для ускорения индексации. Вебмастеры уведомляют поисковую систему о том, что поисковому роботу нужно проверить на сайте. Поэтому им не приходится ждать, пока краулеры самостоятельно обнаружат изменения. В результате новые страницы попадают в индекс уже через несколько часов, а не суток или недель.
Благодаря этому вы можете повысить видимость сайта в конкурентных нишах. Поисковые системы отдают приоритет в выдаче свежим материалам. Благодаря моментальному уведомлению об обновлениях сайт может эффективнее конкурировать за высокие позиции и трафик.
Снижение нагрузки на сервер от краулеров
Экономия серверных ресурсов — это второй важный плюс использования нового протокола. Снижение нагрузки ощутят владельцы интернет-магазинов и огромных информационных порталов.
Стандартный обход сайта краулерами потребляет много ресурсов, из-за чего ресурс хуже работает у пользователей. При использовании IndexNow количество запросов от поисковых роботов сокращается.
Актуализация данных в выдаче
Если вы внесете важное изменение на сайте, то поисковые системы не сразу фиксируют это, из-за чего алгоритмы не оценят изменения, и вы не сразу получите результат от обновления. Благодаря протоколу IndexNow актуализация данных пройдет значительно быстрее.
Как внедрить IndexNow на сайте
Есть несколько способов внедрить и использовать протокол IndexNow на своем сайте. Кратко рассмотрим каждый из них:
- Вручную. Вебмастер может самостоятельно передавать запросы с URL-адресами через API IndexNow. Выше мы рассмотрели примеры таких обращений к серверу.
- С помощью плагинов и расширений для CMS. Для популярных CMS, например, для WordPress, доступны модули, автоматизирующие процесс отправки URL. Например, плагин «Rank Math SEO» для WordPress поддерживает IndexNow. Вам потребуется только настроить плагин.
- Через генератор Sitemap. Некоторые генераторы, например, сервис SiteMap, имеют встроенную поддержку IndexNow.
- Через хостинг-провайдера. Некоторые платформы предлагают интеграцию с IndexNow в своих панелях управления.
- С помощью панелей вебмастера, например, Яндекс Вебмастер. Эти сервисы позволяют автоматизировать процесс передачи запросов через API.
Если вы собираетесь внедрить IndexNow, обязательно изучите Яндекс Справку. В ней детально рассмотрены особенности использования протокола.
Ограничения и нюансы
Протокол имеет 2 особенности, которые стоит учитывать при работе с ним.
Не гарантирует попадание в индекс
Применение протокола IndexNow не обеспечивает гарантированного попадания в индекс конкретной страницы на 100%. Он всего лишь сигнализирует поисковым роботам о приоритетности индексирования определённых URL, но не отменяет требований к качеству самой страницы и её контента.
Кроме того, вам все равно придется ждать, пока краулеры посетят сайт и обработают контент. Поэтому страница не окажется в индексе моментально.
Зависят от поддержки поисковой системой
Если вы продвигаете сайт в нескольких поисковых системах, то нужно учитывать, что IndexNow поддерживается не всеми сервисами. Выше мы уже перечислили поисковики, которые работают с данным протоколом. Если вы продвигаете сайт в Google, то потребуется также настроить Indexing API.
Заключение: кому стоит использовать IndexNow
Протокол IndexNow — полезный инструмент, который стоит использовать в следующих случаях:
- Для масштабных сайтов, насчитывающих сотни или тысячи страниц. IndexNow способствует эффективному управлению массовыми обновлениями контента, своевременному уведомлению о новых 301-редиректах и удалению большого количества страниц.
- Для ресурсов с поддоменами. IndexNow позволяет оповещать о создании новых поддоменов и способствует улучшению индексации контента на них.
- Для динамичных сайтов с частыми обновлениями. К этой категории относятся, например, новостные порталы или блоги с регулярными публикациями, а также интернет-магазины, где ассортимент обновляется на постоянной основе.
- После крупных технических изменений. Это может включать миграцию на новый домен или систему управления контентом (CMS), а также изменения в структуре URL.
Поэтому мы рекомендуем изучить его всем SEO-специалистам и вебмастерам.