Индексация сайта — это процесс обработки веб-страниц поисковой системой, при котором обнаруженный контент анализируется, интерпретируется и добавляется в поисковый индекс — специальную базу данных, используемую для последующего показа страниц в результатах поиска. Google описывает этот этап как анализ текста, изображений и видеофайлов страницы с последующим сохранением информации в индексе, а Яндекс рассматривает индексирование как часть работы поиска после обхода сайта роботом. С практической точки зрения индексация означает, что страница стала известна поисковой системе не просто как существующий URL, а как документ, содержание которого было распознано и учтено для возможного участия в поисковой выдаче. При этом важно различать обход и индексацию: сначала робот посещает страницу и загружает ее содержимое, а затем поисковая система решает, можно ли включить эту страницу в индекс и в каком виде использовать ее данные в поиске. Google прямо разделяет эти стадии на crawling, indexing и serving search results. Индексация имеет фундаментальное значение для SEO, потому что страница, не попавшая в индекс, как правило, не сможет участвовать в органической выдаче по поисковым запросам. Иначе говоря, даже качественный и полезный материал не принесет поисковый трафик, если поисковая система его не проиндексировала. Именно поэтому в оптимизации сайта индексирование рассматривается как базовое условие видимости ресурса в поиске. На решение о включении страницы в индекс влияет множество факторов. К ним относятся доступность страницы для поискового робота, отсутствие технических ограничений на индексирование, корректный HTTP-ответ сервера, качество и уникальность контента, отсутствие критических дублей, а также правильная структура сайта. Google указывает, что владельцы сайта могут управлять возможностью поиска находить и обрабатывать контент, а Яндекс отдельно описывает способы запрета индексирования через robots.txt, HTML-разметку и авторизацию. С технической стороны индексация тесно связана с файлами и настройками, которые помогают поисковым системам понимать структуру сайта. К таким элементам обычно относят robots.txt, карту сайта sitemap.xml, корректные внутренние ссылки, канонические URL, мета-теги управления индексацией и настройки статусов страниц. Эти средства не гарантируют автоматическое попадание каждой страницы в индекс, но помогают поисковой системе эффективнее обнаруживать документы и интерпретировать их назначение. Google рекомендует использовать такие механизмы для упрощения сканирования и понимания контента.