Обход, индексирование и ранжирование различаются
При обходе поисковый робот получает содержимое по известному ему адресу. Индексирование связано с обработкой страницы и включением её в поисковую базу. Ранжирование определяет, какие подходящие результаты показать в ответ на конкретный запрос. Успех на одном этапе не гарантирует следующий. Например, страница может открываться у владельца сайта, но быть недоступной роботу. Или робот получает её, однако система выбирает другой адрес как основную версию похожего содержимого. Наконец, проиндексированная страница не обязана занимать высокую позицию. Поэтому проверка должна относиться к конкретному адресу и состоянию, а не к общему впечатлению, что поисковая система не любит сайт.
Ограничения обхода не равны исключению из поиска
Файл robots.txt регулирует доступ соответствующих роботов к обходу. Сам по себе запрет обхода не является надёжным способом исключить адрес из результатов Google: адрес может быть известен по ссылкам, даже когда содержимое недоступно. Для запрета индексирования существует правило noindex, которое робот должен получить и прочитать. Если одновременно закрыть страницу от обхода, робот может не увидеть это правило. Отсюда важное различие между намерением владельца и фактически доступной роботу информацией. Средства управления поисковым индексированием также не заменяют защиту конфиденциального содержимого. Закрытые данные требуют настоящего контроля доступа, а не надежды на то, что поисковик не покажет ссылку.
Проверяйте версию страницы и смысл запроса
У похожих страниц может быть несколько адресов. Указание канонической версии помогает сообщить предпочтение владельца, однако окончательный выбор делает поисковая система. Поэтому в диагностике полезно сравнивать заявленную и выбранную версии, а не считать наличие настройки доказательством её результата. Когда техническое состояние понятно, переходят к содержанию. Страница ремонта холодильников и статья о принципе работы компрессора решают разные задачи читателя, даже если используют похожие слова. Учебный разбор должен назвать предполагаемую потребность и проверить, отвечает ли ей текст. Нельзя гарантировать первое место только за счёт устранения одной ошибки: результаты зависят от множества обстоятельств.
Попробуйте на практике
Разберите три вымышленные страницы на бумаге. Не меняйте настройки настоящего сайта и не отправляйте запросы на индексирование.
- Для первой страницы запишите: робот знает адрес, но обход запрещён. Для второй: содержимое получено и содержит правило запрета индексирования. Для третьей: страница находится в индексе, но по выбранному запросу заметных показов нет.
- Укажите этап, к которому относится каждое наблюдение. Не объединяйте все три случая в один вывод о плохом качестве текста.
- Для первой страницы определите цель владельца: разрешить получение содержимого, убрать адрес из поиска или защитить закрытую информацию. Объясните, почему эти задачи различаются.
- Для третьей страницы сформулируйте вопрос читателя и кратко опишите имеющееся содержимое. Отметьте, каких данных недостаточно, прежде чем предлагать изменения.
Как проверить результат. Для каждого случая указан свой этап и следующий диагностический вопрос. Запрет обхода не назван защитой данных, наличие страницы в индексе не приравнено к высокой позиции, а неизвестные сведения обозначены явно.
Частые вопросы
Если страница открывается в браузере, значит ли это, что робот её видит?
Не обязательно. У браузера и робота могут различаться условия доступа и получаемый ответ. Для вывода о поисковой обработке нужны соответствующие диагностические сведения, а не только успешное открытие страницы владельцем.
Нужно ли сразу переписывать все страницы?
Сначала стоит определить масштаб и характер проблемы. Ошибка доступа, неверное правило индексирования и несоответствие содержимого запросу требуют разного разбора. Массовые правки без исходных наблюдений затрудняют понимание результата.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.