Удаление страницы из поиска через вебмастер

Страницы с неактуальным контентом или в поисковую выдачу попали URL из личного кабинета с персональными данными пользователей, рекомендуется немедленно исключить их из индекса. Первый случай влияет на продвижение сайта, а второй может создать проблемы. Рассмотрим, как удалить URL из Яндекса Вебмастер.

Почему нужно убирать из поиска страницу

Причины исключения URL из индекса поисковика:

1. Исключение дублей. Копии увеличивают время индексации сайта, снижают трафик.
2. Скрытие технических веб-страниц. Формы аутентификация и восстановления, корзины для добавления товаров и т. д. расцениваются поисковыми роботами как мусор. Они могут быть проиндексированы, но ценности для пользователей не несут.
3. Исключение из индекса пустых страниц. Они не содержат полезную информацию для посетителей и снижают трафик, так как увеличивается количество отказов (продолжительность визитов менее 15 секунд и не более 1 просмотра за сутки).
4. Переезд сайта на новый домен. При проведении процедуры рекомендуется временно убрать страницы из поиска. Во время переезда могут наблюдаться технические проблемы, например, неправильное отображение содержимого и пр.

Что значит временное и полное удаление сайта и как это сделать

В Google Search Console и Yandex Webmaster предусмотрен функционал, позволяющий временно скрыть сайт из поисковой выдачи на период до полугода. Также из индекса убирается кэшированная копия и сниппеты.

Полного удаления ни в Yandex Webmaster, ни в Google Search Console нет. Оба поисковика рекомендуют провести корректировку контента, установить ограничения на индексацию для всех URL сайта через robots.txt или поставить пароль.

Срочное и несрочное удаление: что это такое, зачем нужно и как сделать

Срочное удаление используется, если из-за определенных обстоятельств вступило в силу решение суда или в индексе оказались данные пользователей (электронная почта, номер телефона, иная личная информация).

Инструкция для «Яндекс.Вебмастера»:

1. В панели управления «Вебмастера» найдите вкладку «Инструменты».
2. В контекстном меню выберите раздел «Удаление URL».
3. Скопируйте в поле для ввода ссылку.
4. Нажмите на кнопку «Удалить».

Срочное удаление в Google Search Console:

1. В правом фрейме выберите нужный ресурс.
2. Нажмите «Индекс» и «Удаление».
3. Кликните на кнопку красного цвета «Создать запрос».
4. Введите ссылку, отметьте чекбокс «Удалить только этот УРЛ».
5. Кликните «Отправить».

Несрочное удаление применяют, когда владелец хочет убрать УРЛ из индекса, но согласен с тем, что он еще некоторое время будет появляться в результатах поиска. Действие можно выполнить через CMS. Рассмотрим инструкцию на примере панели управления «Вордпресс»:

1. Откройте страницу с помощью редактора контента.
2. Затем в верхнем фрейме кликните «Убрать в корзину».
3. Выберите формат «Стандартный» и нажмите «ОК», чтобы подтвердить действие.

В течение 14 дней поисковой робот обработает данные. При переходе на ссылку появится ошибка 404 Not Found. Страница будет исключена из индексации.

Что такое ручное и автоматическое удаление и чем отличаются эти способы

Чтобы вручную удалить страницу из поиска через Яндекс Вебмастер необходимо воспользоваться инструментом «Удаление URL». Просто вбивайте адрес и кликайте по соответствующей кнопке. Этот процесс мы описывали выше. В Google Search Console нужно применять функцию «Удаление». Действия такие же, что и в «Вебмастере»: создаем запрос, вбиваем ссылку, выбираем способ и отправляем заявку.

Автоматическое удаление подразумевает под собой исключение из поиска роботом. Действие выполняется, если страница удовлетворяет следующие критерии:

• при обращении к ней сервер выдает ошибку 404;
• была прописана соответствующая директива в robots.txt;
• используется специальный мета-тег в robots.txt.

Нюансы метода автоматического исключения из индекса:

• Роботу требуется время, чтобы сделать переобход;
• Если страница глубоко расположена в структуре сайта, роботу будет трудно до нее добраться.

Удаляем URL из поисковой выдачи

Подробно рассмотрим методы, позволяющие исключить ссылку из результатов поисковой выдачи.

Прописываем атрибут запрета индексации Disallow в файле роботс

Директиву прописываем для поисковика «Яндекс». В роботс найдите идентификационную строку «User-Agent: Yandex», а внутри нее укажите данные:

Disallow: /page/или Disallow: /page?

Способ не гарантирует, что URL будет исключен из выдачи. Если на других ресурсах на страницу размещена ссылка в пределах одного домена, она может быть проиндексирована.

Устанавливаем и настраиваем HTTP-коды ответа сервера 404, 403 и 410

Настройка производится в файле дополнительной конфигурации веб-сервера.htaccess. Здесь нужно задать для исключенной из поиска страницы ошибку с кодом 404 (не найдено), 403 (доступ запрещен) или 410 (удален). Обратите внимание на последний вариант, он подразумевает, что запрашиваемая ссылка ранее существовала, а теперь окончательно удалена владельцем. Ошибка 404 говорит, что URL ранее вообще не существовал или в данный момент скрыт из индексации.

В файле дополнительной конфигурации пропишите атрибут ErrorDocument 404 http://mystore1.ru/page1995. Это правило редиректа. Больше ничего настраивать не нужно.

Запомните:

1. «mystore1.ru» (ваше доменное имя);
2. «/page1995» ссылка на конечную страницу, которая будет отображать ошибку.

Прописывает HTTP-заголовок с атрибутом noindex

Когда поисковой робот заходит на страницу, он получает ответ сервера. Сервер отправляет код. Если URL доступен — 200 ОК, а не найден — 404 Not Found. К примеру, нужно, чтобы ссылка была доступна, но при этом скрыта от индексации. Для этого укажите HTTP заголовок с атрибутом noindex. Это запретит показывать страницу в результатах поиска. Заголовок имеет вид: X-Robots-Tag: noindex.

Приписываем noindex в мета-теге

Для этого отредактируйте HTML-код страницы. Порядок действий для разных редакторов сайта:

1. В «Вордпрессе» нажмите на три горизонтальных точки рядом с фреймом «Опубликовать» и в контекстном меню выберите раздел «Редактор кода».
2. В конструкторе «Тильда» откройте «SEO», «Еще». Перейдите во вкладку «HTML-код для вставки внутрь HEAD».
3. На «Джумле» откройте «Менеджер шаблонов», «Редактировать код». Можете загрузить главную страницу через FTP, изменить код в текстовом редакторе – «Блокнот» или Notepad.

В коде пропишите тег. Тег одинаковый для любого типа редактора.

Убираем URL из выдачи в «Яндекс.Вебмастере»

Ранее удалить URL в Вебмастере можно было несколькими способами — по URL или префиксу. Сейчас пользователям предлагается только один вариант:

1. На главной странице Вебмастера выберите «Инструменты».
2. В контекстном меню кликните «Удалить URL».
3. Скопируйте адрес. Кликните «Удалить».

Внизу будут отображаться статусы:

• «В очереди» (проверка на запрет индексирования и ответов сервера);
• «В процессе» (робот уберет ссылку в течение 24 часов);
• «Выполнено» (ссылка убрана из индекса);
• «Отклонено» (код ответа сервера отличается от 403, 404 и 410).

Скрываем URL из поиска через Google Search Console

Функционал Google Search Console позволяет убирать ссылки из выдачи:

1. Выберите нужный ресурс, кликните «Индекс».
2. Откройте раздел «Removal URL».
3. Кликните «Создать запрос».
4. Укажите ссылку на нужную веб-страницу.
5. Введите адрес с префиксом http, https, www, отметив чекбокс «Все URL с этим префиксом».
6. Кликните «Отправить запрос».

Ссылка исчезнет из поиска в течение 24 часов с момента отправки запроса. Примерно через 90 дней «Гугл» вернет ее в выдачу, если не прописать директиву в роботс или не установить коды ответа сервера.

Пароль на страницу: как это работает

При необходимости можете задать пароль на определенную веб-страницу. В этом случае поисковая система не сможет проиндексировать ее. Установить пароль можете через панель управления сайтом (CMS). Например, в «Вордпрессе» пользователи могут запаролить страницу на этапе публикации, выбрав опцию «Защитить паролем».

Скрывать нужно обязательно технические и пустые страницы, не несущие ценной информации и уменьшающие трафик. Рекомендуют скрывать URL из индекса, используя удобный способ: указание HTTP-заголовка с атрибутом noindex или установка кодов ответа сервера. Использование директивы Disallow не будет гарантировать, что ссылка не попадет в выдачу, а запароленные страницы могут создать препятствия для пользователей при просмотре контента.