Как закрыть сайт от индексации? Практические советы

Закрыть сайт от индексации

Как закрыть сайт от индексации?

Наверное многие специалисты , и не только, сталкивались с ситуацией, когда необходимо было , в обязательном порядке, закрыть сайт от индексации. Когда же возникает подобная ситуация? Собственно тогда, когда сайт находится на стадии разработки, или же редизайна проекта. Сама процедура закрытия не сложная. Для это нужно, всего лишь выбрать верный robots.txt. Скорее всего, Вы спросите, а что из себя представляет robots.txt?

robots.txt

Это текстовый файл, который находится. Он представляет важную информацию для поисковых ботов, которые занимаются сканированием интернета. Перед началом работы на страницах Вашего ресурса, боты проверяют данный файл, который находится в корне Вашего сайта. В этом файле роботы находятся предписания для действий поисковиков.

Когда поисковый робот заходит на Ваш ресурс, то первым делом он ищет данный текстовый файл. В случае, если файл отсутствует, либо он есть, но, при этом не имеет никакой нужной информации, то бот получает, «как бы» сигнал, свидетельствующий о разрешении пройтись по Вашему ресурсу, без разрешения.

Если же, файл имеет информацию о запрете индексации, то бот должен будет придерживаться данного предписания.

Необходимость в закрытии сайта от индексации

Запрет на индексацию чего-либо. Приведем некоторые примеры:

а) Возможен вариант, запретить проводить индексацию какой-нибудь страницы сайта. К примеру, это может быть страничка о политике конфиденциальности ресурса, или же какие-либо документы, которые необходимы для сайта, но в тоже время, эти документы, не должны попадать под индексацию. И таким образом, иметь влияние на общий рейтинг Вашего веб-ресурса.

б) Если есть потребность полностью запретить индексацию. Данное действие означает отказ в индексации боту, который пришел на Ваш сайт. Когда это происходит? Например, в ситуации, когда Ваш ресурс еще не наполнен полностью контентом, и находиться на стадии разработки. Вначале следует закончить работу над созданием, а потом уже заботиться об индексации.

в) Вы решили закрыть от индексации какую-нибудь категорию, либо файл. Это требуется выполнить в случае, когда уже на действующем веб-ресурсе нужно создать еще один раздел, либо категорию, и в этом случае, конечно, индексация не желательна.

Как видите, у каждого ресурса могут быть свои причины на такой шаг. Причины эти разные. Но, безвыходных ситуаций не бывает. И данный вопрос решается просто.

Важное о настройке robots.txt

Создать и настроить данный текстовый файл не сложно, мы уже говорили об этом. Его алгоритм прост. Существуют определенные правила создания и настройки. Это:

  1. Текстовый файл обязательно должен размещаться в главной директории сервера.
  2. Какой бы не был текстовый редактор, нужно создать файл, и после этого обязательно переименовать его в robots.txt.
  3. Правильно созданный файл будет содержать 1 строку User-agent.
  4. Важно помнить о том, что поле User-agent всегда должно быть заполнено.
  5. «*». Это символ, который указывает на то, что с его помощью перед названием можно запретить индексацию всех объектов.
  6. «/». Этот символ можно использовать либо вначале названия, либо в конце.
  7. Следует позаботиться о том, чтобы файл указывал местонахождения карты веб-ресурса. Это необходимо для возможности прискорить индексацию страниц ресурса, а также, чтобы робот не пропустил каких-либо страничек.
  8. Важно запомнить, что Disallow не прописывается перед User-agent. Это будет неправильный текстовый файл. И такой вариант прописывания будет совершенно не понятен поисковым ботам. Они не смогут правильным образом отреагировать на такой файл.
  9. Disallow прописывается обязательно с новой строки. А также, указывает на определенный раздел, или же страницу.
  10. Перед тем, как начать работу с файлом, проверьте все, и убедитесь в правильности его создания. Иначе затраченное время и дальнейшая работа будут бесполезными.

Если у Вас возникли какие-либо сложности в этом вопросе, обращайтесь за консультацией, и обучением в школу «SEO practic», где Вы сможете получить все необходимые знания для самостоятельной работы в сфере СЕО оптимизации. Мы всегда готовы предложить Вам качественное и индивидуальное обучение в самой востребованной на сегодняшний день сфере.

Программы курсов и период обучения:

SEO - начинающий
SEO - начинающий
  • Обучение: индивидуальное
  • Продолжительность курсов: 5 занятий
  • 3000 грн

ПОДРОБНЕЙ О КУРСЕ!
SEO - cпециалист
SEO - cпециалист
  • Обучение: индивидуальное
  • Продолжительность курсов: 10 занятий
  • 6000 грн

ПОДРОБНЕЙ О КУРСЕ!
SEO + Adwords
SEO + Adwords
  • Обучение: индивидуальное
  • Продолжительность курсов: 12 занятий
  • 7200 грн

ПОДРОБНЕЙ О КУРСЕ!