Як закрити сайт від індексації? Практичні поради

Закрыть сайт от индексации

Як закрити сайт від індексації?

Напевно багато фахівців, і не тільки, стикалися з ситуацією, коли необхідно було, в обов'язковому порядку, закрити сайт від індексації. Коли ж виникає подібна ситуація? Власне тоді, коли сайт знаходиться на стадії розробки, або ж редизайну проекту. Сама процедура закриття нескладна. Для це потрібно, всього лише вибрати правильний robots.txt. Швидше за все, Ви запитаєте, а що з себе представляє robots.txt?

robots.txt

Це текстовий файл, який знаходиться. Він являє важливу інформацію для пошукових роботів, які займаються скануванням інтернету. Перед початком роботи на сторінках Вашого ресурсу, боти перевіряють даний файл, який знаходиться в корені вашого сайту. У цьому файлі роботи знаходяться приписи для дій пошукових систем.

Коли пошуковий робот заходить на Ваш ресурс, то першим ділом він шукає даний текстовий файл. У разі, якщо його немає, або він є, але, при цьому не має ніякої потрібної інформації, то бот отримує, «як би» сигнал, який свідчить про дозвіл пройтися по Вашому ресурсу, без дозволу.

Якщо ж, файл має інформацію про заборону індексації, то бот повинен буде дотримуватися даного розпорядження.

Необхідність в закритті сайту від індексації

Заборона на індексацію чого-небудь. Наведемо деякі приклади:

а) Можливий варіант, заборонити проводити індексацію який-небудь сторінки сайту. Наприклад, це може бути сторінка про політику конфіденційності ресурсу, або ж будь-які документи, які необхідні для сайту, але в той же час, ці документи, не повинні потрапляти під індексацію. І таким чином, мати вплив на загальний рейтинг Вашого веб-ресурсу.

б) Якщо є потреба повністю заборонити індексацію. Дана дія означає відмову в індексації боту, який прийшов на Ваш сайт. Коли це відбувається? Наприклад, в ситуації, коли Ваш ресурс ще не наповнений повністю контентом, і перебувати на стадії розробки. Спочатку слід закінчити роботу над створенням, а потім вже піклуватися про індексацію.

в) Ви вирішили закрити від індексації якусь категорію, або файл. Це потрібно виконати в разі, коли вже на діючому веб-ресурсі потрібно створити ще один розділ, або категорію, і в цьому випадку, звичайно, індексація не бажана.

Як бачите, у кожного ресурсу можуть бути свої причини на такий крок. Причини ці різні. Але, безвихідних ситуацій не буває. І це питання вирішується просто.

Важливе про налаштування robots.txt

Створити і налаштувати даний текстовий файл не складно, ми вже говорили про це. Його алгоритм простий. Існують певні правила створення і налаштування. це:

  1. Текстовий файл обов'язково повинен розміщуватися в головній директорії сервера.
  2. Який б не був текстовий редактор, потрібно створити файл, і після цього обов'язково перейменувати його в robots.txt.
  3. Правильно створений файл буде містити 1 рядок User-agent.
  4. Важливо пам'ятати про те, що поле User-agent завжди повинен бути заповнений.
  5. «*». Це символ, який вказує на те, що з його допомогою перед назвою можна заборонити індексацію усіх об'єктів.
  6. «/». Цей символ можна використовувати або спочатку назви, або в кінці.
  7. Слід подбати про те, щоб файл вказував місцезнаходження карти веб-ресурсу. Це необхідно для можливості пришвидшити індексацію сторінок ресурсу, а також, щоб робот не пропустив жодних сторінок.
  8. Важливо запам'ятати, що Disallow не описує перед User-agent. Це буде неправильний текстовий файл. І такий варіант прописування буде абсолютно не зрозумілий пошуковим роботам. Вони не зможуть правильним чином відреагувати на такий файл.
  9. Disallow прописується обов'язково з нового рядка. А також, вказує на певний розділ, або ж сторінку.
  10. Перед тим, як почати роботу з файлом, перевірте всі, і переконайтеся в правильності його створення. Інакше витрачений час і подальша робота будуть марними.

Якщо у Вас виникли будь-які складності в цьому питанні, звертайтеся за консультацією, і навчанням в школу «SEO practic», де Ви зможете отримати всі необхідні знання для самостійної роботи в сфері СЕО оптимізації. Ми завжди готові запропонувати Вам якісне і індивідуальне навчання в найбільш затребуваною на сьогоднішній день сфері.

Програми курсів та період навчання:

SEO - початківець
SEO - початківець
  • Навчання: індивідуальне
  • Тривалість курсів: 5 занять
  • 3000 грн

Докладніше про КУРС!
SEO - спеціаліст
SEO - спеціаліст
  • Навчання: індивідуальне
  • Тривалість курсів: 10 занять
  • 6000 грн

Докладніше про КУРС!
SEO + Adwords
SEO + Adwords
  • Навчання: індивідуальне
  • Тривалість курсів: 12 занять
  • 7200 грн

Докладніше про КУРС!