Індексування сайтів: основні засади. Як, навіщо і чому
Основні засади індексації сайтів
Автор: Webakula
Дізнайтеся про всі тонкощі індексації сайтів і як можна прискорити індексацію.
Навіщо потрібний сайт? Щоб люди отримували цікаву для них інформацію. Але ресурсів у мережі безліч, а далі за перші дві сторінки пошуку люди просуваються рідко. Відповідно, щоб користувач побачив саме ваш ресурс, він повинен бути у верхній частині видачі. Це завдання вирішує просування у пошукових системах.
А індексація - важлива частина просування, що передбачає зчитування відомостей з ресурсу, їхню обробку алгоритмами пошуку та поміщення результатів обробки в базу даних пошуковика.
Процес індексування можна покращити. Тобто так упакувати інформацію, щоб вона краще засвоїлася ПС.
Індексування сайту: початок
Індексування не почнеться, поки робот пошуковика не дізнається про новий ресурс у своїх «володіннях». Повідомити йому можна, зареєструвавши ресурс у потрібних пошукових системах за посиланнями: webmaster.yandex.ru/addurl.xml та google.com/webmasters/tools/submit-url?hl=ua для Яндекса та Гугла відповідно.
Або можна дати посилання із вже зареєстрованого сайту на новий.
Реєстрація безпосередньо на ПС гарантує, що індексація відбудеться швидше.
Частота індексування: можливість прискорення
Мільярди веб-адрес з бази даних Яндекса не можуть індексуватися щодня. Відповідно існує певна періодичність індексації.
Але періодичність індексування – непостійна величина. Тому виявляється, що на деяких ресурсах зміни відстежуються постійно, інші практично не відвідуються пошуковими роботами.
Можна зменшити інтервал індексування, що дозволить ефективно просувати сайт. Адже будь-яка зміна оперативно призводитиме до потрібного результату.
Як забезпечити оперативність індексування? Слід знати, які фактори впливають на неї:
- Якість хостингу: чим завантаженіший сервер, що зберігає ваш сайт, тим рідше його відвідуватиме робот ПС. Адже через завантаження технічна інформація передається повільно.
- Частота оновлення ресурсу: вважайте, що роботу «цікаво» відвідувати місця, де постійно відбуваються зміни. А якщо оновлень немає, то й регулярного індексування чекати не варто. Однак враховуйте, що індексуватимуться саме сторінки з оновленнями. Тому краще доповнити головну сторінку блоком новин і динаміка всьому ресурсу забезпечена.
- Відвідуваність, поведінкові фактори: якщо люди приходять на ресурс, затримуються, підписуються і так далі, то такий сайт автоматично буде «на увазі» у ПС, і інтервали між індексуваннями скоротяться.
Важливо, що кожен із цих чинників можна проводити, роблячи ресурс «гостинним» для роботів з ПС.
Перевіряємо індексацію сайту: основні способи
Як відстежити ефективність ваших дій? Для цього потрібно знати, коли пройшла індексація. Перевіряють це певними ресурсами.
Наприклад, на Яндекс.Вебмайстер – у розділі перевірки URL ви дізнаєтесь, коли пройшла індексація, чому сторінки немає у пошуку або який документ бачить користувач у ПС. Також тут даються рекомендації щодо прискорення індексування.
Перевірку проводять і за допомогою sait:. Для цього вводять у рядок пошуку sait: moi sait.ru та отримайте всі проіндексовані сторінки списком.
Перевірити індексацію URL можна за допомогою SE Ranking. Тут є інструмент, що дозволяє стежити за вказаною URL у пошуку. Завдяки йому відстежують, чи демонструється необхідна сторінка користувачам і чи є вона у пошуку взагалі.
Правила керування роботом ПС
Інформація із сайту завантажується за алгоритмом – і жодні вільності тут не допускаються. А план розташований саме на ресурсі і ніяк інакше. Виходить, саме ви вказуєте роботу, що завантажувати, а що ні.
Наприклад, ніколи не можна дозволяти роботам перевіряти особисту інформацію клієнтів. Для цього передбачено спеціальний файл, який вказує на ті сторінки, що не індексуються.
Використовуйте рядок Disallow:/admin, щоб не переглядалися сторінки, що починаються з admin, а рядок Disallow:/images введе заборону індексування картинок.
Якщо ви вкажете в robots.txt адресу sitemap, дозволите роботу переглядати всі сторінки, де немає заборони індексації.
Але часто в robots.txt допускаються помилки. Найпоширеніша з них – це хибна заборона індексування.
Також це можуть бути:
- Неправильний код відповіді HTTP. Якщо він відрізнятиметься від 200, то robots.txt може не враховуватися.
- Якщо в записі виявиться кирилиця, файл проігнорується. Урл сайту, записаний кириличними літерами, передають у юнікоді;
- Перевищення розміру – файл має бути не більше 32 кб.
Простим лендінг він не потрібен. Якщо вашому ресурсу він необхідний, то перевірте коректність на спеціальній сторінці Яндекса - webmaster.yandex.ru/robots.xml. Потрібно завантажити файл, і всі помилки виявляться автоматично.
Робота з sitemap
Це файл, де вказано, які сторінки індексуються. Тут можна використовувати спеціальні теги контролю за індексацією. Так, тег
дозволяє вказати пріоритетну сторінку, а вказує частоту оновлення.
Файл sitemap повинен розміщуватись на вашому ресурсі. Тут не має бути критичних помилок.
Правильність створення цього сайту також можна перевірити в Яндексі – webmaster.yandex.ru/ sitemaptest.xml.