Як швидко перевірити індексацію сайту в Google і Яндекс

1. 1. Перевірте індексацію в панелі вебмайстрів
2. 2. Використовуйте оператори в пошукових запитах
3. 3. Використовуйте плагіни і букмарклет
4. 4. Встановіть сервіси для перевірки індексації
5. Чому не індексується сайт?
6. висновки

Як оперативно дізнатися, чи потрапила важлива для вас сторінка в індекс пошукових систем? Та й взагалі, скільки сторінок сайту «бачать» пошукові системи? Я описав в цьому пості способи, які найчастіше використовують SEO-фахівці, і приготував бонус для читачів.

При індексуванні сторінки робот пошукової системи додає відомості про сайті в базу даних. Подальший пошук відбувається по проіндексованих сторінок. Не варто плутати індексацію і сканування.

Робот може просканувати весь сайт швидко. А додавати в індекс повільно, не додавати частина сторінок або видаляти сторінки з індексу.

1. Перевірте індексацію в панелі вебмайстрів

Це базовий спосіб перевірки для веб-майстра або власника сайту.

Google. Необхідно зайти в Search Console і на вкладці «Індекс Google» вибрати «Статус індексування».

Yandex. Проходимо авторизацію в Яндекс.Паспорт, заходимо в Яндекс.Вебмайстер і переходимо по шляху «Індексування сайту» - «Сторінки в пошуку». Ще один варіант: «Індексування сайту» - «Історія» - «Сторінки в пошуку». Тут можна подивитися динаміку зміни кількості сторінок у пошуку.

Щоб використовувати цей метод, у вас повинен бути певний рівень доступу в панель вебмастера. Приклад хорошого індексування сайту. Кількість якісних сторінок зростає, і вони додаються в індекс. Проблеми з індексацією виглядають так:

На скріншоті - сайт, закритий від індексації у файлі robots.txt

Хочете дізнатися більше про пошуковому просуванні? Підписуйтесь на розсилку:

Наші передплатники завжди отримують більше.

2. Використовуйте оператори в пошукових запитах

Пошукові оператори дозволяють уточнювати результати пошуку. Оператор «site:" видає інформацію про приблизну кількість проіндексованих сторінок. Для перевірки в рядку пошуку Google або Яндекс введіть «site: [url вашого сайту]».

Іноді велика різниця між результатами в Google і Яндекс свідчить про наявність проблем з сайтом.

Наприклад, сайт cubing.com.ua знаходиться під фільтром АГС.

Використовуючи додаткові інструменти пошуку, можна дізнатися дані про індексацію за певний період часу. Так, за останній час в індексі Google з'явилися 49 сторінок російськомовної Вікіпедії:

3. Використовуйте плагіни і букмарклет

Модулі та букмарклет (невеликі javascript-програми, які зберігаються як браузерні закладки) - автоматизований варіант перевірки. В даному випадку не треба відкривати пошуковик окремо і вводити що-небудь в пошук.

Це роблять плагіни і скрипти:

На скріншоті - плагін RDS bar для Google Chrome. можливості RDS bar для Mozilla Firefox ще крутіше. За допомогою плагіна можна перевірити індексацію поточної сторінки і загальний індекс всього сайту. Але в безкоштовних варіантах капча не дасть спокійно працювати :)

букмарклет «Перевірка індексації» . Перетягніть посилання з відкритого файлу на панель закладок. Далі просто відкрийте потрібний сайт і натисніть на цю закладку. Відкриється нова вкладка з Google або Яндекс і потрібними даними у видачі.

4. Встановіть сервіси для перевірки індексації

Це маленькі помічники SEO-фахівців. Їх безліч. Наприклад, зв'язка Netpeak Spider і Netpeak Checker .

Netpeak Spider дозволяє просканувати весь сайт. Плюс в тому, що ви отримуєте не тільки інформацію про кількість сторінок в індексі, а й список цих сторінок, а також багато додаткових даних: канонікал, код відповіді, назва, заголовки, метаописания, мета Роботс, robots.txt, редіректи, внутрішні та зовнішні посилання і інші. Також програма попереджає про помилки в цих даних.

Як тільки список всіх URL сайту був отриманий, його можна завантажити в Netpeak Checker і вже перевірити безпосередньо на факт індексації пошуковими системами.

Чому не індексується сайт?

1. Новий сайт. Іноді потрібно просто почекати. Сторінки в індекс не потрапляють все і відразу. Часто цей процес розтягується на кілька місяців.

2. Ні карти сайту (sitemap). Якісна карта сайту допоможе пошуковим роботам швидше просканувати і проіндексувати ваш сайт. Посилання на карту потрібно додати в панель вебмайстрів.

3. Помилки на сайті. Панелі вебмайстрів регулярно сповіщають власників сайтів про помилки. Помітили проблему в індексації? Дивіться, які помилки знаходить робот, і виправляйте їх.

4. Помилка з метатегах robots. Часта помилка при несвідомому зміні налаштувань CMS або хостингу. У коді сторінок сайту з'являється наступна рядок:

5. Помилка з robots.txt. Часто радять закривати в robots.txt все непотрібне. Особливість файлу robots.txt в тому, що один зайвий символ може відкритий для індексації сайт перетворити в закритий. Навіть якщо ви правильно закрили частину сайту, ненароком можна було зачепити потрібні речі, які знаходяться глибше. Ваш сайт закритий від індексації, якщо ви бачите у себе в robots.txt цю конструкцію:

User-agent: * Disallow: /

висновки

Мета власника сайту - щоб всі сторінки, відкриті для індексації, були в індексі пошукової системи. Досягти цього складно. До того ж важливо стежити за процесом занесення сторінок в індекс: різкі зміни в позитивну або негативну сторону - сигнал про проблему. Ми описали чотири способи перевірки індексації сторінок сайту:

1. У панелях вебмайстрів Google і Яндекс.
2. За допомогою пошукового оператора «site:".
3. За допомогою плагінів, на кшталт RDS bar, і буркмарклетов.
4. У спеціальних сервісах, наприклад, Netpeak Spider.

Часто справа не в індексації, а в підході до оптимізації. Хочете індексуватися і ранжуватися - відповідайте на запит користувача краще всіх. В такому випадку все описане вище знадобиться тільки для фіксації хорошого результату.

PS Бонус для тих, хто дочитав :)

Тримайте таблицю , За допомогою якої я працюю з індексацією сайтів. Як працювати з таблицею?

1. Зробити копію.
2. Вибрати доменну зону.
3. Завантажити в стовпець А список URL-адрес.
4. Почекати результатів (чим більше адрес, тим довше треба чекати).

В результаті отримуємо приблизно таку картину:

Потім можна виділити стовпці B, C і скопіювати дані на сусідні два стовпці. Так ви збережете результати на поточну дату для порівняння з результатами індексації через певний час. А от ще одна таблиця для фіксації результатів видачі по оператору «site:" для Yandex. Інструкція проста:

1. Вибрати доменну зону.
2. Оберіть свій регіон.
3. Ввести запит (адреса сайту).
4. Поставити «1», якщо хочете отримати адресу і заголовок.
5. Ввести кількість сторінок видачі, які ви хочете зберегти (від 1 до 100).

За допомогою цієї таблички я не раз знаходив проблемні Title або зайві сторінки в індексі.