Індексація сайту в Яндексі - як налаштувати індексацію сайту в Яндекс

1. Пошукові запити і релевантність
2. Текстові критерії релевантності
3. 1. Титульна фраза
4. 2. Опис сторінки
5. 3. Інші текстові критерії
6. Розподіл частот пошукових запитів. Вебмастера і пошукові системи. спамдексинг
7. Нетекстові критерії релевантності
8. Попит и пропозиція - точки зближені в пошукових системах
9. Из чего почату

Андрій Іванов

© "Ашманов і Партнери"

Індексуючі пошукові системи - сьогодні основні постачальники нових відвідувачів на сайт. У той же час алгоритми роботи пошукових систем ніколи не публікуються, на що у розробників є всі підстави - боротьба з засмічення пошуковиків (пошуковим спамом або) забирає багато сил і засобів у колективу будь-якого пошукового проекту.

Питання про те, як потрапити на першу сторінку результатів пошуку з профільних, тобто точно належать до тематики сайту, запитам, хвилює багатьох. Явний дефіцит популярної інформації на цю тему породив велику кількість домислів - про "чудодійних" методах, про "корумпованості" і "протекціонізмі" адміністрацій пошукових систем, "продають" і роздає вигідні місця своїм людям.

Досвід аналізу сайтів, власники яких мають проблеми з відвідуваністю з пошукових систем, показує, що причини, як правило, набагато простіше. Вони полягають в елементарній непоінформованість розробників і власників сайту про найпростіших правилах, які необхідно враховувати, щоб сайт був добре представлений в пошукових системах.

Пошукові запити і релевантність

Зрозуміло, для того, щоб на сайт з пошукової машини прийшли відвідувачі, йому недостатньо просто бути присутнім в результатах пошуку. Необхідно потрапити в початок списку результатів пошуку.

Критерії, від яких залежить стан посилання на сайт на сторінках результатів пошуку, можна розділити на дві групи - текстові і нетекстові. З назв ясно, що текстові критерії - це характеристики текстового вмісту сторінки. Нетекстові критерії оцінюють зв'язку сторінки, а її текст при цьому ролі не грає.

Облік текстових критеріїв здійснюється на етапі створення сайту і тексту. Робота з нетекстової параметрами можлива вже після того, як сайт викладений у Мережу і поданий на індексацію.

У роботі з індексується пошуковими системами завжди слід пам'ятати, що командою на пошук в пошуковій системі є пошуковий запит, введений користувачем - слово, кілька слів, словосполучення, фраза.

Тут виникає досить суттєвий смислової (семантичний) розрив. За те, що відбувається в голові користувача, пошукач не відповідає, а для користувача не існують поняття "правильного" і "неправильного" запитів.

Тому завжди перед тим, як планувати сайт, стоїть ознайомитися з тим, як часто і в якій формі користувачі насправді подають запит на інформацію, передбачувану до розміщення в Інтернеті.

У Рунеті єдиним джерелом достовірних даних про пошукових запитах є сервісна служба системи рекламних оголошень "Яндекс-Директ".

Текстові критерії релевантності

Сьогодні можна повністю забути таке застаріле поняття, як "ключові слова". Спочатку ключовими називалися слова, внесені в особливе поле сторінки, позначене тегом <meta name = "keywords" ...>. Але сьогодні пошукові системи ігнорують зміст цього поля. Щоб уникнути різночитань, ми взагалі відмовимося від використання цього терміна.

Результати пошуку визначаються насамперед пошуковим запитом; тому, коли мова далі піде про ключові слова і "відповідно-невідповідність" тексту сторінки запиту або окремим словами, завжди будуть матися на увазі слова, з яких складається пошуковий запит.

1. Титульна фраза

Титульна фраза (титул) - це текст, який міститься на сторінці в дескрипторі title, в коді сторінки він оформляється як title Титульна фраза / title. Слова титульної фрази мають дуже велике значення при упорядкуванні (ранжируванні) результатів пошуку в пошуковій системі. А саме, якщо формулювання запиту збігається з титульної фразою, або титульна фраза містить кілька слів запиту, то сторінка з таким титулом за інших рівних умов виявиться вище.

Варто відзначити суперечливий статус титульної фрази, став причиною найбільш грубих помилок багатьох веб-майстрів.

Титульна фраза не відображається на сторінці сайту в браузері. Точніше, відображається, але на рамці вікна браузера, тобто в місці, куди зазвичай ніхто не дивиться. Саме тому настільки поширена помилка, коли вебмастер ставить для всіх сторінок сайту однаковий титул. Зазвичай це буває самоназва сайту, що дуже коректно виглядає, коли сайт, наприклад, показується замовнику.

Але коли сайт подається на індексацію в пошукові системи, коли потрібно проіндексувати сайт в Яндексі, картина змінюється, так як в результатах пошукових систем зміст тега <title> відображається в найцікавішому місці - як заголовок знайденої сторінки! Саме титульна фраза сторінки є найбільш яскравим елементом списку результатів пошуку по пошуковому запиту. Тут вона грає свою головну роль - заголовка, "особи" сторінки. І вибір користувача більш ніж наполовину визначається точністю, зрозумілістю і привабливістю титулу.

Таким чином, можна вивести перші правила підготовки сайту до індексації пошуковими машинами:

2. Опис сторінки

Опис сторінки - це зміст поля, позначеного тегом meta description, оформляється як <meta name = "description" content = "Опис сторінки, максимальна довжина - 200 символів">. Слова опису зазвичай не впливають на ранжирування результатів пошуку, і серед російських пошукових систем даний тег використовується на практиці лише "Яндексом". Однак "Яндекс" зараз - провідна система, і грамотно складати опис навіть в розрахунку тільки на "Яндекс" є цілком доцільним.

Текст опису показується в результатах пошуку "Яндекса" під текстом титульної фрази. Таким чином, правильно оформивши титул і опис, можна досягти максимальної привабливості посилання на вашу сторінку в "Яндексі". Це спрацьовує, коли користувач, отримавши відповідь, вибирає з кількох альтернатив.

На жаль, більшість вебмайстрів нехтують такою можливістю поліпшити зовнішній вигляд (зрозумілість) своїх посилань у пошуковій системі, ставлячи в опис всіх сторінок сайту одну і ту ж фразу, або взагалі ігноруючи це поле.

Але в ідеалі потрібно ... Сформулюємо чергові правила:

3. Інші текстові критерії

Пошукові машини використовують також наступні текстові критерії релевантності знайдених сторінок запитом:

• позиція знайдених слів в титульної фразі;
• "Вага" знайденого слова і близькість його до початку документа;
• наявність знайдених слів в заголовках (<h1>, <h2> і т. д.) і фрагментах, виділених жирним шрифтом (<b>, <strong>);
• близькість знайдених слів один до одного (компактність цитати).

Пояснимо, що мається на увазі під "Знайдені словами". Індексація сайту Яндексом і іншими пошуковими системами заснована на ідеї пошуку "цитати". Мається на увазі, що користувач хоче побачити документ, в якому є слова, запроваджені ним у вигляді запиту. Пошуковик знаходить в своєму індексі такі документи і видає їх адреси. У перерахованих вище умовах "знайдене слово" - це слово, існуюче як на веб-сторінці, так і в пошуковому запиті, за яким повинна бути показана посилання на дану веб-сторінку.

З ростом кількості документів в Мережі все гостріше ставала проблема ранжирування посилань, які видаються пошуковими системами у відповідь на запити користувачів. Їх стало надто багато. Тому розробники стали один за іншим вводити критерії, що дозволяють як би "уточнити" релевантність сторінки - ступінь відповідності документа запиту.

Якщо в документі йдеться про якомусь предметі, по ідеї, цей предмет повинен часто згадуватися (називатися), тобто частота слова - назви предмета буде підвищеною. Цей параметр називається "вагою" слова.

Автори текстів знають, що головну ідею матеріалу найкраще виносити на початок тексту, тому деякі пошукові системи положення знайденого слова по відношенню до початку документа стали також приймати за критерій релевантності.

Положення слів відносно один одного, особливо в титулі, теж є критерієм. У разі пошукових запитів, що складаються більш ніж з одного слова, справедливо припущення (згадаємо основну ідею індексуючих пошукових систем), що користувач шукає цитату, тобто саме входження введеного словосполучення. Можливо, в запиті і пропущені деякі слова, але в будь-якому випадку порядок слів і близькість їх один до одного важливі. Наприклад, в запиті крокви теслі легко впізнається назва повісті Селінджера "Вище крокви, теслі!", А теслі крокви нагадують вже про Бродського ( "підняти не звали платників крокви"). Подібна компактність цитати добре розпізнається пошуковими системами.

Чому в якості критерію релевантності використовується наявність слів запиту в виділених фрагментах і заголовках документа, очевидно: саме таким чином творці текстів виділяють найбільш значущі слова, на які хочуть звернути увагу.

Як бачимо, всі текстові критерії ранжирування результатів в пошукових системах мають прості логічні пояснення. Розробники пошукових систем ранжируют сторінки, виходячи з припущення, що веб-майстра створювали і структурували їх в розрахунку на "живих" відвідувачів.

Розподіл частот пошукових запитів. Вебмастера і пошукові системи. спамдексинг

Пошукові запити повторюються. Різні люди, в різних містах, в різний час і в різні пошуковики вводять одні і ті ж пошукові запити: робота, чат, секс, mp3, windows, лінукс і ін. Частоту використання кожного запиту можна підрахувати. Деякі зустрічаються в середньому раз в тиждень, а є і такі, що щодня повторюються сотні разів. Чим довше запит, тим рідше він зустрічається. І навпаки, найбільш частотним запитом з групи, що відноситься до будь-якої теми, завжди є найбільш загальний запит - одне слово або словосполучення, що визначає тему.

Пошукові системи сьогодні стали основним постачальником нових користувачів на будь-який інтернет-ресурс, і вебмастера це прекрасно знають. Знають і закономірності попиту. Веб-майстер, який підтримує сайт з працевлаштування, наприклад, в Санкт-Петербурзі, безумовно обізнаний, що запит робота зустрічається набагато частіше, ніж робота в Пітері. Але нечіткий однослівне запит робота використовують не тільки пітерці, а й москвичі, новосибірці, казанці ... Тому вебмастерам сайтів з працевлаштування кожного з цих міст хочеться потрапити на першу сторінку пошуку саме по "головному" однослівне запитом. Але міст багато, а на першій сторінці результатів може розміститися всього лише 15-20 посилань.

З метою поліпшити свою позицію в результатах пошуку веб-майстра застосовували і застосовують ряд технічних прийомів, призначених саме для обману, "накручування" пошукового робота. Явище це називається спамом пошукових систем або спамдексингом (від spam + indexing) і з'явилося практично одночасно з появою пошукових систем.

Так як останні раніше використовували тільки текстові критерії для ранжирування результатів, то типовим прийомом спамдексинг стала так звана "накачування" - штучне завищення частот (ваг) потрібних слів на сторінці.

Варіанти "накачування" використовувалися найрізноманітніші: від примітивного "прихованого", невидимого звичайному користувачеві тексту, до створення спеціальних текстів, де ваги слів ретельно розраховувалися відповідно до значень, які знімаються зі сторінок, які займають перші позиції в посиланнях по необхідним запитам.

Накачуються самі сторінки, титульні фрази, теги noframes і keywords. Спеціально створюються сторінки з подібними "оптимізованими для пошукових систем" текстами, потрапляючи на які, користувач автоматично перекидається на інший сайт. Або просто бачить велику напис "Вхід". Вони так і називаються - вхідні сторінки. Більш того, розроблена спеціальна техніка (клоакинг), коли пошуковому роботу показується одна сторінка, а користувачам - зовсім інша.

Подібні дії є бичем пошуковців, тому що сильно перевантажують індекси, спотворюють зовнішній вигляд сторінок з результатами пошуку і різко знижують релевантність системи, тобто її якість і її конкурентну перевагу в боротьбі за популярність з іншими пошуковими системами.

Історія пошукових систем є історія їх постійної боротьби зі спамом. Зовсім недавно в пошуках зброї проти текстової "накачування" пошуковики почали доповнювати текстові алгоритми ранжирування результатів пошуку нетекстової критеріями - а саме, посилальними.

Нетекстові критерії релевантності

Нетекстові критерії можна розділити на три основні типи. Ми даємо умовні назви, так як усталеної термінології поки немає:

• посилально-розрахункові,
• посилально-текстові,
• каталожні.

Як ми вже говорили, в випадках нетекстового критерію на ранжирування сторінки впливає не її зміст, а інші чинники.

Посилально-розрахункові критерії. До посилально-розрахунковим критеріїв належить алгоритм пошукової системи Google - так званий зважений індекс цитування PageRank (PR). Докладна стаття про нього Кріса Райдінгс (переклад і коментарі А. Садовського) є на сайті Олександра Садовського.

Індекс цитування враховує, як багато посилань є в Мережі на ваш сайт, і наскільки авторитетні посилаються на вас сайти. Авторитетність "цитування" визначається також за кількістю посилань на "цитує". Для розрахунку індексу цитування Google і подібні до нього системи регулярно "перетрушують" неймовірно величезні матриці зв'язків між сайтами Інтернету, перераховуючи вагу посилань і авторитетність ресурсів (зауважимо, що Google використовує для цього "ферму" більш ніж з 10 000 серверів!). Подібний алгоритм використовується також "Яндексом", і індексація будь-якої сторінки в Яндексі це враховує.

Каталожні критерії. До каталожними критеріям можна віднести індекс цитування "Яндекса" (citation index, CY) і алгоритм видачі результатів пошуку "Рамблера". В обох випадках принцип один - нагорі результатів пошуку за запитом в індексах видається кілька посилань на сайти, зареєстровані в належних порталам тематичних каталогах. У разі "Яндекса" показується до трьох посилань на сайти з каталогу "Яндекса", якщо в їх описі є слова запиту. Ранжування проводиться за зменшенням індексу цитування "Яндекса". Каталожні посилання в результатах пошуку "Яндекса" чітко відрізняються від звичайних рахункових: вони не нумеруються, а відзначаються точками. Опис ресурсу в каталозі "Яндекса" перевіряється, а частенько і складається вручну упорядниками каталогу (так званими модераторами). Індекс цитування, природно, розраховується автоматично.

У свою чергу, "Рамблер" "замішує" на першу сторінку результатів пошуку за запитом до п'яти посилань на сайти, зареєстровані в каталозі-рейтингу Rambler's Top100, якщо їх відвідуваність (по "хостам") вище деякого мінімального порога. Критерієм для внесення даних посилань в список результатів пошуку служить наявність слів запиту в описі сайту, зробленому для Rambler's Top100. На відміну від "Яндекса", де розмір опису обмежений двома сотнями символів, на індексування сайту в Rambler's Top100 може бути подано опис розміром до 4000 символів.

При внесенні в рейтинг опис сайту також може перевірятися співробітником "Рамблера" - модератором рейтингу.

Посилально-текстові критерії. До посилально-текстовим критеріям може бути віднесений алгоритм, не так давно з'явився в "Яндексі". В даному випадку "Яндекс" індексує текст посилання (тобто текст, виділений як гіперпосилання, на сторінці сайту). Іншими словами, індексується вміст тега <a href=...>, і якщо запит збігається з цим вмістом, в результатах пошуку видається адресу, вказану в тезі.

Яндекс в індексація сайту, очевидно, запам'ятовує тільки зовнішні посилання з сайтів, тобто сторінка, на якій вказує посилання, не повинна належати сайту, де ця посилання розміщене.

При цьому при показі результатів пошуку подібна сторінка не має титулу, і "Яндекс" супроводжує посилання на неї явним зазначенням - "адреса знайдений за посиланням".

Попит и пропозиція - точки зближені в пошукових системах

Пошукові Предложения є реальним вирази Попит Користувачів на інформацію в Інтернеті. Пропозиція информации здійснюється на страницах ресурсов інтернету. Індексуючі пошукові системи сьогодні є безперечним лідером трафікогенераціі для проіндексованих сайтів і є найбільш природним сполучною ланкою, що з'єднує попит і пропозицію.

Як ми вже показали, в основі будь-яких текстових критеріїв пошукових систем лежить уявлення, що користувач шукає цитату з якогось документа. Насправді ж це не так. Користувачі шукають не цитати з документів, а рішення своїх проблем - відповіді на свої питання, які вони навіть не завжди можуть точно сформулювати. Обговорення цього питання виходить за рамки предмета даної статті, наведемо лише один з доказів.

Ось воно: мова попиту радикально відрізняється від мови пропозиції. Характеристиками мови пропозиції (текстів сайту) в масі є грамотність, літературна коректність, чіткість викладу думок. Цього зовсім не можна сказати про мову попиту (мовою запитів) - основна маса пошукових запитів відноситься до нечітким, т. Е. Допускає більше одного варіанта розуміння; запити часто занадто лаконічні, сповнені помилок, змішують кирилицю і латиницю і т.п.

Пошуковикам немає звідки брати інформацію для своїх індексів, крім як зі сторінок, підготовлених веб-майстрами. І вони беруть її в рафінованому, літературному вигляді і саме так індексують.

З іншого боку, веб-майстрам ніколи не вдасться навчити користувачів формулювати пошукові запити "як треба", довгими гладкими фразами на хорошій російській мові.

Тому першим кроком підготовки сайту до того, щоб індексація сайту в Яндексі і його вихід на перші позиції був успішним, першим кроком його розробки має бути вивчення того, як користувачі шукають в Мережі інформацію. Ту інформацію, яку власник сайту збирається пропонувати на своєму ресурсі.

Технічно цей аналіз здійснюється за допомогою отримання реальних формулювань запитів та інформації про їх частотах, виділення стійких напрямків попиту, базових формулювань і типових конструкцій пошукових запитів (докладніше про це читайте в статті Ігоря Ашманова "Аналіз попиту і підвищення видимості в пошукових машинах" ).

Далі розробники мають вирішити, як же поєднати вимоги, що пред'являються до друкованого тексту, з необхідністю включення в них слів і конструкцій, інформація про яких була отримана шляхом аналізу пошукових запитів. Процес цей, на жаль, алгоритмизировать неможливо. Тут розробникам сайту доведеться вирішити не надто складну, але важливу лінгвістичну завдання - спробувати описати свій бізнес не словами генерального директора, вебмастера або відділу маркетингу компанії, а словами публіки.

Из чего почату

Напевно, цю статтю логічніше було б почати з кінця. Спочатку - вивчення попиту, потім створення текстів, потім - оформлення текстів з урахуванням текстових критеріїв ранжирування, потім оформлення описів сторінок для більшої привабливості посилань на них в пошукових системах, і лише потім - старт проекту і початок робіт по використанню нетекстових критеріїв (розстановці посилань і пр.).

Дійсно, це - найправильніший шлях. Але на проходження їм не завжди вистачає часу, ресурсів і терпіння.

Однак ми ще раз повторимо, що основна маса помилок вебмайстрів, що знижують видимість сайту в пошукових системах, стосується не "корінних" завдань планування, і не необізнаності в тонкощах побудови "ієрархічних", "циклічних" і "великих" систем зв'язування сторінок для оптимізації PageRank . І справа не в нездатності писати хитрі "вхідні сторінки", щоб не бути "забанені" модераторами або фільтрами пошукових машин.

Основна помилка банальна - це невміння працювати з титульними фразами і описами. Виправивши грубі помилки в титулах і описах, можна, по-перше, значно розширити коло пошукових запитів, за якими посилання на сторінки сайту будуть показані на кращих позиціях. І, по-друге, надати своїм посиланнях в пошукових системах гідний, привабливий зовнішній вигляд, що викликає бажання клацнути по ним.

Починати потрібно саме з цього.

Стаття по темі: Самантра Рой. Як підібрати ключові слова для вашого сайту. Переклад з англійської (c) 2002 WebmasterPro.