Как функционират търсещите машини?
- Обхождане на информацията (от кролери)
- Индексиране (Категоризиране на информацията)
- Позициониране (Осъществява се от много на брой различни софтуери за оценка на качеството на сайта)
Обхождане – *Кролерите са автоматизиран софтуер, който търси и събира информация от интернет страниците, в които има промени или ново съдържание, след това намерената информация се складира и категоризира в отделна база от данни, наречени индекс. Запазената информация представлява кеширано копие „снимка“ на сайта. Файлът robots.txt е първият файл, който ботовете прочитат, с негова помощ могат да се забранят за индексация някои сектори от сайта, които са с конфиденциална информация или данни, които не искаме да се показват в резултатите при търсене (той се намира в директорията, където се хоства сайтът, с този файл трябва да се внимава, тъй като има опасност от премахване на всички резултати, които ботът е намерил).
Ако архитектурата на сайта не е добра и линковете не водят към съответната страница, има вероятност ботът да не успее да прочете съдържанието на страниците, до които няма хипервръзки. Категоризирането зависи от няколко фактора: съдържанието и тематиката в сайта, както и връзките, които притежава той.
Кролерите имат различна честота на обхождане. Новата информация от сайтове като Ebay, Amazon, TED се обхожда и индексира в списъците с резултати почти мигновено. Фактът идва от това, че всеки сайт има определен авторитет или ранг в интернет. Различни метрики като: доверие към сайта, брой цитирания на този сайт, качество и количесто на линковете определят и по-бързото му индексиране. Съществуват различни видове, търсещи ботове, един от най-известният е Google-bot.
Проблемите , които могат да възникнат при обхождането, са няколко: ботът да няма достъп до важни файлове, с помощта на които да зареди сайта, като JavaScript или CSS елементи.
Индекс – това е голяма база от данни, като библиотека с категоризирани уеб страници. Когато някой направи заявка за търсене с някаква фраза, търсачката намира най-близките до търсенето резултати. Търсещата машина намира най-релевантните резултати от търсенето и ги предоставя.
Позициониране – Как един уеб сайт бива позицонирант в търсачките? Има на 200 фактора, които определят позиционирането (класирането). Едни от основните фактори за класиране са: сайтът да има вътрешна (ON-page) оптимизация (да са поправени грешките, да бъде създадено съдържание по ключовите думи и т.н) и сайтът да има външна (OFF-page) оптимизация (създадени релевантни връзки, авторитет, социални сигнали).
Търсачката класира резултатите в зависимост от това какво е съдържанието на страницата, дали то отговаря на търсенето, колко връзки има към това съдържание от други сайтове, както и много други фактори. За да бъдат резултатите съответни и отговарящи на търсенето максимално, от Google въвеждат алгоритъма за оценка PageRank (този алгоритъм вече не се обновява), вече съществува друг алгоритъм, тъй нареченият RankBrain, който е базиран за изкуствения интелект.
*Crawler, Кролер– синоним на Search bot, кролер, паяк, робот.