Іздеу жүйесінің роботы веб-парақтарды тексеріп шығуға жауап береді. Бағдарлама барлық сайттардағы деректерді автоматты түрде оқиды және оларды іздеу жүйесінің өзі түсінікті түрде тіркейді, сонда кейінірек жүйе қолданушы үшін ең қолайлы нәтижелерді көрсетеді.
Функциялар
Барлық индекстелген ақпарат жалпы мәліметтер базасында жазылады.
Іздеу роботы дегеніміз - қажетті құжаттарды сұрататын және тексеріп шыққан сайттардың құрылымын алатын, автоматты түрде Интернет парақтары арқылы өтетін бағдарлама. Робот сканерленетін беттерді өздігінен таңдайды. Көп жағдайда сканерлеуге арналған сайттар кездейсоқ таңдалады.
Бот түрлері
Дұрыс емес жұмыс істейтін робот желіге және серверге жүктемені едәуір арттырады, бұл ресурстардың қол жетімсіз болуына әкелуі мүмкін.
Әр іздеу жүйесінде роботтар деп аталатын бірнеше бағдарлама бар. Олардың әрқайсысы белгілі бір функцияны орындай алады. Мысалы, Yandex-те кейбір роботтар RSS жаңалықтар лентасын сканерлеуге жауапты, бұл блогтарды индекстеу үшін пайдалы болады. Тек суреттерді іздейтін бағдарламалар да бар. Алайда, ең бастысы - кез-келген іздеуге негіз болатын индекстеу боты. Сонымен қатар жаңалықтар ленталары мен оқиғалары туралы жаңартуларды іздеуге арналған көмекші жылдам робот бар.
Сканерлеу процедурасы
Мазмұнды тексеріп шығудың алдын-алудың тағы бір әдісі - тіркеу тақтасы арқылы сайтқа кіруді құру.
Сайтқа кірген кезде бағдарлама файлдық жүйені robots.txt нұсқау файлдарының бар-жоғын тексереді. Егер құжат болса, құжатта жазылған директиваларды оқу басталады. Robots.txt сайттағы кейбір парақтар мен файлдарды сканерлеуге тыйым салуы немесе керісінше рұқсат етуі мүмкін.
Сканерлеу процесі бағдарлама түріне байланысты. Кейде роботтар парақтың тақырыбын және бірнеше абзацты ғана оқиды. Кейбір жағдайларда сканерлеу HTML-белгілеуге байланысты бүкіл құжат бойынша жасалады, ол сонымен қатар негізгі сөз тіркестерін көрсету құралы ретінде жұмыс істей алады. Кейбір бағдарламалар жасырын немесе метатегтерге мамандандырылған.
Тізімге қосу
Кез-келген вебмастер іздеу жүйесінің robots.txt немесе META тегі арқылы парақтарды тексеріп шығуына жол бермейді. Сондай-ақ, сайт жасаушы сайтты индекстеу кезегіне қолмен қоса алады, бірақ оны қосу робот қажетті парақты дереу тексеріп шығатынын білдірмейді. Сайтты кезекке қосу үшін іздеу жүйелері арнайы интерфейстерді де ұсынады. Сайтты қосу индекстеу процесін айтарлықтай жылдамдатады. Сондай-ақ, іздеу жүйесінде жылдам тіркелу үшін веб-аналитикалық жүйелер, сайттар каталогтары және т.б.
