Индекстеу - бұл іздеу роботының интернет-ресурсында орналасқан файлдарды сканерлеу процесі. Бұл процедура сайт іздеу жүйесінде әр түрлі сұраныстарды іздеу нәтижелерінде қол жетімді болатындай етіп жүзеге асырылады. Ірі іздеу жүйелерінің қатарында бүгінде сканерлеуді өзіндік әдіспен жүргізетін Яндекс бар.
Нұсқаулық
1-қадам
Интернет-сайтты индекстеуді арнайы автоматты бағдарламалар - іздеу роботтары жүзеге асырады, олар Дүниежүзілік желідегі жаңа сайттардың пайда болуын автоматты түрде қадағалайды, Интернетте орналасқан Интернет парақтарын, файлдарды және оларға әр сілтемедегі сілтемелерді үнемі сканерлейді.
2-қадам
Сканерлеу үшін робот белгілі бір серверде ресурс орналасқан каталогқа өтеді. Жаңа сайтты таңдау кезінде робот оның қол жетімділігін басшылыққа алады. Мысалы, Yandex алдымен орыс тіліндегі доменде және ru - rf, su немесе ua сайттарында жасалған сайттарды қарап шығады, содан кейін ғана басқа аймақтарға ауысады деген пікір бар.
3-қадам
Робот сайтқа өтіп, оның құрылымын қарап шығады, алдымен одан әрі іздеуді көрсететін файлдарды іздейді. Мысалы, сайтта Sitemap.xml немесе robots.txt сканерленеді. Бұл файлдарды сканерлеу кезінде іздеу роботының әрекетін орнатуға пайдалануға болады. Сайттың картасын (sitemap.xml) қолдана отырып, робот ресурс құрылымы туралы дәлірек түсінік алады. Веб-мастер іздеу нәтижелерінде көрсетілгісі келмейтін файлдарды анықтау үшін robots.txt пайдаланады. Мысалы, бұл жеке ақпарат немесе басқа қажет емес деректер болуы мүмкін.
4-қадам
Осы екі құжатты сканерлеп, қажетті нұсқауларды алған робот HTML кодын талдай бастайды және алынған тегтерді өңдей бастайды. Әдепкі бойынша, robots.txt файлы болмаған кезде іздеу жүйесі серверде сақталған барлық құжаттарды өңдей бастайды.
5-қадам
Құжаттардағы сілтемелерді басу арқылы робот осы ресурстан кейін сканерлеуге кезекте тұрған басқа сайттар туралы да ақпарат алады. Сайттағы сканерленген файлдар мәтіндік көшірме және құрылым ретінде Yandex деректер орталықтарындағы серверлерде сақталады.
6-қадам
Қайта сканерлеу қажеттілігі роботтармен де автоматты түрде анықталады. Бағдарлама индекстеуді қайта жүргізген кезде бар сканерлеу нәтижесін сайттың жаңартылған нұсқасымен салыстырады. Егер бағдарлама қабылдаған мәліметтер әртүрлі болса, сайттың көшірмесі Yandex серверінде де жаңартылады.
