Әр сайттың парақтарын іздеу роботтары үнемі тексеріп отырады, олар сайттағы ақпаратты іздеу жүйелеріндегі қолданушылардың сұранысы бойынша қол жетімді болатындай етіп өңдейді. Іздеу жүйелерінен келушілердің келуі сайт трафигіне оң әсер етеді және ресурстардың дамуына түрткі болады. Егер сайтта ақпарат Интернет-аудиторияға арналмаған парақтар болса (мысалы, қолданушылардың жеке парақтары немесе тіркеу парағы), онда іздеу жүйелерінен мұндай беттерге өту қажет емес және бұл ақпаратты индекстеуге тыйым салған дұрыс.
Қажетті
- - өзіңіздің жеке веб-сайтыңыз болса
- - индекстеуге тыйым салынуы керек парақтарға сілтемелерді білу.
- - HTML туралы кем дегенде қарапайым білімге ие болу
Нұсқаулық
1-қадам
Іздеу роботының сайттың кейбір парақтарын индекстеуіне жол бермеу үшін robots.txt файлына өзгертулер енгізу қажет, егер ол сіздің сайтыңызда болса немесе осы файлды жасаңыз.
2-қадам
Егер robots.txt файлы сайтқа жүктелген болса және бұл файлды ресурстарды басқару тақтасынан тікелей өңдеу мүмкіндігі болса, онда robots.txt файлын редакциялау үшін веб-қызмет арқылы ашыңыз.
3-қадам
Егер қалаған файлға тікелей басқару панелінен өзгертулер енгізу мүмкіндігі болмаса, онда robots.txt файлын шолғышта осы файлға сілтемені басу арқылы ашыңыз. Ашылған парақтан барлық деректерді көшіріңіз және оны параққа Блокнотқа қойыңыз.
4-қадам
Егер сайтта robots.txt жоқ болса, жаңа құжатқа қажетті кодты енгізу қажет болатын «Блокнот» бағдарламасын ашыңыз.
5-қадам
Мәтіндік құжаттың бос парағына бірінші қажетті жолды жазыңыз:
Пайдаланушы-агент: *
6-қадам
Содан кейін Enter пернесін басу арқылы келесі жолға өтіп, келесі кодты теріңіз:
Рұқсат етпеңіз: / index / page3Disallow: индекстеудің жоқтығын білдіреді, және / index / page3 - индекстеуді қажет етпейтін параққа сілтеме. Сілтеме / индекс / бет3 орнына роботтармен өңдеуге тыйым салатын өз сайтыңыздың парағына сілтеме енгізіңіз.
7-қадам
Сілтеменің басында домендік атаудың өзі жоқ екеніне назар аударыңыз, оның жазбада болуы көлбеу сызықты білдіреді. Сайтты тексеріп шығу кезінде іздеу роботы осындай сілтемелерге домендік атауды автоматты түрде енгізеді. Сондықтан осылайша қажетті парақтарға сілтемелер жазыңыз.
8-қадам
Рұқсат етілмегеннен кейін: сіз белгілі бір бетке сілтемені ғана емес, сонымен қатар сайттың кез-келген бөліміне немесе каталогына сілтеме жасай аласыз. Сол сияқты сіз сайттың қажетті бөлігін индекстеуге тыйым сала аласыз.
9-қадам
Егер ресурстардың бірнеше түрлі бөлімдерін роботтармен өңдеуге тыйым салу қажет болса, әр бөлімге немесе параққа жаңа жолға сілтеме жазыңыз, оның басында Disallow: жазуды қоюды ұмытпаңыз.
10-қадам
Robots.txt-ті өзгертуді аяқтау үшін файлды басқару панелінде редакциялау кезінде «Сақтау» батырмасын басыңыз немесе мәтіндік құжатты robots.txt атымен жазбалармен сақтаңыз және осы файлды сайтқа жүктеңіз.
