Көптеген веб-сайт иелері ресурстарды индекстеуге және оларды іздеу жүйелерінен алып тастауға тыйым салу проблемасына тап болды. Әдетте бұл сайт ескіріп, маңызды емес бола бастағандықтан, баспагер немесе кірушілер сайтқа деген қызығушылықты жоғалтқандықтан немесе сайтта жеке және тіпті құпия ақпарат бар болғандықтан орын алады.
Нұсқаулық
1-қадам
Сайтты іздеу жүйелерінен алып тастаудың көптеген әдістері бар.
Іздеу жүйесінен сұрау нәтижелерін жоюдың бірінші және қарапайым тәсілі - парақты сайттың өзінен жою немесе FMS қосылымы арқылы CMS сайтты толығымен жою. Бірнеше күннен кейін іздеу жүйесі дерекқорды жаңартады және іздеу нәтижелерінен сіздің ресурсыңызға сілтемені алып тастайды.
2-қадам
Веб-мастерлер арасында сайтты, оның жекелеген бөлімдерін немесе беттерін индекстеуден қорғаудың және сол арқылы іздеу нәтижелерінен сілтемелерді алып тастаудың ең танымал тәсілі - robots.txt файлын редакциялау.
Кодты пайдаланып индекстеуден бөлек парақты жабуға болады:
Пайдаланушы-агент: *
Рұқсат етілмейді: /page.html (page.html бетін жабу)
Интернетте robots.txt файлына кодтарды пайдалану туралы көптеген авторлық нұсқаулар бар.
3-қадам
Сайт парақтарын іздеу жүйелерінен алып тастаудың үшінші әдісі - оның беттеріндегі роботтардың мета тегін қолдану. Тэг тегтер арасындағы жасырылған парақтардың HTML кодында жазылады.
Осылайша, PS сайтының реиндикстеуден кейін мета тэгі бар парақтар іздеуді тоқтатады. Бұл әдістің кемшілігі көптеген заманауи сайттар tpl шаблондарын қолданады, демек, кодты қолмен жүздеген, мүмкін мыңдаған беттермен өзгерту керек болады.
4-қадам
Іздеу жүйелерінен сайттарды жоюдың төртінші әдісі - X-Robots-Tag тақырыптарын қолдану. Бұл тақырыптың мәні алдыңғы мета тегтің қолданылуына ұқсас, дегенмен жазба http тақырыптарында орналасуы керек:
X-роботтар тэгі: noindex, nofollow
5-қадам
Веб-сайтты (толығымен) іздеу жүйелерінен алып тастаудың ең тиімді әдісі - оны веб-мастер панелінен алып тастау. Жаңартудан кейін (3-7 күн) сайт іздеу жүйесіне кіре алмайды. Вебмастер панелі Yandex (https://webmaster.yandex.ru/delurl.xml) және Google (https://webmaster.yandex.ru/delurl.xml) іздеу жүйелері үшін қол жетімді.
