Әрбір веб-мастер дерлік индекстелген элементтерді алу үшін өз сайтының беттерін оңтайландыруға тырысады. Бірақ кейбір жағдайларда, керісінше, кейбір парақтарды жасыру керек, мысалы, тіркеу деректерін енгізу формасы, парольдерді қалпына келтіру және т.б.
Бұл қажетті
Robots.txt файлын өңдеу
Нұсқаулық
1-қадам
Бірнеше бөлімді немесе белгілі бір сайтты индекстеуді жабудың ең оңай жолы - robots.txt файлына тиісті жазбаларды енгізу. Ол іздеу жүйелері үшін нұсқаулық ретінде қолданылады. Сайттың парақтарын енгізу кезінде іздеу робот осы файлға сілтеме жасайды, егер ол жоқ болса, онда ол бүкіл сайтты индекстейді, әйтпесе ол осы файлда көрсетілген ұсыныстарды орындайды.
2-қадам
Егер сіз өз сайтыңызды өзіңіз жасаған болсаңыз, және сізде мұндай қосымшаңыз болмаса, тыйымдарды көрсететін мәтіндік құжат түрінде болса, оны өзіңіз жасау оңай. Жаңа мәтіндік құжатты ашыңыз, мысалы, Блокнот бағдарламасын пайдаланып. Құжаттың негізгі бөлігіне келесі жолдарды орналастырыңыз: Пайдаланушы-агент: * Рұқсат етілмейді: /file.htmlDisallow: / директория /
3-қадам
Енді іздеу жүйесінен тапсырма ретінде не сұрағаныңызды анықтайық. Пайдаланушы-агентке қарама-қарсы «*» белгісі бұл нұсқауды барлық файлдық жүйелер орындауы керек дегенді білдіреді. Мысалы, «*» орнына «Яндекс» деп жазсаңыз, бұл үндеуді тек Yandex іздеу жүйесінің роботы оқиды. Рұқсат етілмеген мәлімдемелер белгілі бір бөлімді (каталогты) немесе файлды (.html файлы) индекстеуге тыйым салады.
4-қадам
Robots.txt файлын құрастырғаннан кейін сіз сайт беттеріндегі мәтіндерге тікелей бара аласыз. Өздеріңіз білетіндей, іздеу жүйелерінде сіздің парақтарыңызда 3-тен артық сыртқы белсенді сілтемелер болған ұнамайды. Егер сізге мұрыннан қан кету керек болса, бірақ 5 немесе одан да көп сілтемелерді жариялаңыз. Бұл жағдайларда атрибутты немесе тегті қолдануға болады.
5-қадам
Google іздеу жүйесінің индекстеуінен сілтемелерді жабу үшін сілтемені келесі формаға келтіру керек: анкерлік сілтемелер. Атрибуттың денесі сілтеменің кез-келген бөлігіне енгізілуі керек, оны бос орынмен бөлуді ұмытпау керек, яғни. атрибут «а» мен «href» арасында немесе сілтеме мен оның якоры арасында орналастырылуы мүмкін.
6-қадам
Yandex іздеу жүйесінің индекстеуінен сілтемелерді жабу үшін сілтемені келесі формаға келтіру керек: анкерлік сілтеме. Тег сілтеменің басында және соңында орналастырылады. Бұл тегтің жұптасқанын ұмытпаңыз: екінші бөлік, біріншіден айырмашылығы, «/» белгісімен келеді.
