Вам понадобится
  • - иметь собственный сайт
  • - знать ссылки к страницам, индексацию которых нужно запретить.
  • - иметь хотя бы начальные знания HTML
Инструкция
1
Для того чтобы запретить поисковому роботу индексировать определенные страницы сайта, необходимо произвести изменения в файле robots.txt, если он уже есть на вашем сайте, или создать этот файл.
2
Если файл robots.txt уже залит на сайт и возможно изменять этот файл прямо из панели управления ресурсом, то откройте robots.txt через веб-сервис для редактирования.
3
Если возможности вносить изменения в нужный файл прямо из панели управления нет, то откройте robots.txt в браузере, перейдя по ссылке к этому файлу. Скопируйте все данные с открывшейся страницы и вставьте на лист в программе «Блокнот».
4
При отсутствии robots.txt на сайте, откройте программу «Блокнот», в новый документ которой нужно будет вписать необходимый код.
5
На пустом листе текстового документа напишите первую обязательную строчку:
User-agent: *
6
Затем перейдите на следующую строчку, нажав клавищу Enter, и наберите следующий код:
Disallow: /index/page3Disallow: обозначает запрет индексации, а /index/page3 - это ссылка к странице, которую не нужно индексировать. Вместо ссылки /index/page3 вставьте ссылку на страницу вашего сайта, которую нужно запретить для обработки роботами.
7
Заметьте, что в начале ссылки отсутствует само имя домена, его наличие в записи подразумевает наклонная черта. Поисковый робот при обходе сайта автоматически подставляет в такие ссылки доменное имя. Поэтому ссылки на нужные страницы пишите именно таким образом.
8
После Disallow: можно помещать не только ссылку на конкретную страницу, но и ссылку на какой-либо раздел или директорию сайта. Подобным образом можно запретить индексацию нужной части сайта.
9
При необходимости запрета обработки роботами нескольких разных участков ресурса, ссылку на каждый раздел или страницу пишите с новой строки, в начале которой не забывайте помещать запись Disallow:.
10
Чтобы завершить изменение robots.txt, нажмите кнопку «Сохранить» при редактировании файла в панели управления или сохраните текстовый документ с записями под именем robots.txt и залейте этот файл на сайт.