Как закрыть сайт от индексации

Практически каждый веб-мастер старается оптимизировать страницы своего сайта таким образом, чтобы получить как можно больше количество проиндексированных элементов. Но в некоторых случаях требуется наоборот скрыть некоторые страницы, к примеру, форма ввода регистрационных данных, восстановления паролей и т.д.

Вам понадобится

• Редактирование файла Robots.txt.

Инструкция

1. Самый простой способ закрыть индексацию нескольких разделов или конкретного всего сайта – это внесение соответствующих записей в файл robots.txt. Его используют в качестве поводыря для поисковых систем. При заходе на страницы сайта поисковый робот обращается к этому файлу, если его нет, он индексирует весь сайт, иначе следует рекомендациям, указанным в этом файле.
2. Если вы создавали свой сайт самостоятельно, и у вас нет такого приложения, в виде текстового документа с указанием запретов, его легко создать самому. Откройте новый текстовый документ, к примеру, через программу «Блокнот». В теле документа разместите следующие строки:User-agent: *Disallow: /файл.htmlDisallow: /директория/
3. Теперь давайте разбираться, что вы задали поисковой системе в качестве задания. Знак «*» напротив User-agent означает, что данную инструкцию необходимо выполнить абсолютно всем файловым системам. К примеру, если вы пропишите вместо «*» значение «Yandex», данное обращение прочитает только робот поисковой системы Яндекс. Операторы Disallow запрещают индексацию конкретного раздела (директория) или файла (файл.html).
4. После составления файла robots.txt можно перейти непосредственно к текстам на страницах сайта. Как вам известно, поисковые системы не любят, когда на ваших страницах располагаются более 3 внешних активных ссылок. Что делать, если нужно кровь из носа, но разместить 5 или более ссылок. В этих случаях можно использовать атрибут rel=”nofollow” или тег <noindex>.
5. Для закрытия ссылок от индексации поисковой системы Google необходимо привести ссылку в следующий вид: <a href=http://сайт.ru rel="nofollow">анкор ссылки</a>. Тело атрибута необходимо вставить в любую часть ссылки, не забывая о разделении пробелом, т.е. атрибут можно разместить между «a» и «href» или между ссылкой и ее анкором.
6. Для закрытия ссылок от индексации поисковой системы Яндекс необходимо привести ссылку в следующий вид: <noindex><a href=http://сайт.ru rel="nofollow">анкор ссылки</a></noindex>. Тег ставится в начале и в конце ссылки. Не забывайте, что этот тег парный: вторая часть, в отличие от первой, идет со знаком «/».