Инструкция
1
На серверах поисковых систем непрерывно работают программы, называемые ботами. Бот - это сокращение от слова «робот». По своему поведению они действительно напоминают роботов. Периодически посещая каждый сайт из хранящегося на сервере списка, они приводят локальные копии всех текстов в соответствие с текущими версиями тех же текстов на веб-страницах. Боты переходят по всем ссылкам, которые им встречаются, а если обнаруживают вновь созданную страницу - добавляют ее в список и тоже создают локальную копию. В интернет копии не выкладываются - они являются лишь неотъемлемыми составляющими процесса получения перечня сайтов. А значит, нарушения авторского права не происходит.
2
Попробуйте ввести в одну и ту же поисковую машину одну и ту же фразу несколько раз. Вы обнаружите, что всякий раз результаты выстроятся в одном и том же порядке. Меняется он редко, не чаще раза в сутки. Причина этого проста - очередность расположения результатов поиска определяется по достаточно сложному алгоритму. В расчет принимается частота употребления на страницах тех или иных слов, количество ссылок на эту страницу, расположенных на других сайтах, а также ряд других факторов.
3
Владельцы сайтов, стремясь вывести свои ресурсы в этом списке на первые места, занимаются оптимизацией размещенных на них текстов. Эта оптимизация бывает «белой» - прямо разрешенной правилами «поисковиков», «серой» - не разрешенной, но и не запрещенной, а также «черной» - прямо запрещенной. В последнем случае сайт может вскоре исчезнуть из перечня навсегда. Алгоритмы же оптимизации нередко сложнее алгоритмов сортировки результатов поиска.
4
После ввода ключевого слова или фразы программа на сервере ищет совпадения во всех локальных копиях текстов. Затем результаты сортируются по указанному выше сложному алгоритму. После этого система управления содержимым автоматически генерирует страницу, которая передается браузеру. По запросу пользователя могут быть сгенерированы и последующие страницы перечня: вторая, третья и так далее.