Вам понадобится
  • - бесплатная программа Xenu's Link Sleuth, доступная для загрузки по адресу http://home.snafu.de/tilman/xenulink.html;
  • - подключение к интернету.
Инструкция
1
Создайте новый проект в программе Xenu's Link Sleuth. В главном меню приложения выберите пункт "File", а затем "Check URL...", либо нажмите сочетание клавиш Ctrl+N. В отобразившемся диалоге "Xenu's starting point" в верхнем поле введите URL страницы, с которой нужно начать извлечение ссылок. При необходимости заполните поля в группе элементов управления "Include / Exclude" для внесения дополнительных внешних адресов и групп адресов в возможный список проверки и принудительного запрета некоторых адресов или групп адресов к индексации приложением.
2
Установите параметры работы программы. В диалоге "Xenu's starting point" нажмите кнопку "More options...". Будет отображен диалог "Options". Переключитесь на вкладку "Basic" диалога. Путем движения ползунка "Parallel Threads" установите количество параллельных потоков, загружающих данные из интернета. В поле "Maximum depth" введите значение максимальной глубины просмотра ссылок приложением. В группе элементов "Report" активируйте или отключите опции формирования отчета. Переключитесь на вкладку "Advanced". Активируйте или отключите дополнительные опции. В поле "Retries" введите значение максимального количества повторных запросов URL при неудаче. Нажмите кнопку "OK".
3
Получите список страниц и ссылок сайта. В диалоге "Xenu's starting point" нажмите кнопку "OK". Приложение начнет работу. В строке состояния будет отображаться информация о ходе процесса получения данных. Дождитесь завершения процесса. В окне с запросом на создание отчета (окно с текстом " Link sleuth finished. Do you want a report?") нажмите кнопку "Нет".
4
Извлеките все ссылки отдельной страницы. В построенном приложением списке страниц найдите ту, ссылки которой необходимо извлечь. Кликните правой кнопкой мыши по соответствующей строке. В контекстном меню выберите пункт "URL Properties". В поле "...links on this page" отобразившегося диалога будет содержаться список всех ссылок, присутствующих на странице. В поле "...linking to this one" будут приведены адреса страниц, ссылающихся на данную.
5
Извлеките все ссылки сайта. В главном меню выберите пункт "File", а затем пункт "Export Page Map to TAB separated File...". В появившемся диалоге укажите имя и путь для сохранения файла. Полученный файл содержит все адреса ссылающихся и целевых страниц в полях OriginPage и LinkToPage. В поле LinkToPageStatus приведены значения успешности операции получения данных с сервера. Импортируйте файл в базу данных (например, MS Access) для извлечения ссылок в соответствии с нужными критериями.