Вам понадобится
  • Программное обеспечение Text Duplicate Killer.
Инструкция
1
Для поиска дубликатов вам необходимо установить данную программу. Для этого скопируйте файлы из zip-архива в любой пустой каталог. После ее запуска необходимо привести подопытный файл к формату ASCII. Запуск утилиты осуществляется двойным щелчком по файлу tdk.exe.
2
В главном окне программы нажмите верхнее меню «Файл» и выберите пункт «Открыть исходный файл». В открывшемся окне укажите файл, для которого будет произведен поиск дубликатов.
3
Нажмите меню «Файл» и выберите пункт «Задать целевой файл» - укажите имя файла, в который будут записаны результаты работы.
4
Для запуска процесса удаления дубликатов нажмите верхнее меню «Операции» и выберите опцию «Убрать дубликаты». Несмотря на продолжительность всего процесса, вы можете в любой момент прервать ход работы, для этого нажмите кнопку «Стоп». Для данной программы действует правило, что при большом объеме остановка процесса длится больше времени, нежели для файла небольшого объема.
5
Имя целевого файла можно задавать самостоятельно, а можно поручить это дело программе. Для этого нажмите на кнопку с изображением волшебной палочки. Стоит отметить, что для многократного выполнения операции для разных файлов необходимо задавать новые имена, иначе результаты прошлых попыток будут безвозвратно удалены.
6
Для настройки дополнительных параметров используйте меню «Опции». Для поиска дубликатов независимо от их регистров необходимо выбрать пункт «Игнорировать регистр». Например, Register, register и REGISTER после включения этой опции будут рассмотрены программой, как дубликаты. Также будет полезно активировать опцию «Игнорировать ведущие и конечные пробелы» - пробелы идущие перед словом и после слова будут автоматически пропущены, т.е. слова «порядок», « порядок» и « порядок » будут идентичны.