Необходимость удаления повторяющихся строк возникает при обрабротке больших текстовых документов.
Это простая, на первый взгляд, операция заставляет искать специальные решения в виде отдельных программ или использовать функции MS Exel по сортировке и выборке уникальных значений.
Но мы будем использовать бесплатный текстовый редактор Notepad++.
Делается это все в два клика.
1. Итак открываем ваш текстовый документ
2. Выделяем весь текст
3. Идем в меню TextFX -> TextFX Tools -> Sort lines case insensitive
При этом опция “Sort outputs only UNIQUE lines” должна быть ВКЛЮЧЕНА
Вот и все – получаем отсортированные строки без повторов и дублей.
Постоянные пользователи блокнота Notepad++ были неприятно удивлены исчезновением из новых версий программы полезного дополнения TextFX. TextFX позволял разработчикам совершать различные преобразования и операции с кодом, в частности удалять пустые строки, конвертировать кавычки, выполнять различные операции с регистром, кодировать код в Base64 и многое другое. С выходом Notepad++ в юникоде, столь полезное дополнение было убрано из дефолтной сборки. Однако, вернуть TextFX в Notepad++ можно.
Для этого необходимо выполнить следующие действия:
1) Откройте пункт меню "Плагины".
2) Наведите курсор на пункт Plugin Manager и выберите в выпадающей менюшке пункт Show Plugin Manager
3) В открывшемся менеджере плагинов на вкладке Available выберите плагин TextFX Characters, отметьте его галочкой и нажмите Install. Если данный плагин отсутствует, нажмите кнопку Settings и отметьте галочкой пункт Show unstable plugins. Если по-прежнему список доступных для установки плагинов пуст, обновите Plugin Manager.