Удаление дубликатов строк
Удаляйте дублирующиеся строки из вставленных списков с переключателями для сохранения порядка, сортировки по возрастанию/убыванию, учета регистра, обрезки и работы с пустыми строками.
Также поддерживаются сравнение с учетом Юникода, быстрое копирование/скачивание и очистка многоязычных списков.
Что делает этот инструмент
Используйте его для удаления дубликатов из списков по одному элементу на строку, например тегов, адресов электронной почты, URL, кодов товаров или заметок из исследований. Оставьте первое вхождение точно на своем месте или отсортируйте уникальный результат для более аккуратной передачи.
Как использовать
- Вставьте список в поле ввода, по одному элементу на строку.
- При необходимости настройте порядок, учет регистра, обрезку и работу с пустыми строками.
- Нажмите «Удалить дубликаты», а затем скопируйте или скачайте очищенный результат.
Примеры
Удаление дубликатов с сохранением исходного порядка
Ввод
Alpha Beta Alpha Gamma Beta
Результат
Alpha Beta Gamma
Игнорировать регистр + обрезать пробелы
Ввод
Alpha alpha ALPHA Beta
Результат
Alpha Beta
Сортировать при удалении дубликатов
Ввод
item 10 item 2 item 2 item 1
Результат
item 1 item 2 item 10
Глоссарий
Ключ сравнения
Внутреннее значение для сравнения после обрезки, нормализации Юникода и учета регистра. Оно отдельно от исходной отображаемой строки.
Обрезка
Удаляет начальные и конечные пробелы у каждой строки перед сравнением. Внутренние пробелы не изменяются.
NFC
Одна из форм нормализации Юникода, уменьшающая различия между визуально одинаковыми символами с разным внутренним представлением.
Сортировка с учетом локали
Сортировка, которая следует активному языку страницы, а не порядку кодовых точек. Это может изменить порядок акцентов и смешанных письменностей.
Часто задаваемые вопросы
Сохраняется ли исходный порядок?
Да. Сохранение порядка включено по умолчанию. Инструмент оставляет только первое вхождение каждой строки и сохраняет порядок первого появления, если вы не переключитесь на сортировку по возрастанию или убыванию.
Можно ли игнорировать регистр в многоязычном тексте?
Да, но сравнение с учетом регистра зависит от языка текущей страницы. Для смешанных списков, особенно с буквами, зависящими от локали, результат может отличаться от ожидаемого.
Что меняется при включенной обрезке?
Начальные и конечные пробелы удаляются перед сравнением. Это делает `Alpha` и ` Alpha ` одинаковыми строками.
Как обрабатываются пустые строки?
Пустые строки по умолчанию исключаются. Если выключить этот режим, пустые строки тоже будут сравниваться, а повторяющиеся пустые строки схлопываются в одну сохраненную пустую строку.
Могут ли визуально одинаковые строки все равно не совпасть?
Да. NFC-нормализация помогает при многих различиях между составными и разложенными символами, но невидимые символы и различия ширины все еще могут разделять строки.
Мой ввод отправляется на сервер?
Нет. Все работает локально в браузере, и ни текст ввода, ни результат не сохраняются в URL.
Примечания
- Совпадение с учетом регистра зависит от языка текущей страницы, поэтому со смешанными списками нужно быть особенно осторожным.
- Невидимые символы и различия между полноширинными и полуширинными формами автоматически не объединяются. Если дубликаты все еще видны, проверьте текст инструментом для невидимых символов.
- Эта версия сохраняет первое вхождение каждой строки. Она не предлагает правило сохранения последнего вхождения.