Удаление дубликатов строк

Как работает удаление дубликатов строк

Инструмент принимает список, где одна запись находится на отдельной строке, и сравнивает строки по выбранным правилам. В точном режиме учитывается регистр, а в нечувствительном режиме «Москва» и «москва» считаются одной группой. Внешние пробелы можно игнорировать, внутренние последовательности пробелов — свернуть, а «ё» и «е» — считать одинаковыми. Нормализация меняет только ключ сравнения: сохранённая строка остаётся в исходном написании.

Порядок и пустые строки

По умолчанию сохраняется первое вхождение каждой строки и исходный порядок. Режим последнего вхождения выбирает последнюю запись группы и упорядочивает результат по её позиции в исходном списке. Финальный перевод строки сохраняется только тогда, когда он был во входе. Пустые строки можно удалить или оставить одну; режим «только дубликаты» выводит по одной сохранённой записи для каждой группы, которая встретилась больше одного раза.

Примеры использования

• Email: убрать повторные адреса из списка рассылки, не меняя исходное написание адресов.
• Артикулы: найти повторяющиеся коды товаров с учётом или без учёта регистра.
• URL: оставить по одной записи каждого адреса в выгрузке ссылок.
• Обычные списки: очистить перечень городов, задач или имён от повторов, сохранив порядок.

Это удаление повторяющихся строк, а не повторяющихся слов внутри одной строки. Для подготовки текста используйте удаление лишних пробелов, изменение регистра, счётчик слов и символов и сортировку строк.

Конфиденциальность

Вся обработка выполняется локально в браузере. Текст не отправляется на сервер, не сохраняется инструментом и не передаётся сторонним сервисам. Кнопка скачивания создаёт TXT-файл только на вашем устройстве.

Частые вопросы

Обрежутся ли пробелы в сохранённой строке?

Нет. Игнорирование внешних пробелов и сворачивание внутренних пробелов применяются только к ключу сравнения. Исходная запись сохраняется без изменений.

Что выбрать — первое или последнее вхождение?

Первое вхождение обычно сохраняет естественный порядок списка. Последнее удобно, если более поздняя запись считается актуальной: она будет сохранена с её исходным написанием и позицией.

Сколько строк можно обработать?

Расчёт выполняется в браузере за линейное время с использованием Map; инструмент рассчитан как минимум на 100 000 коротких строк или около 5 МБ текста.

Отправляется ли мой текст на сервер?

Нет, текст остаётся в браузере. Сервер отдаёт только страницу и локальный JavaScript-инструмент.