Удалить повторяющиеся строки

Работает прямо в браузере - без загрузки файлов и регистрации.

Исходный текст

Текст без дубликатов

Вставьте строки, чтобы удалить дубликаты - первое появление каждой строки сохраняется

Поделиться инструментом

Как удалить повторяющиеся строки из текста?

Вставьте текст в поле выше - и каждая повторяющаяся строка исчезнет мгновенно: остаётся первое появление каждой строки, в исходном порядке. Включите «Игнорировать регистр» или «Обрезать пробелы», чтобы поймать похожие дубликаты вроде «Apple» и «apple», затем скопируйте очищенный список. Ничего не загружается на сервер - удаление дубликатов выполняется полностью в браузере.

Как пользоваться

1Вставьте строки. Введите или вставьте любой многострочный текст в левое поле - по одному элементу на строку. Windows, Mac и Unix переносы строк поддерживаются одинаково.
2Выберите правила сравнения. По умолчанию строки должны совпадать точно. Включите «Игнорировать регистр», чтобы считать «Apple» и «apple» дубликатами, «Обрезать пробелы», чтобы не учитывать пробелы по краям, или «Удалить пустые строки», чтобы убрать пустоты.
3Скопируйте очищенный список. Текст без дубликатов появляется справа в реальном времени, а строка статуса показывает, сколько дубликатов удалено. Нажмите «Копировать», чтобы отправить результат в буфер обмена.

Кому пригодится

SEO-специалисты и маркетологи убирают дубли из списков ключевых слов, ссылок на бэклинки или email-адресов, выгруженных из нескольких пересекающихся отчётов.
Разработчики и системные администраторы чистят вывод логов, списки переменных окружения или файлы вроде .gitignore, не прибегая к sort -u (который заодно перемешает весь порядок).
Аналитики данных сворачивают вставленный столбец из таблицы до уникальных значений перед поиском или сводной таблицей.
Авторы и исследователи объединяют списки литературы, источников или заметок из нескольких документов в один чистый список.

Инструмент убирает дубликаты по мере ввода и никогда не меняет исходное поле, поэтому можно переключать опции и сравнивать результаты, не теряя оригинал. По умолчанию две строки должны совпадать посимвольно. Игнорировать регистр считает Berlin и berlin одной строкой; Обрезать пробелы не учитывает пробелы и табуляции в начале и конце строки - это ловит невидимые дубликаты, которыми грешат таблицы и лог-файлы. Пустые строки - это структура, а не данные: они никогда не схлопываются друг в друга, если не включить Удалить пустые строки. Поскольку всё работает на стороне клиента, инструмент безопасен для списков email, клиентских выгрузок и неопубликованных наработок по ключевым словам.

Совет эксперта

В отличие от классического приёма sort -u в Unix, этот инструмент сохраняет строки в исходном порядке: первое появление каждой строки остаётся на своём месте, а последующие повторы удаляются. Это важно для упорядоченных данных вроде строк CSV, плейлистов или конфигурационных файлов, где сортировка по алфавиту уничтожила бы смысл. Опции влияют только на то, как строки сравниваются, но никогда - на то, как они выводятся: при включённом «Обрезать пробелы» строки « бананы» и «бананы» считаются одной, но остаётся строка ровно в том виде, в котором вы её вставили.

Вопросы и ответы

Мой текст куда-то загружается?

Нет. Удаление дубликатов выполняется полностью в браузере на JavaScript - строки никогда не попадают на сервер. Это делает инструмент безопасным для списков email, клиентских данных, файлов с учётными данными и всего остального, что вы не стали бы вставлять в случайную форму на сайте.

Этот инструмент для удаления повторяющихся строк бесплатный?

Да - полностью бесплатный, без регистрации, без скачивания и без ограничений на использование. Это статичная страница, поэтому она загружается быстро и продолжает работать даже при нестабильном соединении.

Есть ли ограничение на количество строк для вставки?

Жёсткого лимита нет. Удаление дубликатов использует хеш-множество, поэтому даже списки из сотен тысяч строк обрабатываются меньше чем за секунду на обычном ноутбуке. Практический предел - это память браузера, а не сам инструмент.

Какой из дубликатов остаётся - первый или последний?

Первый. Инструмент проходит текст сверху вниз, оставляет первое появление каждой строки на месте и удаляет все последующие повторы, поэтому итоговый порядок в точности совпадает с тем, в котором вы вставили текст.

Удаляет ли он дубликаты без сортировки строк?

Да - в этом и суть. Команды вроде sort -u сначала сортируют, а потом убирают дубли, из-за чего упорядоченные данные перемешиваются. Этот инструмент сохраняет исходный порядок строк и только удаляет повторы.

Как обрабатываются пустые строки?

Пустые строки считаются структурой, а не данными, поэтому две пустые строки никогда не схлопываются в одну. Если нужен компактный список вообще без пустых строк, включите «Удалить пустые строки» - и каждая пустая или состоящая только из пробелов строка будет убрана.

Может ли инструмент находить дубликаты, различающиеся только пробелами или регистром?

Да. Включите «Обрезать пробелы», чтобы не учитывать пробелы и табуляции по краям, и «Игнорировать регистр», чтобы сравнивать без учёта регистра. При включении обеих опций « Apple» и «apple» считаются одной строкой; остаётся строка ровно в том виде, в котором вы её вставили.

Работает ли инструмент с переносами строк Windows (CRLF)?

Да. Переносы строк Windows (\r\n), Unix (\n) и старого Mac (\r) распознаются при разбиении текста, а очищенный результат использует стандартные Unix-переносы, которые принимает любой редактор и таблица при вставке.