Изтриване на дублиращи се редове

Работи изцяло в браузъра - без качване и без регистрация.

Входен текст

Текст без дубликати

Постави редове, за да премахнеш дубликатите - първото срещане на всеки ред се запазва

Споделете този инструмент

Как да изтрия дублиращи се редове от текст?

Постави текста в полето по-горе и всеки повтарящ се ред веднага изчезва - запазва се първото срещане на всеки ред, в оригиналния ред. Включи Игнорирай главни/малки букви или Изчисти интервалите, за да хванеш почти-дубликати като „София” и „софия”, после копирай изчистения списък. Нищо не се качва никъде - премахването на дубликати става изцяло в браузъра.

Как се използва

1Постави редовете си. Напиши или постави произволен многоредов текст в лявото поле - по един елемент на ред. Работи с редови окончания от Windows, Mac и Unix.
2Избери как да се сравняват редовете. По подразбиране редовете трябва да съвпадат точно. Включи Игнорирай главни/малки букви, за да се броят „София” и „софия” за дубликати, Изчисти интервалите, за да се игнорират интервалите в началото и края, или Премахни празните редове, за да изчезнат празните редове.
3Копирай изчистения списък. Текстът без дубликати се показва на живо вдясно, а лентата за състояние показва колко дубликата са премахнати. Натисни Копирай, за да поставиш резултата в клипборда.

За кого е

SEO и маркетинг екипи, които почистват списъци с ключови думи, обратни линкове или имейл адреси, експортирани от няколко застъпващи се справки.
Разработчици и системни администратори, които почистват лог изходи, списъци с променливи на средата или файлове от типа .gitignore, без да прибягват до sort -u (което освен това би разбъркало и целия ред).
Анализатори на данни, които свеждат поставена колона от таблица до уникалните ѝ стойности преди търсене или обобщена таблица.
Писатели и изследователи, които обединяват списъци за четене, списъци с източници или бележки от брейнсторминг от няколко документа в един чист списък.

Инструментът премахва дубликатите докато пишеш и никога не променя полето с оригиналния текст, така че можеш да превключваш опциите и да сравняваш резултатите, без да губиш оригинала. По подразбиране два реда трябва да съвпадат точно, знак по знак. Игнорирай главни/малки букви третира София и софия като един и същ ред; Изчисти интервалите игнорира интервалите и табулациите в началото и края, което хваща невидимите дубликати, които таблиците и лог файловете обичат да произвеждат. Празните редове се третират като структура, а не като данни - никога не се сливат помежду си, освен ако не включиш Премахни празните редове. Тъй като всичко работи в браузъра, инструментът е безопасен за имейл списъци, експорти на клиенти и непубликувано проучване на ключови думи.

Експертен съвет

За разлика от класическия Unix трик sort -u, този инструмент запазва редовете в оригиналния им ред - първото срещане на всеки ред остава на мястото си, а по-късните повторения се премахват. Това има значение при подредени данни като CSV редове, плейлисти или конфигурационни файлове, където подреждането по азбучен ред би унищожило смисъла. Опциите променят само начина, по който редовете се сравняват, но никога начина, по който се изписват: с включено Изчисти интервалите, „ банани” и „банани” се броят за един ред, но запазеният ред се изписва точно както е бил поставен.

Често задавани въпроси

Качва ли се текстът ми някъде?

Не. Премахването на дубликати се извършва изцяло в браузъра чрез JavaScript - редовете ти никога не достигат до сървър. Това прави инструмента безопасен за имейл списъци, клиентски данни, файлове с пароли и всичко друго, което не би поставил в случаен формуляр в интернет.

Безплатен ли е този инструмент за премахване на дублиращи се редове?

Да - напълно безплатен, без регистрация, без изтегляне и без ограничения за ползване. Това е статична страница, така че се зарежда бързо и продължава да работи дори при нестабилна връзка, след като веднъж се отвори.

Има ли ограничение колко реда мога да поставя?

Няма твърдо ограничение. Премахването на дубликати използва хеш таблица, така че дори списъци със стотици хиляди редове се обработват за много под секунда на обикновен лаптоп. Практическото ограничение е паметта на браузъра, а не самият инструмент.

Кой дубликат се запазва - първият или последният?

Първият. Инструментът минава текста отгоре надолу, запазва първото срещане на всеки ред на мястото му и премахва всяко по-късно повторение, така че крайният ред е точно този, в който си поставил текста.

Премахва ли дублиращите се редове без да ги сортира?

Да - и точно в това е смисълът. Трикове от командния ред като sort -u премахват дубликатите, като първо сортират текста, което разбърква подредените данни. Този инструмент запазва оригиналния ред на редовете и само изтрива повторенията.

Как се обработват празните редове?

Празните редове се третират като структура, а не като данни, така че два празни реда никога не се сливат в един. Ако искаш компактен списък без никакви празни редове, включи Премахни празните редове и всеки празен или състоящ се само от интервали ред ще бъде премахнат.

Хваща ли дубликати, които се различават само по интервали или главни/малки букви?

Да. Включи Изчисти интервалите, за да игнорираш интервалите и табулациите в началото и края, и Игнорирай главни/малки букви, за да сравняваш редовете независимо от регистъра. С включени и двете, „ София” и „софия” се броят за един и същ ред; запазената версия се изписва точно както е била поставена.

Работи ли с редови окончания на Windows (CRLF)?

Да. Редовите окончания на Windows (\r\n), Unix (\n) и стария Mac (\r) се разпознават при разделянето на текста, а изчистеният резултат използва стандартни Unix нови редове, които всеки редактор и таблица приема при поставяне.