怎样删除文本中的重复行?

把文本粘贴到上方的输入框，重复的行会立即消失,每一行的首次出现都会按原来的顺序保留下来。打开忽略大小写或去除首尾空格,还能识别出「Apple」和「apple」这类近似重复,然后复制清理好的列表即可。数据不会上传到任何地方,去重完全在浏览器本地完成。

使用方法

1粘贴你的文本行. 把多行文本输入或粘贴到左侧的框里,每行一项。Windows、Mac和Unix的换行格式都能正常识别。

2选择比较方式. 默认情况下行必须完全一致。打开忽略大小写可以把「Apple」和「apple」视为重复,打开去除首尾空格可以忽略行首行尾的空格,打开删除空行可以去掉所有空白行。

3复制清理后的结果. 去重后的文本会实时显示在右侧,状态栏会显示删除了多少重复行。点击复制按钮即可放入剪贴板。

适用人群

SEO和营销团队整理从多份互相重叠的报告中导出的关键词列表、反向链接或邮箱地址。

开发者和运维人员清理日志输出、环境变量列表或.gitignore风格的文件,不用再依赖会打乱顺序的sort -u。

数据分析人员在做查询或数据透视之前,把粘贴进来的表格列压缩成唯一值。

写作者和研究人员把从多份文档收集的阅读清单、参考文献或头脑风暴笔记合并成一份干净的列表。

这个工具会边输入边去重,并且从不修改输入框里的原始内容,所以可以随意切换选项、对比结果,而不会丢失原文。默认情况下,两行必须逐字符完全一致才算重复。忽略大小写会把Berlin和berlin当作同一行;去除首尾空格会忽略行首行尾的空格或制表符,专门用来抓出表格软件和日志文件里那些看不见的重复。空行被当作结构而非数据,除非打开删除空行,否则两个空行不会被合并。整个过程都在客户端完成,所以处理邮件列表、客户导出数据或尚未公开的关键词调研都很安全。

常见问题

我的文本会被上传到某个地方吗?

不会。去重完全通过JavaScript在浏览器本地运行,你的文本内容不会传到任何服务器。这意味着邮件列表、客户数据、含有账号密码的文件,这类不想贴到陌生网站表单里的内容,用这个工具也很安全。

这个删除重复行的工具免费吗?

完全免费,无需注册、无需下载,也没有使用次数限制。它是一个静态页面,加载速度很快,网络不稳定时打开一次也能继续使用。

粘贴的行数有限制吗?

没有硬性限制。去重使用哈希集合来判断,即使是几十万行的列表,在普通笔记本电脑上也能在一秒以内处理完。实际的上限取决于浏览器的内存,而不是这个工具本身。

遇到重复行时,保留的是第一行还是最后一行?

保留第一行。工具从上到下扫描,把每一行的首次出现留在原位,删除后面所有重复的行,所以最终顺序和你粘贴时的顺序完全一致。

能不排序就删除重复行吗?

可以,这正是这个工具的重点。像<code>sort -u</code>这样的命令行技巧要先排序再去重,会打乱有顺序意义的数据。这个工具会保留原始行序,只删除重复的部分。

空行是怎么处理的?

空行被当作结构而不是数据,所以两个空行不会被合并成一个。如果想要一份完全没有空行的列表,打开删除空行,所有空白或只含空格的行都会被去掉。

能识别只是空格或大小写不同的重复行吗?

可以。打开去除首尾空格可以忽略行首行尾的空格和制表符,打开忽略大小写可以不区分字母大小写进行匹配。两个选项都打开后,「 Apple」和「apple」会被当作同一行,但保留的那一行仍会按粘贴时的原样显示。需要说明的是,忽略大小写主要针对列表中夹杂的英文单词、网址或邮箱地址这类拉丁字母内容,中文本身没有大小写之分。

支持Windows(CRLF)换行符吗?

支持。Windows(\r\n)、Unix(\n)和早期Mac(\r)的换行符在拆分时都能被正确识别,输出结果统一使用标准的Unix换行符,粘贴到任何编辑器或表格软件里都不会出问题。