このツールは入力中にリアルタイムで重複を除去し、入力欄そのものは書き換えない。オプションを切り替えながら結果を比較しても、元のテキストは失われない。既定では2行が完全に一致した場合のみ重複と判定される。大文字・小文字を区別しないをオンにするとBerlinとberlinを同じ行として扱う。前後の空白を除去は行頭・行末のスペースやタブを無視するため、表計算ソフトやログファイルにありがちな見えない重複も検出できる。空行はデータではなく構造として扱われ、空行を削除をオンにしない限り互いにまとめられることはない。すべての処理がブラウザ内で完結するため、メールリストや顧客データのエクスポート、未公開のキーワードリサーチにも安心して使える。
重複行を削除
すべてブラウザー内で動作します。アップロードも登録も不要です。
入力テキスト
重複削除後のテキスト
行を貼り付けると重複が削除されます - 各行の最初の出現が残ります
重複行を削除するには?
上のボックスにテキストを貼り付けるだけで、重複した行が瞬時に消える。各行の最初の出現がそのままの順番で残る仕組み。「大文字・小文字を区別しない」や「前後の空白を除去」をオンにすると「Apple」と「apple」のような近い重複も拾える。データはどこにもアップロードされず、処理はすべてブラウザ内で完結する。
使い方
- 1行を貼り付ける. 複数行のテキストを左のボックスに入力または貼り付ける。1行に1項目。Windows、Mac、Unixどの改行コードでも動作する。
- 2比較方法を選ぶ. 既定では行は完全一致でのみ重複と判定される。「大文字・小文字を区別しない」で「Apple」と「apple」を同じ扱いに、「前後の空白を除去」で行頭・行末のスペースを無視、「空行を削除」で空白行をまとめて除去できる。
- 3整形済みリストをコピー. 重複を除去したテキストが右側にリアルタイムで表示され、ステータス欄に削除件数が出る。「コピー」ボタンでクリップボードに送れる。
こんな方に
- SEO・マーケティング担当者が複数の重複するレポートから書き出したキーワードリスト、被リンクURL、メールアドレスを整理するとき。
- 開発者・システム管理者がログ出力や環境変数リスト、
.gitignore形式のファイルを整理するとき。sort -uだと並び順まで変わってしまうので使いにくい。 - データ分析担当者が貼り付けた表計算の列を、集計やVLOOKUPの前にユニークな値だけに絞り込むとき。
- ライター・研究者が複数の文書から集めた参考文献リストやブレインストームのメモを1つのリストにまとめるとき。
よくある質問
テキストはどこかにアップロードされますか?
されません。重複の除去はJavaScriptによりブラウザ内だけで完結し、行の内容がサーバーに送られることはない。メールリストや顧客データ、認証情報を含むファイルなど、見知らぬサイトのフォームには貼り付けたくないデータでも安心して使える。
この重複行削除ツールは無料ですか?
完全無料。登録もダウンロードも利用回数の制限もない。静的なページなので読み込みも速く、通信が不安定な環境でも一度開けばそのまま使い続けられる。
貼り付けられる行数に上限はありますか?
明確な上限はない。重複判定にハッシュセットを使っているため、数十万行のリストでも一般的なノートパソコンで1秒未満で処理が終わる。実質的な制約はツールではなくブラウザのメモリ容量にある。
重複が複数ある場合、最初と最後のどちらが残りますか?
最初の行が残る。ツールは上から下へスキャンし、各行の最初の出現をその位置に残し、以降の重複をすべて削除するため、生き残った行の並びは貼り付けた順序と完全に一致する。
並び替えずに重複行を削除できますか?
できる。それがこのツールの狙いだ。<code>sort -u</code>のようなコマンドラインの技はまず並び替えてから重複を除くため、順序を持つデータが崩れてしまう。このツールは元の並び順を保ったまま重複だけを削除する。
空行はどう扱われますか?
空行はデータではなく構造として扱われるため、2つの空行が1つにまとめられることはない。空白を一切残したくない場合は「空行を削除」をオンにすれば、空行や空白のみの行がすべて除去される。
スペースの有無や大文字・小文字の違いだけの重複も検出できますか?
できる。「前後の空白を除去」をオンにすると行頭・行末のスペースやタブを無視し、「大文字・小文字を区別しない」をオンにすると表記の違いを無視して照合する。両方オンにすると「 Apple」と「apple」は同じ行として扱われるが、実際に残る表記は貼り付けたままの形になる。なお大文字・小文字の区別は英数字の行(URLやメールアドレスなど)に対して働く仕組みで、日本語の文字自体には大文字・小文字の概念はない。
Windows(CRLF)の改行コードにも対応していますか?
対応している。Windows(\r\n)、Unix(\n)、旧Mac(\r)のいずれの改行コードも分割時に正しく認識され、出力結果は標準的なUnix改行になる。どのエディタや表計算ソフトに貼り付けても問題なく扱える。