Linux で重複行を削除する方法は何ですか?
Linuxでは、重複行を削除するために以下の方法を使用できます。
- 並べ替える
- 彼は自分自身が間違っていることに気づいた。
- 並べ替え
- 生まれ変わったばかりの赤ん坊
sort file.txt | uniq > newfile.txt
- ネイティブっぽく日本語で表現し直す、ただ1つのオプションがあればいい:
- いやいや、ダメでしょう
awk '!seen[$0]++' file.txt > newfile.txt
- しかし
- その文は日本語では、生まれつきのままに表現しました。
sed '$!N; /^\(.*\)\n\1$/!P; D' file.txt > newfile.txt
- 「ネイティブスピーカーは通常、特定の単語を特定の意味で使う。」
- ネイティブな日本語で言い換えてください。1つの選択肢だけで結構です。
comm -12 <(sort file.txt) <(sort file.txt) > newfile.txt
具体的な状況に応じて適当な方法を選んでください。上記の方法はよく使われている方法のいくつかです。