亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Linux 刪除文本中的重復(fù)行的方法

  發(fā)布時間:2016-11-21 21:37:58   作者:佚名   我要評論
這篇文章主要介紹了Linux 刪除文本中的重復(fù)行的方法,需要的朋友可以參考下

在進(jìn)行文本處理的時候,我們經(jīng)常遇到要刪除重復(fù)行的情況。那怎么解決呢?
下面就是三種常見方法?

第一,用sort+uniq,注意,單純uniq是不行的。

shell> sort -k2n file | uniq

這里我做了個簡單的測試,當(dāng)file中的重復(fù)行不再一起的時候,uniq將服務(wù)刪除所有的重復(fù)行。經(jīng)過排序后,所有相同的行都在相鄰,因此unqi可以正常刪除重復(fù)行。


第二,用sort+awk命令,注意,單純awk同樣不行,原因同上。

shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'

當(dāng)然,自己把管道后面的代碼重新設(shè)計(jì)一下,可能不需要sort命令先排序拉。


第三,用sort+sed命令,同樣需要sort命令先排序。

shell> sort -k2n file | sed '$!N; /^.∗\n\1$/!P; D'

最后附一個必須先用sort排序的文本的例子,當(dāng)然,這個需要用sort排序的原因是很簡單,就是后面算法設(shè)計(jì)的時候的“局部性”,相同的行可能分散出現(xiàn)在不同的區(qū)域,一旦有新的相同行出現(xiàn),那么前面的已經(jīng)出現(xiàn)的記錄就被覆蓋了,看了這個例子就好理解拉。
  
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg

其實(shí),這是我隨便打進(jìn)去的幾行字,沒想到就是必須用sort的很好例子,大家可以自己試試看。

相關(guān)文章

最新評論