云之南

风声，雨声，读书声，声声入耳；家事，国事，天下事，事事关心

日志

关于我

云之南

专业背景：计算机科学研究方向与兴趣: JavaEE-Web软件开发, 生物信息学, 数据挖掘与机器学习, 智能信息系统目前工作: 基因组, 转录组, NGS高通量数据分析, 生物数据挖掘, 植物系统发育和比较进化基因组学

文章分类

Linux下大文件的排序和去重复

2010-07-08 20:39:39| 分类： linux&shell | 标签： |举报 |字号大中小订阅

下载LOFTER 我的照片书 |

| Linux, sort, uniq, 去重复

Linux下我们用 sort 与 uniq 的命令来实现去重复行。

去重复行

简单的用法如下，如一个文件名：happybirthday.txt    cat happybirthday.txt (显示文件内容)    Happy Birthday to You!  Happy Birthday to You!  Happy Birthday Dear Tux!  Happy Birthday to You!    cat happybirthday.txt|sort （排序）    Happy Birthday Dear Tux!  Happy Birthday to You!  Happy Birthday to You!  Happy Birthday to You!    cat happybirthday.txt|sort|uniq (去重复行)    Happy Birthday Dear Tux!  Happy Birthday to You!

去大文件重复行

但有时碰到一个大文件时（例如G级的文件），用上面的命令时报错，提示空间不足。我尝试了一下，最后是用 split 命令把大文件分割为几个小文件，单独排完序后再合并 uniq 。

split -b 200m  happybirthday.big Prefix_    用-b参数切割happybirthday.big，小文件为200M。切割后的文件名前缀是Prefix_

切割后的文件名如

Prefix_aa    Prefix_ab

再分别sort

sort Prefix_aa >Prefix_aa.sort    sort Prefix_ab >Prefix_ab.sort

再用 sort -m合并，再 uniq

cat Prefix_aa.sort Prefix_ab.sort |sort -m |uniq

这是好早前碰到的一个问题了。没记错的话应该是这么回事。~

sort 与 uniq 命令还有许多有用的参数，如sort -m、uniq -u、uniq -d等。sort 与 uniq的组合是很强大的。

~完。

评论这张

转发至微博

阅读(2109)| 评论(0)

历史上的今天

this.p={  m:2,
              b:2,
              loftPermalink:'',
              id:'fks_081066084083087075082081084095085094087074093087083071',
              blogTitle:'Linux下大文件的排序和去重复',
              blogAbstract:'| <A rel=\"nofollow\" href=\"http://liucheng.name/tag/linux/\" \>Linux</A\>, <A rel=\"nofollow\" href=\"http://liucheng.name/tag/sort/\" \>sort</A\>, <A rel=\"nofollow\" href=\"http://liucheng.name/tag/uniq/\" \>uniq</A\>, <A rel=\"nofollow\" href=\"http://liucheng.name/tag/%e5%8e%bb%e9%87%8d%e5%a4%8d/\" \>去重复</A\><BR\><BR\>  <P style=\"TEXT-INDENT: 2em;\"  \><A title=\"Linux\" target=\"_blank\" rel=\"nofollow\" href=\"http://liucheng.name/tag/linux/\" \>Linux</A\>下我们用 <A title=\"查看 sort 的全部文章\" target=\"_blank\" rel=\"nofollow\" href=\"http://liucheng.name/tag/sort/\" \>sort</A\> 与 <A title=\"查看 uniq 的全部文章\" target=\"_blank\" rel=\"nofollow\" href=\"http://liucheng.name/tag/uniq/\" \>uniq</A\> 的命令来实现<A title=\"查看   去重复 的全部文章\" target=\"_blank\" rel=\"nofollow\" href=\"http://liucheng.name/tag/%e5%8e%bb%e9%87%8d%e5%a4%8d/\" \>去重复</A\>行。</P\><BR\>去重复行<BR\><PRE\>简单的用法如下，如一个文件名：happybirthday.txt    cat happybirthday.txt (显示文件内容)    Happy Birthday to You!  Happy Birthday</PRE\>',
              blogTag:'',
              blogUrl:'blog/static/1869915420106883939441',
              isPublished:1,
              istop:false,
              type:0,
              modifyTime:1317107139139,
              publishTime:1278592779441,
              permalink:'blog/static/1869915420106883939441',
              commentCount:0,
              mainCommentCount:0,
              recommendCount:0,
              bsrk:-100,
              publisherId:0,
              recomBlogHome:false,
              currentRecomBlog:false,
              attachmentsFileIds:[],
              vote:{},
              groupInfo:{},
              friendstatus:'none',
              followstatus:'unFollow',
              pubSucc:'',
              visitorProvince:'',
              visitorCity:'',
              visitorNewUser:false,
              postAddInfo:{},
              mset:'000',
              mcon:'',
              srk:-100,
              remindgoodnightblog:false,
              isBlackVisitor:false,
              isShowYodaoAd:true,
              hostIntro:'专业背景：计算机科学                           \n\n研究方向与兴趣: JavaEE-Web软件开发,\n生物信息学, 数据挖掘与机器学习, 智能信息系统                                                                \n目前工作: 基因组, 转录组, NGS高通量数据分析, 生物数据挖掘, 植物系统发育和比较进化基因组学',
              hmcon:'1',
              selfRecomBlogCount:'0',
              lofter_single:'<iframe width="140" height="560" style="overflow:hidden;" src="http://www.lofter.com/mailEntry.do?blogad=1&blog" frameBorder="0"></iframe>'
            }

{list a as x}
    {if !!x}
    <div class="iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
      {if x.visitorName==visitor.userName}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        {if x.moveFrom=='wap'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/wapblog.html?frompersonalbloghome"><span title="来自网易手机博客" class="iblock wapIcon"> </span></a>
        {elseif x.moveFrom=='iphone'}
          <a class="noul pnt" target="_blank"><span title="来自iPhone客户端" class="iblock iphoneIcon"> </span></a>
        {elseif x.moveFrom=='android'}
          <a class="noul pnt" target="_blank"><span title="来自Android客户端" class="iblock androidIcon"> </span></a>
        {elseif x.moveFrom=='mobile'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/emsblog.html?frompersonalbloghome"><span title="来自网易短信写博" class="iblock wapIcon"> </span></a>
        {/if}
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
          ${fn(x.visitorNickname,8)|escape}
        </a>
      </div>
    </div>
    {/if}
    {/list}

<#--最新日志，群博日志--> <#--推荐日志-->

<p class="fc06">推荐过这篇日志的人：</p>
    <div>
      {list a as x}
      {if !!x}
      <div class="iblock nbw-fce nbw-f40">
        <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
        <img alt="${x.recommenderNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.recommenderName)}"/>
        </a>
        <div class="cwd thide">
          <a class="fc03 m2a" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
            ${fn(x.recommenderNickname,6)|escape}
          </a>
        </div>
      </div>
      {/if}
      {/list}
    </div>
    {if !!b&&b.length>0}
    <p  class="fc06">他们还推荐了：</p>
    <ul>
    {list b as y}
      {if !!y}
        <li class="rrb"><span class="iblock">·</span><a class="fc03 m2a" target="_blank" href="http://blog.163.com/${y.recommendBlogPermalink}/?from=blog/static/1869915420106883939441">${y.recommendBlogTitle|escape}</a></li>
      {/if}
    {/list}
    </ul>
    {/if}

<#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇，下一篇--> <#-- 热度 -->

{list a as x}
    {if !!x}
    <div class="hotItem iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
      {if x.publisherUsername==visitor.userName}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
          ${fn(x.publisherNickname,8)|escape}
        </a>
      </div>
      <a class="f-myLikeIcons hottype {if x.type==1} js-liketype{elseif x.type==2} js-reblogtype{elseif x.type==3} js-sharetype{else}{/if}" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/"> </a>
    </div>
    {/if}
    {/list}

<#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->

页脚

我的照片书 - 手机博客 - 下载LOFTER APP - 订阅此博客

云之南

导航

日志

Linux下大文件的排序和去重复

历史上的今天

最近读者

热度

评论

页脚