2010-07-09 09:22:50| 分类: perl&bioperl | 标签: |举报 |字号大中小 订阅
http://liucheng.name/935/
这是对大批量数据而言的,数据少的话其实没多大意思。我喜欢大批量的数据。对于大批量的数据,最好用的工具其实还是Linux,如果是稍微少一些的话,直接用Excle就行了。
这里介绍两种办法,去掉重复的数据。说之前来复习一下我喜欢的一句话:柳城博客(Lc.), 努力在数据的海洋里畅游。
如果是用Excle,太大的数据打开会有问题的。打开十几M的大小的Excle都够吃力的。如果电脑内存差些,那更加惨。不过,这种情况是适合大部分人的。
假设数据放在一个文件,取名file.txt。
cat file.txt | sort | uniq >newfile.txt
这样就是去掉重复数据,并输出到一个新的文件 newfile.txt
简单吧。
评论