注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

云之南

风声,雨声,读书声,声声入耳;家事,国事,天下事,事事关心

 
 
 

日志

 
 
关于我

专业背景:计算机科学 研究方向与兴趣: JavaEE-Web软件开发, 生物信息学, 数据挖掘与机器学习, 智能信息系统 目前工作: 基因组, 转录组, NGS高通量数据分析, 生物数据挖掘, 植物系统发育和比较进化基因组学

网易考拉推荐

linux下的split 命令  

2014-10-20 11:16:15|  分类: linux&shell |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

将一个大文件分成若干个小文件方法

例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件,后缀为系数形式,且后缀为4位数字形式

先利用

wc -l BLM.txt       读出 BLM.txt 文件一共有多少行

再利用 split 命令

split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_

将 文件 BLM.txt 分成若干个小文件,每个文件2482行(-l 2482),文件前缀为BLM_ ,系数不是字母而是数字(-d),后缀系数为四位数(-a 4)

 

linux下文件分割可以通过split命令来实现,可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现,非常简单。

  在Linux下用split进行文件分割:

  模式一:指定分割后文件行数

  对与txt文本文件,可以通过指定分割后文件的行数来进行文件分割。

  命令:split -l 300 large_file.txt new_file_prefix

  模式二:指定分割后文件大小

   split -b 10m server.log waynelog

   对二进制文件我们同样也可以按文件大小来分隔。

 

在Linux下用cat进行文件合并:

  命令:cat small_files* > large_file

将a.txt的内容输入到b.txt的末尾

cat a.txt >> b.txt


[linux] split命令使用详解  

split 参数:
-a, --suffix-length=N   指定输出文件名的后缀,默认为2个
-b, --bytes=SIZE        指定输出文件的字节数
-C, --line-bytes=SIZE  每一输出档中,单行的最大 byte 数
-d, --numeric-suffixes  使用数字代替字母做后缀
-l, --lines=NUMBER    NUMBER 值为每一输出档的列数大小
   
例:
[root@10.10.90.97 sh]# split -b 1024 -a 3 push.sh
[root@10.10.90.97 sh]# ls
push.sh xaaa  xaab  xaac  xaad  xaae  xaaf
使用-a参数指定文件后缀名的个数为3
[root@10.10.90.97 sh]# split -b 1024 push.sh push_ 
[root@10.10.90.97 sh]# ls
push_aa  push_ab  push_ac  push_ad  push_ae  push_af    push.sh
-b参数指定输出文件的大小为1024字节,push_指定输出文件的前缀代替默认的x 
[root@10.10.90.97 sh]# split -b 1024 -d push.sh
[root@10.10.90.97 sh]# ls
push.sh x00  x01  x02  x03  x04  x05
-d参数设置输出文件的后缀为数字,默认的为字符  
[root@10.10.90.97 sh]# split -l 5 push.sh
[root@10.10.90.97 sh]# ls
push.sh  xaa  xac  xae  xag  xai  xak  xam  xao  xaq  xas  xau  xaw  xay  xba
xab  xad  xaf  xah  xaj  xal  xan  xap  xar  xat  xav  xax  xaz
-l指定输出稳定的行数为5 
  评论这张
 
阅读(840)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2016