linux分隔文件

① linux中怎么将文件合并

方法一：使用cat命令从文件中读入两个文件，然后将重定向到一个新的文件。这种方法可以一次性合并任意多个文件。

用法示例：

将file1.txt和file2.txt合并到file.txt

$ cat file1.txt file2.txt > file.txt

方法二：只使用cat命令读入一个文件，然后使用>>将文本流追加到另一个文件的末位。

用法示例：

将file1.txt追加到file2.txt的末尾

$ cat file1.txt >> file2.txt

(1)linux分隔文件扩展阅读：

反之分割文件

linux下文件分割可以通过split命令来实现，可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现，非常简单。

1、在Linux下用split进行文件分割：

模式一：指定分割后文件行数

对与txt文本文件，可以通过指定分割后文件的行数来进行文件分割。

命令：split-l300large_file.txtnew_file_prefix

模式二：指定分割后文件大小

split-b10mserver.logwaynelog

对二进制文件我们同样也可以按文件大小来分隔。

2、将一个大文件分成若干个小文件方法

例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件，后缀为系数形式，且后缀为4位数字形式

先利用wc -l BLM.txt

读出 BLM.txt 文件一共有多少行

再利用 split 命令

split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_

将文件 BLM.txt 分成若干个小文件，每个文件2482行(-l 2482)，文件前缀为BLM_ ，系数不是字母而是数字（-d），后缀系数为四位数（-a 4）

② Linux里面分割,切片是什么

在Linux最常用的文件生成和切片工具是dd，它功能比较全面，但无法以行为单位提取文件数据，也无法直接将文件按大小或行数进行均分(除非借助循环)。另两款数据分割工具split和csplit能够比较轻松地实现这些需求。csplit是split的升级版。
1.1 dd命令
从if指定的文件读取数据，写入到of指定的文件。使用bs指定读取和写入的块大小，使用count指定读取和写入的数据块数量，bs和count相乘就是文件总大小。可以指定skip忽略读取if指定文件的前多少个块，seek指定写入到of指定文件时忽略前多少个块。
dd if=/dev/zero of=/tmp/abc.1 bs=1M count=20
if是input file，of是output file；bs有c(1byte)、w(2bytes)、b(512bytes)、kB(1000bytes)、K(1024bytes)、MB(1000)、M(1024)和GB、G等几种单位。因此，不要随意在单位后加上字母B。
假设现有文件CentOS.iso的大小1.3G，需要将其切分后还原，切分的第一个小文件大小为500M。
dd if=/tmp/CentOS.iso of=/tmp/CentOS1.iso bs=2M count=250
生成第二个小文件，由于第二个小文件不知道具体大小，所以不指定count选项。由于第二个小文件要从第500M处开始切分，于是需要忽略CentOS.iso的前500M。假设bs=2M，于是skip掉的数据块数量为250。
dd if=/tmp/CentOS.iso of=/tmp/CentOS2.iso bs=2M skip=250
现在CentOS.iso=CentOS1.iso+CentOS2.iso。可以将CentOS[1-2].iso还原。
cat CentOS1.iso CentOS2.iso >CentOS_m.iso
比较CentOS_m.iso和CentOS.iso的md5值，它们是完全一样的。
shell> md5sum CentOS_m.iso CentOS.iso
CentOS_m.iso
CentOS.iso
那么seek选项呢？和skip有什么区别？skip选项是忽略读取时的前N个数据块，而seek是忽略写入文件的前N个数据块。假如要写入的文件为a.log，则seek=2时，将从a.log的第3个数据块开始追加数据，如果a.log文件本身大小就不足2个数据块，则缺少的部分自动使用/dev/zero填充。
于是，在有了CentOS1.iso的基础上，要将其还原为和CentOS.iso相同的文件，可以使用下面的方法：
dd if=/tmp/CentOS.iso of=/tmp/CentOS1.iso bs=2M skip=250 seek=250
还原后，它们的md5值也是相同的。
shell>md5sum CentOS1.iso CentOS.iso
CentOS1.iso
CentOS.iso
1.2 split命令
split工具的功能是将文件切分为多个小文件。既然要生成多个小文件，必然要指定切分文件的单位，支持按行切分以及按文件大小切分，另外还需解决小文件命名的问题。例如，文件名前缀、后缀。如果未明确指定前缀，则默认的前缀为"x"。
以下是命令的语法说明：
例如，将/etc/fstab按行切分，每5行切分一次，并指定小文件的前缀为"fs_"，后缀为数值后缀，且后缀长度为2。
[root@linuxidc ~]# split -l 5 -d -a 2 /etc/fstab fs_
[root@linuxidc~]# lsfs_00 fs_01 fs_02
查看任一小文件。
[root@linuxidc ~]# catfs_01
# Accessible filesystems, by reference, are maintained under'/dev/disk'# Seeman pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info#
UUID=b2a70faf-aea4-4d8e-8be8-c7109ac9c8b8 / xfs defaults 0 0UUID=367d6a77-033b-4037-bbcb-416705ead095 /boot xfs defaults 0 0
可以将这些切分后的小文件重新组装还原。例如，将上面的三个小文件还原为~/fstab.bak。
[root@linuxidc ~]# cat fs_0[0-2] >~/fstab.bak
还原后，它们的内容是完全一致的。可以使用md5sum比较。
[root@linuxidc ~]# md5sum /etc/fstab ~/fstab.bak
/etc/fstab
/root/fstab.bak
还可以将标准输入的数据进行切分，并分别写入到小文件中。例如：
[root@linuxidc ~]# seq 1 2 15 | split -l 3 -d -new_
[root@linuxidc~]# ls new*new_00 new_01 new_02
可以为每个小文件追加额外的后缀。有些老版本的split不支持该选项，而是在csplit上支持的，但是新版本的split已经支持。例如，加上".log"。
[root@linuxidc ~]# seq 1 2 20 | split -l 3 -d -a 3 --additional-suffix=".log" -new1_
[root@linuxidc~]# ls new1*new1_000.log new1_001.log new1_002.log new1_003.log
1.3 csplit命令
split只能按行或按照大小进行切分，无法按段落切分。csplit是split的变体，功能更多，它主要是按指定上下文按段落分割文件。
csplit [OPTION]... FILE PATTERN...
描述：按照PATTERN将文件切分为"xx00","xx01", ...，并在标准输出中输出每个小文件的字节数。
选项说明：-b FORMAT：指定文件后缀格式，格式为printf的格式，默认为%02d。表示后缀以2位数值，且不足处以0填充。-f PREFIX：指定前缀，不指定是默认为"xx"。-k：用于突发情况。表示即使发生了错误，也不删除已经分割完成的小文件。-m：明确禁止文件的行去匹配PATTERN。-s：(silent)不打印小文件的文件大小。-z：如果切分后的小文件中有空文件，则删除它们。
FILE：待切分的文件，如果要切分标准输入数据，则使用"-"。
PATTERNs：
INTEGER ：数值，假如为N，表示拷贝1到N-1行的内容到一个小文件中，其余内容到另一个小文件中。/REGEXP/[OFFSET]：从匹配到的行开始按照偏移量拷贝指定行数的内容到小文件中。
：其中OFFSET的格式为"+N"或"-N"，表示向后和向前拷贝N行%REGEXP%[OFFSET]：匹配到的行被忽略。
{INTEGER} ：假如值为N，表示重复N此前一个模式匹配。
{*} ：表示一直匹配到文件结尾才停止匹配。
假设文件内容如下：
[root@linuxidc ~]# cattest.txt
SERVER-1[connection]192.168.0.1success
[connection]192.168.0.2failed
[disconnect]192.168.0.3pending
[connection]192.168.0.4success
SERVER-2[connection]192.168.0.1failed
[connection]192.168.0.2failed
[disconnect]192.168.0.3success
[CONNECTION]192.168.0.4pending
SERVER-3[connection]192.168.0.1pending
[connection]192.168.0.2pending
[disconnect]192.168.0.3pending
[connection]192.168.0.4 failed
假设每个SERVER-n表示一个段落，于是要按照段落切分该文件，使用以下语句：
[root@linuxidc ~]# csplit -f test_ -b %04d.log test.txt /SERVER/ {*}0
140
139
140
"-f test_" 指定小文件前缀为"test_"， "-b %04d.log" 指定文件后缀格式"00xx.log"，它自动为每个小文件追加额外的后缀".log"， "/SERVER/" 表示匹配的模式，每匹配到一次，就生成一个小文件，且匹配到的行是该小文件中的内容， "{*}" 表示无限匹配前一个模式即/SERVER/直到文件结尾，假如不知道{*}或指定为{1}，将匹配一次成功后就不再匹配。
[root@linuxidc ~]# ls test_*test_0000.log test_0001.log test_0002.log test_0003.log
上面的文件中虽然只有三个段落：SERVER-1，SERVER-2，SERVER-3，但切分的结果生成了4个小文件，并且注意到第一个小文件大小为0字节。为什么会如此？因为在模式匹配的时候，每匹配到一行，这一行就作为下一个小文件的起始行。由于此文件第一行"SERVER-1"就被/SERVER/匹配到了，因此这一行是作为下一个小文件的内容，在此小文件之前还自动生成一个空文件。
生成的空文件可以使用"-z"选项来删除。
[root@linuxidc ~]# csplit -f test1_ -z -b %04d.log test.txt /SERVER/ {*}140
139
140
还可以指定只拷贝匹配到的行偏移数量。例如，匹配到行时，只拷贝它后面的1行(包括它自身共两行)，但多余的行将放入下一个小文件中。
[root@linuxidc ~]# csplit -f test2_ -z -b %04d.log test.txt /SERVER/+2 {*}42
139
140
98
第一个小文件只有两行。
[root@linuxidc ~]# cattest2_0000.log
SERVER-1[connection]192.168.0.1 success
SERVER-1段落的其余内容放入到了第二个小文件中。
[root@linuxidc ~]# cattest2_0001.log
[connection]192.168.0.2failed
[disconnect]192.168.0.3pending
[connection]192.168.0.4success
SERVER-2[connection]192.168.0.1 failed
同理第三个小文件也一样，直到最后一个小文件中存放剩余所有无法匹配的内容。
[root@linuxidc ~]# cattest2_0003.log
[connection]192.168.0.2pending
[disconnect]192.168.0.3pending
[connection]192.168.0.4 failed
指定"-s"或"-q"选项以静默模式运行，将不会输出小文件的大小信息。
[root@linuxidc ~]# csplit -q -f test3_ -z -b %04d.log test.txt /SERVER/+2 {*}

③ “方法”Linux下将文件打包、压缩并分割成指定大小

https://blog.csdn.net/whu_zhangmin/article/details/45870077

tar -zcvf cm-11.tar.gz cm-11
//将cm-11文件夹压缩成cm-11.tar.gz

split -b 4000M -d -a 1 cm-11.tar.gz cm-11.tar.gz.
//使用split命令，-b 4000M 表示设置每个分割包的大小，单位还是可以k
// -d "参数指定生成的分割包后缀为数字的形式
//-a x来设定序列的长度(默认值是2)，这里设定序列的长度为1
执行命令后，生成压缩包如下：

tar -zcvf cm-11.tar.gz cm-11 | split -b 4000M -d -a 1 - cm-11.tar.gz.
//采用管道，其中 - 参数表示将所创建的文件输出到标准输出上

tar -zxvf cm-11.tar.gz

cat cm-11.tar.gz.* | tar -zxv

tar可以用来压缩打包单文件、多个文件、单个目录、多个目录。
Linux打包命令 tar
tar命令可以用来压缩打包单文件、多个文件、单个目录、多个目录。
常用格式：
单个文件压缩打包 tar -czvf my.tar.gz file1
多个文件压缩打包 tar -czvf my.tar.gz file1 file2,...（file ）（也可以给file 文件mv 目录在压缩）
单个目录压缩打包 tar -czvf my.tar.gz dir1
多个目录压缩打包 tar -czvf my.tar.gz dir1 dir2
解包至当前目录：tar -xzvf my.tar.gz
cpio
含子目录find x* | cpio -o > /y/z.cpio
不含子目录ls x* | cpio -o > /y/z.cpio
解包： cpio -i < /y/z.cpio
[root@linux ~]# tar [-cxtzjvfpPN] 文件与目录 ....
参数：
-c ：建立一个压缩文件的参数指令(create 的意思)；
-x ：解开一个压缩文件的参数指令！
-t ：查看 tarfile 里面的文件！
特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！
因为不可能同时压缩与解压缩。
-z ：是否同时具有 gzip 的属性？亦即是否需要用 gzip 压缩？
-j ：是否同时具有 bzip2 的属性？亦即是否需要用 bzip2 压缩？
-v ：压缩的过程中显示文件！这个常用，但不建议用在背景执行过程！
-f ：使用档名，请留意，在 f 之后要立即接档名喔！不要再加参数！
例如使用‘ tar -zcvfP tfile sfile’就是错误的写法，要写成
‘ tar -zcvPf tfile sfile’才对喔！
-p ：使用原文件的原来属性（属性不会依据使用者而变）
-P ：可以使用绝对路径来压缩！
-N ：比后面接的日期(yyyy/mm/dd)还要新的才会被打包进新建的文件中！
--exclude FILE：在压缩的过程中，不要将 FILE 打包！

④ linux 如何将一个大文件分成几个小文件

1、连接上相应的linux主机，进入到等待输入shell指令的linux命令行状态下。

⑤ linux分割文件test.txt分别储存两个文件里

摘要 您好，linux下文件分割可以通过split命令来实现，可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现，非常简单。

⑥ 如何将linux文件分割为几个

Linux中分割文件用split命令，这个命令可以将一个文件分割成指定大小的多个文件，split命令的用法是：
split -b 分割的大小 需要分割的文件名 分割后文件的前导文字
这里解释一下，-b参数表示按照文件大小单位来进行分割（split命令还有一个-l参数，是根据文本文件的行数来进行分割，这个-b参数是根据大小来分割的），-b参数后面跟的是分割的依据——文件大小，文件大小的单位可以是b、k、m，比如300m。“分割后文件的前导文字”是干嘛的呢，其实是在分割后的文件名前面加上一个前缀。下面是一个例子，就假设需要分割的文件是/root/bigfile：
split -b 50m /root/bigfile chunk
这条命令产生的分割文件可能是：chunkaa、chunkab、chunkac，看到前导文字的作用了吧。
那么如何将分割后的文件再合并起来呢，还是接着上面的那个例子，用下面这条命令就可以了（先用cd /root切换到/root目录）：
cat chunk* >> bigfile

⑦ linux 如何将一个大文件分成几个小文件

方法/步骤
1.命令：split，例子：
2.以行数拆分
-l参数：
3.split
–l
50
原始文件
拆分后文件名前缀
4.说明：以50行对文件进行拆分，最后一个文件的行数没有50行以实际行数进行分配，比如有一个名为
wlan_date.txt的文件，公有120行，进行拆分：
split
-l
50
wlan_date.txt
wlan
5.拆分后会生成
wlanaa
wlanab
wlanac
三个文件，wlanaa
wlanab两个文件分别50行，wlanac文件剩下20行
6.以大小拆分
-b参数：split
–b
50
原始文件
拆分后文件名前缀

⑧ linux-字符处理

linux基础-字符处理

linux管道命令（pipe）

菜鸟教程

管道是一种通信机制，通常用于进程间的通信，它表现出来的形式将前面每一个进程的输出直接作为下一个进程的输入。

管道命令使用 | 作为界定符号。

默认情况下，sort命令以第一列进行排序

反向排序

按指定列进行排序，默认是空白符，也可以用 -t 指定分隔符

第二列排序的时候可以加 -n 进行数值排序

进行排序后，排序结果会显示在终端，但是原文件不会改变，可以用-o重定向或者另存。用 > 覆盖某个文件会失败，数据被清空，但是用 >> 追加可以

为初学者提供的uniq命令教程及示例

uniq 命令用于检查及删除文本文件中重复出现的行列。uniq命令只有在相邻的情况下才会删除重复的行，因此一般与 sort 命令结合使用，此外，该命令也可以检查文本文件中重复出现的行列，默认区分大小写。

准备一个文件

准备一个文件

以分割符指定分割某些特定的列

Linux tr 命令用于转换或删除文件中的字符。

tr 指令从标准输入设备读取数据，经过字符串转译后，将结果输出到标准输出设备。

语法：tr [OPTION]…SET1[SET2]

小写转换为大写

删除字符

Linux paste 命令用于合并文件的列。

paste 指令会把每个文件以列对列的方式，一列列地加以合并。

不加参数会默认以制表符为分界列对列合并

-d可以设置以何种字符合并

使用s参数时。单个文件会将该文件的多行数据合并成一行显示，多个文件会将各个文件单独合并成一行之后再行对行合并

Linux split命令用于将一个文件分割成数个。

该指令将大文件分割成较小的文件，在默认情况下将按照每1000行切割成一个小文件。

将根目录文件信息写入文件

对上面的文件9行为一个文件进行分割

以1k字节分割文件

不加参数会同时显示行数，字数，Bytes数，加上上述参数会单独显示其中一项

⑨ Linux下使用cronolog切割服务器日志文件的方法

Linux下运行的Web服务器Apache，默认日志文件是不分割的，一个整文件既不易于管理，也不易于分析统计。安装cronolog后，可以将日志文件按时间分割，易于管理和分析。

cronolog安装配置非常简单，下载后只需要输入几个命令即可完成。

1、下载（最新版本）

# wget http://cronolog.org/download/cronolog-1.6.2.tar.gz

2、解压缩

# tar zxvf cronolog-1.6.2.tar.gz

3、进入cronolog安装文件所在目录

# cd cronolog-1.6.2

4、运行安装

# ./configure

# make

# make install

5、查看cronolog安装后所在目录（验证安装是否成功）

# which cronolog

一般情况下显示为：/usr/local/sbin/cronolog

整个安装过程结束，下面需要把日志的格式配置一下：

1、虚拟主机配置文件 httpd-vhosts.conf

将Web日志设置 CustomLog 修改为以下格式

CustomLog "|/usr/local/sbin/cronolog /www/logs/example_%Y%m%d.log" combined

当然，错误日志设置 ErrorLog 也可以利用 cronolog 分割，设置为

ErrorLog "|/usr/local/sbin/cronolog /www/logs/error_%Y%m%d.log"

2、如果服务器上只有一个站点（当然这种情况比较少），直接按上面所说格式修改 httpd.conf 文件日志设置部分。

说明：

绿色部分 为 cronolog 安装后所在位置，系统版本不同可能位置不完全一样，以 which 命令查看到的位置为准；

蓝色部分 为设置的日志文件所在位置，根据需要修改；

红色部分 为设置的日志文件标识性字符，根据需要修改；

%Y%m%d 为日志文件分割方式，例子中为“年月日”，也可以修改成自己需要的。

修改httpd.conf文件：

这个文件在我的电脑上是在 /etc/httpd/conf/httpd.conf 不同的服务器 应该是不一样的

在最后加上

# ServerAdmin [email protected]

# DocumentRoot /www/docs/mmy-host.example.com

# ServerName mmy-host.example.com

ErrorLog /data/logs/apache/webapps.wps.cn-error_log

CustomLog "|/usr/local/sbin/cronolog /data/logs/apache/%Y%m%d/access_log.%H" combined

#这个保证了每天一个文件夹 文件夹下 每个小时产生一个log

#CustomLog "|/usr/local/sbin/cronolog /data/logs/apache/%Y%m%%Hdaccess_log" combined

进入到 /etc/init.d/httpd configtest 这样验证你的配置文件是否正确

进入到 /etc/init.d/httpd restart 重启apache 服务器（不同的'系统应该是不一样 要自己找到）

用于Tomcat

第一步

将

if [ -z "$CATALINA_OUT" ] ; then

CATALINA_OUT="$CATALINA_BASE"/logs/catalina.out

fi

修改为

if [ -z "$CATALINA_OUT" ] ; then

CATALINA_OUT="$CATALINA_BASE"/logs/catalina.out.%Y-%m-%d

fi

第二步

将

touch "$CATALINA_OUT"

改为

#touch "$CATALINA_OUT"

第三步

将

org.apache.catalina.startup.Bootstrap "$@" start

>> "$CATALINA_OUT" 2>&1 &

修改为

org.apache.catalina.startup.Bootstrap "$@" start 2>&1

| /usr/local/sbin/cronolog "$CATALINA_OUT" >> /dev/null &

重新启动 Tomcat

service tomcat restart

可以在 Tomcat 的 logs 目录底下找到以系统日期为结尾的 catalina.out.yyyy-mm-dd 的档案，这样子就成功了。

后续就是持续观察看看是不是每天都有产生一个新的 catalina.out.yyyy-mm-dd 档案。然后再安排定期删除这些较旧的 log 档即可。