python拆分文件

1. python大数据， 一些简单的操作

#coding:utf-8
#file: FileSplit.py

import os,os.path,time

def FileSplit(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
number = 100000 #每个小文件中保存100000条数据
dataLine = sFile.readline()
tempData = [] #缓存列表
fileNum = 1
if not os.path.isdir(targetFolder): #如果目标目录不存在，则创建
os.mkdir(targetFolder)
while dataLine: #有数据
for row in range(number):
tempData.append(dataLine) #将一行数据添加到列表中
dataLine = sFile.readline()
if not dataLine :
break
tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + str(fileNum) + ".txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tempData) #将列表保存到文件中
tFile.close()
tempData = [] #清空缓存列表
print(tFilename + " 创建于: " + str(time.ctime()))
fileNum += 1 #文件编号

sFile.close()

if __name__ == "__main__" :
FileSplit("access.log","access")
#coding:utf-8
#file: Map.py

import os,os.path,re

def Map(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
dataLine = sFile.readline()
tempData = {} #缓存列表
if not os.path.isdir(targetFolder): #如果目标目录不存在，则创建
os.mkdir(targetFolder)
while dataLine: #有数据
p_re = re.compile(r'(GET|POST)\s(.*?)\sHTTP/1.[01]',re.IGNORECASE) #用正则表达式解析数据
match = p_re.findall(dataLine)
if match:
visitUrl = match[0][1]
if visitUrl in tempData:
tempData[visitUrl] += 1
else:
tempData[visitUrl] = 1
dataLine = sFile.readline() #读入下一行数据

sFile.close()

tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')

tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + "_map.txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tList) #将列表保存到文件中
tFile.close()

if __name__ == "__main__" :
Map("access\\access.log1.txt","access")
Map("access\\access.log2.txt","access")
Map("access\\access.log3.txt","access")
#coding:utf-8
#file: Rece.py

import os,os.path,re

def Rece(sourceFolder, targetFile):
tempData = {} #缓存列表
p_re = re.compile(r'(.*?)(\d{1,}$)',re.IGNORECASE) #用正则表达式解析数据
for root,dirs,files in os.walk(sourceFolder):
for fil in files:
if fil.endswith('_map.txt'): #是rece文件
sFile = open(os.path.abspath(os.path.join(root,fil)), 'r')
dataLine = sFile.readline()

while dataLine: #有数据
subdata = p_re.findall(dataLine) #用空格分割数据
#print(subdata[0][0]," ",subdata[0][1])
if subdata[0][0] in tempData:
tempData[subdata[0][0]] += int(subdata[0][1])
else:
tempData[subdata[0][0]] = int(subdata[0][1])
dataLine = sFile.readline() #读入下一行数据

sFile.close()

tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')

tFilename = os.path.join(sourceFolder,targetFile + "_rece.txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tList) #将列表保存到文件中
tFile.close()

if __name__ == "__main__" :
Rece("access","access")

2. python如何实现分行提取指定字符串

python读取文件内容的方法：一.最方便的方法是一次性读取文件中的所有内容并放置到一个大字符串中：all_the_text=open('thefile.txt').read()#文本文件中的所有文本all_the_data=open('abinfile','rb').read()#二进制文件中的所有数据为了安全起见，最好还是给打开的文件对象指定一个名字，这样在完成操作之后可以迅速关闭文件，防止一些无用的文件对象占用内存。举个例子，对文本文件读取：file_object=open('thefile.txt')try:all_the_text=file_object.read()finally:file_object.close()不一定要在这里用Try/finally语句，但是用了效果更好，因为它可以保证文件对象被关闭，即使在读取中发生了严重错误。二.最简单、最快，也最具Python风格的方法是逐行读取文本文件内容，并将读取的数据放置到一个字符串行表中：list_of_all_the_lines=file_object.readlines()这样读出的每行文本末尾都带有"\n"符号；如果你不想这样，还有另一个替代的办法，比如：list_of_all_the_lines=file_object.read().splitlines()list_of_all_the_lines=file_object.read().split('\n')list_of_all_the_lines=[L.rstrip('\n')forLinfile_object]

3. python怎么两两查找多个文件相同内容

可以用 difflib库，下面给一个例子，具体需求自己研究
假如在同一个目录下有a.txt, b.txt 两个文本文件
a.txt 内容是
aaa
bbb

b.txt内容是
aaa
ccc

import difflib

a = open('a.txt', 'U').readlines()
b = open('b.txt', 'U').readlines()
diff = difflib.ndiff(a, b)

sys.stdout.writelines(diff)

结果是：
aaa
- bbb+ ccc

4. Python，把多个不同文件夹里前几个字相同的文件名的文件移动到另外一个以这几个字命名的文件夹里

代码本身不难，有几个地方是需要根据具体情况变化的。
基本步骤，就是遍历不同的文件夹，然后通过遍历获取的文件列表，匹配返回条件的文件，移动到指定文件夹。
遍历不同的文件夹，这个具体情况不同处理也不同，所以也给不了你具体的代码

5. python文件的创建、写入、读取

最近在构思如何 本地化股票数据 ，觉得有必要复习一下python对文件的创建、写入、和读取。

首先先了解一下对于文件的处理都有常用函数：

open(path, mode)：生成文件对象。

参数说明：path文件路径、mode文件的操作模式

文件的操作模式说明

1、写入模式：‘w’创建、‘wb’创建二进制、‘a’追加内容、‘ab’二进制形式追加内容（另外如在后面添加‘+’号，附加读取功能如：‘w+’）

可用write()、writelines()写入内容、close()保存文件

注意：windows系统在输入写入中文时，输入参数 encoding=‘utf-8’

可用read()函数对文件内容进行读取

注意：读取的内容是从结尾开始的，用seek(0)函数指定读取位置为开头

这里我用‘w+’模式来举例

2、读取模式：‘r’读取内容、‘rb’读取二进制内容（区别于写入模式的读取，读取模式从开头开始读取）

除了read()、还有readline()调用一次返回一行数据、readlines()返回每行数据list

另外还有mode属性：看查文件对象的模式、closed属性：判断文件是否关闭、name属性：返回文件名

这里我还要介绍一个关键字with，他是一个表达式能为调用的文件对象别名，且自动关闭文件。

6. python OpenCV视频拆分图片代码

应该是没有读进文件。使用opencv读取视频，图片时经常遇到的问题，就是使用cv2.read时不管是否成功读取文件，他都不会报错，直到你对读取到的数据处理时才会报错。
看你的报错，frame没有赋值，说明vc.read()没有正常执行，所以检查一下的你的文件是否有问题或者路径是否正确之类的。

7. python中如何将一个文件拆分为多个文件。即原文件中的一行分为一个文件并输出

把fv2=open('新文件'+'n','w')中的'n'改成str(n)