python3日誌分割

㈠ 如何用 python 分析網站日誌

日誌的記錄

Python有一個logging模塊，可以用來產生日誌。
（1）學習資料
http://blog.sina.com.cn/s/blog_4b5039210100f1wv.html

http://blog.donews.com/limodou/archive/2005/02/16/278699.aspx
http://kenby.iteye.com/blog/1162698
http://blog.csdn.NET/fxjtoday/article/details/6307285
前邊幾篇文章僅僅是其它人的簡單學習經驗，下邊這個鏈接中的內容比較全面。

http://www.red-dove.com/logging/index.html

（2）我需要關注內容
日誌信息輸出級別
logging模塊提供了多種日誌級別，如：NOTSET（0），DEBUG（10），
INFO（20），WARNING（30），WARNING（40），CRITICAL（50）。
設置方法：
logger = getLogger()
logger.serLevel(logging.DEBUG)

日誌數據格式
使用Formatter設置日誌的輸出格式。
設置方法：
logger = getLogger()
handler = loggingFileHandler(XXX)
formatter = logging.Formatter("%(asctime)s %(levelname) %(message)s","%Y-%m-%d,%H:%M:%S")

%(asctime)s表示記錄日誌寫入時間，"%Y-%m-%d,%H:%M:%S「設定了時間的具體寫入格式。
%(levelname)s表示記錄日誌的級別。
%(message)s表示記錄日誌的具體內容。

日誌對象初始化
def initLog():
logger = logging.getLogger()
handler = logging.FileHandler("日誌保存路徑")
formatter = logging.Formatter("%(asctime)s %(levelname) %(message)s","%Y-%m-%d,%H:%M:%S")
handler.setFormatter(formatter)
logger.addHandler(handler)
logger.setLevel

寫日誌
logging.getLogger().info(), logging.getLogger().debug()......

2. 日誌的分析。
（1）我的日誌的內容。(log.txt)
2011-12-12,12:11:31 INFO Client1: 4356175.0 1.32366309133e+12 1.32366309134e+12
2011-12-12,12:11:33 INFO Client1: 4361320.0 1.32366309334e+12 1.32366309336e+12
2011-12-12,12:11:33 INFO Client0: 4361320.0 1.32366309389e+12 1.32366309391e+12
2011-12-12,12:11:39 INFO Client1: 4366364.0 1.32366309934e+12 1.32366309936e+12
2011-12-12,12:11:39 INFO Client0: 4366364.0 1.32366309989e+12 1.32366309991e+12
2011-12-12,12:11:43 INFO Client1: 4371416.0 1.32366310334e+12 1.32366310336e+12
2011-12-12,12:11:43 INFO Client0: 4371416.0 1.32366310389e+12 1.32366310391e+12
2011-12-12,12:11:49 INFO Client1: 4376450.0 1.32366310934e+12 1.32366310936e+12
我需要將上述內容逐行讀出，並將三個時間戳提取出來，然後將其圖形化。

(2) 文件操作以及字元串的分析。
打開文件，讀取出一行日誌。
file = file("日誌路徑"，「r」)
while True:
line = file.readline()
if len(len) == 0:
break;
print line
file.close()

從字元串中提取數據。
字元串操作學習資料：

http://reader.you.com/sharelite?itemId=-4646262544179865983&method=viewSharedItemThroughLink&sharedBy=-1137845767117085734
從上面展示出來的日誌內容可見，主要數據都是用空格分隔，所以需要使用字元串的
split函數對字元串進行分割：
paraList = line.split(),該函數默認的分割符是空格,返回值為一個list。
paraList[3], paraList[4], paraList[5]中分別以字元串形式存儲著我需要的時間戳。

使用float(paraList[3])將字元串轉化為浮點數。
（3）將日誌圖形化。
matplotlib是python的一個繪圖庫。我打算用它來將日誌圖形化。
matplotlib學習資料。
matplotlib的下載與安裝：
http://yexin218.iteye.com/blog/645894
http://blog.csdn.Net/sharkw/article/details/1924949

對matplotlib的宏觀介紹：
http://apps.hi..com/share/detail/21928578
對matplotlib具體使用的詳細介紹：

http://blog.sina.com.cn/s/blog_4b5039210100ie6a.html
在matplotlib中設置線條的顏色和形狀：
http://blog.csdn.net/kkxgx/article/details/python

如果想對matplotlib有一個全面的了解，就需要閱讀教程《Matplotlib for Python developers》,教程下載地址:
http://download.csdn.net/detail/nmgfrank/4006691

使用實例
import matplotlib.pyplot as plt

listX = [] #保存X軸數據
listY = [] #保存Y軸數據
listY1 = [] #保存Y軸數據

file = file("../log.txt","r")#打開日誌文件

while True:
line = file.readline()#讀取一行日誌
if len(line) == 0:#如果到達日誌末尾，退出
break
paraList = line.split()
print paraList[2]
print paraList[3]
print paraList[4]
print paraList[5]
if paraList[2] == "Client0:": #在坐標圖中添加兩個點，它們的X軸數值是相同的
listX.append(float(paraList[3]))
listY.append(float(paraList[5]) - float(paraList[3]))
listY1.append(float(paraList[4]) - float(paraList[3]))

file.close()

plt.plot(listX,listY,'bo-',listX,listY1,'ro')#畫圖
plt.title('tile')#設置所繪圖像的標題
plt.xlabel('time in sec')#設置x軸名稱
plt.ylabel('delays in ms'')#設置y軸名稱

plt.show()

㈡ python 如何按比例分割文件

N=0.618
lines=open('a.txt','r').readlines()
lines_for_b=int(len(lines)*N)
open('b.txt','w').write(''.join(lines[:lines_for_b]))
open('c.txt','w').write(''.join(lines[lines_for_b:]))

㈢ Python 對一個TXT文件進行分割 並最後生成三個txt文件

漢子，主要是要雹孝咐使用正確源純的編解碼方式去識別
讀取txt文件
將慎乎內容分為三部分
再分別寫成txt文件即可

㈣ python 多線程中 日誌按天分割

python 的 logging 模塊， 在多線程應用中， logging.hanlders.TimedRotatingFileHandler 不能清洞前正常按日顫手期分割。

解決辦法為：重寫FileHandler類，用於多線程中日誌按天分割。

之後，Logger定義日誌的各種參數（格式等）：

實例化答清日誌：

㈤ python讀文件與分割

f = open("foo.txt") # 返回一個文件對象
line = f.readline() # 調用文件的 readline()方法
line.split("\001")
while line:
print line, # 後棗唯面跟 ',' 將忽略差岩頌換行虛鄭符
#print(line, end = '') # 在 Python 3 中使用
line = f.readline()

f.close()

㈥ python的日誌,如何做到一天是單獨一個日誌,並且定期清理

創建以日期為文件的log文件（如：20140911.log），寫日誌前判斷存放日誌路徑是否存在以當天日期為文件名的文件，如果存在添加日誌信息，不存在就創建，在寫日誌信息。
定期清理亦可以按照此思路來做

㈦ 利用python進行文本分割，每三行分成一個新文件

這個比較簡單

i=0
fw=open('0.txt','w')
forlineinopen('fn.txt','r'):
fw.write(line)
i+=1
ifi%3==2:
fw.close()
fw=open(str(i)+'.txt','w')
fw.close()

差不多就這樣，你試試，我沒有測試

㈧ 如何用python3 將一個大的excel文件（.xlsx）分割為多個excel的文件，sheet 不變。以下是我的代碼：

我覺得你要處理數據的話最好用資料庫，把excel中的數據讀入到資料庫中再處理就很輕鬆了。用python本身支持的sqlite就夠了，才800多兆而已。