python写文件缓存

① python读写文件

读文件

    1）使用open()方法打开文件，返回一个文件对象

        原型：open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True)

        举例：f = open('test.txt', 'r')

        test.txt表示文件路径(包含文件名，这个file参数可以是绝对或者相对路径)

        r表示是读文本文件，rb是读二进制文本文件。（这个mode参数默认值就是r）

    2）使用close()方法关闭文件

        f.close()

        打开后的文件必须关闭，因为文件对象会占用系统资源，系统打开文件数量也就有限了

    3）打开文件时的异常处理

        f=open('test.txt', 'r')

        f.read()

        f.close()

        FileNotFoundError: [Errno 2] No such file or directory: 'test.txt'

        文件读写时都有可能产生异常IOError(比如文件不存在)，这样其后面的f.read()，f.close()就不会调用。为保证无论是否异常都可以关闭文件，一般使用try ... finally来处理：

        try:

            f = open('test.txt', 'r')

            f.read()

        finally:

            if f:

                f.close()

        但这种写法过于繁琐，所以Python引入了with语句来自动调用close()方法：

        with open('test.txt', 'r') as f:

            f.read()

    4）读文件 - read()、readline() 和 readlines()

        read() 一次读取整个文件，它通常用于将文件内容放到一个字符串变量中。如果文件过大，内存不够，可以通过反复调用read(size)方法，每次最多读取size个字节的内容。

        readline() 一次读取文件中一行内容，可反复调用

        readlines() 一次读取所有内容并按行返回列表，该列表可以由for ... in ... 结构再进一步处理。

        特别注意：

        这三种方法是把每行末尾的'\n'也读进来了，如有需要就得我们手动去掉'\n'

        with open('test.txt', 'r') as f:

            list = f.readlines()

        for i in range(0, len(list)):

            list[i] = list[i].rstrip('\n')

写文件

    1）写文件和读文件是一样的，唯一区别是open文件时，传入标识符不同，即'w'或者'wb'表示写文本文件或写二进制文件

    f = open('test.txt', 'w')

    f = open('test.txt', 'wb')

    f = open('test.txt', 'a')

    f.close()

    特别注意：

    1. 如果没有这个文件，会自动创建一个新文件；如果有，就会先把原文件的内容清空再写入；若不想清空原来的内容而是直接在后面追加新的内容，就用'a'这个模式

    2. 写文件，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。

    2）写文件 - write()、writelines()

    write()方法和read()、readline()方法对应，是将字符串写入到文件中。

    writelines()方法和readlines()方法对应，也是针对 列表 的操作。它接收一个 字符串行表 作为参数，将他们写入到文件中。

    特别注意：

    换行符不会自动的加入，需要显式的加入换行符。

    f = open('test.txt', 'w')

    f.writelines(["111\n", "222\n", "333\n"])

补充说明：

1）对于非默认编码(utf-8)的文件，需要open时添加encording参数，选择对应的编码方式

2）r+, w+, a+，可读可写

3）seek()方法，移动文件指针

seek(offset[, whence]) ，offset是相对于某个位置的偏移量。位置由whence决定，默认whence=0，从开头起；whence=1，从当前位置算起；whence=2相对于文件末尾移动，通常offset取负值。

② 一道Python的题目：实现一个简易的写缓存机制。要怎么写是哪方面的知识要去看什么内容

#-*-coding:utf-8-*-

__author__='lpe234'
__date__='2015-04-30'


classMemCache(object):

def__init__(self,limit=3):
self.limit=limit
self.store=[]

defput(self,param=None):
self.store.append(param)
iflen(self.store)>=self.limit:
self._write_db(self.store[:self.limit])
self.store=self.store[self.limit:]

def_write_db(self,param=None):
print'writetodb{0}'.format(param)

if__name__=='__main__':
mem=MemCache(limit=7)
user_input=range(20)
forxinuser_input:
mem.put(x)

C:Python27python.exeD:/00/gui/tmp.py
writetodb[0,1,2,3,4,5,6]
writetodb[7,8,9,10,11,12,13]

Processfinishedwithexitcode0

③ python的内存管理机制

论坛

活动

招聘

专题

打开CSDN APP
Copyright © 1999-2020, CSDN.NET, All Rights Reserved

登录

XCCS_澍
关注
Python 的内存管理机制及调优手段？ 原创
2018-08-05 06:50:53

XCCS_澍

码龄7年

关注
内存管理机制：引用计数、垃圾回收、内存池。
一、引用计数：
    引用计数是一种非常高效的内存管理手段， 当一个 Python 对象被引用时其引用计数增加 1， 当其不再被一个变量引用时则计数减 1. 当引用计数等于 0 时对象被删除。
二、垃圾回收 ：
1. 引用计数
      引用计数也是一种垃圾收集机制，而且也是一种最直观，最简单的垃圾收集技术。当 Python 的某个对象的引用计数降为 0 时，说明没有任何引用指向该对象，该对象就成为要被回收的垃圾了。比如某个新建对象，它被分配给某个引用，对象的引用计数变为 1。如果引用被删除，对象的引用计数为 0，那么该对象就可以被垃圾回收。不过如果出现循环引用的话，引用计数机制就不再起有效的作用了
2. 标记清除
     如果两个对象的引用计数都为 1，但是仅仅存在他们之间的循环引用，那么这两个对象都是需要被回收的，也就是说，它们的引用计数虽然表现为非 0，但实际上有效的引用计数为 0。所以先将循环引用摘掉，就会得出这两个对象的有效计数。
3. 分代回收
     从前面“标记-清除”这样的垃圾收集机制来看，这种垃圾收集机制所带来的额外操作实际上与系统中总的内存块的数量是相关的，当需要回收的内存块越多时，垃圾检测带来的额外操作就越多，而垃圾回收带来的额外操作就越少；反之，当需回收的内存块越少时，垃圾检测就将比垃圾回收带来更少的额外操作。

④ python 如何释放缓存

我觉得可能是因为你的py文件在第一次启动后，已经编译成pyc文件了，再次启动的时候都是加载pyc，省去了编译的阶段，所以速度很快。
你可以试着把程序目录下的所有pyc或者你的代码文件对应的pyc文件删除，看看是不是可以和第一次加载速度相同

⑤ Python大数据， 一些简单的操作

#coding:utf-8
#file: FileSplit.py

import os,os.path,time

def FileSplit(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
number = 100000 #每个小文件中保存100000条数据
dataLine = sFile.readline()
tempData = [] #缓存列表
fileNum = 1
if not os.path.isdir(targetFolder): #如果目标目录不存在，则创建
os.mkdir(targetFolder)
while dataLine: #有数据
for row in range(number):
tempData.append(dataLine) #将一行数据添加到列表中
dataLine = sFile.readline()
if not dataLine :
break
tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + str(fileNum) + ".txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tempData) #将列表保存到文件中
tFile.close()
tempData = [] #清空缓存列表
print(tFilename + " 创建于: " + str(time.ctime()))
fileNum += 1 #文件编号

sFile.close()

if __name__ == "__main__" :
FileSplit("access.log","access")
#coding:utf-8
#file: Map.py

import os,os.path,re

def Map(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
dataLine = sFile.readline()
tempData = {} #缓存列表
if not os.path.isdir(targetFolder): #如果目标目录不存在，则创建
os.mkdir(targetFolder)
while dataLine: #有数据
p_re = re.compile(r'(GET|POST)\s(.*?)\sHTTP/1.[01]',re.IGNORECASE) #用正则表达式解析数据
match = p_re.findall(dataLine)
if match:
visitUrl = match[0][1]
if visitUrl in tempData:
tempData[visitUrl] += 1
else:
tempData[visitUrl] = 1
dataLine = sFile.readline() #读入下一行数据

sFile.close()

tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')

tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + "_map.txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tList) #将列表保存到文件中
tFile.close()

if __name__ == "__main__" :
Map("access\\access.log1.txt","access")
Map("access\\access.log2.txt","access")
Map("access\\access.log3.txt","access")
#coding:utf-8
#file: Rece.py

import os,os.path,re

def Rece(sourceFolder, targetFile):
tempData = {} #缓存列表
p_re = re.compile(r'(.*?)(\d{1,}$)',re.IGNORECASE) #用正则表达式解析数据
for root,dirs,files in os.walk(sourceFolder):
for fil in files:
if fil.endswith('_map.txt'): #是rece文件
sFile = open(os.path.abspath(os.path.join(root,fil)), 'r')
dataLine = sFile.readline()

while dataLine: #有数据
subdata = p_re.findall(dataLine) #用空格分割数据
#print(subdata[0][0]," ",subdata[0][1])
if subdata[0][0] in tempData:
tempData[subdata[0][0]] += int(subdata[0][1])
else:
tempData[subdata[0][0]] = int(subdata[0][1])
dataLine = sFile.readline() #读入下一行数据

sFile.close()

tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')

tFilename = os.path.join(sourceFolder,targetFile + "_rece.txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tList) #将列表保存到文件中
tFile.close()

if __name__ == "__main__" :
Rece("access","access")

⑥ 如何在python中使用时间限制进行缓存

可以试试装饰器

defcache(fn=None,time_to_live=3600*24):#oneDAYdefault(orwhatever)
ifnotfn:returnfunctools.partial(cache,time_to_live=time_to_live)
my_cache={}
def_inner_fn(*args,**kwargs)
kws=sorted(kwargs.items())#inpython3.6+youdontneedsorted
key=tuple(args)+tuple(kw)
ifkeynotinmy_cacheortime.time()>my_cache[key]['expires']:
my_cache[key]={"value":fn(*args,**kwargs),"expires":time.time()+time_to_live}
returnmy_cache[key]
return__inner_fn

@cache(time_to_live=3600)#anhour
defmy_sqrt(x):
returnx**0.5@cache(time_to_live=60*30)#30mins
defget_new_emails():
returnmy_stmp.get_email_count()