① redis怎麼設置自動刪除最久數據
用一個可以"find reference"的IDE,沿著setex(Set the value and expiration of a key)命令一窺究竟:
void setexCommand(redisClient *c) {
c->argv[3] = tryObjectEncoding(c->argv[3]);
setGenericCommand(c,0,c->argv[1],c->argv[3],c->argv[2]);
}
setGenericCommand是一個實現set,setnx,setex的通用函數,參數設置不同而已。
void setCommand(redisClient *c) {
c->argv[2] = tryObjectEncoding(c->argv[2]);
setGenericCommand(c,0,c->argv[1],c->argv[2],NULL);
}
void setnxCommand(redisClient *c) {
c->argv[2] = tryObjectEncoding(c->argv[2]);
setGenericCommand(c,1,c->argv[1],c->argv[2],NULL);
}
void setexCommand(redisClient *c) {
c->argv[3] = tryObjectEncoding(c->argv[3]);
setGenericCommand(c,0,c->argv[1],c->argv[3],c->argv[2]);
}
再看setGenericCommand:
1 void setGenericCommand(redisClient *c, int nx, robj *key, robj *val, robj *expire) {
2 long seconds = 0; /* initialized to avoid an harmness warning */
3
4 if (expire) {
5 if (getLongFromObjectOrReply(c, expire, &seconds, NULL) != REDIS_OK)
6 return;
7 if (seconds <= 0) {
8 addReplyError(c,"invalid expire time in SETEX");
9 return;
10 }
11 }
12
13 if (lookupKeyWrite(c->db,key) != NULL && nx) {
14 addReply(c,shared.czero);
15 return;
16 }
17 setKey(c->db,key,val);
18 server.dirty++;
19 if (expire) setExpire(c->db,key,time(NULL)+seconds);
20 addReply(c, nx ? shared.cone : shared.ok);
21 }
22
13行處理"Set the value of a key, only if the key does not exist"的場景,17行插入這個key,19行設置它的超時,注意時間戳已經被設置成了到期時間。這里要看一下redisDb(即c->db)的定義:
typedef struct redisDb {
dict *dict; /* The keyspace for this DB */
dict *expires; /* Timeout of keys with a timeout set */
dict *blocking_keys; /* Keys with clients waiting for data (BLPOP) */
dict *io_keys; /* Keys with clients waiting for VM I/O */
dict *watched_keys; /* WATCHED keys for MULTI/EXEC CAS */
int id;
} redisDb;
僅關注dict和expires,分別來存key-value和它的超時,也就是說如果一個key-value是有超時的,那麼它會存在dict里,同時也存到expires里,類似這樣的形式:dict[key]:value,expires[key]:timeout.
當然key-value沒有超時,expires里就不存在這個key。剩下setKey和setExpire兩個函數無非是插數據到兩個字典里,這里不再詳述。
那麼redis是如何刪除過期key的呢。
通過查看dbDelete的調用者,首先注意到這一個函數,是用來刪除過期key的。
1 int expireIfNeeded(redisDb *db, robj *key) {
2 time_t when = getExpire(db,key);
3
4 if (when < 0) return 0; /* No expire for this key */
5
6 /* Don't expire anything while loading. It will be done later. */
7 if (server.loading) return 0;
8
9 /* If we are running in the context of a slave, return ASAP:
10 * the slave key expiration is controlled by the master that will
11 * send us synthesized DEL operations for expired keys.
12 *
13 * Still we try to return the right information to the caller,
14 * that is, 0 if we think the key should be still valid, 1 if
15 * we think the key is expired at this time. */
16 if (server.masterhost != NULL) {
17 return time(NULL) > when;
18 }
19
20 /* Return when this key has not expired */
21 if (time(NULL) <= when) return 0;
22
23 /* Delete the key */
24 server.stat_expiredkeys++;
25 propagateExpire(db,key);
26 return dbDelete(db,key);
27 }
28
ifNeed表示能刪則刪,所以4行沒有設置超時不刪,7行在"loading"時不刪,16行非主庫不刪,21行未到期不刪。25行同步從庫和文件。
再看看哪些函數調用了expireIfNeeded,有lookupKeyRead,lookupKeyWrite,dbRandomKey,existsCommand,keysCommand。通過這些函數命名可以看出,只要訪問了某一個key,順帶做的事情就是嘗試查看過期並刪除,這就保證了用戶不可能訪問到過期的key。但是如果有大量的key過期,並且沒有被訪問到,那麼就浪費了許多內存。Redis是如何處理這個問題的呢。
dbDelete的調用者里還發現這樣一個函數:
1 /* Try to expire a few timed out keys. The algorithm used is adaptive and
2 * will use few CPU cycles if there are few expiring keys, otherwise
3 * it will get more aggressive to avoid that too much memory is used by
4 * keys that can be removed from the keyspace. */
5 void activeExpireCycle(void) {
6 int j;
7
8 for (j = 0; j < server.dbnum; j++) {
9 int expired;
10 redisDb *db = server.db+j;
11
12 /* Continue to expire if at the end of the cycle more than 25%
13 * of the keys were expired. */
14 do {
15 long num = dictSize(db->expires);
16 time_t now = time(NULL);
17
18 expired = 0;
19 if (num > REDIS_EXPIRELOOKUPS_PER_CRON)
20 num = REDIS_EXPIRELOOKUPS_PER_CRON;
21 while (num--) {
22 dictEntry *de;
23 time_t t;
24
25 if ((de = dictGetRandomKey(db->expires)) == NULL) break;
26 t = (time_t) dictGetEntryVal(de);
27 if (now > t) {
28 sds key = dictGetEntryKey(de);
29 robj *keyobj = createStringObject(key,sdslen(key));
30
31 propagateExpire(db,keyobj);
32 dbDelete(db,keyobj);
33 decrRefCount(keyobj);
34 expired++;
35 server.stat_expiredkeys++;
36 }
37 }
38 } while (expired > REDIS_EXPIRELOOKUPS_PER_CRON/4);
39 }
40 }
41
這個函數的意圖已經有說明:刪一點點過期key,如果過期key較少,那也只用一點點cpu。25行隨機取一個key,38行刪key成功的概率較低就退出。這個函數被放在一個cron里,每毫秒被調用一次。這個演算法保證每次會刪除一定比例的key,但是如果key總量很大,而這個比例控制的太大,就需要更多次的循環,浪費cpu,控制的太小,過期的key就會變多,浪費內存——這就是時空權衡了。
最後在dbDelete的調用者里還發現這樣一個函數:
/* This function gets called when 'maxmemory' is set on the config file to limit
* the max memory used by the server, and we are out of memory.
* This function will try to, in order:
*
* - Free objects from the free list
* - Try to remove keys with an EXPIRE set
*
* It is not possible to free enough memory to reach used-memory < maxmemory
* the server will start refusing commands that will enlarge even more the
* memory usage.
*/
void freeMemoryIfNeeded(void)
這個函數太長就不再詳述了,注釋部分說明只有在配置文件中設置了最大內存時候才會調用這個函數,而設置這個參數的意義是,你把redis當做一個內存cache而不是key-value資料庫。
以上3種刪除過期key的途徑,第二種定期刪除一定比例的key是主要的刪除途徑,第一種「讀時刪除」保證過期key不會被訪問到,第三種是一個當內存超出設定時的暴力手段。由此也能看出redis設計的巧妙之處,
② Redis的過期刪除策略
Redis只能存5G數據,可是你 寫了10G,那會刪5G的數據。怎麼刪的?
數據已經設置了過期時間,但是時間到了,內存佔用率還是比較高,為什麼?
定期刪除+惰性刪除策略
定時刪除,用一個定時器來負責監視key,過期則自動刪除。雖然內存及時釋放,但是十分消耗CPU資源。在 大並發請求下,CPU要將時間應用在處理請求,而不是刪除key,因此沒有採用這一策略
定期刪除,redis默認每個100ms檢查,是否有過期的key,有過期key則刪除。需要說明的是,redis不是 每個100ms將所有的key檢查一次,而是隨機抽取進行檢查(如果每隔100ms,全部key進行檢查,redis豈不是卡 死)。因此,如果只採用定期刪除策略,會導致很多key到時間沒有刪除。 於是,惰性刪除派上用場。也就是說在你 獲取某個key的時候,redis會檢查一下,這個key如果設置了過期時間那麼是否過期了?如果過期了此時就會刪除。 採用定期刪除+惰性刪除就沒其他問題了么? 不是的,如果定期刪除沒刪除key。然後你也沒即時去請求key, 也就是說惰性刪除也沒生效。這樣,redis的內存會越來越高。那麼就應該採用內存淘汰機制。
③ Redis的過期數據會被立馬刪除嗎
答:不會被立馬刪除。Redis有兩種刪除過期數據的策略
惰性刪除:
定期刪除:
問:如果過期的數據太多,定期刪除無法刪除完全(每次刪除完過期的key還是超過25%,同時這些key也再也不會被客戶端請求,也就是無法走惰性刪除,會怎麼樣?會不會導致Redis內存耗盡,怎麼破?
答:走Redis內存淘汰機制。
④ redisesktop manager怎麼批量刪除數據
首先要明白redis是一個資料庫
redis是一個內存資料庫, 所有數據基本上都存在於內存當中, 會定時以追加或者快照的方式刷新到硬碟中.
由於redis是一個內存資料庫, 所以讀取寫入的速度是非常快的, 所以經常被用來做數據, 頁面等的緩存
⑤ 在不影響性能的情況下,怎麼快速批量刪除redis數據
你沒找對選中方法: 如果要刪除3-1000整行,你先選中第三行,右邊用滑鼠拉著滾動條到1000行,快的很,按著shift選中第1000行,就都選中了,右鍵/刪除行即可。 還有一種方法,你選中第三行/右鍵/插入(行);選中第1001行,右鍵/插入(行),在3-1000行之間隨便選中個單元格,ctrl+A,選中/刪除行
⑥ redis怎樣設置自動清除24小時之前的數據
Redis數據過期策略
redis提供了非常靈活的數據自動清除策略,通過簡單配置即可實現,以下是具體的策略:
noeviction:達到內存限制時返回報錯
allkeys-lru:對所有的key採用 (LRU) 演算法移除.
volatile-lru: 僅對設置過期時間的key採用(LRU)演算法移除.
allkeys-random: 對所有的key隨機選擇移除.
volatile-random: 僅對設置過期時間的key隨機選擇移除.
volatile-ttl:僅對設置過期時間的key選擇移除,移除時先移除過期時間小的key.
具體可參考網頁鏈接
⑦ Redis 的數據過期淘汰策略
Redis 中數據過期策略採用定期刪除+惰性刪除策略。
定期刪除策略:Redis 啟用一個定時器定時監視所有的 key,判斷key是否過期,過期的話就刪除。這種策略可以保證過期的 key 最終都會被刪除,但是也存在嚴重的缺點:每次都遍歷內存中所有的數據,非常消耗 CPU 資源,並且當 key 已過期,但是定時器還處於未喚起狀態,這段時間內 key 仍然可以用。
惰性刪除策略:在獲取 key 時,先判斷 key 是否過期,如果過期則刪除。這種方式存在一個缺點:如果這個 key 一直未被使用,那麼它一直在內存中,其實它已經過期了,會浪費大量的空間。
⑧ php如何把上傳的文件弄成臨時文件,24小時之後自動刪除
windows的計劃任務或者linux的定時器,定時去訪問一個php文件(這個php文件負責判斷文件上傳日期,然後刪除)。當然做不到自動刪除,只可能通過這種方式輪詢。
⑨ PHP刪除Redis所有數據
1、創建userinfo_update.php,用於查詢用戶信息,先顯示信息,在修改:先通過GET獲取用戶編號查詢用戶信息:$sql = "select * from user_info where user_id='".$_GET['userId']."'"; $result = mysql_query($sql,$con);if($row = mysql_fetch_array($result)){}。
⑩ php mysql 定時每天凌晨3點執行刪除數據任務
mysql定時任務
自 MySQL5.1.6起,增加了一個非常有特色的功能–事件調度器(Event Scheler),可以用做定時執行某些特定任務(例如:刪除記錄、對數據進行匯總等等),來取代原先只能由操作系統的計劃任務來執行的工作。更值得 一提的是MySQL的事件調度器可以精確到每秒鍾執行一個任務,而操作系統的計劃任務(如:Linux下的CRON或Windows下的任務計劃)只能精 確到每分鍾執行一次。對於一些對數據實時性要求比較高的應用(例如:股票、賠率、比分等)就非常適合。
如:每隔30秒將執行存儲過程test,將當前時間更新到examinfo表中id=14的記錄的endtime欄位中去.
CREATE PROCEDURE test ()
BEGIN
update examinfo SET endtime = now() WHERE id = 14;
END;
create event if not exists e_test
on schele every 30 second
on completion preserve
do call test();
2. windows、linux 的定時任務 這個就不舉例了,通過腳本定時去調用mysql執行