快捷導(dǎo)航

簡(jiǎn)介Redis中的showlog功能

更新時(shí)間：2015年06月29日 15:02:17 投稿：goldensun

這篇文章主要介紹了簡(jiǎn)介Redis中的showlog功能,作者同時(shí)對(duì)比了DEL命令的性能,需要的朋友可以參考下

Redis 有一個(gè)實(shí)用的slowlog功能，正如你可以猜到的，可以讓你檢查運(yùn)行緩慢的查詢. Slowlog 將會(huì)記錄運(yùn)行時(shí)間超過(guò)Y微秒的最后X條查詢. X 和 Y 可以在 redis.conf 或者在運(yùn)行時(shí)通過(guò) CONFIG 命令:

復(fù)制代碼代碼如下:

CONFIG SET slowlog-log-slower-than 5000

CONFIG SET slowlog-max-len 25 

進(jìn)行設(shè)置。

slowlog-log-slower-than 是用來(lái)設(shè)置微秒數(shù)的, 因此上面的設(shè)置將記錄執(zhí)行時(shí)間超過(guò)5秒的查詢. 要獲取記錄的日志，你可以使用 SLOWLOG GET X 命令, 這里 X 是你想要獲取的記錄條數(shù):

復(fù)制代碼代碼如下:

SLOWLOG GET 10

它將會(huì)展示一個(gè)唯一的id，時(shí)間戳和發(fā)生的查詢，查詢執(zhí)行所花掉的時(shí)間和實(shí)際被執(zhí)行的命令+參數(shù). 你可以通過(guò)SLOWLOG RESET擦出日志.

最后一次查看slowlog，我很不淡定的看到DEL命令的執(zhí)行竟然花了超過(guò)20毫秒的時(shí)間. 還記得嗎，Redis是單線程的，因此這樣會(huì)阻塞（并且嚴(yán)重的有礙）我們系統(tǒng)的并發(fā). 還有，因?yàn)檫@是一個(gè)寫操作，它將會(huì)在向所有從屬Redis服務(wù)復(fù)制的時(shí)候阻塞這一復(fù)制過(guò)程. 額，到底這是咋回事呢?

也許除了我之外所有人都知道這個(gè)問(wèn)題了，但是這證明了Redis的DEL命令的時(shí)間復(fù)雜度對(duì)于字符串和哈希值而言是O(1)，而對(duì)于list、set和sorted set而言則是O(N) (這里的 N 是集合中數(shù)據(jù)項(xiàng)的數(shù)目). 你會(huì)刪除一個(gè)包含數(shù)百萬(wàn)條數(shù)據(jù)的set嗎? 那就等著阻塞吧.

我們的解決方案很簡(jiǎn)單: 不去刪除這些數(shù)據(jù)項(xiàng)，而是將它們重命名，并且在后臺(tái)作業(yè)中用小而可間斷的塊去執(zhí)行對(duì)它們的刪除操作. 首先，是我們的delayed_delete函數(shù):

local key = KEYS[1]
local data_type = redis.call('type', key).ok
 
if data_type == 'set' or data_type == 'zset' then
 local temp = 'gc:tmp:' .. redis.call('incr', 'gc:ids') .. ':' .. key
 redis.call('rename', key, temp)
 return redis.call('sadd', 'gc:' .. data_type, temp)
end
 
return redis.call('del', key)

這將會(huì)將集合重命名，并且將新的名稱添加到gc:set 或者 gc:zset set中 (我們沒(méi)有使用 list, 但如果你使用了的話，你也應(yīng)該向其加入這方面的支持).

下一步我們安排了一個(gè)Ruby腳本每分鐘運(yùn)行一次:

require 'redis'
r = Redis.new(driver: :hiredis)
r.srandmember('gc:set', 10000).each do |set|
 items = r.srandmember(set, 5000)
 if items.nil? || items.length == 0
  r.srem('gc:set', set)
  next
 end
 r.srem(set, items)
end
 
r.srandmember('gc:zset', 10000).each do |zset|
 if r.zremrangebyrank(zset, 0, 5000) < 5000
  r.srem('gc:zset', zset)
 end
end

你可以基于自己的需要將修改數(shù)字. 你的集合有多大，以及它們被刪除有多頻繁? 因?yàn)槲覀儾蝗ヌ^(guò)頻繁的做這些類型的產(chǎn)出操作, 我們可以一次只進(jìn)行一小塊的刪除操作.

不過(guò)這種方法比直接刪除更加的慢, 但它在并發(fā)的環(huán)境下卻可以表現(xiàn)得很好.

您可能感興趣的文章: