前言

最近遇到的一個(gè)數(shù)據(jù)統(tǒng)計(jì)折線(xiàn)圖的性能優(yōu)化點(diǎn)，可以說(shuō)是一定思維上的轉(zhuǎn)變，就記錄下咯

背景：cron定時(shí)任務(wù)讀取當(dāng)前統(tǒng)計(jì)數(shù)據(jù)的異常值，頻率為每五分鐘記錄一次，折線(xiàn)圖要求獲取每日的異常項(xiàng)峰值

最一開(kāi)始的想法：將數(shù)據(jù)讀取到內(nèi)存中進(jìn)行條件過(guò)濾、計(jì)算

首先根據(jù)時(shí)間戳將數(shù)據(jù)以日期作為分組，其次在每個(gè)分組中獲取異常項(xiàng)的峰值數(shù)據(jù)，時(shí)間復(fù)雜度O(n*n)，最好以日期分組列表+峰值數(shù)據(jù)列表作為對(duì)象返回結(jié)果

遇到性能問(wèn)題：一天的數(shù)據(jù)量為(60/5)*24=288，默認(rèn)日期為15天，則統(tǒng)計(jì)的數(shù)據(jù)量為4230，接口返回甚至需要8、9秒的時(shí)間，作為一個(gè)項(xiàng)目的門(mén)面折線(xiàn)圖，這種情況 達(dá)咩！

優(yōu)化的念頭：我要拿每天的峰值數(shù)據(jù)，怎么才能直接取到每天的峰值呢，mongo的聚合是不是可以做到??？ $group可以按日期做分組， $max可以拿到最大值，接下來(lái)一個(gè) $sort好像是就成了吧！ 說(shuō)干就干?。?/p>

接下來(lái)的聚合語(yǔ)句均為mongo pipeline，最后附上golang的bson條件哈

// ResultCountModel _
type ResultCountModel struct {
	CommonBase `json:",inline" yaml:",inline" bson:",inline"`
	ErrorCount int   `json:"error_count" bson:"error_count"`
	Timestamp  int64 `json:"timestamp" bson:"timestamp"`
	MaxTime    int64 `json:"max_time" bson:"max_time"`
}

數(shù)據(jù)結(jié)構(gòu)定義如上，這里使用CommonBase，是因?yàn)樵?group聚合后會(huì)得到_id唯一標(biāo)識(shí)字段，因此便于獲取最后的聚合結(jié)果，在定義結(jié)構(gòu)體時(shí)將其加上；timestamp單位為毫秒

1、日期篩選

第一步，毫無(wú)疑問(wèn)，對(duì)時(shí)間戳timestamp進(jìn)行日期的過(guò)濾

  {
    $match: {
        timestamp: {
            $gte: 1671897600000, // min_timestamp
            $lt: 1673280000000   // max_timestamp
        }
    }
  }

• $gte 大于等于
• $lt 小于

2、日期轉(zhuǎn)換

第二步，根據(jù)時(shí)間戳大小進(jìn)行日期的轉(zhuǎn)換，這里是用的是$project， 將具有請(qǐng)求字段的文檔傳遞到管道中的下一階段。指定的字段可以是輸入文檔中的現(xiàn)有字段或是新計(jì)算的字段

使用$project主要思路是，將timestamp時(shí)間戳轉(zhuǎn)換為標(biāo)準(zhǔn)日期，之后輸出為想要的format形式；同時(shí)使用 $project保留需要的字段

時(shí)間戳轉(zhuǎn)換日期

核心方法：$dateToString

{ 
  $dateToString: {
    date: <dateExpression>,
    format: <formatString>,
    timezone: <tzExpression>,
    onNull: <expression>
  }
}

• date ：要轉(zhuǎn)換的字符串日期，必須是解析為Date、Timestamp、ObjectID 的有效表達(dá)式
• format： 日期格式規(guī)范
• timezone：運(yùn)算結(jié)果的時(shí)區(qū)，常用UTC偏移量
• onNull： date為null或缺失時(shí)要返回的值

日期格式想要“月份-日期”，那format: “%m-%d”

日期數(shù)據(jù)這里，如果直接使用輸入文檔中的現(xiàn)有字段的話(huà) date: “$timestamp”，則會(huì)報(bào)錯(cuò)：PlanExecutor error during aggregation :: caused by :: can’t convert from BSON type long to Date

因此我們需要將時(shí)間戳轉(zhuǎn)換為日期： 即格林威治開(kāi)始時(shí)間(1970-01-01 00：00：00)+時(shí)間戳+時(shí)差

  date:{
    $add:[
      new Date(0),
      "$timestamp",
      28800000
    ]
  },

注意??：

• MongoDB時(shí)間的基本單位為毫秒，所以本文直接使用”$timestamp”即可；若時(shí)間單位為秒級(jí)時(shí)，則需要使用 $multiply進(jìn)行乘法運(yùn)算：{ $multiply:[" $timestamp”,1000]}
• MongoDB是UTC時(shí)區(qū)，即中時(shí)區(qū)(0度經(jīng)線(xiàn))， 中國(guó)為東八區(qū)，因此需要使用timezone添加8小時(shí)(即28800000毫秒)

pipeline如下：

  day:{
    $dateToString:{
      format:"%m-%d",
      date:{
        $add:[
          new Date(0),
          "$timestamp",
          28800000
        ]
      },
    }
  },

保留需要字段

/**
 * specifications: The fields to
 *   include or exclude.
 */
{
  timestamp:1,
  error_count:1,
}

$project將保留字段置為1即可進(jìn)行數(shù)據(jù)保留操作

第二步完整pipeline如下：

{
    $project: {
        day: {
            $dateToString: {
                format: '%m-%d',
                date: {
                    $add: [
                        ISODate('1970-01-01T00:00:00.000Z'),
                        '$timestamp',
                        28800000
                    ]
                }
            }
        },
        timestamp: 1,
        error_count: 1
    }
},

3、日期分組

第三步，使用$group進(jìn)行日期分組

{
  $group:
    {
      _id: <expression>, // Group key
      <field1>: { <accumulator1> : <expression1> },
      ...
    }
 }

• _id： 表達(dá)式指定組密鑰
• field： 計(jì)算使用的累加器運(yùn)算符

這里我們需要將第二步獲得的日期轉(zhuǎn)換進(jìn)行分組聚合，同時(shí)獲取每個(gè)分組的異常項(xiàng)最大值即峰值數(shù)據(jù)

{
    $group: {
        _id: '$day',
        error_count: {
            $max: '$error_count'
        },
        max_time: {
            $max: '$timestamp'
        }
    }
}, 

這里額外獲取了max_time字段，主要用于在計(jì)算統(tǒng)計(jì)數(shù)據(jù)時(shí)的排序，在最后排序部分會(huì)使用到

4、日期排序

這里做一個(gè)假設(shè)，如果不使用max_time的話(huà)，如何將數(shù)據(jù)進(jìn)行按日期的排序呢？ 如果根據(jù)_id進(jìn)行排序，則會(huì)出現(xiàn)“上年末”排序在“下年初”的情況（感謝現(xiàn)在的??，不然會(huì)忘記這個(gè)問(wèn)題）

所以將每個(gè)分組的最大時(shí)間戳保留下來(lái)時(shí)很有必要的！

這里取$max $min都是可以的哈

{
    $sort: {
        max_time: 1
    }
}

最終完整pipeline：

[{
 $match: {
  timestamp: {
   $gte: 1671897600000,
   $lt: 1673280000000
  }
 }
}, {
 $project: {
  day: {
   $dateToString: {
    format: '%m-%d',
    date: {
     $add: [
      ISODate('1970-01-01T00:00:00.000Z'),
      '$timestamp',
      28800000
     ]
    }
   }
  },
  timestamp: 1,
  error_count: 1
 }
}, {
 $group: {
  _id: '$day',
  error_count: {
   $max: '$error_count'
  },
  max_time: {
   $max: '$timestamp'
  }
 }
}, {
 $sort: {
  max_time: 1
 }
}]
[{
 $match: {
  timestamp: {
   $gte: 1671897600000,
   $lt: 1673280000000
  }
 }
}, {
 $project: {
  day: {
   $dateToString: {
    format: '%m-%d',
    date: {
     $add: [
      ISODate('1970-01-01T00:00:00.000Z'),
      '$timestamp',
      28800000
     ]
    }
   }
  },
  timestamp: 1,
  error_count: 1
 }
}, {
 $group: {
  _id: '$day',
  error_count: {
   $max: '$error_count'
  },
  max_time: {
   $max: '$timestamp'
  }
 }
}, {
 $sort: {
  max_time: 1
 }
}]

在golang里面，Aggregate則直接使用pipeline即可，亦可轉(zhuǎn)換為filter使用

filter代碼：

filter := bson.A{
		bson.D{{"$match", bson.D{
			{"timestamp", bson.D{
				{"$gte", param.MinTimestamp},
				{"$lt", param.MaxTimestamp},
			}}}},
		},
		bson.D{{"$project", bson.D{
			{"day", bson.D{
				{"$dateToString", bson.D{
					{"format", "%m-%d"},
					{"date", bson.D{
						{"$add", bson.A{
							time.Date(1970, 1, 1, 0, 0, 0, 0, time.UTC),
							"$timestamp",
							28800000,
						}},
					}},
				}},
			}},
			{"error_count", 1},
			{"timestamp", 1},
		}}},
		bson.D{{"$group", bson.D{
			{"_id", "$day"},
			{"max_time", bson.D{{"$max", "$timestamp"}}},
			{"error_count", bson.D{{"$max", "$error_count"}}},
		}}},
		bson.D{{"$sort", bson.D{{"max_time", 1}}}},
	}

完結(jié)撒花??

補(bǔ)充：解決MongoDB存儲(chǔ)時(shí)間時(shí)差的問(wèn)題

MongoDB存儲(chǔ)時(shí)間類(lèi)型數(shù)據(jù)時(shí)，都是先轉(zhuǎn)換為UTC時(shí)間，然后存儲(chǔ)到數(shù)據(jù)庫(kù)中,當(dāng)我們?nèi)〕龃鎯?chǔ)的時(shí)間時(shí)，就會(huì)出現(xiàn)時(shí)差的問(wèn)題。比如我們用的北京時(shí)間，讀取到的數(shù)值就會(huì)看到比當(dāng)前時(shí)間少了8個(gè)小時(shí)，難道說(shuō)我們?cè)诿看巫x取的時(shí)候都要單獨(dú)處理一下時(shí)間嗎，這就比較麻煩。其實(shí)，我們可以在存儲(chǔ)的時(shí)候進(jìn)行相應(yīng)的處理，只需使用getTimezoneOffset()和toISOString()函數(shù)。

getTimezoneOffset函數(shù)：返回此地區(qū)的時(shí)差(當(dāng)?shù)貢r(shí)間與GMT格林威治標(biāo)準(zhǔn)時(shí)間的地區(qū)時(shí)差)，單位為分鐘。

<script>
  // 我們是東八區(qū)
  var d = new Date();
  var tz = d.getTimezoneOffset();
  console.log(tz);  // -480
</script>

toISOString()函數(shù)：使用ISO標(biāo)準(zhǔn)將 Date 對(duì)象轉(zhuǎn)換為字符串。

該標(biāo)準(zhǔn)稱(chēng)為 ISO-8601 ，格式為: YYYY-MM-DDTHH:mm:ss.sssZ。

封裝時(shí)間轉(zhuǎn)換函數(shù)

localDate(v) {
    const d = new Date(v || Date.now());
    d.setMinutes(d.getMinutes() - d.getTimezoneOffset());
    return d.toISOString();
},

我們?cè)诖鎯?chǔ)時(shí)間的時(shí)候調(diào)用localDate()這個(gè)函數(shù)就可以了，無(wú)論你處在哪個(gè)時(shí)區(qū)結(jié)果顯示都和當(dāng)?shù)貢r(shí)間一樣。

總結(jié)

到此這篇關(guān)于MongoDB時(shí)間戳轉(zhuǎn)日期及日期分組的文章就介紹到這了,更多相關(guān)MongoDB時(shí)間戳轉(zhuǎn)日期內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論