快捷導(dǎo)航

MongoDB按時間分組操作實戰(zhàn)

更新時間：2023年05月25日 09:30:26 作者：愧怍12

MongoDB支持使用聚合操作來統(tǒng)計數(shù)據(jù),下面這篇文章主要給大家介紹了關(guān)于MongoDB按時間分組操作的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下

需求

需求是這樣的，要統(tǒng)計每一周的各個商品的銷售記錄，使用 echarts 圖表呈現(xiàn)，如下圖

說實話，一開始聽到這個需求的時候，我是有點慌的，因為 MongoDB 的分組玩的比較少（Mysql 也差不多），又要按照對應(yīng)的星期來進行分組，這在之前學(xué)習(xí) MongoDB 的時候還沒接觸過，于是就準備寫了這篇文章，來記錄下我是如何進行分組的

MongoDB 的一些時間操作符

時間操作符（專業(yè)術(shù)語應(yīng)該不是這個，后文暫且使用這個來描述），后面會用到的

$dayOfYear: 返回該日期是這一年的第幾天。（全年366天）
$dayOfMonth: 返回該日期是這一個月的第幾天。（1到31）
$dayOfWeek: 返回的是這個周的星期幾。（1：星期日，7：星期六）
$year: 返回該日期的年份部分
$month：返回該日期的月份部分（between 1 and 12.）
$week：返回該日期是所在年的第幾個星期（between 0 and 53）
$hour：返回該日期的小時部分
$minute: 返回該日期的分鐘部分
$second: 返回該日期的秒部分（以0到59之間的數(shù)字形式返回日期的第二部分，但可以是60來計算閏秒。）
$millisecond：返回該日期的毫秒部分（between 0 and 999.）
$dateToString：{ $dateToString: { format: <formatString>, date: <dateExpression> } }

日期分組

mongdb 聚合查詢?nèi)掌?統(tǒng)計每天數(shù)據(jù)

db.getCollection('Br-Special').aggregate(  
    [     
        {   $project : { day : {$substr: ["$datetime", 0, 10] }}},          
        {   $group   : { _id : "$day",  number : { $sum : 1 }}},  
        {   $sort    : { _id : -1 }}          
    ]  
)

result:

關(guān)于日期分組的話，我是借鑒了上面的，也確實帶我解惑了下如何按照日期分組。這里貼下我的代碼

 let list = await this.goodsModel
   .aggregate([
     { $project: { date: { $dateToString: ['$created_at', 0, 10] } } },
     { $group: { _id: '$date', count: { $sum: 1 } } },
     { $project: { date: '$_id', _id: 0, count: 1 } }, // 再使用$project將_id改名為date
     { $sort: { date: -1 } }, // 根據(jù)日期倒序
   ])
   .exec();

或者使用時間操作符（更準確一點）

 let list = await this.goodsModel
   .aggregate([
     {
       $project: { date: { $dateToString: { format: '%Y-%m-%d', date: '$created_at' } } },
     },
     { $group: { _id: '$date', count: { $sum: 1 } } },
     { $project: { date: '$_id', _id: 0, count: 1 } }, // 再使用$project將_id改名為date
     { $sort: { date: -1 } }, // 根據(jù)日期倒序
   ])
   .exec();

通過

要注意的是，$group 里的屬性必須為_id，不然無法分組

獲取到的數(shù)據(jù)如下（這里只顯示一周）

 [
   { "count": 54, "date": "2021-08-30" },
   { "count": 29, "date": "2021-08-29" },
   { "count": 16, "date": "2021-08-28" },
   { "count": 17, "date": "2021-08-27" },
   { "count": 12, "date": "2021-08-26" },
   { "count": 6, "date": "2021-08-25" }
   // { "count": 0, "date": "2021-08-24" },
 ]

如果只是日期和總商品的話，上面就足以顯示對應(yīng)的數(shù)據(jù)了，可我要根據(jù)星期進行分組的話，就需要替換 MongoDB 的時間轉(zhuǎn)化函數(shù)了

星期分組

星期分組的話，其實也挺簡單的，只需要把上面的

 $project: { day: { $dateToString: { format: "%Y-%m-%d", date: "$created_at" } } }

替換成

 $project: {
   week: {
     $dayOfWeek: {
       date: '$created_at';
     }
   }
 }

完整代碼如下

 // 要獲取的是一周前的零點時間
 let lastweekDay = dayjs(dayjs().add(-7, 'day').format('YYYY-MM-DD')).valueOf();
 ?
 let list = await this.goodsModel
   .aggregate([
     { $match: { created_at: { $gte: new Date(lastweekDay) } } }, //范圍時間
     { $project: { week: { $dayOfWeek: { date: '$created_at' } } } },
     { $group: { _id: '$week', count: { $sum: 1 } } },
     { $project: { week: '$_id', _id: 0, count: 1 } }, // 再使用$project將_id改名為week
     { $sort: { week: 1 } }, // 根據(jù)星期正序
   ])
   .exec();

獲取的結(jié)果如下

[
{ count: 29, week: 1 }, // 星期七(日)
{ count: 54, week: 2 }, // 星期一
{ count: 1, week: 3 }, // 星期二
{ count: 9, week: 4 }, // 星期三
{ count: 12, week: 5 }, // 星期四
{ count: 17, week: 6 }, // 星期五
{ count: 16, week: 7 }, // 星期六
];

但是，細心的你可能會發(fā)現(xiàn)，貌似數(shù)據(jù)對不上，注當天時間為 2021-08-30，星期一

[
{ "count": 54, "date": "2021-08-30" }, // 星期一
{ "count": 29, "date": "2021-08-29" }, // 星期七(日)
{ "count": 16, "date": "2021-08-28" }, // 星期六
{ "count": 17, "date": "2021-08-27" }, // 星期五
{ "count": 12, "date": "2021-08-26" }, // 星期四
{ "count": 9, "date": "2021-08-25" }, // 星期三
{ "count": 1, "date": "2021-08-24" } // 星期二
]

其實只需要把星期向后排序一位就行，因為星期本來就是將星期日作為第一天的，至此，按照星期分組總商品就算完畢了。同理，要按照月份，年份，甚至小時，分鐘，都可以直接利用時間操作符轉(zhuǎn)化時間來進行分組。

多商品

上述只是獲取了總商品了，要細分為多個商品的話，就需要再次利用聚合函數(shù)來進行分組了。

這里先演示分組多個商品先，就和正常分組一樣

 let list = await this.goodsModel.aggregate([
 { $group: { _id: "$type", count: { $sum: 1 } } },
 ]).exec()

結(jié)果如下（這里輸出_id，是因為沒有進行$project 改別名，商品所采用的是數(shù)字表示）

[
{ "_id": 1, "count": 111 },
{ "_id": 2, "count": 18 },
{ "_id": 4, "count": 2 },
{ "_id": 3, "count": 16 }
]

可以看到統(tǒng)計的是直接是所有商品的總和。

但問題來了，怎么樣能分組星期的同時，又對每個商品所在星期進行分組，并且到底是優(yōu)先分組星期期呢，還是優(yōu)先分組商品呢，這讓我陷入深深的思考。

最終實現(xiàn)

首先，絕對不可能使用兩次$group，要么沒有星期分組，要么沒有商品分組，于是我就把思路放在$project與$group內(nèi)，看看內(nèi)部是否有其他方法可以實現(xiàn)。

其中$group可以將屬性添加為數(shù)組，注意 goods: { $push: "$goods" }

 let list = await this.goodsModel
   .aggregate([
     { $match: { created_at: { $gte: new Date(lastweekDay) } } },
     { $project: { week: { $dayOfWeek: { date: '$created_at' } }, goods: 1 } },
     { $group: { _id: '$week', goods: { $push: '$goods' } } },
     { $project: { week: '$_id', _id: 0, goods: 1 } },
     { $sort: { week: 1 } },
   ])
   .exec();

可得到的數(shù)據(jù)卻是這樣的

[
{
"goods": [4, 4, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 4, 1, 1, 1, 1, 1, 1, 1],
"week": 1
},
{
"goods": [1, 1, 1, 1, 5, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 4, 1, 1, 1, 1, 1, 4, 1, 4, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
"week": 2
},
{
"goods": [1],
"week": 3
},
{
"goods": [3, 3, 3, 3, 3, 3, 3, 3, 4],
"week": 4
},
{
"goods": [3, 1, 1, 1, 3, 4, 1, 1, 1, 1, 1, 1],
"week": 5
},
{
"goods": [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 3, 3, 1, 1, 1, 1, 1],
"week": 6
},
{
"goods": [4, 3, 1, 1, 3, 3, 3, 3, 3, 1, 1, 1, 1, 1, 1, 1],
"week": 7
}
]

數(shù)據(jù)很接近了，如果我能把對應(yīng)的商品總和算起來就行了，但問題是怎么合起來。。。

待會，goods 既然是數(shù)組的話，那我能不能$unwind全部展開，然后我再來一次聚合，說干就干！

 let list = await this.goodsModel
   .aggregate([
     { $match: { created_at: { $gte: new Date(lastweekDay) } } },
     { $project: { week: { $dayOfWeek: { date: '$created_at' } }, goods: 1 } },
     { $group: { _id: '$week', goods: { $push: '$goods' } } },
     { $project: { week: '$_id', _id: 0, goods: 1 } },
     { $sort: { week: 1 } },
     { $unwind: '$goods' },
   ])
   .exec();

得到的數(shù)據(jù)（省略一堆）

[
{ "goods": 4, "week": 1 },
{ "goods": 4, "week": 1 },
{ "goods": 1, "week": 1 },
{ "goods": 1, "week": 1 },
{ "goods": 1, "week": 2 },
{ "goods": 1, "week": 3 },
{ "goods": 1, "week": 4 }
]

然后我就卡住了，因為我無論如何都無法分組一個字段的時候，又加以限制條件，要么分組商品的時候，統(tǒng)計的是一周各商品總數(shù)據(jù)，要么就是分組星期的時候，統(tǒng)計的是總的商品數(shù)據(jù)。在搜索大量資料后，查看官方一些文檔也未果，于是我決定自行寫一個 js 函數(shù)來進行排序（實在是折騰不動了，能力有限 ??）

最終完整代碼

 let lastweekDay = dayjs(dayjs().add(-7, 'day').format('YYYY-MM-DD')).valueOf();
 ?
 let list = await this.goodsModel
   .aggregate([
     { $match: { created_at: { $gte: new Date(lastweekDay) } } },
     { $project: { week: { $dayOfWeek: { date: '$created_at' } }, goods: 1 } },
     { $group: { _id: '$week', goods: { $push: '$goods' } } },
     { $project: { week: '$_id', _id: 0, goods: 1 } },
     { $sort: { week: 1 } },
     // { $unwind: "$goods" },
   ])
   .exec();
 ?
 function getEleNums(data) {
   var map = {};
   data.forEach((e) => {
     if (map[e]) {
       map[e] += 1;
     } else {
       map[e] = 1;
     }
   });
   return map;
 }
 ?
 list = list.map((l) => {
   l.goods = getEleNums(l.goods);
   return l;
 });
 cosnole.log(list);

運行后的 list 結(jié)果為

[
{ "goods": { "1": 26, "4": 3 }, "week": 1 },
{ "goods": { "1": 53, "4": 3, "5": 1 }, "week": 2 },
{ "goods": { "1": 1 }, "week": 3 },
{ "goods": { "3": 8, "4": 1 }, "week": 4 },
{ "goods": { "1": 9, "3": 2, "4": 1 }, "week": 5 },
{ "goods": { "1": 15, "3": 2 }, "week": 6 },
{ "goods": { "1": 9, "3": 6, "4": 1 }, "week": 7 }
]

如果是要 goods為分組的話，只需要把上面聚合代碼中week和goods替換一下便可。