亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

MySQL?Flink實(shí)時(shí)流處理的核心技術(shù)之窗口機(jī)制

 更新時(shí)間:2023年05月09日 09:43:34   作者:奔跑如風(fēng)  
Flink是一款流處理框架,窗口機(jī)制是其核心技術(shù)之一。Flink的窗口機(jī)制可以將無(wú)限的數(shù)據(jù)流劃分為有限的窗口,并對(duì)窗口內(nèi)的數(shù)據(jù)進(jìn)行處理。Flink的窗口機(jī)制支持時(shí)間、計(jì)數(shù)、會(huì)話等多種窗口類型,并且可以在不同的窗口之間進(jìn)行流轉(zhuǎn)換和數(shù)據(jù)聚合,是實(shí)時(shí)流處理中非常重要的技術(shù)

1.為什么要學(xué)窗口

流式計(jì)算,一般有兩種場(chǎng)景:

  • 無(wú)限制的流式計(jì)算,比如:wordcount案例,它沒有任何外部的限制條件,這種情況不多。
  • 有限制的流式計(jì)算,比如:統(tǒng)計(jì)早高峰時(shí)間內(nèi)經(jīng)過某個(gè)道路的車輛數(shù)。

對(duì)于第二種情況來(lái)說,我們需要加上額外的限制條件。最常用的限制條件就是時(shí)間了。

這個(gè)時(shí)間段,在程序中,就用一個(gè)窗口來(lái)表示。

也就是說,窗口的作用:把流式計(jì)算轉(zhuǎn)換為批量計(jì)算,窗口是流轉(zhuǎn)批的一個(gè)橋梁。

這就是為什么要學(xué)窗口的原因了。

2.Flink中的窗口

在Flink中,窗口可以分為如下幾類:

  • 滾動(dòng)窗口(Tumble)
  • 滑動(dòng)窗口(hop、Slice)
  • 會(huì)話窗口(session)
  • 漸進(jìn)式窗口(cumulate)
  • 聚合窗口(over)

3.滾動(dòng)窗口(Tumble)

3.1 概念

滾動(dòng)窗口 :窗口大小 = 滾動(dòng)距離(時(shí)間間隔)

特點(diǎn):上一個(gè)窗口的結(jié)束就是下一個(gè)窗口的開始,數(shù)據(jù)不重復(fù)、也不丟失。

3.2 案例SQL

#1.創(chuàng)建source表
CREATE TABLE source_table ( 
 user_id STRING, 
 price BIGINT,
 `timestamp` bigint,
 row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`)),
 watermark for row_time as row_time - interval '0' second
) WITH (
  'connector' = 'socket',
  'hostname' = 'node1',        
  'port' = '9999',
  'format' = 'csv'
);
#2.語(yǔ)法
tumble(事件時(shí)間列,窗口大小)
窗口大小是用戶自定義的。比如30分鐘、1小時(shí)等。
直接把tumble窗口放在group by語(yǔ)句后即可。
比如:tumble(row_time,interval '5' second)
含義:定義一個(gè)5秒大小的滾動(dòng)窗口。
#3.數(shù)據(jù)處理
select 
user_id,
count(*) as pv,
    sum(price) as sum_price,
UNIX_TIMESTAMP(CAST(tumble_start(row_time, interval '5' second) AS STRING)) * 1000  as window_start,
UNIX_TIMESTAMP(CAST(tumble_end(row_time, interval '5' second) AS STRING)) * 1000  as window_end
from source_table
group by
    user_id,
    tumble(row_time, interval '5' second);

到此這篇關(guān)于MySQL Flink實(shí)時(shí)流處理的核心技術(shù)之窗口機(jī)制的文章就介紹到這了,更多相關(guān)MySQL Flink窗口機(jī)制內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • mysql 的indexof函數(shù)用法說明

    mysql 的indexof函數(shù)用法說明

    這篇文章主要介紹了mysql 的indexof函數(shù)用法說明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧
    2020-12-12
  • MySQL的主鍵命名策略相關(guān)

    MySQL的主鍵命名策略相關(guān)

    這篇文章主要介紹了MySQL的主鍵命名策略的的相關(guān)資料,幫助大家更好的理解和使用MySQL數(shù)據(jù)庫(kù),感興趣的朋友可以了解下
    2021-01-01
  • MySQL聚合查詢與聯(lián)合查詢操作實(shí)例

    MySQL聚合查詢與聯(lián)合查詢操作實(shí)例

    這篇文章主要給大家介紹了關(guān)于MySQL聚合查詢與聯(lián)合查詢操作的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用MySQL具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2022-02-02
  • MySQL權(quán)限變更何時(shí)生效

    MySQL權(quán)限變更何時(shí)生效

    本文為大家講述了對(duì)三種級(jí)別權(quán)限的變更后,使其生效的方法,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪<BR>
    2023-10-10
  • mysql查看用戶權(quán)限常用的方法

    mysql查看用戶權(quán)限常用的方法

    MySQL是一個(gè)流行的開源關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng),具有強(qiáng)大的功能和靈活的用戶權(quán)限控制機(jī)制,這篇文章主要給大家介紹了關(guān)于mysql查看用戶權(quán)限常用的方法,需要的朋友可以參考下
    2024-03-03
  • 從數(shù)據(jù)庫(kù)中取出最近三十天的數(shù)據(jù)并生成柱狀圖

    從數(shù)據(jù)庫(kù)中取出最近三十天的數(shù)據(jù)并生成柱狀圖

    從數(shù)據(jù)庫(kù)中取出最近三十天的數(shù)據(jù)并生成柱狀圖的代碼,需要的朋友可以參考下。
    2011-05-05
  • MySQL復(fù)制表常用的四種方式小結(jié)

    MySQL復(fù)制表常用的四種方式小結(jié)

    mysql?想必大家比較熟悉了,我們常見的crud??sql想必大家也是手到拈來(lái),但可能會(huì)有人不會(huì)寫mysql中復(fù)制表,所以接下來(lái)本文我會(huì)介紹四種常用的復(fù)制表的方式,需要的朋友可以參考下
    2023-07-07
  • Ubuntu下MySQL及工具安裝配置詳解

    Ubuntu下MySQL及工具安裝配置詳解

    這篇文章主要為大家詳細(xì)介紹了Ubuntu下MySQL及工具安裝配置方法,感興趣的小伙伴們可以參考一下
    2016-06-06
  • 詳解MySQL中varchar和int隱式轉(zhuǎn)換的注意事項(xiàng)

    詳解MySQL中varchar和int隱式轉(zhuǎn)換的注意事項(xiàng)

    這篇文章主要為大家詳細(xì)介紹了MySQL中varchar和int隱式轉(zhuǎn)換的注意事項(xiàng),文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
    2023-12-12
  • 教你用eclipse連接mysql數(shù)據(jù)庫(kù)

    教你用eclipse連接mysql數(shù)據(jù)庫(kù)

    這篇文章主要介紹了教你用eclipse連接mysql數(shù)據(jù)庫(kù),文中有非常詳細(xì)的圖文示例,對(duì)不會(huì)鏈接mysql的小伙伴們有很大的幫助,需要的朋友可以參考下
    2021-04-04

最新評(píng)論