Linkis 在上層應(yīng)用程序和底層引擎之間構(gòu)建了一層計算中間件。通過使用 Linkis 提供的 REST/WebSocket/JDBC 等標(biāo)準(zhǔn)接口， 上層應(yīng)用可以方便地連接訪問 MySQL/Spark/Hive/Presto/Flink 等底層引擎，同時實現(xiàn)變量、腳本、函數(shù)和資源文件等用戶資源的跨上層應(yīng)用互通。

作為計算中間件，Linkis 提供了強大的連通、復(fù)用、編排、擴展和治理管控能力。通過計算中間件將應(yīng)用層和引擎層解耦，簡化了復(fù)雜的網(wǎng)絡(luò)調(diào)用關(guān)系， 降低了整體復(fù)雜度，同時節(jié)約了整體開發(fā)和維護(hù)成本。

Linkis 自 2019 年開源發(fā)布以來，已累計積累了 700 多家試驗企業(yè)和 1000+沙盒試驗用戶，涉及金融、電信、制造、互聯(lián)網(wǎng)等多個行業(yè)。 許多公司已經(jīng)將 Linkis 作為大數(shù)據(jù)平臺底層計算存儲引擎的統(tǒng)一入口，和計算請求/任務(wù)的治理管控利器。

核心特點

1、豐富的底層計算存儲引擎支持

目前支持的計算存儲引擎 Spark、Hive、Flink、Python、Pipeline、Sqoop、openLooKeng、Presto、ElasticSearch、JDBC 和 Shell 等

正在支持中的計算存儲引擎 Trino(計劃 1.3.1)、SeaTunnel(計劃 1.3.1) 等

支持的腳本語言 SparkSQL、HiveQL、Python、Shell、Pyspark、R、Scala 和 JDBC 等

2、強大的計算治理能力

基于 Orchestrator、Label Manager 和定制的 Spring Cloud Gateway 等服務(wù)，Linkis 能夠提供基于多級標(biāo)簽的跨集群/跨 IDC 細(xì)粒度路由、負(fù)載均衡、多租戶、流量控制、資源控制和編排策略 (如雙活、主備等) 支持能力

3、全棧計算存儲引擎架構(gòu)支持

能夠接收、執(zhí)行和管理針對各種計算存儲引擎的任務(wù)和請求，包括離線批量任務(wù)、交互式查詢?nèi)蝿?wù)、實時流式任務(wù)和存儲型任務(wù)

4、資源管理能力

ResourceManager 不僅具備對 Yarn 和 Linkis EngineManager 的資源管理能力，還將提供基于標(biāo)簽的多級資源分配和回收能力，讓 ResourceManager 具備跨集群、跨計算資源類型的強大資源管理能力

5、統(tǒng)一上下文服務(wù)

為每個計算任務(wù)生成 context id，跨用戶、系統(tǒng)、計算引擎的關(guān)聯(lián)管理用戶和系統(tǒng)資源文件(JAR、ZIP、Properties 等)，結(jié)果集，參數(shù)變量，函數(shù)等，一處設(shè)置，處處自動引用

6、統(tǒng)一物料

系統(tǒng)和用戶級物料管理，可分享和流轉(zhuǎn)，跨用戶、系統(tǒng)共享物料

7、統(tǒng)一數(shù)據(jù)源管理

提供了 hive、es、mysql、kafka 類型數(shù)據(jù)源的增刪查改、版本控制、連接測試等功能

8、數(shù)據(jù)源對應(yīng)的元數(shù)據(jù)查詢

提供了 hive、es、mysql、kafka 元數(shù)據(jù)的數(shù)據(jù)庫、表、分區(qū)查詢

編譯和安裝部署

 ## 后端編譯
注意:如果使用 -Dlinkis.build.web=true 來構(gòu)建web鏡像，需要首先執(zhí)行 管理臺 linkis-web 的編譯

### Mac OS/Linux 系統(tǒng)
# 1. 首次編譯，請執(zhí)行如下命令
./mvnw -N install
# 2. 構(gòu)建 Linkis 部署包
# - 選項 1: 僅構(gòu)建 Linkis 服務(wù)部署包
./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
# - 選項 2: 構(gòu)建 Linkis 服務(wù)部署包和 Docker 鏡像
# - 選項 2.1: 構(gòu)建的鏡像中不包含 mysql jdbc 包
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
# - 選項 2.2: 構(gòu)建的鏡像中包含 mysql jdbc 包
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true -Dlinkis.build.with.jdbc=true
# - 選項 3: 構(gòu)建 Linkis 服務(wù)部署包和 Docker 鏡像（包括 Web 控制臺）
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true -Dlinkis.build.web=true
# - 選項 4: 僅構(gòu)建 Linkis 服務(wù)部署包和 Docker 鏡像（包括 Web 控制臺和 LDH 鏡像，LDH 鏡像包換了多個預(yù)先配置和部署好的 Hadoop 組件，主要面向測試用途）
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true -Dlinkis.build.web=true -Dlinkis.build.ldh=true -Dlinkis.build.with.jdbc=true

### Windows 系統(tǒng)
mvnw.cmd -N install
mvnw.cmd clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true

## 管理臺編譯
cd incubator-linkis/linkis-web
npm install
npm run build

 集成 MySQL JDBC 驅(qū)動

由于MySQL的許可協(xié)議限制，官方發(fā)布的 Linkis 鏡像沒有集成 MySQL JDBC 驅(qū)動。 然而，在現(xiàn)階段，Linkis 仍然依賴這個庫才能正常運行。 為了解決這個問題， 我們提供了一個腳本，它可以幫助你快速的基于官方的 Linkis 鏡像創(chuàng)建一個集成了MySQL JDBC 的自定義鏡像。 這個工具創(chuàng)建的鏡像默認(rèn)的名稱是 linkis:with-jdbc。

$> LINKIS_IMAGE=linkis:1.3.1
$> ./linkis-dist/docker/scripts/make-linikis-image-with-mysql-jdbc.sh