磚運行時的7.0(不支持)

磚這張照片在2020年6月發布。

以下版本注釋提供信息數據磚7.0運行時,由Apache 3.0火花。

新功能

磚7.0運行時包含了以下新的特點:

  • Scala 2.12

    磚運行時的7.0升級Scala 2.11.12 2.12.10。Scala 2.12和2.11之間的變化列表Scala 2.12.0發布說明。

  • 自動加載程序(公共預覽版)發布在磚6.4運行時,一直在改進磚7.0運行時

    自動加載器可以提供一個更有效的方法來處理新的數據文件逐步到達雲在ETL blob存儲。這是一個改進的基於文件的結構化流,識別新文件通過不斷雲目錄清單和跟蹤的文件已經出現,並且可以非常低效的目錄。自動加載程序也比file-notification-based更方便和有效的結構化流,這要求您手動配置file-notification服務在雲上,不讓你回填現有的文件。有關詳細信息,請參見自動加載器是什麼?。

  • 複製成(公共預覽版),它可以讓你與冪等數據加載到三角洲湖重試,一直在改進磚7.0運行時

    作為一個公共預覽版發布磚6.4運行時,複製成SQL命令允許您將數據加載到三角洲湖與冪等重試。將數據加載到三角洲湖今天你必須使用Apache火花DataFrame api。如果有在加載失敗,你必須有效地處理它們。新複製成命令提供了一個熟悉的聲明式界麵加載數據的SQL。命令跟蹤之前加載文件和你安全地重新運行失敗的案例。有關詳細信息,請參見複製到。

改進

  • 更多的並發流:亞馬遜運動

    亞馬遜運動結構化流源使用ListShards默認的列表的碎片運動流。這需要額外我權限成功運行您的流。在早期版本的磚運行時,DescribeStream在默認情況下使用。ListShards有一個API的限製明顯高於DescribeStream(每流為每秒100個請求ListShards與10每秒請求你整個AWS帳戶DescribeStream)。這一變化將允許用戶運行10多個並發動作流磚結構的流。

  • SQL Azure突觸(原數據倉庫)連接器支持複製聲明。

    的主要好處複製是低特權用戶可以寫入數據到Azure突觸無需嚴格嗎控製權限Azure突觸。

  • 的% matplotlib內聯神奇的命令已不再需要顯示Matplolib對象內聯在筆記本電池。他們總是默認顯示內聯。

  • Matplolib現在數據呈現透明= False不會丟失,所以指定的背景。這種行為可以通過設置覆蓋火花配置spark.databricks.workspace.matplotlib.transparent真正的。

  • 結構化流生產工作在高並發運行時模式集群,重啟的工作偶爾會失敗,因為之前運行工作不正常終止。磚6.3運行時介紹了設置SQL配置的能力spark.sql.streaming.stopActiveRunOnRestart真正的在您的集群,以確保之前停止運行。這個配置是磚7.0運行時的默認設置。

主要圖書館的變化

Python包

主要的Python包升級:

  • boto3 1.9.162 - > 1.12.0

  • matplotlib 3.0.3 - > 3.1.3

  • numpy 1.16.2 - > 1.18.1

  • 熊貓0.24.2 - > 1.0.1

  • 皮普19.0.3 - > 20.0.2

  • pyarrow 0.13.0 - > 0.15.1

  • psycopg2 2.7.6 - > 2.8.4

  • scikit-learn 0.20.3 - > 0.22.1

  • scipy 1.2.1 - > 1.4.1

  • seaborn 0.9.0 - > 0.10.0

Python包刪除:

  • 寶途(用boto3)

  • pycurl

請注意

磚的Python環境運行時7.0使用Python 3.7,這是不同的Python安裝Ubuntu係統:/usr/bin/python和/usr/bin/python2與Python 2.7和嗎/usr/bin/python3與Python 3.6。

R包

R包補充道:

  • 掃帚

  • highr

  • isoband

  • knitr

  • 減價

  • modelr

  • reprex

  • rmarkdown

  • 房車

  • selectr

  • tidyverse

  • tinytex

  • xfun

R包刪除:

  • abind

  • bitops

  • 車

  • carData

  • doMC

  • “綠帶運動”

  • 水

  • 的小

  • lme4

  • mapproj

  • 地圖

  • maptools

  • MatrixModels

  • minqa

  • mvtnorm

  • nloptr

  • openxlsx

  • pbkrtest

  • pkgKitten

  • quantreg

  • R.methodsS3

  • R.oo

  • R.utils

  • RcppEigen

  • RCurl

  • 力拓

  • sp

  • SparseM

  • statmod

  • 郵政編碼

Java和Scala庫

  • AWS SDK (aws-java-sdk)升級到1.11.655。

  • 亞馬遜運動1.12.0客戶端升級

  • Apache蜂巢蜂巢版本用於處理用戶定義函數和蜂巢並行轉換器升級到2.3。

  • 以前Azure存儲和關鍵庫jar打包為磚運行時的一部分,這將阻止你使用不同版本的庫連接到集群。類下com.microsoft.azure.storage和com.microsoft.azure.keyvault不再在磚的運行時類路徑。如果你依賴的類路徑,你現在必須附加存儲Azure SDK或Azure關鍵庫SDK集群。

行為變化

本節列出的行為變化從磚運行時的6.6至7.0磚運行時。你應該意識到這些工作負載遷移從較低的磚磚運行時7.0及以上的運行時版本。

引發行為變化

因為磚運行時的7.0是第一個磚3.0運行時建立在火花,有許多變化,你應該知道當你從磚遷移工作負載運行時5.5 LTS或6。2.4 x,這是建立在火花。這些變化中列出每個功能區的“行為改變”一節Apache火花部分本文發布說明:

其他行為變化

  • 升級到Scala 2.12涉及以下變化:

    • 包細胞序列化處理不同。下麵的例子說明了行為改變以及如何處理它。

      運行foo.bar.MyObjectInPackageCell.run ()如下包中定義的細胞將引發錯誤java.lang.NoClassDefFoundError:可以不初始化類foo.bar.MyObjectInPackageCell美元

      包噴火。酒吧情況下類MyIntStruct(int:Int)進口org。apache。火花。sql。SparkSession進口org。apache。火花。sql。功能。_進口org。apache。火花。sql。列對象MyObjectInPackageCell擴展可序列化的{/ /因為在火花執行人SparkSession不能被創造,/ /以下行觸發誤差/ /不能初始化類foo.bar.MyObjectInPackageCell $瓦爾火花=SparkSession。構建器。getOrCreate()def噴火:Int= >選項(MyIntStruct]=(x:Int)= >一些(MyIntStruct(One hundred.))瓦爾theUDF=udf(噴火)瓦爾df={瓦爾myUDFInstance=theUDF(上校(“id”))火花。範圍(0,1,1,1)。withColumn(“u”,myUDFInstance)}def運行():單位={df。收集()。foreach(println)}}

      要解決這個錯誤,你可以包裝MyObjectInPackageCell在一個可序列化的類。

    • 某些情況下使用DataStreamWriter.foreachBatch需要更新源代碼。這種變化是由於這一事實Scala 2.12從lambda表達式自動轉換到山姆類型和可能導致歧義。

      例如,下麵的Scala代碼不能編譯:

      流。writeStream。foreachBatch{(df,id)= >myFunc(df,id)}

      解決編譯錯誤,改變foreachBatch{(df,id)= >myFunc (df,id)}來foreachBatch (myFunc_)或使用Java API明確:foreachBatch(新VoidFunction2…)。

  • 1.11.655 AWS SDK升級,使用org.apache.hadoop.fs.s3native.NativeS3FileSystem需要AWS簽名v4和桶端點設置。403年禁止如果用戶可能會引發錯誤配置AWS簽名v2簽署與S3N S3請求文件係統或用戶訪問S3路徑包含“+”的角色,並使用遺留S3N文件係統(例如S3N: / /桶/路徑/ +文件)。

  • 因為Apache蜂巢蜂巢版本用於處理用戶定義函數和蜂巢並行轉換器是升級到2.3,需要兩個變化:

    • 蜂巢的SerDe接口是取而代之的是一個抽象類AbstractSerDe。對於任何定製的蜂巢SerDe實現,遷移到AbstractSerDe是必需的。

    • 設置spark.sql.hive.metastore.jars來內裝式意味著蜂巢2.3 metastore客戶機將用於訪問metastores磚7.0運行時。如果你需要訪問基於蜂巢1.2外部metastores集spark.sql.hive.metastore.jars的文件夾,其中包含蜂巢1.2罐。

不支持和刪除

  • 數據跳過指數棄用在磚磚4.3運行時,刪除7.0運行時。相反,我們建議您使用三角洲表提供改進的數據跳過功能。

  • 在磚7.0運行時,底層使用Scala 2.12版本的Apache火花。自庫編譯Scala 2.11可以禁用磚7.0運行時集群以意想不到的方式,集群運行磚運行時的7.0及以上不安裝圖書館所有集群上安裝配置。集群庫選項卡顯示一個狀態跳過棄用的信息,解釋了圖書館處理的變化。然而,如果你有一個集群,是磚的早期版本運行時創建的之前磚平台3.20版本發布到您的工作Beplay体育安卓版本空間中,你現在編輯集群使用磚7.0運行時,任何庫配置為安裝在所有集群將被安裝在集群。在這種情況下,任何不兼容的jar安裝庫可以使集群被禁用。解決方法是克隆集群或創建一個新的集群。

  • org.apache.hadoop.fs.s3native.NativeS3FileSystem和org.apache.hadoop.fs.s3.S3FileSystem不再支持訪問S3。

    我們強烈鼓勵你使用com.databricks.s3a.S3AFileSystem,這是默認的s3a: / /,s3: / /,s3n: / /在磚運行時文件係統方案。如果你需要援助與遷移com.databricks.s3a.S3AFileSystem,聯係磚或磚代表的支持。

  • 能夠使用磚文件係統(DBFS)是什麼?在磚Community Edition 7.0運行時刪除。我們建議您使用% fscp複製你的數據和從本地目錄。

Apache火花

磚7.0運行時包含Apache 3.0火花。

核心,火花SQL,結構化流

突出了

性能增強

可擴展性增強

連接器的增強

功能增強

SQL兼容性增強

監控和debugability增強

PySpark增強

文檔和測試覆蓋率的增強

其他值得注意的變化

行為變化引發的核心,火花SQL和結構化流

以下遷移指南列出行為改變之間的Apache 2.4和3.0火花。這些變化可能需要更新的工作你已經運行在較低的磚運行時版本:

以下行為變化中未涉及這些遷移指南:

  • 在火花3.0中,棄用類org.apache.spark.sql.streaming.ProcessingTime被移除。使用org.apache.spark.sql.streaming.Trigger.ProcessingTime代替。同樣的,org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger已被刪除的嗎Trigger.Continuous,org.apache.spark.sql.execution.streaming.OneTimeTrigger一直隱藏在忙的嗎Trigger.Once。(火星- 28199)

  • 在磚7.0運行時,閱讀一個蜂巢SerDe表時,默認情況下火花不允許讀文件下的子目錄表分區。要啟用它,設置配置spark.databricks.io.hive.scanNonpartitionedDirectory.enabled作為真正的。這並不影響火花原生表讀者和文件讀者。

MLlib

突出了

行為改變MLlib

以下遷移指南列出了Apache火花2.4和3.0之間的行為變化。這些變化可能需要更新的工作你已經運行在較低的磚運行時版本:

以下行為變化中未涉及遷移指南:

  • 在火花3.0中,一個多級邏輯回歸Pyspark現在將(正確地)返回LogisticRegressionSummary,而不是子類BinaryLogisticRegressionSummary。額外的暴露的方法BinaryLogisticRegressionSummary在這種情況下,無論如何也不會工作。(火星- 31681)

  • 在火花3.0中,pyspark.ml.param.shared.Has *mixin不提供任何設置*(自我,值)setter方法,使用各自的self.set(自我。*,值)代替。有關詳細信息,請參閱火花- 29093。(火星- 29093)

SparkR

  • 箭頭優化SparkR的互操作性(火星- 26759)

  • 通過矢量R性能增強新聞出版總署(),斑紋(),createDataFrame,收集()

  • “希望執行”R shell, IDE (火星- 24572)

  • R API為權力迭代聚類(火星- 19827)

行為改變SparkR

以下遷移指南列出了Apache火花2.4和3.0之間的行為變化。這些變化可能需要更新的工作你已經運行在較低的磚運行時版本:

編程指南

GraphX

編程指南:GraphX編程指南。

的用法

已知的問題

  • 解析天每年的使用模式字母“D”今年返回錯誤的結果,如果字段是失蹤。這可以發生在SQL函數to_timestamp它解析datetime字符串使用模式字符串datetime值。(火星- 31939)

  • 加入/窗/聚合內部子查詢可能導致錯誤結果如果鍵值-0.0和0.0。(火星- 31958)

  • 一個窗口查詢可能會失敗與模糊自意外錯誤。(火星- 31956)

  • 流媒體查詢,dropDuplicates運營商可能無法重啟檢查點火花寫的2.倍。(火星- 31990)

維護更新

看到磚7.0運行時的維護更新。

係統環境

  • 操作係統:Ubuntu 18.04.4 LTS

  • Java:1.8.0_252

  • Scala:2.12.10

  • Python:3.7.5

  • R:R版本3.6.3 (2020-02-29)

  • 三角洲湖0.7.0

安裝Python庫

圖書館

版本

圖書館

版本

圖書館

版本

asn1crypto

1.3.0

backcall

0.1.0

boto3

1.12.0

botocore

1.15.0

certifi

2020.4.5

cffi

1.14.0

chardet

3.0.4

密碼學

2.8

周期計

0.10.0

Cython

0.29.15

裝飾

4.1.1

docutils

0.15.2

entrypoints

0.3

idna

2.8

ipykernel

5.1.4

ipython

7.12.0

ipython-genutils

0.2.0

絕地武士

0.14.1

jmespath

0.9.4

joblib

0.14.1

jupyter-client

5.3.4

jupyter-core

4.6.1

kiwisolver

1.1.0

matplotlib

3.1.3

numpy

1.18.1

熊貓

1.0.1

parso

0.5.2

容易受騙的人

0.5.1

pexpect

4.8.0

pickleshare

0.7.5

皮普

20.0.2

prompt-toolkit

3.0.3

psycopg2

2.8.4

ptyprocess

0.6.0

pyarrow

0.15.1

pycparser

2.19

Pygments

2.5.2

PyGObject

3.26.1

pyOpenSSL

19.1.0

pyparsing

2.4.6

PySocks

1.7.1上

python-apt

1.6.5 + ubuntu0.3

python-dateutil

2.8.1發布

pytz

2019.3

pyzmq

18.1.1

請求

2.22.0

s3transfer

0.3.3

scikit-learn

0.22.1

scipy

1.4.1

seaborn

0.10.0

setuptools

45.2.0

六個

1.14.0

ssh-import-id

5.7

statsmodels

0.11.0

龍卷風

6.0.3

traitlets

4.3.3

unattended-upgrades

0.1

urllib3

1.25.8

virtualenv

16.7.10

wcwidth

0.1.8

輪

0.34.2

安裝R庫

R庫安裝(微軟在2020-04-22凹口快照)。

圖書館

版本

圖書館

版本

圖書館

版本

askpass

1.1

為了

0.2.1

補丁

1.1.6

基地

3.6.3

base64enc

0.1 - 3

黑洞

1.72.0-3

位

1.1 - -15.2

bit64

0.9 7

團

1.2.1 "

引導

-25 - 1.3

釀造

1.0 6

掃帚

0.5.6

callr

3.4.3

脫字符號

-86 - 6.0

cellranger

1.1.0

時間

-55 - 2.3

類

-17 - 7.3

cli

2.0.2

clipr

0.7.0

集群

魅惑

codetools

-16 - 0.2

色彩

1.4 - 1

commonmark

1.7

編譯器

3.6.3

配置

0.3

covr

3.5.0

蠟筆

1.3.4

相聲

1.1.0.1

旋度

4.3

data.table

1.12.8

數據集

3.6.3

DBI

1.1.0

dbplyr

3

desc

1.2.0

devtools

tripwire

消化

0.6.25

dplyr

0.8.5

DT

0.13

省略

0.3.0

評估

0.14

fansi

0.4.1

farver

2.0.3

fastmap

1.0.1

forcats

0.5.0

foreach

1.5.0

外國

-76 - 0.8

打造

0.2.0

fs

1.4.1

泛型

發布

ggplot2

3.3.0

“大酒店”

1.1.0

git2r

0.26.1

glmnet

3.0 - 2

全局變量

0.12.5

膠水

1.4.0

高爾

0.2.1

圖形

3.6.3

grDevices

3.6.3

網格

3.6.3

gridExtra

2.3

gsubfn

0.7

gtable

0.3.0

還

2.2.0

highr

0.8

hms

0.5.3

htmltools

0.4.0

htmlwidgets

1.5.1

httpuv

1.5.2

httr

1.4.1

hwriter

1.3.2

hwriterPlus

1.0 - 3

ini

0.3.1

不小

0.9 9

isoband

0.2.1

迭代器

1.0.12

jsonlite

1.6.1

KernSmooth

-17 - 2.23

knitr

1.28

標簽

0.3

晚些時候

1.0.0

晶格

-41 - 0.20

熔岩

1.6.7

lazyeval

0.2.2

生命周期

0.2.0

lubridate

1.7.8

magrittr

1.5

減價

1.1

質量

7.3 - -51.6

矩陣

-18 - 1.2

memoise

1.1.0

方法

3.6.3

mgcv

-31 - 1.8

mime

0.9

ModelMetrics

1.2.2.2

modelr

0.1.6

孟塞爾

0.5.0

nlme

-147 - 3.1

nnet

-14 - 7.3

numDeriv

2016.8 - -1.1

openssl

1.4.1

平行

3.6.3

支柱

3

pkgbuild

1.0.6

pkgconfig

2.0.3

pkgload

1.0.2中

plogr

0.2.0

plyr

1.8.6

讚美

1.0.0

prettyunits

1.1.1

pROC

1.16.2

processx

3.4.2

prodlim

2019.11.13

進步

1.2.2

承諾

1.1.0

原型

1.0.0

ps

1.3.2

purrr

0.3.4

r2d3

0.2.3

R6

2.4.1

randomForest

-14 - 4.6

rappdirs

0.3.1

rcmdcheck

1.3.3

RColorBrewer

1.1 - 2

Rcpp

1.0.4.6

readr

1.3.1

readxl

1.3.1

食譜

0.1.10

複賽

1.0.1

rematch2

2.1.1

遙控器

2.1.1

reprex

0.3.0

reshape2

1.4.4

雷克斯

1.2.0

rjson

0.2.20

rlang

0.4.5

rmarkdown

2.1

RODBC

-16 - 1.3

roxygen2

7.1.0

rpart

-15 - 4.1

rprojroot

1.3 - 2

Rserve

1.8 6

RSQLite

2.2.0

rstudioapi

0.11

rversions

2.0.1

房車

0.3.5

尺度

1.1.0

selectr

0.4 - 2

sessioninfo

1.1.1

形狀

1.4.4

閃亮的

1.4.0.2

sourcetools

0.1.7

sparklyr

1.2.0

SparkR

3.0.0

空間

-11 - 7.3

樣條函數

3.6.3

sqldf

-11 - 0.4

SQUAREM

2020.2

統計數據

3.6.3

stats4

3.6.3

stringi

1.4.6

stringr

1.4.0

生存

-12 - 3.1

sys

3.3

tcltk

3.6.3

TeachingDemos

2.10

testthat

2.3.2

寵物貓

3.0.1

tidyr

1.0.2中

tidyselect

1.0.0

tidyverse

1.3.0

timeDate

3043.102

tinytex

0.22

工具

3.6.3

usethis

1.6.0

use utf8

1.1.4

跑龍套

3.6.3

vctrs

0.2.4

viridisLite

0.3.0

晶須

0.4

withr

2.2.0

xfun

0.13

xml2

1.3.1

xopen

1.0.0

xtable

1.8 - 4

yaml

2.2.1

安裝了Java和Scala庫(Scala 2.12集群版)

組ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.11.655

com.amazonaws

aws-java-sdk-cloudformation

1.11.655

com.amazonaws

aws-java-sdk-cloudfront

1.11.655

com.amazonaws

aws-java-sdk-cloudhsm

1.11.655

com.amazonaws

aws-java-sdk-cloudsearch

1.11.655

com.amazonaws

aws-java-sdk-cloudtrail

1.11.655

com.amazonaws

aws-java-sdk-cloudwatch

1.11.655

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.655

com.amazonaws

aws-java-sdk-codedeploy

1.11.655

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.655

com.amazonaws

aws-java-sdk-cognitosync

1.11.655

com.amazonaws

aws-java-sdk-config

1.11.655

com.amazonaws

aws-java-sdk-core

1.11.655

com.amazonaws

aws-java-sdk-datapipeline

1.11.655

com.amazonaws

aws-java-sdk-directconnect

1.11.655

com.amazonaws

aws-java-sdk-directory

1.11.655

com.amazonaws

aws-java-sdk-dynamodb

1.11.655

com.amazonaws

aws-java-sdk-ec2

1.11.655

com.amazonaws

aws-java-sdk-ecs

1.11.655

com.amazonaws

aws-java-sdk-efs

1.11.655

com.amazonaws

aws-java-sdk-elasticache

1.11.655

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.655

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.655

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.655

com.amazonaws

aws-java-sdk-emr

1.11.655

com.amazonaws

aws-java-sdk-glacier

1.11.655

com.amazonaws

aws-java-sdk-iam

1.11.655

com.amazonaws

aws-java-sdk-importexport

1.11.655

com.amazonaws

aws-java-sdk-kinesis

1.11.655

com.amazonaws

aws-java-sdk-kms

1.11.655

com.amazonaws

aws-java-sdk-lambda

1.11.655

com.amazonaws

aws-java-sdk-logs

1.11.655

com.amazonaws

aws-java-sdk-machinelearning

1.11.655

com.amazonaws

aws-java-sdk-opsworks

1.11.655

com.amazonaws

aws-java-sdk-rds

1.11.655

com.amazonaws

aws-java-sdk-redshift

1.11.655

com.amazonaws

aws-java-sdk-route53

1.11.655

com.amazonaws

aws-java-sdk-s3

1.11.655

com.amazonaws

aws-java-sdk-ses

1.11.655

com.amazonaws

aws-java-sdk-simpledb

1.11.655

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.655

com.amazonaws

aws-java-sdk-sns

1.11.655

com.amazonaws

aws-java-sdk-sqs

1.11.655

com.amazonaws

aws-java-sdk-ssm

1.11.655

com.amazonaws

aws-java-sdk-storagegateway

1.11.655

com.amazonaws

aws-java-sdk-sts

1.11.655

com.amazonaws

aws-java-sdk-support

1.11.655

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.655

com.amazonaws

jmespath-java

1.11.655

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

流

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同學

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.10.0

com.fasterxml.jackson.core

jackson-core

2.10.0

com.fasterxml.jackson.core

jackson-databind

2.10.0

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.10.0

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.10.0

com.fasterxml.jackson.module

jackson-module-paranamer

2.10.0

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.10.0

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.joshelser

dropwizard-metrics-hadoop-metrics2-reporter

0.1.2

com.github.luben

zstd-jni

1.4.4-3

com.github.wendykierp

JTransforms

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.2.4

com.google.flatbuffers

flatbuffers-java

1.9.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

1.4.195

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.microsoft.azure

azure-data-lake-store-sdk

2.2.8

com.microsoft.sqlserver

mssql-jdbc

8.2.1.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1.8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.9.5

com.twitter

chill_2.12

0.9.5

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.univocity

univocity-parsers

2.8.3

com.zaxxer

HikariCP

3.1.0

commons-beanutils

commons-beanutils

1.9.4

commons-cli

commons-cli

1.2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1.6

commons-dbcp

commons-dbcp

1.4

commons-digester

commons-digester

1.8

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日誌

通用日誌

1.1.3

commons net

commons net

3.1

commons-pool

commons-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0.10

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.47.Final

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.transaction

事務api

1.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.5

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

net.razorvine

地幔岩

4.30

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.12.0

net.snowflake

spark-snowflake_2.12

2.5.9-spark_2.4

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.7.1

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

螞蟻

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

0.15.1

org.apache.arrow

arrow-memory

0.15.1

org.apache.arrow

arrow-vector

0.15.1

org.apache.avro

avro

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.commons

commons-compress

1.8.1

org.apache.commons

commons-crypto

1.0.0

org.apache.commons

commons-lang3

3.9

org.apache.commons

commons-math3

3.4.1

org.apache.commons

commons-text

1.6

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

第2.7.4

org.apache.hadoop

hadoop-auth

第2.7.4

org.apache.hadoop

hadoop-client

第2.7.4

org.apache.hadoop

hadoop-common

第2.7.4

org.apache.hadoop

hadoop-hdfs

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-app

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-common

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-core

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-jobclient

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-shuffle

第2.7.4

org.apache.hadoop

hadoop-yarn-api

第2.7.4

org.apache.hadoop

hadoop-yarn-client

第2.7.4

org.apache.hadoop

hadoop-yarn-common

第2.7.4

org.apache.hadoop

hadoop-yarn-server-common

第2.7.4

org.apache.hive

hive-beeline

2.3.7

org.apache.hive

hive-cli

2.3.7

org.apache.hive

hive-common

2.3.7

org.apache.hive

hive-exec-core

2.3.7

org.apache.hive

hive-jdbc

2.3.7

org.apache.hive

hive-llap-client

2.3.7

org.apache.hive

hive-llap-common

2.3.7

org.apache.hive

hive-metastore

2.3.7

org.apache.hive

hive-serde

2.3.7

org.apache.hive

hive-shims

2.3.7

org.apache.hive

hive-storage-api

2.7.1

org.apache.hive

hive-vector-code-gen

2.3.7

org.apache.hive.shims

蜂巢0.23 -墊片

2.3.7

org.apache.hive.shims

hive-shims-common

2.3.7

org.apache.hive.shims

hive-shims-scheduler

2.3.7

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.6

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

艾薇

測試盒框

org.apache.orc

orc-core

1.5.10

org.apache.orc

orc-mapreduce

1.5.10

org.apache.orc

orc-shims

1.5.10

org.apache.parquet

parquet-column

1.10.1.2-databricks4

org.apache.parquet

parquet-common

1.10.1.2-databricks4

org.apache.parquet

parquet-encoding

1.10.1.2-databricks4

org.apache.parquet

parquet-format

測試盒框

org.apache.parquet

parquet-hadoop

1.10.1.2-databricks4

org.apache.parquet

parquet-jackson

1.10.1.2-databricks4

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.velocity

速度

1.5

org.apache.xbean

xbean-asm7-shaded

4.15

org.apache.yetus

audience-annotations

0.5.0

org.apache.zookeeper

動物園管理員

3.4.14

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.18.v20190429

org.eclipse.jetty

jetty-continuation

9.4.18.v20190429

org.eclipse.jetty

jetty-http

9.4.18.v20190429

org.eclipse.jetty

jetty-io

9.4.18.v20190429

org.eclipse.jetty

jetty-jndi

9.4.18.v20190429

org.eclipse.jetty

jetty-plus

9.4.18.v20190429

org.eclipse.jetty

jetty-proxy

9.4.18.v20190429

org.eclipse.jetty

jetty-security

9.4.18.v20190429

org.eclipse.jetty

jetty服務器

9.4.18.v20190429

org.eclipse.jetty

jetty servlet

9.4.18.v20190429

org.eclipse.jetty

jetty-servlets

9.4.18.v20190429

org.eclipse.jetty

jetty-util

9.4.18.v20190429

org.eclipse.jetty

jetty-webapp

9.4.18.v20190429

org.eclipse.jetty

jetty-xml

9.4.18.v20190429

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.30

org.glassfish.jersey.containers

jersey-container-servlet-core

2.30

org.glassfish.jersey.core

jersey客戶端

2.30

org.glassfish.jersey.core

jersey-common

2.30

org.glassfish.jersey.core

jersey-server

2.30

org.glassfish.jersey.inject

jersey-hk2

2.30

org.glassfish.jersey.media

jersey-media-jaxb

2.30

org.hibernate.validator

hibernate驗證框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.6.6

org.json4s

json4s-core_2.12

3.6.6

org.json4s

json4s-jackson_2.12

3.6.6

org.json4s

json4s-scalap_2.12

3.6.6

org.lz4

lz4-java

1.7.1上

org.mariadb.jdbc

mariadb-java-client

2.1.2

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.7.45

org.roaringbitmap

墊片

0.7.45

org.rocksdb

rocksdbjni

6.2.2

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.10

org.scala-lang

scala-library_2.12

2.12.10

org.scala-lang

scala-reflect_2.12

2.12.10

org.scala-lang.modules

scala-collection-compat_2.12

2.1.1

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

測試界麵

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.0

org.scalanlp

breeze_2.12

1.0

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.30

org.slf4j

jul-to-slf4j

1.7.30

org.slf4j

slf4j-api

1.7.30

org.slf4j

slf4j-log4j12

1.7.30

org.spark-project.spark

未使用的

1.0.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring測試

4.1.4.RELEASE

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1.5

org.typelevel

algebra_2.12

2.0.0-M2

org.typelevel

cats-kernel_2.12

2.0.0-M4

org.typelevel

machinist_2.12

0.6.8

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0-M1

org.typelevel

spire-Beplay体育安卓版本platform_2.12

0.17.0-M1

org.typelevel

spire-util_2.12

0.17.0-M1

org.typelevel

spire_2.12

0.17.0-M1

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.7.5

org.yaml

snakeyaml

1.24

奧羅

奧羅

2.0.8

pl.edu.icm

JLargeArrays

1.5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52