Databricks Runtime 8.4(不支持)

以下發布說明提供了有關Databricks Runtime 8.4和Databricks Runtime 8.4 Photon的信息，由Apache Spark 3.1.2提供支持。Databricks於2021年7月發布了這些圖像。光子是在公共預覽．

新功能和改進

通過使用AWS Glue Data目錄中的憑據傳遞來提高集群安全性

當使用AWS Glue Data Catalog作為外部Hive metastore時，現在支持憑據傳遞。具有不同權限的調用者可以從同一集群寫入AWS膠水數據目錄。有關更多信息，請參見步驟6:使用Glue Catalog實例概要啟動集群．

三角洲湖的特點和改進

增量表更改數據饋送(GA)

Delta表更改數據提要現在通常是可用的。它表示表的不同版本之間的行級更改。啟用後，將記錄關於表上每個寫操作的行級更改的附加信息。看到在Databricks上使用Delta Lake更改數據提要．

使用Databricks Runtime輕鬆加載共享Delta表

Apache Spark Connector for三角洲分享0.1.0現在在Databricks運行時。您可以使用spark.read.format (deltaSharing) .load (uri)直接使用，無需將Delta Sharing Spark連接器連接到您的集群。

更多的表受益於動態文件修剪

動態文件修剪功能已調整為在文件較少的表上觸發。看到動態文件修剪．

具有自動目標文件大小調優的更好性能

Delta表的目標文件大小現在根據表大小自動調優。以前，目標文件大小為優化而且優化ZORDER通過是1 gb。通過基於表大小的自動調優，2.56TB以內的Delta表將使用256MB作為目標大小。大於10TB的表將像以前一樣使用1GB。這些大小之間的表將使用隨表大小成比例增長的目標大小。看到配置Delta Lake以控製數據文件大小．

中指定表的更多方法DeltaTable.forName

DeltaTable.forName現在支持使用delta. <路徑>的識別表。

健壯的流多表寫入使用foreachBatch

的恒等流寫入foreachBatch ()命令。詳細信息請參見冪等多表寫入．

由於調優了檢查點，提高了某些工作負載下的讀查詢性能

Delta Lake現在調整增強檢查點的頻率。Delta現在根據某些事件觸發器動態調整檢查點頻率，而不是固定間隔的檢查點。這提高了以前無法應用某些數據跳過優化的工作負載中的讀查詢性能。要使用這些優化，請將寫入Delta Lake的作業升級到Databricks Runtime 8.4。看到為結構化流查詢啟用增強檢查點．

創建GroupState測試用戶定義的結構化流功能

到目前為止，隻有結構化流引擎可以創建GroupState．因此，用戶定義函數的任何單元測試都需要在Apache Spark中運行流查詢。

的實例GroupState使用TestGroupState.create(…)．這允許您在不需要運行Spark的簡單單元測試中測試用戶定義的函數。看到測試mapGroupsWithState更新函數．具體來說，它生成類型的實例TestGroupState它擴展了接口GroupState使用用於在應用用戶定義函數之後自省內部狀態的其他方法。

自動加載功能和改進

配置回填來捕獲遺漏的文件

Auto Loader現在支持異步執行回填，以捕獲任何文件，可能已經錯過了文件通知。文件存儲係統和通知係統不能100%保證所有文件事件的傳遞。因此，Databricks建議啟用定期回填來捕獲您的所有數據與自動加載器。使用cloudFiles.backfillInterval選項安排定期回填您的數據。看到常用的Auto Loader選項．

跨帳戶文件通知訪問

自動加載器現在通過使用假設角色支持跨AWS帳戶加載數據。在設置了由假定角色創建的臨時安全憑證之後，您可以讓Auto Loader跨帳戶加載雲文件。看到在不同的AWS帳戶中安全地攝取數據．

大容量流的綁定存儲占用

現在，您可以配置Auto Loader過期並刪除RocksDB中的條目，以將其存儲占用綁定到檢查點位置。Databricks不建議您使用它，除非您每小時要攝取數百萬個文件的數據。不正確地設置此選項或試圖對其進行調優可能會導致許多數據質量問題，例如忽略未處理的文件或重複某些文件，而不是精確地處理一次。詳細信息請參見事件保留．

具有無路徑支持的簡化配置

S3 bucket

現在可以提供從多個路徑或S3桶接收事件的SQS隊列。如果您提供SQS隊列URL，則路徑選項對此用例不需要。Auto Loader使用S3事件中的桶和鍵構造S3路徑。如果希望通過DBFS掛載點讀取文件，可以使用cloudFiles.pathRewrites將路徑前綴更改為DBFS。這不是必需的，除非您正在訪問不同帳戶中的數據AssumeRole．

看到文件通知選項．

Azure數據湖存儲Gen2容器

您現在可以提供Azure隊列來接收來自多個容器的事件。如果您提供Azure隊列名稱，則路徑選項不是必需的。默認情況下，Auto Loader使用文件事件中的容器和鍵構造Azure Data Lake Storage Gen2路徑。如果您想使用WASB路徑或DBFS掛載點，可以使用cloudFiles.pathRewrites更改路徑前綴。

看到文件通知選項．

連接器的升級

  • 雪花火花連接器已更新到v2.9.0。

  • 中現在支持KMS加密卸載紅移連接器的語句。

錯誤修複

  • 修正了在集群中啟用表訪問控製的問題選擇＊從文件夾即使用戶沒有文件訪問權限，也可以顯示文件夾內容。

  • 非管理員數據庫所有者現在可以刪除數據庫中非所有者的表。這修複了數據庫所有者在數據庫中存在非所有者表時無法刪除數據庫的問題。

庫升級

  • 升級的Python庫:

    • 證書從2020.12.5升級到2021.5.30

    • 蒸餾從0.3.1升級到0.3.2

    • 考拉從1.8.0升級到1.8.1

    • Protobuf從3.17.0升級到3.17.3

  • 升級的R庫:

    • 從4.0.4到4.1.0

    • 從1.3-27啟動到1.3-28

    • 從7.3-18到7.3-19

    • 集群從2.1.1到2.1.2

    • 編譯器從4.0.4到4.1.0

    • 數據集從4.0.4到4.1.0

    • 從4.0.4到4.1.0的圖形

    • grDevices從4.0.4到4.1.0

    • 網格從4.0.4到4.1.0

    • KernSmooth從2.23-18到2.23-20

    • 晶格從0.20-41到0.20-44

    • 質量從7.3-53.1到7.3-54

    • 矩陣從1.3-2到1.3-3

    • 從4.0.4到4.1.0的方法

    • MGCV從1.8-33增加到1.8-35

    • Nnet從7.3-15到7.3-16

    • 平行於4.0.4到4.1.0

    • 預定量從1.8-7到1.8-8

    • SparkR從3.1.1到3.1.2

    • 從4.0.4到4.1.0的樣條

    • 從4.0.4到4.1.0

    • 統計數據從4.0.4到4.1.0

    • 存活率從3.2-7到3.2-11

    • TCLTK從4.0.4到4.1.0

    • 從4.0.4到4.1.0的工具

    • 從4.0.4到4.1.0

  • 升級的Java庫:

    • 雪花-jdbc從3.12.8到3.13.3

    • Spark-snowflake_2.12從2.8.1-spark_3.0到2.9.0- spark3.1

    • RoaringBitmap從0.9.0到0.9.14

    • Shims從0.9.0到0.9.14

    • Rocksdbjni從6.2.2到6.20.3

Apache火花

Databricks Runtime 8.4包含Apache Spark 3.1.2。此版本包括所有Spark修複和改進Databricks Runtime 8.3(不支持)，以及以下對Spark的額外錯誤修複和改進:

係統環境

  • 操作係統: Ubuntu 18.04.5 LTS

  • Java: Zulu 8.54.0.21-CA-linux64

  • Scala: 2.12.10

  • Python: 3.8.8

  • R: 4.1.0 (2021-05-18)

  • 三角洲湖1.0.0

已安裝的Python庫

圖書館

版本

圖書館

版本

圖書館

版本

appdirs

1.4.4

asn1crypto

1.4.0

backcall

0.2.0

boto3

1.16.7

botocore

1.19.7

brotlipy

0.7.0

certifi

2021.5.30

cffi

1.14.3

chardet

3.0.4

密碼學

3.1.1

周期計

0.10.0

Cython

0.29.21

裝飾

10/24/11

distlib

0.3.2

docutils

0.15.2

entrypoints

0.3

facets-overview

1.0.0

filelock

3.0.12

idna

2.10

ipykernel

5.3.4

ipython

7.19.0

ipython-genutils

0.2.0

絕地武士

0.17.2

jmespath

0.10.0

joblib

0.17.0

jupyter-client

6.1.7

jupyter-core

4.6.3

kiwisolver

1.3.0

考拉

1.8.1

matplotlib

3.2.2

numpy

1.19.2

熊貓

1.1.5

parso

0.7.0

容易受騙的人

0.5.1

pexpect

4.8.0

pickleshare

0.7.5

皮普

20.2.4

情節

4.14.3

prompt-toolkit

3.0.8

protobuf

3.17.3

psycopg2

2.8.5

ptyprocess

0.6.0

pyarrow

1.0.1

pycparser

2.20

Pygments

2.7.2

pyOpenSSL

19.1.0

pyparsing

2.4.7

PySocks

1.7.1上

python-dateutil

2.8.1發布

pytz

2020.5

pyzmq

19.0.2

請求

2.24.0

重試

1.3.3

s3transfer

0.3.6

scikit-learn

0.23.2

scipy

1.5.2

seaborn

0.10.0

setuptools

50.3.1

六個

1.15.0

statsmodels

0.12.0

threadpoolctl

魅惑

龍卷風

6.0.4

traitlets

5.0.5

urllib3

1.25.11

virtualenv

20.2.1

wcwidth

0.2.5

輪

0.35.1

已安裝的R庫

R庫從微軟CRAN快照2020-11-02．

圖書館

版本

圖書館

版本

圖書館

版本

askpass

1．1

為了

0.2.1

補丁

1.2.1 "

基地

4.1.0

base64enc

0.1 - 3

黑洞

1.72.0-3

位

4.0.4

bit64

你

團

1.2.1 "

引導

-28 - 1.3

釀造

1.0 6

生動

1.1.0

掃帚

0.7.2

callr

3.5.1

脫字符號

-86 - 6.0

cellranger

1.1.0

時間

-56 - 2.3

類

-19 - 7.3

cli

2.2.0

clipr

是0.7.1

集群

2.1.2

codetools

-18 - 0.2

色彩

2.0 0

commonmark

1.7

編譯器

4.1.0

配置

0.3

covr

3.5.1

cpp11

0.2.4

蠟筆

1.3.4

憑證

1.3.0

相聲

1.1.0.1

旋度

4.３

data.table

1.13.4

數據集

4.1.0

DBI

1.1.0

dbplyr

2.0.0

desc

1.2.0

devtools

2.3.2

diffobj

0.3.2

消化

0.6.27

dplyr

1.0.2中

DT

0.16

省略

0.3.1

評估

0.14

fansi

0.4.1

farver

2.0.3

fastmap

1.0.1

forcats

0.5.0

foreach

1.5.1

外國

-81 - 0.8

打造

0.2.0

fs

1.5.0

未來

1.21.0

泛型

0.1.0

哥特

1.0.2中

ggplot2

3.3.2

“大酒店”

1.2.0

gitcreds

0.1.1

glmnet

4.0 - 2

全局變量

0.14.0

膠水

1.4.2

高爾

0.2.2

圖形

4.1.0

grDevices

4.1.0

網格

4.1.0

gridExtra

2．3

gsubfn

0.7

gtable

0.3.0

還

2.3.1

highr

0.8

hms

0.5.3

htmltools

0.5.0

htmlwidgets

1.5.3

httpuv

1.5.4

httr

1.4.2

hwriter

1.3.2

hwriterPlus

1.0 - 3

ini

0.3.1

不小

0.9 9

isoband

0.2.3

迭代器

1.0.13

jsonlite

1.7.2

KernSmooth

-20 - 2.23

knitr

1.30

標簽

0.4.2

晚些時候

1.1.0.1

晶格

-44 - 0.20

熔岩

1.6.8.1

lazyeval

0.2.2

生命周期

0.2.0

listenv

0.8.0

lubridate

1.7.9.2

magrittr

2.0.1

減價

1．1

質量

-54 - 7.3

矩陣

1.3 - 3

memoise

1.1.0

方法

4.1.0

mgcv

-35 - 1.8

mime

0.9

ModelMetrics

1.2.2.2

modelr

0.1.8

孟塞爾

0.5.0

nlme

-152 - 3.1

nnet

-16 - 7.3

numDeriv

2016.8 - -1.1

openssl

3

平行

4.1.0

平行

1.22.0

支柱

1.4.7

pkgbuild

1.1.0

pkgconfig

2.0.3

pkgload

1.1.0

plogr

0.2.0

plyr

1.8.6

讚美

1.0.0

prettyunits

1.1.1

pROC

1.16.2

processx

3.4.5

prodlim

2019.11.13

進步

1.2.2

承諾

1.1.1

原型

1.0.0

ps

1.5.0

purrr

0.3.4

r2d3

0.2.3

R6

2.5.0

randomForest

-14 - 4.6

rappdirs

0.3.1

rcmdcheck

1.3.3

RColorBrewer

1.1 - 2

Rcpp

1.0.5

readr

1.4.0

readxl

1.3.1

食譜

0.1.15

複賽

1.0.1

rematch2

2.1.2

遙控器

2.2.0

reprex

0.3.0

reshape2

1.4.4

雷克斯

1.2.0

rlang

0.4.9

rmarkdown

2.6

RODBC

-17 - 1.3

roxygen2

安裝7.1.1

rpart

-15 - 4.1

rprojroot

2.0.2

Rserve

1.8 8

RSQLite

2.2.1

rstudioapi

0.13

rversions

2.0.2

房車

0.3.6

尺度

1.1.1

selectr

0.4 - 2

sessioninfo

1.1.1

形狀

1.4.5

閃亮的

1.5.0

sourcetools

0.1.7

sparklyr

1.5.2

SparkR

3.1.1

空間

-11 - 7.3

樣條函數

4.1.0

sqldf

-11 - 0.4

SQUAREM

2020.5

統計數據

4.1.0

stats4

4.1.0

stringi

1.5.3

stringr

1.4.0

生存

-11 - 3.2

sys

3.4

tcltk

4.1.0

TeachingDemos

2.10

testthat

3.0.0

寵物貓

3.0.4

tidyr

1.1.2

tidyselect

1.1.0

tidyverse

1.3.0

timeDate

3043.102

tinytex

0.28

工具

4.1.0

usethis

2.0.0

use utf8

1.1.4

跑龍套

4.1.0

uuid

0.1 - 4

vctrs

0.3.5

viridisLite

0.3.0

沃爾多

0.2.3

晶須

0.4

withr

tripwire

xfun

0.19

xml2

1.3.2

xopen

1.0.0

xtable

1.8 - 4

yaml

2.2.1

郵政編碼

2.1.1

安裝Java和Scala庫(Scala 2.12集群版本)

組ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.11.655

com.amazonaws

aws-java-sdk-cloudformation

1.11.655

com.amazonaws

aws-java-sdk-cloudfront

1.11.655

com.amazonaws

aws-java-sdk-cloudhsm

1.11.655

com.amazonaws

aws-java-sdk-cloudsearch

1.11.655

com.amazonaws

aws-java-sdk-cloudtrail

1.11.655

com.amazonaws

aws-java-sdk-cloudwatch

1.11.655

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.655

com.amazonaws

aws-java-sdk-codedeploy

1.11.655

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.655

com.amazonaws

aws-java-sdk-cognitosync

1.11.655

com.amazonaws

aws-java-sdk-config

1.11.655

com.amazonaws

aws-java-sdk-core

1.11.655

com.amazonaws

aws-java-sdk-datapipeline

1.11.655

com.amazonaws

aws-java-sdk-directconnect

1.11.655

com.amazonaws

aws-java-sdk-directory

1.11.655

com.amazonaws

aws-java-sdk-dynamodb

1.11.655

com.amazonaws

aws-java-sdk-ec2

1.11.655

com.amazonaws

aws-java-sdk-ecs

1.11.655

com.amazonaws

aws-java-sdk-efs

1.11.655

com.amazonaws

aws-java-sdk-elasticache

1.11.655

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.655

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.655

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.655

com.amazonaws

aws-java-sdk-emr

1.11.655

com.amazonaws

aws-java-sdk-glacier

1.11.655

com.amazonaws

aws-java-sdk-glue

1.11.655

com.amazonaws

aws-java-sdk-iam

1.11.655

com.amazonaws

aws-java-sdk-importexport

1.11.655

com.amazonaws

aws-java-sdk-kinesis

1.11.655

com.amazonaws

aws-java-sdk-kms

1.11.655

com.amazonaws

aws-java-sdk-lambda

1.11.655

com.amazonaws

aws-java-sdk-logs

1.11.655

com.amazonaws

aws-java-sdk-machinelearning

1.11.655

com.amazonaws

aws-java-sdk-marketplacemeteringservice

1.11.655

com.amazonaws

aws-java-sdk-opsworks

1.11.655

com.amazonaws

aws-java-sdk-rds

1.11.655

com.amazonaws

aws-java-sdk-redshift

1.11.655

com.amazonaws

aws-java-sdk-route53

1.11.655

com.amazonaws

aws-java-sdk-s3

1.11.655

com.amazonaws

aws-java-sdk-ses

1.11.655

com.amazonaws

aws-java-sdk-simpledb

1.11.655

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.655

com.amazonaws

aws-java-sdk-sns

1.11.655

com.amazonaws

aws-java-sdk-sqs

1.11.655

com.amazonaws

aws-java-sdk-ssm

1.11.655

com.amazonaws

aws-java-sdk-storagegateway

1.11.655

com.amazonaws

aws-java-sdk-sts

1.11.655

com.amazonaws

aws-java-sdk-support

1.11.655

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.655

com.amazonaws

jmespath-java

1.11.655

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

流

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同學

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.10.0

com.fasterxml.jackson.core

jackson-core

2.10.0

com.fasterxml.jackson.core

jackson-databind

2.10.0

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.10.0

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.10.0

com.fasterxml.jackson.module

jackson-module-paranamer

2.10.0

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.10.0

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1．1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1．1

com.github.fommil.netlib

native_ref-java-natives

1．1

com.github.fommil.netlib

native_system-java

1．1

com.github.fommil.netlib

native_system-java-natives

1．1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1．1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1．1

com.github.joshelser

dropwizard-metrics-hadoop-metrics2-reporter

0.1.2

com.github.luben

zstd-jni

1.4.8-1

com.github.wendykierp

JTransforms

3．1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.2.4

com.google.flatbuffers

flatbuffers-java

1.9.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

1.4.195

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.lihaoyi

sourcecode_2.12

0.1.9

com.microsoft.azure

azure-data-lake-store-sdk

2.3.9

com.microsoft.sqlserver

mssql-jdbc

9.2.1.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1．8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.9.5

com.twitter

chill_2.12

0.9.5

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.univocity

univocity-parsers

2.9.1

com.zaxxer

HikariCP

3.1.0

commons-beanutils

commons-beanutils

1.9.4

commons-cli

commons-cli

1．2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1．6

commons-dbcp

commons-dbcp

1．4

commons-digester

commons-digester

1．8

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3．1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日誌

通用日誌

1.1.3

commons net

commons net

3．1

commons-pool

commons-pool

1.5.4

蜂巢2.7 - 2.3 - __hadoop -

jets3t - 0.7

liball_deps_2.12

蜂巢2.7 - 2.3 - __hadoop -

動物園管理員- 3.4

liball_deps_2.12

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0．10

io.delta

delta-sharing-spark_2.12

0.1.0

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.51.Final

io.prometheus

simpleclient

0.7.0

io.prometheus

simpleclient_common

0.7.0

io.prometheus

simpleclient_dropwizard

0.7.0

io.prometheus

simpleclient_pushgateway

0.7.0

io.prometheus

simpleclient_servlet

0.7.0

io.prometheus.jmx

收集器

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1．1

javax.transaction

事務api

1．1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.5

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

maven-trees

蜂巢2.7 - 2.3 - __hadoop -

liball_deps_2.12

net.java.dev.jna

jna

5.8.0

net.razorvine

地幔岩

4.30

net.sf.jpam

jpam

1．1

net.sf.opencsv

opencsv

2．3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.13.3

net.snowflake

spark-snowflake_2.12

2.9.0-spark_3.1

net.sourceforge.f2j

arpack_combined_all

0．1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.8 - 1

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

螞蟻

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

2.0.0

org.apache.arrow

arrow-memory-core

2.0.0

org.apache.arrow

arrow-memory-netty

2.0.0

org.apache.arrow

arrow-vector

2.0.0

org.apache.avro

avro

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.commons

commons-compress

1.20

org.apache.commons

commons-crypto

1.1.0

org.apache.commons

commons-lang3

3.10

org.apache.commons

commons-math3

3.4.1

org.apache.commons

commons-text

1．6

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

第2.7.4

org.apache.hadoop

hadoop-auth

第2.7.4

org.apache.hadoop

hadoop-client

第2.7.4

org.apache.hadoop

hadoop-common

第2.7.4

org.apache.hadoop

hadoop-hdfs

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-app

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-common

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-core

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-jobclient

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-shuffle

第2.7.4

org.apache.hadoop

hadoop-yarn-api

第2.7.4

org.apache.hadoop

hadoop-yarn-client

第2.7.4

org.apache.hadoop

hadoop-yarn-common

第2.7.4

org.apache.hadoop

hadoop-yarn-server-common

第2.7.4

org.apache.hive

hive-beeline

2.3.7

org.apache.hive

hive-cli

2.3.7

org.apache.hive

hive-jdbc

2.3.7

org.apache.hive

hive-llap-client

2.3.7

org.apache.hive

hive-llap-common

2.3.7

org.apache.hive

hive-serde

2.3.7

org.apache.hive

hive-shims

2.3.7

org.apache.hive

hive-storage-api

2.7.2

org.apache.hive.shims

蜂巢0.23 -墊片

2.3.7

org.apache.hive.shims

hive-shims-common

2.3.7

org.apache.hive.shims

hive-shims-scheduler

2.3.7

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.6

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

艾薇

測試盒框

org.apache.mesos

mesos-shaded-protobuf

1.4.0

org.apache.orc

orc-core

1.5.12

org.apache.orc

orc-mapreduce

1.5.12

org.apache.orc

orc-shims

1.5.12

org.apache.parquet

parquet-column

1.10.1-databricks9

org.apache.parquet

parquet-common

1.10.1-databricks9

org.apache.parquet

parquet-encoding

1.10.1-databricks9

org.apache.parquet

parquet-format

測試盒框

org.apache.parquet

parquet-hadoop

1.10.1-databricks9

org.apache.parquet

parquet-jackson

1.10.1-databricks9

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm7-shaded

4.15

org.apache.yetus

audience-annotations

0.5.0

org.apache.zookeeper

動物園管理員

3.4.14

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.36.v20210114

org.eclipse.jetty

jetty-continuation

9.4.36.v20210114

org.eclipse.jetty

jetty-http

9.4.36.v20210114

org.eclipse.jetty

jetty-io

9.4.36.v20210114

org.eclipse.jetty

jetty-jndi

9.4.36.v20210114

org.eclipse.jetty

jetty-plus

9.4.36.v20210114

org.eclipse.jetty

jetty-proxy

9.4.36.v20210114

org.eclipse.jetty

jetty-security

9.4.36.v20210114

org.eclipse.jetty

jetty服務器

9.4.36.v20210114

org.eclipse.jetty

jetty servlet

9.4.36.v20210114

org.eclipse.jetty

jetty-servlets

9.4.36.v20210114

org.eclipse.jetty

jetty-util

9.4.36.v20210114

org.eclipse.jetty

jetty-util-ajax

9.4.36.v20210114

org.eclipse.jetty

jetty-webapp

9.4.36.v20210114

org.eclipse.jetty

jetty-xml

9.4.36.v20210114

org.fusesource.leveldbjni

leveldbjni-all

1．8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.30

org.glassfish.jersey.containers

jersey-container-servlet-core

2.30

org.glassfish.jersey.core

jersey客戶端

2.30

org.glassfish.jersey.core

jersey-common

2.30

org.glassfish.jersey.core

jersey-server

2.30

org.glassfish.jersey.inject

jersey-hk2

2.30

org.glassfish.jersey.media

jersey-media-jaxb

2.30

org.hibernate.validator

hibernate驗證框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.7.0-M5

org.json4s

json4s-core_2.12

3.7.0-M5

org.json4s

json4s-jackson_2.12

3.7.0-M5

org.json4s

json4s-scalap_2.12

3.7.0-M5

org.lz4

lz4-java

1.7.1上

org.mariadb.jdbc

mariadb-java-client

2.2.5

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.9.14

org.roaringbitmap

墊片

0.9.14

org.rocksdb

rocksdbjni

6.20.3

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.10

org.scala-lang

scala-library_2.12

2.12.10

org.scala-lang

scala-reflect_2.12

2.12.10

org.scala-lang.modules

scala-collection-compat_2.12

2.1.1

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

測試界麵

1．0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1．0

org.scalanlp

breeze_2.12

1．0

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.30

org.slf4j

jul-to-slf4j

1.7.30

org.slf4j

slf4j-api

1.7.30

org.slf4j

slf4j-log4j12

1.7.30

org.spark-project.spark

未使用的

1.0.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring測試

4.1.4.RELEASE

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1．5

org.typelevel

algebra_2.12

2.0.0-M2

org.typelevel

cats-kernel_2.12

2.0.0-M4

org.typelevel

machinist_2.12

0.6.8

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0-M1

org.typelevel

spire-Beplay体育安卓版本platform_2.12

0.17.0-M1

org.typelevel

spire-util_2.12

0.17.0-M1

org.typelevel

spire_2.12

0.17.0-M1

org.wildfly.openssl

wildfly-openssl

1.0.7.Final

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.2

org.yaml

snakeyaml

1.24

奧羅

奧羅

2.0.8

pl.edu.icm

JLargeArrays

1．5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52