Databricks Runtime 4.0(不支持)
Databricks於2018年3月發布了這張圖片。
重要的
本版本已於2018年11月1日棄用。有關Databricks Runtime棄用策略和計劃的詳細信息,請參見Databricks運行時支持生命周期。
以下發布說明提供了有關Databricks Runtime 4.0的信息,由Apache Spark提供支持。
變化和改進
JSON數據源現在嚐試自動檢測編碼,而不是假設它是UTF-8。在自動檢測失敗的情況下,用戶可以指定字符集選項強製某種編碼。看到字符集顯。
完全支持在結構化流中使用Spark MLlib管道進行評分和預測。
Databricks ML模型導出完全支持。有了這個特性,您可以在Databricks上訓練Spark MLlib模型,用函數調用導出它,並在您選擇的係統中使用Databricks庫來導入模型並對新數據進行評分。
新的Spark數據源實現提供了對Azure Synapse Analytics的可伸縮讀寫訪問。看到Spark - Synapse Analytics連接器。
的模式。
from_json
函數現在總是轉換為可空值。換句話說,包括嵌套字段在內的所有字段都是可空的。這確保了數據與模式兼容,當數據中缺少字段且用戶提供的模式將字段聲明為非空時,可以防止在將數據寫入parquet後發生損壞。升級了一些已安裝的Python庫:
期貨:從3.1.1到3.2.0
熊貓:從0.18.1到0.19.2
Pyarrow:從0.4.1到0.8.0
Setuptools: 38.2.3到38.5.1
龍卷風:4.5.2至4.5.3
升級了幾個已安裝的R庫。看到已安裝的R庫。
將AWS Java SDK從1.11.126升級到1.11.253。
從6.1.0升級了SQL Server JDBC驅動程序。Jre8 ~ 6.2.2.jre8。
將PostgreSQL JDBC驅動程序從9.4-1204-jdbc41升級到42.1.4。
Apache火花
Databricks Runtime 4.0包含Apache Spark 2.3.0。
Core、PySpark和Spark SQL
主要功能
矢量化ORC閱讀器:(火花- 16060):增加了對新的ORC讀取器的支持,通過向量化(2-5倍)大大提高了ORC掃描吞吐量。要啟用讀卡器,用戶可以設置
spark.sql.orc.impl
來本地的
。Spark History Server V2:(火花- 18085):新的SHS (spark history server)後端,通過更高效的事件存儲機製,為大規模應用提供更好的可伸縮性。
數據源API V2:(火花- 15689)(火花- 22386):用於在Spark中插入新數據源的實驗性API。新的API試圖解決V1 API的幾個限製,旨在促進高性能、易於維護和可擴展的外部數據源的開發。這個API仍在積極開發中,預計會有突破性的變化。
PySpark性能增強:(火花- 22216)(火花- 21187):通過快速數據序列化和向量化執行,Python性能和互操作性得到顯著改善。
性能和穩定性
(火花- 21975):基於成本的優化器支持直方圖。
(火花- 20331):更好地支持Hive分區修剪的謂詞下推。
(火花- 19112):支持ZStandard壓縮編解碼。
(火花- 21113):支持預讀輸入流,以攤銷溢出讀取器中的磁盤I/O成本。
(火花- 22510)(火花- 22692)(火花- 21871):進一步穩定代碼生成器框架,以避免觸及Java方法和Java編譯器常量池的64KB JVM字節碼限製。
(火花- 23207):修複了Spark中一個長期存在的錯誤,即在某些手術病例中,連續對DataFrame進行shuffle+重分區可能導致錯誤答案。
(火花- 22062)(火花- 17788)(火花- 21907):修複各種導致oms的原因。
(火花- 22489)(火花- 22916)(火花- 22895)(火花- 20758)(火花- 22266)(火花- 19122)(火花- 22662)(火花- 21652):基於規則的優化器和規劃器的增強。
其他顯著變化
(火花- 20236):支持hive風格的動態分區覆蓋語義。
(火花- 4131):支持
插入覆蓋目錄
將數據從查詢直接寫入文件係統。(火花- 19285)(火花- 22945)(火花- 21499)(火花- 20586)(火花- 20416)(火花- 20668): UDF增強。
(火花- 20463)(火花- 19951)(火花- 22934)(火花- 21055)(火花- 17729)(火花- 20962)(火花- 20963)(火花- 20841)(火花- 17642)(火花- 22475)(火花- 22934):改進了ANSI SQL兼容性和Hive兼容性。
(火花- 20746):更全麵的SQL內置函數。
(火花- 21485):內置函數的Spark SQL文檔生成。
(火花- 19810):移除對Scala的支持
2.10
。(火花- 22324):將箭頭升級為
0.8.0
和妮蒂4.1.17
。
結構化流
連續處理
一個新的執行引擎,隻需更改一行用戶代碼,就可以以亞毫秒級的端到端延遲執行流查詢。要了解更多信息,請參閱編程指南。
Stream-Stream連接
能夠連接兩個數據流,緩衝行,直到匹配的元組到達另一個流。可以針對事件時間列使用謂詞來綁定需要保留的狀態量。
流媒體API V2
一個實驗性的API,用於插入新的源和接收器,適用於批處理、微批處理和連續執行。這個API仍在積極開發中,應該會有突破性的變化。
編程指南:結構化流媒體節目指南。
MLlib
突出了
ML預測現在與結構化流一起工作,使用更新的api。細節跟進。
新的和改進的api
(火花- 21866):內置支持讀取圖像到數據幀(Scala/Java/Python)。
(火花- 19634):用於矢量列上的描述性彙總統計的DataFrame函數(Scala/Java)。
(火花- 14516):
ClusteringEvaluator
用於調整聚類算法,支持餘弦輪廓和平方歐幾裏得輪廓度量(Scala/Java/Python)。(火花- 3181):具有Huber損失的魯棒線性回歸(Scala/Java/Python)。
(火花- 13969):
FeatureHasher
變壓器(Scala / Java / Python)。多柱支持多種功能變壓器:
(火花- 13030):
OneHotEncoderEstimator
(Scala / Java / Python)(火花- 22397):
QuantileDiscretizer
(Scala / Java)(火花- 20542):
Bucketizer
(Scala / Java / Python)
(火花- 21633)和火星- 21542改進了對Python中自定義管道組件的支持。
新功能
(火花- 21087):
CrossValidator
和TrainValidationSplit
擬合時可以收集所有模型(Scala/Java)。這允許您檢查或保存所有適合的模型。(火花- 19357): Meta-algorithms
CrossValidator
,TrainValidationSplit
,OneVsRest
支持並行性參數,用於在並行Spark作業中擬合多個子模型。(火花- 17139):多項式邏輯回歸模型總結(Scala/Java/Python)
(火花- 18710):在GLM中添加偏移量。
(火花- 20199):添加
featureSubsetStrategy
參數,GBTClassifier
和GBTRegressor
。使用這種方法對特征進行子樣本可以顯著提高訓練速度;這個選項一直是一個關鍵的優勢xgboost
。
其他顯著變化
(火花- 22156):固定
Word2Vec
學習率的縮放全國礦工工會
迭代。新的學習率與原來的學習率相匹配Word2Vec
C代碼,應該會從訓練中得到更好的結果。(火花- 22289):添加
JSON
支持矩陣參數(這修複了ML持久化的錯誤LogisticRegressionModel
當對係數使用邊界時。)(火花- 22700):
Bucketizer.transform
錯誤地刪除包含南
。當參數handleInvalid
被設置為"跳過"Bucketizer
如果另一個(不相關的)列有一個有效值,會在輸入列中刪除一行嗎南
價值。(火花- 22446):催化劑優化器有時會引起
StringIndexerModel
拋出不正確的“看不見的標簽”異常時handleInvalid
被設置為“錯誤”。對於過濾後的數據,由於謂詞下推,即使已經從輸入數據集中過濾了無效的行,也可能發生這種情況,導致錯誤。(火花- 21681):修正了多項邏輯回歸中導致某些特征方差為零時不正確係數的邊緣情況錯誤。
主要的優化:
(火花- 22707):減少內存消耗
CrossValidator
。(火花- 22949):減少內存消耗
TrainValidationSplit
。(火花- 21690):
輸入
應該訓練使用單遍數據。(火花- 14371):
OnlineLDAOptimizer
避免為每個小批收集驅動程序的統計信息。
編程指南:機器學習圖書館(MLlib)指南。
SparkR
在2.3.0版本中,SparkR的主要關注點是提高udf的穩定性,並圍繞現有的api添加了幾個新的SparkR包裝器:
主要功能
改進了SQL和R之間的函數校驗
(火花- 22933)結構化流api
withWatermark
,觸發
,partitionBy
流-流連接。(火花- 21266): SparkR UDF,支持ddl格式的模式。
(火花- 20726)(火花- 22924)(火花- 22843):幾個新的數據幀API包裝器。
(火花- 15767)(火花- 21622)(火花- 20917)(火花- 20307)(火花- 20906):幾個新的SparkML API包裝器。
編程指南:SparkR (R on Spark)。
的用法
Python
(火花- 23122):反對
注冊*
的udfSQLContext
和目錄
在PySpark
MLlib
(火花- 13030):
OneHotEncoder
已棄用,將在3.0移除。它已經被新的取代了OneHotEncoderEstimator
。OneHotEncoderEstimator
將被重命名為OneHotEncoder
在3.0中(但是OneHotEncoderEstimator
將保留為別名)。
行為的改變
SparkSQL
(火花- 22036):默認情況下,如果小數之間的算術運算無法精確表示,則返回四舍五入的值(而不是返回
零
在以前的版本中)(火花- 22937):當所有輸入都是二進製時,SQL
英語教學()
以二進製形式返回輸出。否則,它將作為字符串返回。在以前的版本中,無論輸入類型如何,它總是作為字符串返回。(火花- 22895):如果可能的話,在第一個非確定性謂詞之後的Join/Filter的確定性謂詞也會下推/通過子操作符。在以前的版本中,這些篩選器不適合謂詞下推。
(火花- 22771):當所有輸入都是二進製時,
functions.concat ()
以二進製形式返回輸出。否則,它將作為字符串返回。在以前的版本中,無論輸入類型如何,它總是作為字符串返回。(火花- 22489):當其中一個連接端是可廣播的時,我們更傾向於廣播在廣播提示中顯式指定的表。
(火花- 22165):分區列推斷以前發現不同推斷類型的不正確的公共類型。例如,之前它以
雙
的通用類型雙
類型和日期
類型。現在,它為此類衝突找到了正確的通用類型。具體操作請參見遷移指南。(火花- 22100):
percentile_approx
先前接受的功能數字
輸入和輸出雙
類型的結果。現在它支持日期
類型,時間戳
類型和數字
類型作為輸入類型。結果類型也被更改為與輸入類型相同,這對於百分位數來說更合理。(火花- 21610):當引用的列隻包括內部損壞記錄列(named . CSV)時,來自原始JSON/CSV文件的查詢是不允許的
_corrupt_record
默認情況下)。相反,您可以緩存或保存解析後的結果,然後發送相同的查詢。(火花- 23421):從Spark 2.2.1和2.3.0開始,當數據源表的列同時存在於分區模式和數據模式中時,模式總是在運行時被推斷出來。推斷的模式沒有分區列。在讀取表時,Spark尊重這些重疊列的分區值,而不是存儲在數據源文件中的值。在2.2.0和2.1。在X版本中,推斷出來的模式是分區的,但是表的數據對用戶是不可見的(即,結果集是空的)。
PySpark
(火花- 19732):
na.fill ()
或fillna
也接受布爾值並用布爾值替換空值。在之前的Spark版本中,PySpark隻是忽略它並返回原始的Dataset/DataFrame。(火花- 22395):熊貓
0.19.2
或以上是使用熊貓所需的相關功能,如toPandas
,createDataFrame
從pandas DataFrame等。(火花- 22395): pandas相關功能的時間戳值的行為被更改為尊重會話時區,這在以前的版本中被忽略。
(火花- 23328):
df.replace
不允許省略價值
當to_replace
不是字典。在此之前,價值
在其他情況下可以省略沒有一個
默認情況下,這是反直覺和容易出錯的。
MLlib
打破API更改:對邏輯回歸模型摘要的類和性狀層次結構進行了修改,使其更清晰,更好地適應多類摘要的添加。類型的用戶代碼發生了突破性的更改
LogisticRegressionTrainingSummary
到一個BinaryLogisticRegressionTrainingSummary
。用戶應該使用model.binarySummary
方法。看到(火花- 17139):獲取更多細節(注意這是一個@Experimental
API)。這不會影響Python的摘要方法,它仍然可以正確地用於多項和二進製情況。(火花- 21806):
BinaryClassificationMetrics.pr ()
:第一個點(0.0,1.0)具有誤導性,已被(0.0,p)取代,其中精度p匹配最低召回點。(火花- 16957):決策樹在選擇分割值時使用加權中點。這可能會改變模型訓練的結果。
(火花- 14657):
RFormula
沒有攔截現在輸出引用類別編碼字符串術語,以匹配本機R行為。這可能會改變模型訓練的結果。(火花- 21027)中使用的默認並行度
OneVsRest
現在設置為1(即串行)。在2.2和更早的版本中,並行度級別被設置為Scala中的默認線程池大小。這可能會改變性能。(火花- 21523):將Breeze升級為
0.13.2
。這包括一個重要的錯誤修複強沃爾夫線搜索L-BFGS。(火花- 15526): JPMML依賴項現在是陰影。
另請參閱“Bug修複”部分,了解修複Bug導致的行為更改。
已知的問題
(火花- 23523)[SQL]:規則導致的錯誤結果
OptimizeMetadataOnlyQuery
。(火花- 23406):流-流自連接的錯誤。
係統環境
操作係統: Ubuntu 16.04.4 LTS
Java: 1.8.0_151
Scala: 2.11.8
Python: 2.7.12(如果使用python3則為3.5.2)
R: R版本3.4.3 (2017-11-30)
GPU集群:安裝了以下NVIDIA GPU庫:
特斯拉司機375.66
CUDA 8.0
CUDNN 6.0
已安裝的Python庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
---|---|---|---|---|---|
ansi2html |
1.1.1 |
argparse |
1.2.1 " |
backports-abc |
0.5 |
寶途 |
2.42.0 |
boto3 |
1.4.1 |
botocore |
1.4.70 |
brewer2mpl |
1.4.1 |
certifi |
2016.2.28 |
cffi |
1.7.0 |
chardet |
tripwire |
彩色光 |
0.3.7 |
configobj |
5.0.6 |
密碼學 |
1.5 |
周期計 |
0.10.0 |
Cython |
0.24.1 |
裝飾 |
4.0.10 |
docutils |
0.14 |
enum34 |
1.1.6 |
et-xmlfile |
1.0.1 |
freetype-py |
1.0.2中 |
funcsigs |
1.0.2中 |
fusepy |
2.0.4 |
期貨 |
3.2.0 |
ggplot |
0.6.8 |
html5lib |
0.999 |
idna |
2.1 |
ipaddress |
1.0.16 |
ipython |
2.2.0 |
ipython-genutils |
0.1.0 |
jdcal |
1.2 |
Jinja2 |
2.8 |
jmespath |
0.9.0 |
llvmlite |
0.13.0 |
lxml |
3.6.4 |
MarkupSafe |
0.23 |
matplotlib |
1.5.3 |
mpld3 |
0.2 |
msgpack-python |
0.4.7 |
ndg-httpsclient |
0.3.3 |
numba |
0.28.1 |
numpy |
1.11.1 |
openpyxl |
2.3.2 |
熊貓 |
0.19.2 |
pathlib2 |
魅惑 |
容易受騙的人 |
0.4.1 |
pexpect |
4.0.1 |
pickleshare |
0.7.4 |
枕頭 |
3.3.1 |
皮普 |
9.0.1 |
厚度 |
3.9 |
prompt-toolkit |
1.0.7 |
psycopg2 |
2.6.2 |
ptyprocess |
0.5.1 |
py4j |
0.10.3 |
pyarrow |
0.8.0 |
pyasn1 |
0.1.9 |
pycparser |
2.14 |
Pygments |
2.1.3 |
PyGObject |
3.20.0 |
pyOpenSSL |
16.0.0 |
pyparsing |
2.2.0 |
pypng |
0.0.18 |
Python |
2.7.12 |
python-dateutil |
2.5.3 |
python-geohash |
0.8.5 |
pytz |
2016.6.1 |
請求 |
2.11.1 |
s3transfer |
0.1.9 |
scikit-learn |
0.18.1 |
scipy |
0.18.1 |
衝刷 |
0.32 |
seaborn |
是0.7.1 |
setuptools |
38.5.1 |
simplejson |
3.8.2 |
simples3 |
1.0 |
singledispatch |
3.4.0.3 |
六個 |
1.10.0 |
statsmodels |
0.6.1 |
龍卷風 |
4.5.3 |
traitlets |
4.3.0 |
urllib3 |
1.19.1 |
virtualenv |
15.0.1 |
wcwidth |
0.1.7 |
輪 |
0.30.0 |
wsgiref |
0.1.2 |
已安裝的R庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
---|---|---|---|---|---|
abind |
1.4 - 5 |
為了 |
0.2.0 |
補丁 |
1.1.1 |
基地 |
3.4.3 |
黑洞 |
1.65.0-1 |
bindr |
0.1 |
bindrcpp |
0.2 |
位 |
-12 - 1.1 |
bit64 |
0.9 7 |
bitops |
1.0 6 |
團 |
1.1.0 |
引導 |
-20 - 1.3 |
釀造 |
1.0 6 |
掃帚 |
0.4.3 |
車 |
2.1 6 |
脫字符號 |
-77 - 6.0 |
時間 |
-51 - 2.3 |
類 |
-14 - 7.3 |
集群 |
2.0.6 |
codetools |
-15 - 0.2 |
色彩 |
1.3 - 2 |
commonmark |
1.4 |
編譯器 |
3.4.3 |
蠟筆 |
1.3.4 |
旋度 |
3.0 |
CVST |
0.2 - 1 |
data.table |
1.10.4-3 |
數據集 |
3.4.3 |
DBI |
0.7 |
ddalpha |
1.3.1 |
DEoptimR |
1.0 8 |
desc |
1.1.1 |
devtools |
1.13.4 |
二色視者 |
2.0 0 |
消化 |
0.6.12 |
dimRed |
0.1.0 |
doMC |
1.3.4 |
dplyr |
0.7.4 |
DRR |
發布 |
foreach |
3 |
外國 |
-69 - 0.8 |
“綠帶運動” |
2.1.3 |
ggplot2 |
2.2.1 |
git2r |
0.19.0 |
glmnet |
-13 - 2.0 |
膠水 |
1.2.0 |
高爾 |
0.1.2 |
圖形 |
3.4.3 |
grDevices |
3.4.3 |
網格 |
3.4.3 |
gsubfn |
0.6 6 |
gtable |
0.2.0 |
水 |
3.16.0.1 |
httr |
1.3.1 |
hwriter |
1.3.2 |
hwriterPlus |
1.0 - 3 |
不小 |
0.9 6 |
迭代器 |
1.0.8 |
jsonlite |
1.5 |
kernlab |
-25 - 0.9 |
KernSmooth |
-15 - 2.23 |
標簽 |
0.3 |
晶格 |
-35 - 0.20 |
熔岩 |
1.5.1 |
lazyeval |
0.2.1 |
的小 |
0.3.2 |
lme4 |
-14 - 1.1 |
lubridate |
1.7.1上 |
magrittr |
1.5 |
mapproj |
1.2 - 5 |
地圖 |
3.2.0 |
質量 |
-48 - 7.3 |
矩陣 |
-11 - 1.2 |
MatrixModels |
0.4 - 1 |
memoise |
1.1.0 |
方法 |
3.4.3 |
mgcv |
-23 - 1.8 |
mime |
0.5 |
minqa |
1.2.4 |
mnormt |
1.5 - 5 |
ModelMetrics |
1.1.0 |
孟塞爾 |
0.4.3 |
mvtnorm |
1.0 6 |
nlme |
-131 - 3.1 |
nloptr |
1.0.4 |
nnet |
-12 - 7.3 |
numDeriv |
2016.8 - 1 |
openssl |
0.9.9 |
平行 |
3.4.3 |
pbkrtest |
0.4 7 |
pkgconfig |
2.0.1 |
pkgKitten |
0.1.4 |
plogr |
0.1 - 1 |
plyr |
1.8.4 |
讚美 |
1.0.0 |
pROC |
1.10.0 |
prodlim |
1.6.1 |
原型 |
1.0.0 |
心理 |
1.7.8 |
purrr |
0.2.4 |
quantreg |
5.34 |
R.methodsS3 |
1.7.1上 |
R.oo |
1.21.0 |
R.utils |
2.6.0 |
R6 |
2.2.2 |
randomForest |
-12 - 4.6 |
RColorBrewer |
1.1 - 2 |
Rcpp |
0.12.14 |
RcppEigen |
0.3.3.3.1 |
RcppRoll |
0.2.2 |
RCurl |
1.95 - -4.8 |
食譜 |
0.1.1 |
reshape2 |
1.4.2 |
rlang |
0.1.4 |
robustbase |
0.92 8 |
RODBC |
-15 - 1.3 |
roxygen2 |
6.0.1中 |
rpart |
-12 - 4.1 |
rprojroot |
1.2 |
Rserve |
1.7 - 3 |
RSQLite |
2.0 |
rstudioapi |
0.7 |
尺度 |
0.5.0 |
sfsmisc |
1.1 - 1 |
sp |
1.2 - 5 |
SparkR |
tripwire |
SparseM |
1.77 |
空間 |
-11 - 7.3 |
樣條函數 |
3.4.3 |
sqldf |
-11 - 0.4 |
statmod |
1.4.30 |
統計數據 |
3.4.3 |
stats4 |
3.4.3 |
stringi |
1.1.6 |
stringr |
1.2.0 |
生存 |
2.41 - 3 |
tcltk |
3.4.3 |
TeachingDemos |
2.10 |
testthat |
1.0.2中 |
寵物貓 |
1.3.4 |
tidyr |
0.7.2 |
tidyselect |
0.2.3 |
timeDate |
3042.101 |
工具 |
3.4.3 |
跑龍套 |
3.4.3 |
viridisLite |
0.2.0 |
晶須 |
0.3 - 2 |
withr |
魅惑 |
xml2 |
1.1.1 |
安裝Java和Scala庫(Scala 2.11集群版本)
組ID |
工件ID |
版本 |
---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.7.3 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.11.253 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.11.253 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.11.253 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.11.253 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.11.253 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.11.253 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.11.253 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.11.253 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.11.253 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.11.253 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.11.253 |
com.amazonaws |
aws-java-sdk-config |
1.11.253 |
com.amazonaws |
aws-java-sdk-core |
1.11.253 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.11.253 |
com.amazonaws |
aws-java-sdk-directconnect |
1.11.253 |
com.amazonaws |
aws-java-sdk-directory |
1.11.253 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.11.253 |
com.amazonaws |
aws-java-sdk-ec2 |
1.11.253 |
com.amazonaws |
aws-java-sdk-ecs |
1.11.253 |
com.amazonaws |
aws-java-sdk-efs |
1.11.253 |
com.amazonaws |
aws-java-sdk-elasticache |
1.11.253 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.11.253 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.11.253 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.11.253 |
com.amazonaws |
aws-java-sdk-emr |
1.11.253 |
com.amazonaws |
aws-java-sdk-glacier |
1.11.253 |
com.amazonaws |
aws-java-sdk-iam |
1.11.253 |
com.amazonaws |
aws-java-sdk-importexport |
1.11.253 |
com.amazonaws |
aws-java-sdk-kinesis |
1.11.253 |
com.amazonaws |
aws-java-sdk-kms |
1.11.253 |
com.amazonaws |
aws-java-sdk-lambda |
1.11.253 |
com.amazonaws |
aws-java-sdk-logs |
1.11.253 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.11.253 |
com.amazonaws |
aws-java-sdk-opsworks |
1.11.253 |
com.amazonaws |
aws-java-sdk-rds |
1.11.253 |
com.amazonaws |
aws-java-sdk-redshift |
1.11.253 |
com.amazonaws |
aws-java-sdk-route53 |
1.11.253 |
com.amazonaws |
aws-java-sdk-s3 |
1.11.253 |
com.amazonaws |
aws-java-sdk-ses |
1.11.253 |
com.amazonaws |
aws-java-sdk-simpledb |
1.11.253 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.11.253 |
com.amazonaws |
aws-java-sdk-sns |
1.11.253 |
com.amazonaws |
aws-java-sdk-sqs |
1.11.253 |
com.amazonaws |
aws-java-sdk-ssm |
1.11.253 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.11.253 |
com.amazonaws |
aws-java-sdk-sts |
1.11.253 |
com.amazonaws |
aws-java-sdk-support |
1.11.253 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.11.253 |
com.amazonaws |
jmespath-java |
1.11.253 |
com.carrotsearch |
hppc |
0.7.2 |
com.chuusai |
shapeless_2.11 |
2.3.2 |
com.clearspring.analytics |
流 |
2.7.0 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
dbml-local_2.11 |
0.3.0-db1-spark2.3 |
com.databricks |
dbml-local_2.11-tests |
0.3.0-db1-spark2.3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.11 |
0.4.15-9 |
com.databricks.scalapb |
scalapb-runtime_2.11 |
0.4.15-9 |
com.esotericsoftware |
kryo-shaded |
3.0.3 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同學 |
1.0.0 |
com.fasterxml.jackson.core |
jackson-annotations |
2.6.7 |
com.fasterxml.jackson.core |
jackson-core |
2.6.7 |
com.fasterxml.jackson.core |
jackson-databind |
2.6.7.1 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.6.7 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-scala_2.11 |
2.6.7.1 |
com.github.fommil |
jniloader |
1.1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1.1 |
com.github.fommil.netlib |
native_ref-java-natives |
1.1 |
com.github.fommil.netlib |
native_system-java |
1.1 |
com.github.fommil.netlib |
native_system-java-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1.1 |
com.github.luben |
zstd-jni |
1.3.2-2 |
com.github.rwl |
jtransforms |
測試盒框 |
com.google.code.findbugs |
jsr305 |
2.0.1 |
com.google.code.gson |
gson |
2.2.4 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.googlecode.javaewah |
JavaEWAH |
0.3.2 |
com.h2database |
h2 |
1.3.174 |
com.jamesmurty.utils |
java-xmlbuilder |
1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.mchange |
c3p0 |
0.9.5.1 |
com.mchange |
mchange-commons-java |
0.2.10 |
com.microsoft.azure |
azure-data-lake-store-sdk |
) |
com.microsoft.sqlserver |
mssql-jdbc |
6.2.2.jre8 |
com.ning |
compress-lzf |
1.0.3 |
com.sun.mail |
javax.mail |
1.5.2 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.11 |
0.3 |
com.twitter |
chill-java |
0.8.4 |
com.twitter |
chill_2.11 |
0.8.4 |
com.twitter |
parquet-hadoop-bundle |
1.6.0 |
com.twitter |
util-app_2.11 |
6.23.0 |
com.twitter |
util-core_2.11 |
6.23.0 |
com.twitter |
util-jvm_2.11 |
6.23.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging-api_2.11 |
2.1.2 |
com.typesafe.scala-logging |
scala-logging-slf4j_2.11 |
2.1.2 |
com.univocity |
univocity-parsers |
2.5.9 |
com.vlkan |
flatbuffers |
1.2.0-3f79e055 |
com.zaxxer |
HikariCP |
2.4.1 |
commons-beanutils |
commons-beanutils |
1.7.0 |
commons-beanutils |
commons-beanutils-core |
1.8.0 |
commons-cli |
commons-cli |
1.2 |
commons-codec |
commons-codec |
1.10 |
commons-collections |
commons-collections |
3.2.2 |
commons configuration |
commons configuration |
1.6 |
commons-dbcp |
commons-dbcp |
1.4 |
commons-digester |
commons-digester |
1.8 |
commons-httpclient |
commons-httpclient |
3.1 |
commons-io |
commons-io |
2.4 |
commons lang |
commons lang |
2.6 |
通用日誌 |
通用日誌 |
1.1.3 |
commons net |
commons net |
2.2 |
commons-pool |
commons-pool |
1.5.4 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.7 |
io.airlift |
aircompressor |
0.8 |
io.dropwizard.metrics |
metrics-core |
3.1.5 |
io.dropwizard.metrics |
metrics-ganglia |
3.1.5 |
io.dropwizard.metrics |
metrics-graphite |
3.1.5 |
io.dropwizard.metrics |
metrics-healthchecks |
3.1.5 |
io.dropwizard.metrics |
metrics-jetty9 |
3.1.5 |
io.dropwizard.metrics |
metrics-json |
3.1.5 |
io.dropwizard.metrics |
metrics-jvm |
3.1.5 |
io.dropwizard.metrics |
metrics-log4j |
3.1.5 |
io.dropwizard.metrics |
metrics-servlets |
3.1.5 |
io.netty |
網狀的 |
3.9.9.Final |
io.netty |
netty-all |
4.1.17.Final |
io.prometheus |
simpleclient |
0.0.16 |
io.prometheus |
simpleclient_common |
0.0.16 |
io.prometheus |
simpleclient_dropwizard |
0.0.16 |
io.prometheus |
simpleclient_servlet |
0.0.16 |
io.prometheus.jmx |
收集器 |
0.7 |
javax.activation |
激活 |
1.1.1 |
javax.annotation |
javax.annotation-api |
1.2 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.servlet |
javax.servlet-api |
3.1.0 |
javax.servlet.jsp |
jsp-api |
2.1 |
javax.transaction |
jta |
1.1 |
javax.validation |
驗證api |
1.1.0.Final |
javax.ws.rs |
javax.ws.rs-api |
2.0.1 |
javax.xml.bind |
jaxb-api |
2.2.2 |
javax.xml.stream |
stax-api |
1.0 - 2 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.11 |
joda-time |
joda-time |
2.9.3 |
log4j |
apache-log4j-extras |
1.2.17 |
log4j |
log4j |
1.2.17 |
net.hydromatic |
eigenbase-properties |
1.1.5 |
net.iharder |
base64 |
2.3.8 |
net.java.dev.jets3t |
jets3t |
0.9.4 |
net.razorvine |
地幔岩 |
4.13 |
net.sf.jpam |
jpam |
1.1 |
net.sf.opencsv |
opencsv |
2.3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.sourceforge.f2j |
arpack_combined_all |
0.1 |
org.acplt |
oncrpc |
1.0.7 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.4 |
org.antlr |
antlr4-runtime |
4.7 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
螞蟻 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
0.8.0 |
org.apache.arrow |
arrow-memory |
0.8.0 |
org.apache.arrow |
arrow-vector |
0.8.0 |
org.apache.avro |
avro |
1.7.7 |
org.apache.avro |
avro-ipc |
1.7.7 |
org.apache.avro |
avro-ipc-tests |
1.7.7 |
org.apache.avro |
avro-mapred-hadoop2 |
1.7.7 |
org.apache.calcite |
calcite-avatica |
1.2.0-incubating |
org.apache.calcite |
calcite-core |
1.2.0-incubating |
org.apache.calcite |
calcite-linq4j |
1.2.0-incubating |
org.apache.commons |
commons-compress |
1.4.1 |
org.apache.commons |
commons-crypto |
1.0.0 |
org.apache.commons |
commons-lang3 |
3.5 |
org.apache.commons |
commons-math3 |
3.4.1 |
org.apache.curator |
curator-client |
2.7.1 |
org.apache.curator |
curator-framework |
2.7.1 |
org.apache.curator |
curator-recipes |
2.7.1 |
org.apache.derby |
德比 |
10.12.1.1 |
org.apache.directory.api |
api-asn1-api |
1.0.0-M20 |
org.apache.directory.api |
api-util |
1.0.0-M20 |
org.apache.directory.server |
apacheds-i18n |
2.0.0-M15 |
org.apache.directory.server |
apacheds-kerberos-codec |
2.0.0-M15 |
org.apache.hadoop |
hadoop-annotations |
2.7.3 |
org.apache.hadoop |
hadoop-auth |
2.7.3 |
org.apache.hadoop |
hadoop-client |
2.7.3 |
org.apache.hadoop |
hadoop-common |
2.7.3 |
org.apache.hadoop |
hadoop-hdfs |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-app |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-common |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-core |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-jobclient |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-shuffle |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-api |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-client |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-common |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-server-common |
2.7.3 |
org.apache.htrace |
htrace-core |
3.1.0-incubating |
org.apache.httpcomponents |
httpclient |
4.5.4 |
org.apache.httpcomponents |
httpcore |
4.4.8 |
org.apache.ivy |
艾薇 |
測試盒框 |
org.apache.orc |
orc-core-nohive |
1.4.1 |
org.apache.orc |
orc-mapreduce-nohive |
1.4.1 |
org.apache.parquet |
parquet-column |
1.8.2-databricks1 |
org.apache.parquet |
parquet-common |
1.8.2-databricks1 |
org.apache.parquet |
parquet-encoding |
1.8.2-databricks1 |
org.apache.parquet |
parquet-format |
2.3.1 |
org.apache.parquet |
parquet-hadoop |
1.8.2-databricks1 |
org.apache.parquet |
parquet-jackson |
1.8.2-databricks1 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.9.3 |
org.apache.xbean |
xbean-asm5-shaded |
4.4 |
org.apache.zookeeper |
動物園管理員 |
3.4.6 |
org.bouncycastle |
bcprov-jdk15on |
1.58 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-jaxrs |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.jackson |
jackson-xc |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.8 |
org.codehaus.janino |
janino |
3.0.8 |
org.datanucleus |
datanucleus-api-jdo |
3.2.6 |
org.datanucleus |
datanucleus-core |
3.2.10 |
org.datanucleus |
datanucleus-rdbms |
3.2.9 |
org.eclipse.jetty |
jetty-client |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-continuation |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-http |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-io |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-jndi |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-plus |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-proxy |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-security |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty服務器 |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty servlet |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-servlets |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-util |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-webapp |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-xml |
9.3.20.v20170531 |
org.fusesource.leveldbjni |
leveldbjni-all |
1.8 |
org.glassfish.hk2 |
hk2-api |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-locator |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-utils |
2.4.0-b34 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.1 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.4.0-b34 |
org.glassfish.hk2.external |
javax.inject |
2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged |
jersey-guava |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.22.2 |
org.glassfish.jersey.core |
jersey客戶端 |
2.22.2 |
org.glassfish.jersey.core |
jersey-common |
2.22.2 |
org.glassfish.jersey.core |
jersey-server |
2.22.2 |
org.glassfish.jersey.media |
jersey-media-jaxb |
2.22.2 |
org.hibernate |
hibernate驗證框架 |
5.1.1.Final |
org.iq80.snappy |
時髦的 |
0.2 |
org.javassist |
javassist |
3.18.1-GA |
org.jboss.logging |
jboss-logging |
3.1.3.GA |
org.jdbi |
jdbi |
2.63.1 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.11 |
3.2.11 |
org.json4s |
json4s-core_2.11 |
3.2.11 |
org.json4s |
json4s-jackson_2.11 |
3.2.11 |
org.lz4 |
lz4-java |
1.4.0 |
org.mariadb.jdbc |
mariadb-java-client |
2.1.2 |
org.mockito |
mockito-all |
1.9.5 |
org.objenesis |
objenesis |
2.1 |
org.postgresql |
postgresql |
42.1.4 |
org.roaringbitmap |
RoaringBitmap |
0.5.11 |
org.rocksdb |
rocksdbjni |
5.2.1 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.11 |
2.11.8 |
org.scala-lang |
scala-library_2.11 |
2.11.8 |
org.scala-lang |
scala-reflect_2.11 |
2.11.8 |
org.scala-lang |
scalap_2.11 |
2.11.8 |
org.scala-lang.modules |
scala-parser-combinators_2.11 |
1.0.2中 |
org.scala-lang.modules |
scala-xml_2.11 |
1.0.5 |
org.scala-sbt |
測試界麵 |
1.0 |
org.scalacheck |
scalacheck_2.11 |
1.12.5 |
org.scalanlp |
breeze-macros_2.11 |
0.13.2 |
org.scalanlp |
breeze_2.11 |
0.13.2 |
org.scalatest |
scalatest_2.11 |
2.2.6款 |
org.slf4j |
jcl-over-slf4j |
1.7.16 |
org.slf4j |
jul-to-slf4j |
1.7.16 |
org.slf4j |
slf4j-api |
1.7.16 |
org.slf4j |
slf4j-log4j12 |
1.7.16 |
org.spark-project.hive |
hive-beeline |
1.2.1.spark2 |
org.spark-project.hive |
hive-cli |
1.2.1.spark2 |
org.spark-project.hive |
hive-exec |
1.2.1.spark2 |
org.spark-project.hive |
hive-jdbc |
1.2.1.spark2 |
org.spark-project.hive |
hive-metastore |
1.2.1.spark2 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.spire-math |
spire-macros_2.11 |
0.13.0 |
org.spire-math |
spire_2.11 |
0.13.0 |
org.springframework |
spring核心 |
4.1.4.RELEASE |
org.springframework |
spring測試 |
4.1.4.RELEASE |
org.tukaani |
xz |
1.0 |
org.typelevel |
machinist_2.11 |
0.6.1 |
org.typelevel |
macro-compat_2.11 |
1.1.1 |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.2.6 |
org.yaml |
snakeyaml |
1.16 |
奧羅 |
奧羅 |
2.0.8 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |
xmlenc |
xmlenc |
0.52 |