Databricks Runtime 12.0

以下發布說明提供了Databricks運行時12.0的信息，由Apache Spark 3.3.1提供支持。

Databricks在2022年12月發布了這些圖像。

新功能和改進

<！- - - - - - - >

Photon writer支持zstd壓縮

當設置啟用zstd時，Photon本機寫入器現在支持zstd壓縮編解碼器spark.sql.parquet.compression.codec來zstd．

支持獨立集群的階段級任務資源配置文件

當禁用動態分配時，您現在可以在獨立集群上使用階段級調度。要使用此功能，請指定任務資源ResourceProfileBuilder對於每個階段。

SQL支持的選擇性覆蓋`取代在哪裏`

現在可以使用以下模式有選擇地覆蓋與Delta表中任意表達式匹配的數據。

              插入成table_name取代在哪裏謂詞append_relation
             

看到使用replaceWhere任意選擇覆蓋．

現在SQL中支持水印

您現在可以使用Delta Live Tables SQL接口和針對流數據幀的SQL查詢來指定水印。看到水印條款．

PySpark內存分析

PySpark用戶定義函數現在啟用內存分析。這提供了關於用戶定義函數中每行代碼的內存增量、內存使用情況和出現次數的信息。

DELETE和UPDATE的動態修剪

刪除而且更新現在在可以提高性能的實例中使用動態文件和分區修剪。例如，當使用較小的源表更新或刪除較大表中的行時，將啟用動態修剪。

用於分區數據操作語言操作的行級刪除度量

使用分區謂詞，用戶現在可以審計在運行數據操作語言(DML)操作時刪除了多少行，例如刪除，截斷,replaceWhere．

錯誤修複

修正了自動加載器中JSON解析的問題，其中所有列都被保留為字符串。在此之前,cloudFiles.inferColumnTypes沒有設定或設定假JSON包含嵌套對象。

庫升級

升級的Python庫:
- Argon2-cffi從20.1.0到21.3.0
- Attrs從21.2.0到21.4.0
- backports.entry-points-selectablefrom 1.1.1 to 1.2.0
- 漂白從4.0.0到4.1.0
- Boto3從1.21.18到1.21.32
- Botocore從1.24.18到1.24.32
- Cffi從1.14.6到1.15.0
- 單擊8.0.3 ~ 8.0.4
- 從0.10.0到0.11.0的循環器
- Cython從0.29.24到0.29.28
- 從1.4.1調試到1.5.1
- 從5.1.0到5.1.1的裝飾器
- 入口點從0.3到0.4
- Idna從3.2到3.3
- Ipykernel從6.12.1到6.15.3
- Ipython從7.32.0到8.5.0
- Ipywidgets從7.7.0到7.7.2
- 絕地武士從0.18.0到0.18.1
- Joblib從1.0.1到1.1.0
- Jsonschema從3.2.0到4.4.0
- 從1.3.1到1.3.2
- Matplotlib從3.4.3到3.5.1
- Nbclient從0.5.3到0.5.13
- Nbconvert從6.1.0到6.4.4
- Nbformat從5.1.3到5.3.0
- Nest-asyncio從1.5.1到1.5.5
- 筆記本從6.4.5到6.4.8
- Numpy從1.20.3到1.21.5
- 從21.0到21.3的包裝
- 熊貓從1.3.4到1.4.2
- pandocfilter從1.4.3到1.5.0
- 從0.8.2到0.8.3
- 枕頭從8.4.0到9.0.1
- Beplay体育安卓版本平台從2.5.2到2.5.4
- 從5.9.0繪製到5.6.0
- Prometheus-client從0.11.0升級到0.13.1
- Protobuf從4.21.5到3.19.4
- Pycparser從2.20到2.21
- 從2.10.0到2.11.2的pyments
- Pyodbc從4.0.31到4.0.32
- Pyzmq從22.2.1到22.3.0
- 從2.26.0到2.27.1的請求
- S3transfer從0.5.2遷移到0.5.0
- Scikit-learn從0.24.2到1.0.2
- Scipy從1.7.1到1.7.3
- statmodel從0.12.2到0.13.2
- 從0.9.4到0.13.1的終止
- Tomli從2.0.1到1.2.2
- 從5.1.0到5.1.1
- Urllib3從1.26.7到1.26.9
- widgetsnbeextension從3.6.0擴展到3.6.1
升級的R庫:
- 從4.1.3到4.2.2
- 從1.0-7到1.0-8釀造
- Bslib從0.4.0到0.4.1
- Callr從3.7.2到3.7.3
- 從2.3-57到2.3-58
- Cli從3.3.0到3.4.1
- 集群從2.1.3到2.1.4
- Commonmark從1.8.0到1.8.1
- 編譯器從4.1.3到4.2.2
- Cpp11從0.4.2到0.4.3
- 蠟筆從1.5.1到1.5.2
- 旋度從4.3.2到4.3.3
- data.tablefrom 1.14.2 to 1.14.4
- 數據集4.1.3至4.2.2
- 從1.4.1描述到1.4.2
- 從2.4.4到2.4.5的Devtools
- 摘要從0.6.29到0.6.30
- E1071從1.7-11到1.7-12
- 從0.16評估到0.18
- Fontawesome從0.3.0到0.4.0
- 未來從1.28.0到1.29.0
- future.applyfrom 1.9.1 to 1.10.0
- 從1.2.0到1.2.1漱口
- 從1.8.0到1.9.1
- Ggplot2從3.3.6到3.4.0
- Gh從1.3.0到1.3.1
- Gitcreds從0.1.1到0.1.2
- 4.1.3至4.2.2的圖形
- grDevices從4.1.3到4.2.2
- 從4.1.3到4.2.2的網格
- Httpuv從1.6.5到1.6.6
- 等帶從0.2.5到0.2.6
- Jsonlite從1.8.0到1.8.3
- 熔岩從1.6.10到1.7.0
- 生命周期從1.0.1到1.0.3
- 潤滑從1.8.0到1.9.0
- 從1.1降至1.3
- 質量從7.3-56到7.3-58
- 矩陣從1.4-1到1.5-1
- 4.1.3 ~ 4.2.2中的方法
- MGCV從1.8-40增加到1.8-41
- Nlme從3.1-157到3.1-160
- Nnet從7.3-17到7.3-18
- Openssl從2.0.2到2.0.4
- 平行於4.1.3到4.2.2
- Pkgload從1.3.0到1.3.1
- Processx從3.7.0到3.8.0
- Ps從1.7.1到1.7.2
- 呼嚕聲從0.3.4到0.3.5
- 從1.2.2到1.2.4
- RcppEigen從0.3.3.9.2到0.3.3.9.3
- 從2.1.2到2.1.3的閱讀器
- 從1.0.1到1.0.3的食譜
- Rlang從1.0.5到1.0.6
- rmark從2.16降至2.18
- 從4.1.16到4.1.19
- 從2.2.16到2.2.18
- 從1.7.2到1.7.3閃亮
- SparkR從3.3.0到3.3.1
- 從4.1.3到4.2.2的樣條
- 從4.1.3到4.2.2的統計數據
- 統計數據4從4.1.3到4.2.2
- 從3.4到3.4.1
- TCLTK從4.1.3到4.2.2
- 從3.1.4測試到3.1.5
- Tidyr從1.2.0到1.2.1
- Tidyselect從1.1.2到1.2.0
- timeate從4021.104到4021.106
- Tinytex從0.41到0.42
- 4.1.3到4.2.2的工具
- 從4.1.3到4.2.2的Utils
- VCTRS從0.4.1到0.5.0
- Vroom從1.5.7升級到1.6.0
- Xfun從0.32到0.34
- Yaml從2.3.5到2.3.6
- 從2.2.0壓縮到2.2.2
升級的Java庫:
- com.fasterxml.jackson.core。jackson-databindfrom 2.13.4 to 2.13.4.2
- org.apache.parquet。parquet-columnfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001
- org.apache.parquet。parquet-commonfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001
- org.apache.parquet。parquet-encodingfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001
- org.apache.parquet。Parquet-format-structures從1.12.0- databicks -0007到1.12.3- databicks -0001
- org.apache.parquet。parquet-hadoopfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001
- org.apache.parquet。parquet-jacksonfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001
- org.apache.yetus。從0.5.0到0.13.0的受眾注釋

Apache火花

Databricks Runtime 12.0包含Apache Spark 3.3.1。此版本包括所有Spark修複和改進Databricks Runtime 11.3 LTS，以及以下對Spark的額外錯誤修複和改進:

(火花- 40844)[SC-116996][12.x][12.0][12.0.0]恢複“[SC-113542][SS]翻轉Kafka偏移獲取配置的默認值”
(火花- 40646)[SC-113379][SQL]修複在JSON數據源和JSON函數中返回部分結果的問題
(火花- 41195)[SQL]支持加入子節點的PIVOT/UNPIVOT
(火花- 41178)[SC-116139][SQL]修正解析器中JOIN和逗號的優先級
(火花- 41072)[SC-116140][SC-116044][SQL][SS]添加錯誤類STREAM_FAILED來StreamingQueryException
(火花- 40921)[SC-115140][SC-114585][SQL] Add WHEN NOT MATCHED BY SOURCE子句to MERGE INTO
(火花- 37980)[SQL]擴展元數據列以支持Parquet文件的行索引
(火花- 41055)(sc - 115582) [SQL]重命名_LEGACY_ERROR_TEMP_2424來GROUP_BY_AGGREGATE
(火花- 41101)[SC-115849][PYTHON][PROTOBUF] PYSPARK-PROTOBUF的消息類名支持
(火花- 40956)[SC-115867] SQL等效的數據幀覆蓋命令
(火花- 41095)[SC-115659][SQL]將無法解析的操作符轉換為內部錯誤
(火花- 41144)[SC-115866][SQL]未解決的提示不應導致查詢失敗
(火花- 41137)(sc - 115858) [SQL]重命名LATERAL_JOIN_OF_TYPE來INVALID_LATERAL_JOIN_TYPE
(火花- 40998)[SQL]重命名錯誤類_LEGACY_ERROR_TEMP_0040來INVALID_IDENTIFIER
(火花- 41015)[SC-115130][SQL][PROTOBUF] UnitTest null檢查數據生成器
(火花- 40769)[SC-114923][CORE][SQL]將聚合表達式的類型檢查失敗遷移到錯誤類
(火花- 41043)[SQL]重命名錯誤類_LEGACY_ERROR_TEMP_2429來NUM_COLUMNS_MISMATCH
(火花- 40777)[SC-114855][SQL][PROTOBUF] PROTOBUF導入支持和移動錯誤類
(火花- 41019)[SC-114987][SQL]提供查詢上下文failAnalysis ()
(火花- 41027)(sc - 115131] [SQL]使用UNEXPECTED_INPUT_TYPE而不是MAP_FROM_ENTRIES_WRONG_TYPE
(火花- 40476)[SC-115868][SC-111163][ML][SQL]減少ALS的shuffle大小
(火花- 41134)[SC-115851][SQL]改進內部錯誤的錯誤信息
(火花- 37980)恢複“[SQL]擴展元數據列以支持Parquet文件的行索引
(火花- 41109)[SQL]重命名錯誤類遺產ERROR_TEMP_1216到INVALID_LIKE_PATTERN
(火花- 40984)(sc - 115844)(核心)[SQL]使用NON_FOLDABLE_INPUT而不是FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
(火花- 41029)[SQL]優化構造函數的使用GenericArrayDatafor Scala 2.13
(火花- 40697)[SC-113648][SQL]添加讀側字符填充以覆蓋外部數據文件
(火花- 40978)(sc - 114574] [SQL]遷移failAnalysis ()W /o上下文到錯誤類
(火花- 40663)[SQL]遷移執行錯誤到錯誤類:遺產error_temp_2251 - 2275
(火花- 38959)[SC-115672][SC-112707][SQL] DS V2:支持行級命令中的運行時組過濾
(火花- 40372)[SC-115668][SQL]將數組類型檢查失敗遷移到錯誤類
(火花- 41038)(sc - 115371) [SQL]重命名MULTI_VALUE_SUBQUERY_ERROR來SCALAR_SUBQUERY_TOO_MANY_ROWS
(火花- 40965)[SQL]重命名錯誤類_LEGACY_ERROR_TEMP_1208來FIELD_NOT_FOUND
(火花- 40748)[SC-114696][SQL]遷移類型檢查失敗的條件到錯誤類
(火花- 40371)[SC-114557][SQL]將NthValue和NTile的類型檢查失敗遷移到錯誤類
(火花- 41092)[SC-115547][SQL]不要使用標識符來匹配間隔單位
(火花- 41009)[SQL]重命名錯誤類_LEGACY_ERROR_TEMP_1070來LOCATION_ALREADY_EXISTS
(火花- 37980)擴展元數據列以支持Parquet文件的行索引
(火花- 40967)(sc - 114448] [SQL]遷移failAnalysis ()到錯誤類上
(火花- 34265)[SC-115486][SC-113788][PYTHON][SQL] Instrument使用SQL度量的PYTHON udf
(火花- 41012)(sc - 114873) [SQL]重命名_LEGACY_ERROR_TEMP_1022來ORDER_BY_POS_OUT_OF_RANGE
(火花- 41042)(sc - 115142) [SQL]重命名PARSE_CHAR_MISSING_LENGTH來DATATYPE_MISSING_SIZE
(火花- 40752)[SC-114442][SQL]將misc表達式的類型檢查失敗遷移到錯誤類
(火花- 37945)[SC-115534][SQL][CORE]在算術運算的執行錯誤中使用錯誤類
(火花- 40374)[SC-114705][SQL]將類型創建者的類型檢查失敗遷移到錯誤類
(火花- 41056)[SC-115354][R]修複R 4.2引入的新的R_LIBS_SITE行為
(火花- 41041)(sc - 115357] [SQL]積分_LEGACY_ERROR_TEMP_1279成TABLE_OR_VIEW_ALREADY_EXISTS
(火花- 40663)[SC-114852][SQL]遷移執行錯誤到錯誤類:遺產error_temp_2201 - 2225
(火花- 41020)[SC-114984][SQL]重命名錯誤類_LEGACY_ERROR_TEMP_1019來STAR_GROUP_BY_POS
(火花- 41035)[SQL]不要修補聚合函數的可折疊子函數RewriteDistinctAggregates
(火花- 39778)[SC-114353][SQL]改進錯誤類和消息
(火花- 40798)[SQL] Alter partition應該驗證storeAssignmentPolicy後麵的值
(火花- 40810)[SQL]在CreateDatabaseCommand和AlterDatabaseSetLocationCommand中使用SparkIllegalArgumentException而不是IllegalArgumentException
(火花- 40921)[SC-115140][SC-114585][SQL]添加當不匹配的源子句合並到
(火花- 40360)ALREADY_EXISTS和NOT_FOUND異常
(火花- 41007)[SC-115085][SQL]為java.math.BigInteger添加缺少的序列化器
(火花- 40751)[SC-114254][SQL]將高階函數類型檢查失敗遷移到錯誤類
(火花- 40248)[SC-114704][SQL]使用更大的位數來構建Bloom過濾器
(火花- 41040)[SC-115145][SS]修複使用readStream.table時自聯合流查詢失敗的問題
(火花- 32380)[SC-114966][SQL]修複Spark通過Hive訪問HBase表的問題
(火花- 40749)[SC-114860][SQL]將生成器類型檢查失敗遷移到錯誤類
(火花- 40925)(sc - 114445] [SQL] [SS] [WARMFIX][12。修複有狀態操作符late re…
(火花- 40654)[SC-112783]移除臨時日誌線
(火花- 40742)[SC-114913][SC-112646][CORE][SQL]修複與泛型類型相關的Java編譯警告
(火花- 40657)[SC-113642][Cherry-pick]在Protob中增加對Java類的支持…
(火花- 40898)[SC-113932][SQL]在數據類型不匹配錯誤中引用函數名
(火花- 40760)[SC-113750][SQL]將間隔表達式的類型檢查失敗遷移到錯誤類
(火花- 36114)[SC-113771][SQL]支持帶有相關非相等謂詞的子查詢
(火花- 40856)[SC-113738][SQL]更新WRONG_NUM_PARAMS錯誤模板
(火花- 40759)[SC-114251][SQL]將時間窗口的類型檢查失敗遷移到錯誤類
(火花- 40750)[SC-113812][SQL]將數學表達式的類型檢查失敗遷移到錯誤類
(火花- 40756)[SC-113749][SQL]將字符串表達式的類型檢查失敗遷移到錯誤類
(火花- 40768)[SC-113640][SQL]將bloom_filter_agg()的類型檢查失敗遷移到錯誤類
(火花- 40369)[SC-113402][CORE][SQL]通過反射將調用的類型檢查失敗遷移到錯誤類
(火花- 39445)[SQL]刪除列修剪時，如果windowExpressions為空，則刪除窗口
(火花- 40761)[SC-113245][SQL]將百分比表達式的類型檢查失敗遷移到錯誤類
(火花- 40361)[SC-112789][SQL]遷移算術類型檢查失敗到錯誤類
(火花- 40714)(sc - 112576) [SQL]刪除PartitionAlreadyExistsException
(火花- 40702)[SC-112437][SQL]修複分區規格PartitionsAlreadyExistException
(火花- 40358)[SC-112631][SQL]將集合類型檢查失敗遷移到錯誤類
(火花- 40910)[SC-114259][SQL]用SparkUnsupportedOperationException替換UnsupportedOperationException
(火花- 39876)[SQL]添加UNPIVOT到SQL語法中
(火花- 39783)[SC-113389][SQL]引用qualifiedName修複錯誤消息中候選列的倒勾
(火花- 40663)[SQL]遷移執行錯誤到錯誤類:遺產error_temp_2026 - 2282
(火花- 40975)[SQL]重命名錯誤類_LEGACY_ERROR_TEMP_0021來UNSUPPORTED_TYPED_LITERAL
(火花- 37935)[SC-114472][SQL]消除單獨的錯誤子類字段
(火花- 40944)[SC-114530][SQL]放寬CREATE TABLE列選項的排序約束
(火花- 40815)(sc - 114528] [SQL]添加DelegateSymlinkTextInputFormat到解決方案SymlinkTextInputSplit錯誤
(火花- 40933)[SC-114441][SQL]重新實現df.stat{cov, corr}帶有內置SQL函數
(火花- 40932)[SC-114439][CORE]修複allGather的問題消息被覆蓋
(火花- 39312)[SQL]使用parquet native In predicate for In filter下推
(火花- 40862)[SC-114352][SQL] RewriteCorrelatedScalarSubquery支持非聚合子查詢
(火花- 40963)[SC-114446][SQL]在創建的項目中正確設置為空ExtractGenerator
(火花- 40663)[SQL]遷移執行錯誤到錯誤類:遺產error_temp_2000 - 2024
(火花- 40892)[SC-114347][SQL][SS]放寬對window_time規則的要求-允許多個window_time調用
(火花- 40540)[SQL]遷移編譯錯誤到錯誤類:遺產error_temp_1100 - 1347
(火花- 40924)[SC-114258][SQL]修複輸入符號奇數時的Unhex問題
(火花- 40821)[SC-113754][SQL][CORE][PYTHON][SS]引入window_time函數從窗口列中提取事件時間
(火花- 40800)[SC-113772][SQL]在OptimizeOneRowRelationSubquery中總是內聯表達式
(火花- 40900)(sc - 114006) [SQL]重裝frequentItems用數據幀操作
(火花- 40735)[SC-114022][SC-112657]在腳本中始終使用/usr/bin/env bash調用bash，使代碼更可移植
(火花- 40773)[SQL]重構checkCorrelationsInSubquery
(火花- 40615)[SC-113400][SQL]在解關聯子查詢時檢查不支持的數據類型
(火花- 40660)[SC-112293][CORE][SQL]切換到XORShiftRandom來分發元素
(火花- 40540)[SC-113926][SQL]遷移編譯錯誤到錯誤類
(火花- 40551)[SC-113135][SQL] DataSource V2:為基於增量的行級操作添加api
(火花- 39391)[SC-110676][CORE]重用分區類
(火花- 40368)[SC-113396][SQL]遷移Bloom Filter類型檢查失敗到錯誤類
(火花- 39146)[SC-111814][CORE][SQL]引入本地單例forobjectmap可以重複使用
(火花- 40357)[sc - 1113786][SQL]將窗口類型檢查失敗遷移到錯誤類
(火花- 40874)[SC-113756][PYTHON]修複啟用加密時PYTHON udf中的廣播
(火花- 40359)[SC-113770][SC-111146][SQL]將CSV/JSON表達式中的類型檢查遷移到錯誤類失敗
(火花- 40880)(sc - 113764) [SQL]重裝總結用數據幀操作
(火花- 40877)(sc - 113763) [SQL]重裝交叉表用數據幀操作
(火花- 40382)[SC-113098][SQL]將語義相同的子表達式分組RewriteDistinctAggregates
(火花- 40826)[SC-113532][SS]增加額外的檢查點重命名文件檢查
(火花- 40829)[SC-113426][SQL]在CREATE TABLE LIKE視圖中STORED AS serde不能正常工作
(火花- 40844)[SC-113542][SS]翻轉Kafka偏移取配置的默認值
(火花- 40488)[SC-113568][SC-111160]當數據源寫失敗時不包裝拋出的異常
(火花- 40560)(sc - 113631) [sc - 111335] [SQL]重命名消息來messageTemplate在標準錯誤格式
(火花- 40618)[SC-113096][SQL]修複了MergeScalarSubqueries規則中使用引用跟蹤嵌套子查詢的錯誤
(火花- 40530)[SC-113528][SC-111332][SQL]添加錯誤相關的開發人員api
(火花- 40806)[SC-113250][SQL]錯誤修正:CREATE TABLE -> REPLACE TABLE
(火花- 40646)[SC-113379][SQL]修複在JSON數據源和JSON函數中返回部分結果的問題
(火花- 40654)[SQL] Protobuf支持Spark - from…
(火花- 40753)[SC-113539][SQL]修複了目錄操作測試用例中的錯誤
(火花- 40765)[SQL]優化冗餘fs操作CommandUtils # calculateSingleLocationSize # getPathSize方法
(火花- 40114)[es - 479282] [R][11。X] Arrow 9.0.0支持SparkR
(火花- 40479)[SC-110935][SQL]將意外輸入類型錯誤遷移到錯誤類
(火花- 40473)[SC-113388][SC-111141][SQL]遷移解析錯誤到錯誤類
(火花- 39853)[SC-111867][CORE]當禁用動態分配時，支持獨立集群的階段級任務資源配置文件(從PR-47157向後端口)
(火花- 40407)[SC-111161][SQL]修複df.repartition可能導致的數據傾斜
(火花- 40425)[SC-110840][SQL] DROP TABLE不需要做表查找
(火花- 40703)[SC-113242][SQL]在SinglePartition上引入shuffle來提高並行性
(火花- 40640)[SC-113138][CORE] SparkHadoopUtil設置hadoop/hive配置選項的起源
(火花- 39062)(11。為獨立集群添加階段級資源調度支持
(火花- 33861)[SQL]簡化謂詞中的條件
(火花- 40667)[SQL]重構文件數據源選項
(火花- 40370)[SC-110677][SQL]遷移類型檢查在CAST中出錯
(火花- 40611)[SQL]提高性能setInterval＆getInterval為UnsafeRow
(火花- 40733)[SC-113126][SQLSERDEPROPERTIES結果是ShowCreateTableAsSerdeCommand有固定的順序
(火花- 40585)[SQL]支持雙引號標識符
(火花- 40772)(sc - 112992] [SQL]改善spark.sql.adaptive.skewJoin.skewedPartitionFactor支持雙值
(火花- 40565)[SC-112417][SQL]不要將不確定的過濾器推送到V2文件源
(火花- 8731)[SC-112784] Beeline在後台啟動時不能使用-e選項
(火花- 35242)[SC-111398][SQL]支持更改會話目錄的默認數據庫
(火花- 40426)[SC-110672][SQL]從SparkThrowable.getMessageParameters返回一個映射
(火花- 40494)[SC-112655][SC-111025][CORE][SQL][ML][MLLIB]優化keys.zipWithIndex.toMap代碼模式
(火花- 40521)[SC-112430][SQL]返回隻存在分區PartitionsAlreadyExistException從Hive的創建分區
(火花- 40705)[SC-112567][SQL]在Scala 2.13中將Row轉換為JSON時使用可變數組的句柄
(火花- 39895)[SC-112590][SQL][PYTHON]支持多列拖放
(火花- 40607)[SC-112296][CORE][SQL][MLLIB][SS]刪除冗餘的字符串插值操作
(火花- 40420)[SC-112604][SC-110569][SQL]按JSON格式的名稱對錯誤消息參數進行排序
(火花- 40403)[SC-110564][SQL]使用長值計算不安全的數組大小以避免在錯誤消息中出現負大小
(火花- 40482)(sc - 110831) [SQL]恢複火星- 24544打印實際失敗導致當看向上函數失敗的
(火花- 40400)[SC-112555][SC-110397][SQL]將錯誤消息參數作為映射傳遞給異常
(火花- 40628)[SC-112414][SQL]不要通過項目推送複雜的左半/反連接條件
(火花- 40562)(sc - 111455] [SQL]添加spark.sql.legacy.groupingIdWithAppendedUserGroupBy
(火花- 40501)[SC-111333][SQL]為優化器添加PushProjectionThroughLimit
(火花- 39200)[SC-111244][CORE] Make Fallback Storage readFully on content
(火花- 38717)[SC-111241][SQL]處理Hive的桶規範保留行為
(火花- 40385)[SC-111123][SQL]修複伴生對象構造函數的解釋路徑
(火花- 40216)[SQL]抽取公共信息ParquetUtils.prepareWrite方法來重複刪除代碼ParquetFileFormat而且ParquetWrite
(火花- 40636)[SC-112160][CORE]修複了在BlockManagerDecommissioner中錯誤的保留拖牌日誌
(火花- 40617)[SC-112009]修複ExecutorMetricsPoller的stageTCMP條目處理時的競態條件
(火花- 40618)[SC-112046][SQL]修複MergeScalarSubqueries規則中嵌套子查詢的錯誤
(火花- 40612)[SC-111933][CORE]修複非yarn資源管理器上用於委托令牌更新的主體
(火花- 40595)[SC-111662][SQL]改進未使用CTE關係的錯誤消息
(火花- 40314)[SC-111879][SQL][PYTHON]為inline和inline_outer添加scala和PYTHON綁定
(火花- 40416)[SC-110945][SQL]移動子查詢表達式CheckAnalysis錯誤消息以使用新的錯誤框架
(火花- 40318)[SC-111865][SC-109986][SQL] try_avg()應該從其子節點拋出異常
(火花- 40509)[SC-111644][SS][PYTHON]添加applyInPandasWithState示例
(火花- 40310)[SC-111329][SC-109842][SQL] try_sum()應該從其子節點拋出異常
(火花- 40016)在try_sum()的實現中刪除不必要的TryEval
(火花- 40527)[SQL]在CreateStruct中保留結構字段名或映射鍵
(火花- 38098)[SC-111178][PYTHON]為基於箭頭的轉換增加了對嵌套StructType的ArrayType的支持
(火花- 40324)[SC-111359][SC-110293][SQL]在AnalysisException中提供查詢上下文
(火花- 40492)[SC-111324][SS]在流StateStore卸載前進行維護
(火花- 40487)[SQL]使BroadcastNestedLoopJoinExec中的defaultJoin並行運行
(火花- 40474)[SC-111273][SQL]對混合日期和時間戳的列進行正確的CSV模式推斷和數據解析行為
(火花- 40508)[SQL]將未知分區視為未知分區
(火花- 40496)[SC-111234][SQL]修複配置控製enableDateTimeParsingFallback
(火花- 40435)[SC-111214][SS][PYTHON]在PySpark中添加applyInPandasWithState測試套件
(火花- 40434)[SC-111125][SS][PYTHON]在PySpark中實現applyInPandasWithState

係統環境

操作係統: Ubuntu 20.04.5 LTS
JavaZulu 8.64.0.19-CA-linux64
Scala: 2.12.14
Python: 3.9.5
R: 4.2.2
三角洲湖: 2.2.0

已安裝的Python庫

圖書館	版本	圖書館	版本	圖書館	版本
argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0	asttokens	2.0.5
attrs	21.4.0	backcall	0.2.0	backports.entry-points-selectable	1.2.0
beautifulsoup4	4.11.1	黑色的	22.3.0	漂白劑	4.1.0
boto3	1.21.32	botocore	1.24.32	certifi	2021.10.8
cffi	1.15.0	chardet	4.0.0	charset-normalizer	2.0.4
點擊	8.0.4	密碼學	3.4.8	周期計	0.11.0
Cython	0.29.28	dbus-python	1.2.16	debugpy	1.5.1
裝飾	5.1.1	defusedxml	是0.7.1	distlib	0.3.6
entrypoints	0.4	執行	0.8.3	facets-overview	1.0.0
fastjsonschema	2.16.2	filelock	3.8.0	fonttools	4.25.0
idna	3．3	ipykernel	6.15.3	ipython	8.5.0
ipython-genutils	0.2.0	ipywidgets	7.7.2	絕地武士	0.18.1
Jinja2	14	jmespath	0.10.0	joblib	1.1.0
jsonschema	4.4.0	jupyter-client	6.1.12	jupyter_core	4.11.2
jupyterlab-pygments	0.1.2	jupyterlab-widgets	1.0.0	kiwisolver	1.3.2
MarkupSafe	2.0.1	matplotlib	3.5.1	matplotlib-inline	0.1.2
使走調	0.8.4	mypy-extensions	0.4.3	nbclient	0.5.13
nbconvert	6.4.4	nbformat	5.3.0	nest-asyncio	1.5.5
筆記本	6.4.8	numpy	1.21.5	包裝	21.3
熊貓	1.4.2	pandocfilters	1.5.0	parso	0.8.3
pathspec	0.9.0	容易受騙的人	0.5.2	pexpect	4.8.0
pickleshare	0.7.5	枕頭	9.0.1	皮普	21.2.4
Beplay体育安卓版本platformdirs	2.5.4	情節	5.6.0	prometheus-client	0.13.1
prompt-toolkit	3.0.20	protobuf	3.19.4	psutil	5.8.0
psycopg2	2.9.3	ptyprocess	0.7.0	pure-eval	0.2.2
pyarrow	7.0.0	pycparser	2.21	Pygments	2.11.2
PyGObject	3.36.0	pyodbc	4.0.32	pyparsing	3.0.4
pyrsistent	0.18.0	python-dateutil	2.8.2	pytz	2021.3
pyzmq	22.3.0	請求	2.27.1	requests-unixsocket	0.2.0
s3transfer	0.5.0	scikit-learn	1.0.2中	scipy	1.7.3
seaborn	0.11.2	Send2Trash	1.8.0	setuptools	58.0.4
六個	1.16.0	soupsieve	2.3.1	ssh-import-id	5.10
堆棧數據	0.2.0	statsmodels	0.13.2	韌性	8.0.1
terminado	0.13.1	testpath	0.5.0	threadpoolctl	2.2.0
tokenize-rt	4.2.1	tomli	1.2.2	龍卷風	6.1
traitlets	5.1.1	typing_extensions	以下4.4.1	unattended-upgrades	0．1
urllib3	1.26.9	virtualenv	20.8.0	wcwidth	0.2.5
webencodings	0.5.1	輪	0.37.0	widgetsnbextension	3.6.1

已安裝的R庫

R庫從微軟CRAN快照在2022-11-11．

圖書館	版本	圖書館	版本	圖書館	版本
箭頭	10.0.0	askpass	1．1	為了	0.2.1
補丁	1.4.1	基地	4.2.2	base64enc	0.1 - 3
位	4.0.4	bit64	你	團	1.2.3
引導	-28 - 1.3	釀造	1.0 8	生動	1.1.3
掃帚	1.0.1	bslib	0.4.1	cachem	1.0.6
callr	3.7.3	脫字符號	-93 - 6.0	cellranger	1.1.0
時間	-58 - 2.3	類	-20 - 7.3	cli	3.4.1
clipr	0.8.0	時鍾	0.6.1	集群	2.1.4
codetools	-18 - 0.2	色彩	2.0 - 3	commonmark	1.8.1
編譯器	4.2.2	配置	0.3.1	cpp11	0.4.3
蠟筆	1.5.2	憑證	1.3.2	旋度	4.3.3
data.table	1.14.4	數據集	4.2.2	DBI	1.1.3
dbplyr	2.2.1	desc	1.4.2	devtools	2.4.5
diffobj	0.3.5	消化	0.6.30	downlit	0.4.2
dplyr	1.0.10	dtplyr	1.2.2	e1071	-12 - 1.7
省略	0.3.2	評估	0.18	fansi	1.0.3
farver	2.1.1	fastmap	1.1.0	fontawesome	0.4.0
forcats	0.5.2	foreach	1.5.2	外國	-82 - 0.8
打造	0.2.0	fs	1.5.2	未來	1.29.0
future.apply	1.10.0	含漱劑	1.2.1 "	泛型	0.1.3
哥特	1.9.1	ggplot2	3.4.0	“大酒店”	1.3.1
gitcreds	0.1.2	glmnet	4.1 - 4	全局變量	0.16.1
膠水	1.6.2	googledrive	2.0.0	googlesheets4	1.0.1
高爾	1.0.0	圖形	4.2.2	grDevices	4.2.2
網格	4.2.2	gridExtra	2．3	gsubfn	0.7
gtable	0.3.1	需要戴安全帽的	1.2.0	還	2.5.1
highr	0.9	hms	1.1.2	htmltools	0.5.3
htmlwidgets	1.5.4	httpuv	1.6.6	httr	1.4.4
id	1.0.1	ini	0.3.1	不小	-13 - 0.9
isoband	0.2.6雖然隻是	迭代器	1.0.14	jquerylib	0.1.4
jsonlite	1.8.3	KernSmooth	-20 - 2.23	knitr	1.40
標簽	0.4.2	晚些時候	1.3.0	晶格	-45 - 0.20
熔岩	1.7.0	生命周期	1.0.3	listenv	0.8.0
lubridate	1.9.0	magrittr	2.0.3	減價	1.3
質量	-58 - 7.3	矩陣	1.5 - 1	memoise	2.0.1
方法	4.2.2	mgcv	-41 - 1.8	mime	0.12
miniUI	0.1.1.1	ModelMetrics	1.2.2.2	modelr	0.1.9
孟塞爾	0.5.0	nlme	-160 - 3.1	nnet	-18 - 7.3
numDeriv	2016.8 - -1.1	openssl	2.0.4	平行	4.2.2
平行	1.32.1	支柱	1.8.1	pkgbuild	1.3.1
pkgconfig	2.0.3	pkgdown	2.0.6	pkgload	1.3.1
plogr	0.2.0	plyr	1.8.7	讚美	1.0.0
prettyunits	1.1.1	pROC	1.18.0	processx	3.8.0
prodlim	2019.11.13	profvis	0.3.7	進步	1.2.2
progressr	0.11.0	承諾	1.2.0.1	原型	1.0.0
代理	-27 - 0.4	ps	1.7.2	purrr	0.3.5
r2d3	0.2.6雖然隻是	R6	2.5.1	ragg	1.2.4
randomForest	4.7 - -1.1	rappdirs	0.3.3	rcmdcheck	1.4.0
RColorBrewer	1.1 - 3	Rcpp	1.0.9	RcppEigen	0.3.3.9.3
readr	2.1.3	readxl	1.4.1	食譜	1.0.3
複賽	1.0.1	rematch2	2.1.2	遙控器	2.4.2
reprex	2.0.2	reshape2	1.4.4	rlang	1.0.6
rmarkdown	2.18	RODBC	-19 - 1.3	roxygen2	7.2.1
rpart	4.1.19	rprojroot	2.0.3	Rserve	-11 - 1.8
RSQLite	2.2.18	rstudioapi	0.14	rversions	2.1.2
房車	1.0.3	薩斯	0.4.2	尺度	1.2.1 "
selectr	0.4 - 2	sessioninfo	1.2.2	形狀	1.4.6
閃亮的	1.7.3	sourcetools	0.1.7	sparklyr	1.7.8
SparkR	3.3.1	空間	-11 - 7.3	樣條函數	4.2.2
sqldf	-11 - 0.4	SQUAREM	2021.1	統計數據	4.2.2
stats4	4.2.2	stringi	1.7.8	stringr	1.4.1
生存	3.4 0	sys	3.4.1	systemfonts	1.0.4
tcltk	4.2.2	testthat	3.1.5	textshaping	0.3.6
寵物貓	3.1.8中	tidyr	1.2.1 "	tidyselect	1.2.0
tidyverse	1.3.2	timechange	0.1.1	timeDate	4021.106
tinytex	0.42	工具	4.2.2	tzdb	0.3.0
urlchecker	1.0.1	usethis	2.1.6	use utf8	1.2.2
跑龍套	4.2.2	uuid	1.1 0	vctrs	0.5.0
viridisLite	0.4.1	發嗚嗚聲	1.6.0	沃爾多	0.4.0
晶須	0.4	withr	2.5.0	xfun	0.34
xml2	1.3.3	xopen	1.0.0	xtable	1.8 - 4
yaml	2.3.6	郵政編碼	2.2.2

安裝Java和Scala庫(Scala 2.12集群版本)

組ID	工件ID	版本
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.189
com.amazonaws	aws-java-sdk-cloudformation	1.12.189
com.amazonaws	aws-java-sdk-cloudfront	1.12.189
com.amazonaws	aws-java-sdk-cloudhsm	1.12.189
com.amazonaws	aws-java-sdk-cloudsearch	1.12.189
com.amazonaws	aws-java-sdk-cloudtrail	1.12.189
com.amazonaws	aws-java-sdk-cloudwatch	1.12.189
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.189
com.amazonaws	aws-java-sdk-codedeploy	1.12.189
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.189
com.amazonaws	aws-java-sdk-cognitosync	1.12.189
com.amazonaws	aws-java-sdk-config	1.12.189
com.amazonaws	aws-java-sdk-core	1.12.189
com.amazonaws	aws-java-sdk-datapipeline	1.12.189
com.amazonaws	aws-java-sdk-directconnect	1.12.189
com.amazonaws	aws-java-sdk-directory	1.12.189
com.amazonaws	aws-java-sdk-dynamodb	1.12.189
com.amazonaws	aws-java-sdk-ec2	1.12.189
com.amazonaws	aws-java-sdk-ecs	1.12.189
com.amazonaws	aws-java-sdk-efs	1.12.189
com.amazonaws	aws-java-sdk-elasticache	1.12.189
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.189
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.189
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.189
com.amazonaws	aws-java-sdk-emr	1.12.189
com.amazonaws	aws-java-sdk-glacier	1.12.189
com.amazonaws	aws-java-sdk-glue	1.12.189
com.amazonaws	aws-java-sdk-iam	1.12.189
com.amazonaws	aws-java-sdk-importexport	1.12.189
com.amazonaws	aws-java-sdk-kinesis	1.12.189
com.amazonaws	aws-java-sdk-kms	1.12.189
com.amazonaws	aws-java-sdk-lambda	1.12.189
com.amazonaws	aws-java-sdk-logs	1.12.189
com.amazonaws	aws-java-sdk-machinelearning	1.12.189
com.amazonaws	aws-java-sdk-opsworks	1.12.189
com.amazonaws	aws-java-sdk-rds	1.12.189
com.amazonaws	aws-java-sdk-redshift	1.12.189
com.amazonaws	aws-java-sdk-route53	1.12.189
com.amazonaws	aws-java-sdk-s3	1.12.189
com.amazonaws	aws-java-sdk-ses	1.12.189
com.amazonaws	aws-java-sdk-simpledb	1.12.189
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.189
com.amazonaws	aws-java-sdk-sns	1.12.189
com.amazonaws	aws-java-sdk-sqs	1.12.189
com.amazonaws	aws-java-sdk-ssm	1.12.189
com.amazonaws	aws-java-sdk-storagegateway	1.12.189
com.amazonaws	aws-java-sdk-sts	1.12.189
com.amazonaws	aws-java-sdk-support	1.12.189
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.189
com.amazonaws	jmespath-java	1.12.189
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	流	2.9.6
com.databricks	Rserve	1.8 - 3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	同學	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.13.4
com.fasterxml.jackson.core	jackson-core	2.13.4
com.fasterxml.jackson.core	jackson-databind	2.13.4.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.13.4
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.13.4
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.13.4
com.fasterxml.jackson.module	jackson-module-paranamer	2.13.4
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.13.4
com.github.ben-manes.caffeine	咖啡因	2.3.4
com.github.fommil	jniloader	1．1
com.github.fommil.netlib	核心	1.1.2
com.github.fommil.netlib	native_ref-java	1．1
com.github.fommil.netlib	native_ref-java-natives	1．1
com.github.fommil.netlib	native_system-java	1．1
com.github.fommil.netlib	native_system-java-natives	1．1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1．1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1．1
com.github.luben	zstd-jni	1.5.2-1
com.github.wendykierp	JTransforms	3．1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.6
com.google.crypto.tink	叮叮鈴	1.6.1
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	番石榴	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	2.0.204
com.helger	分析器	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.ning	compress-lzf	1．1
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1．8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	配置	1.2.1 "
com.typesafe.scala-logging	scala-logging_2.12	3.7.2章
com.uber	h3	3.7.0
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.15
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1．4
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3．1
commons-io	commons-io	2.11.0
commons lang	commons lang	2.6
通用日誌	通用日誌	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	2.2.1
dev.ludovic.netlib	布拉斯特區	2.2.1
dev.ludovic.netlib	lapack	2.2.1
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.21
io.delta	delta-sharing-spark_2.12	0.5.2
io.dropwizard.metrics	metrics-core	以下4.4.1
io.dropwizard.metrics	metrics-graphite	以下4.4.1
io.dropwizard.metrics	metrics-healthchecks	以下4.4.1
io.dropwizard.metrics	metrics-jetty9	以下4.4.1
io.dropwizard.metrics	metrics-jmx	以下4.4.1
io.dropwizard.metrics	metrics-json	以下4.4.1
io.dropwizard.metrics	metrics-jvm	以下4.4.1
io.dropwizard.metrics	metrics-servlets	以下4.4.1
io.netty	netty-all	4.1.74.Final
io.netty	netty-buffer	4.1.74.Final
io.netty	netty-codec	4.1.74.Final
io.netty	netty-common	4.1.74.Final
io.netty	netty-handler	4.1.74.Final
io.netty	netty-resolver	4.1.74.Final
io.netty	netty-tcnative-classes	2.0.48.Final
io.netty	netty-transport	4.1.74.Final
io.netty	netty-transport-classes-epoll	4.1.74.Final
io.netty	netty-transport-classes-kqueue	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-aarch_64	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-x86_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-aarch_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-x86_64	4.1.74.Final
io.netty	netty-transport-native-unix-common	4.1.74.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	收集器	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	激活	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo api	3.0.1
javax.transaction	jta	1．1
javax.transaction	事務api	1．1
javax.xml.bind	jaxb-api	. 2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.13
net.java.dev.jna	jna	5.8.0
net.razorvine	泡菜	1．2
net.sf.jpam	jpam	1．1
net.sf.opencsv	opencsv	2．3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.22
net.sourceforge.f2j	arpack_combined_all	0．1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8
org.antlr	stringtemplate	3.2.1之上
org.apache.ant	螞蟻	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	arrow-format	7.0.0
org.apache.arrow	arrow-memory-core	7.0.0
org.apache.arrow	arrow-memory-netty	7.0.0
org.apache.arrow	arrow-vector	7.0.0
org.apache.avro	avro	1.11.0
org.apache.avro	avro-ipc	1.11.0
org.apache.avro	avro-mapred	1.11.0
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.21
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.derby	德比	10.14.2.0
org.apache.hadoop	hadoop-client-api	3.3.4-databricks
org.apache.hadoop	hadoop-client-runtime	3.3.4
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	蜂巢0.23 -墊片	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.13
org.apache.httpcomponents	httpcore	4.4.14
org.apache.ivy	艾薇	2.5.0
org.apache.logging.log4j	log4j - 1.2 api	2.18.0
org.apache.logging.log4j	log4j api	2.18.0
org.apache.logging.log4j	log4j-core	2.18.0
org.apache.logging.log4j	log4j-slf4j-impl	2.18.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.7.6
org.apache.orc	orc-mapreduce	1.7.6
org.apache.orc	orc-shims	1.7.6
org.apache.parquet	parquet-column	1.12.3-databricks-0001
org.apache.parquet	parquet-common	1.12.3-databricks-0001
org.apache.parquet	parquet-encoding	1.12.3-databricks-0001
org.apache.parquet	parquet-format-structures	1.12.3-databricks-0001
org.apache.parquet	parquet-hadoop	1.12.3-databricks-0001
org.apache.parquet	parquet-jackson	1.12.3-databricks-0001
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-shaded	4.20
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	動物園管理員	操作
org.apache.zookeeper	zookeeper-jute	操作
org.checkerframework	checker-qual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.46.v20220331
org.eclipse.jetty	jetty-continuation	9.4.46.v20220331
org.eclipse.jetty	jetty-http	9.4.46.v20220331
org.eclipse.jetty	jetty-io	9.4.46.v20220331
org.eclipse.jetty	jetty-jndi	9.4.46.v20220331
org.eclipse.jetty	jetty-plus	9.4.46.v20220331
org.eclipse.jetty	jetty-proxy	9.4.46.v20220331
org.eclipse.jetty	jetty-security	9.4.46.v20220331
org.eclipse.jetty	jetty服務器	9.4.46.v20220331
org.eclipse.jetty	jetty servlet	9.4.46.v20220331
org.eclipse.jetty	jetty-servlets	9.4.46.v20220331
org.eclipse.jetty	jetty-util	9.4.46.v20220331
org.eclipse.jetty	jetty-util-ajax	9.4.46.v20220331
org.eclipse.jetty	jetty-webapp	9.4.46.v20220331
org.eclipse.jetty	jetty-xml	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-api	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-client	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-common	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket服務器	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-servlet	9.4.46.v20220331
org.fusesource.leveldbjni	leveldbjni-all	1．8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.36
org.glassfish.jersey.containers	jersey-container-servlet-core	2.36
org.glassfish.jersey.core	jersey客戶端	2.36
org.glassfish.jersey.core	jersey-common	2.36
org.glassfish.jersey.core	jersey-server	2.36
org.glassfish.jersey.inject	jersey-hk2	2.36
org.hibernate.validator	hibernate驗證框架	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	注釋	17.0.0
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	mariadb-java-client	第2.7.4
org.mlflow	mlflow-spark	1.27.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.3.3
org.roaringbitmap	RoaringBitmap	0.9.25
org.roaringbitmap	墊片	0.9.25
org.rocksdb	rocksdbjni	6.24.2
org.rosuda.REngine	REngine	魅惑
org.scala-lang	scala-compiler_2.12	2.12.14
org.scala-lang	scala-library_2.12	2.12.14
org.scala-lang	scala-reflect_2.12	2.12.14
org.scala-lang.modules	scala-collection-compat_2.12	2.4.3
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	測試界麵	1．0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1．2
org.scalanlp	breeze_2.12	1．2
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.36
org.slf4j	jul-to-slf4j	1.7.36
org.slf4j	slf4j-api	1.7.36
org.spark-project.spark	未使用的	1.0.0
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1．8
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-Beplay体育安卓版本platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1.24
奧羅	奧羅	2.0.8
pl.edu.icm	JLargeArrays	1．5
software.amazon.ion	ion-java	1.0.2中
stax	stax-api	1.0.1