Databricks運行時12.1

以下發布說明提供了Databricks Runtime 12.1的相關信息,該版本由Apache Spark 3.3.1提供支持。

Databricks在2023年1月發布了這些圖像。

新功能和改進

數據資源管理器現在對所有角色都可用

當使用Databricks Runtime 7.3 LTS及以上版本時,數據資源管理器現在對所有Databricks角色可用。

在單個流查詢中支持多個有狀態操作符

用戶現在可以在流查詢中用追加模式鏈接有狀態操作符。並非所有操作符都完全受支持。流-流時間間隔連接和flatMapGroupsWithState不要允許鏈接其他有狀態操作符。

對協議緩衝區的支持在公共預覽中

您可以使用from_protobuf而且to_protobuf函數在二進製和結構類型之間交換數據。看到讀寫協議緩衝區

支持合流模式注冊中心身份驗證

Databricks與Confluent模式注冊中心的集成現在支持帶有身份驗證的外部模式注冊中心地址。此特性可用於from_avroto_avrofrom_protobuf,to_protobuf功能。看到ProtobufAvro

支持與Delta sharing共享表曆史

您現在可以使用Delta Sharing共享具有完整曆史的表,允許收件人執行時間旅行查詢並使用Spark Structured Streaming查詢表。曆史推薦而不是改變數據飼料,盡管後者繼續得到支持。看到改變分享而且向共享中添加表

支持使用Delta Sharing共享流媒體

Spark結構化流現在可以使用該格式deltasharing在源增量共享表上使用曆史

編目中的Delta共享表現在支持使用時間戳的表版本

現在可以使用SQL語法了時間戳作為選擇語句指定掛載在目錄中的增量共享表的版本。表必須共享使用曆史

支持當不匹配的源合並成

現在可以添加匹配通過條款合並根據合並條件更新或刪除所選表中源表中沒有匹配項的行。新的子句在SQL、Python、Scala和Java中都可用。看到合並成

優化了CONVERT TO DELTA的統計信息收集

轉換δ現在操作速度快多了。這減少了可能使用的工作負載的數量沒有統計數據的效率。

庫升級

  • 升級的Python庫:

    • Filelock從3.8.0到3.8.2

    • Beplay体育安卓版本平台從2.5.4到2.6.0

    • Setuptools從58.0.4升級到61.2.0

  • 升級的R庫:

  • 升級的Java庫:

    • Io.delta.delta-sharing-spark_2.12從0.5.2到0.6.2

    • org.apache.hive。hive-storage-apifrom 2.7.2 to 2.8.1

    • org.apache.parquet。parquet-columnfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002

    • org.apache.parquet。parquet-commonfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002

    • org.apache.parquet。parquet-encodingfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002

    • org.apache.parquet。Parquet-format-structures從1.12.3- databicks -0001到1.12.3- databicks -0002

    • org.apache.parquet。parquet-hadoopfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002

    • org.apache.parquet。parquet-jacksonfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002

    • Org.tukaani.xz從1.8到1.9

Apache火花

Databricks Runtime 12.1包含Apache Spark 3.3.1。此版本包括所有Spark修複和改進Databricks Runtime 12.0,以及以下對Spark的額外錯誤修複和改進:

  • (火花- 41405)[SC-119769][12.1.0]恢複“[SC-119411][SQL]集中列解析邏輯”和“[SC-117170][SPARK-41338][SQL]在同一分析器批處理中解析外部引用和正常列”

  • (火花- 41405)[SQL]集中列解析邏輯

  • (火花- 41859)[SC-119514][SQL] CreateHiveTableAsSelectCommand應該正確設置覆蓋標誌

  • (火花- 41659)(sc - 119526)[連接][12。X]啟用pyspark.sql.connect.readwriter中的doctests

  • (火花- 41858)[SC-119427][SQL]修複ORC讀取器由於默認值特性導致的回歸問題

  • (火花- 41807)[SC-119399][CORE]刪除不存在的錯誤類UNSUPPORTED_FEATUREDISTRIBUTE_BY

  • (火花- 41578)(12。[SQL]指定名稱遺產ERROR_TEMP_2141

  • (火花- 41571)[SC-119362][SQL遺產ERROR_TEMP_2310

  • (火花- 41810)[SC-119373][CONNECT]從SparkSession.createDataFrame中的字典列表中推斷名稱

  • (火花- 40993)(sc - 119504)[火花- 41705][連接][12。X]將Spark Connect文檔和腳本移到dev/和Python文檔

  • (火花- 41534)(sc - 119456][連接][SQL][12。為Spark Connect設置初始客戶端模塊

  • (火花- 41365)[SC-118498][UI][3.3]在特定的紗線環境中,為代理加載UI頁麵失敗

  • (火花- 41481)(sc - 118150)(核心)[SQL]重用INVALID_TYPED_LITERAL而不是_LEGACY_ERROR_TEMP_0020

  • (火花- 41049)[SC-119305][SQL]重新審視有狀態表達式處理

  • (火花- 41726)(sc - 119248) [SQL]刪除OptimizedCreateHiveTableAsSelectCommand

  • (火花- 41271)[SC-118648][SQL]支持參數化SQL查詢sql ()

  • (火花- 41066)(sc - 119344)(連接)(PYTHON)實現DataFrame.sampleBy而且DataFrame.stat.sampleBy

  • (火花- 41407)[sc - 1190402][SQL][ALL TESTS]取出v1寫入寫入文件

  • (火花- 41565)[SC-118868][SQL]添加錯誤類UNRESOLVED_ROUTINE

  • (火花- 41668)[SC-118925][SQL] DECODE函數在傳遞NULL時返回錯誤結果

  • (火花- 41554)[SC-119274]修複十進製刻度減少m時的變化

  • (火花- 41065)(sc - 119324)(連接)(PYTHON)實現DataFrame.freqItems而且DataFrame.stat.freqItems

  • (火花- 41742)(sc - 119404)[火花- 41745][連接][12。X]重新啟用文檔測試並將缺失的列別名添加到count()

  • (火花- 41069)(sc - 119310)(連接)(PYTHON)實現DataFrame.approxQuantile而且DataFrame.stat.approxQuantile

  • (火花- 41809)[SC-119367][CONNECT][PYTHON] Make函數from_json支持數據類型模式

  • (火花- 41804)[SC-119382][SQL]在InterpretedUnsafeProjectionfor udt數組

  • (火花- 41786)[SC-119308][CONNECT][PYTHON]重複刪除幫助函數

  • (火花- 41745)(sc - 119378)[火花- 41789][12。X]使createDataFrame支持行列表

  • (火花- 41344)[SC-119217][SQL]當SupportsCatalogOptions目錄中沒有表時,使錯誤更清楚

  • (火花- 41803)[SC-119380][CONNECT][PYTHON]添加缺失的函數日誌(__arg1、最長)

  • (火花- 41808)[SC-119356][CONNECT][PYTHON]使JSON函數支持選項

  • (火花- 41779)(sc - 119275)[火花- 41771][連接][PYTHON]__getitem__支持篩選和選擇

  • (火花- 41783)[SC-119288][SPARK-41770][CONNECT][PYTHON] Make column op support無

  • (火花- 41440)[SC-119279][CONNECT][PYTHON]一般示例避免緩存操作符。

  • (火花- 41785)(sc - 119290)(連接)(PYTHON)實現GroupedData.mean

  • (火花- 41629)[SC-119276][CONNECT]支持關係和表達式中的協議擴展

  • (火花- 41417)(sc - 118000)(核心)[SQL]重命名_LEGACY_ERROR_TEMP_0019INVALID_TYPED_LITERAL

  • (火花- 41533)(sc - 119342)[連接][12。X] Spark Connect服務器/客戶端的正確錯誤處理

  • (火花- 41292)(sc - 119357)[連接][12。在pyspark.sql.window命名空間中支持Window

  • (火花- 41493)[SC-119339][CONNECT][PYTHON]使csv函數支持選項

  • (火花- 39591)[SS]異步進度跟蹤

  • (火花- 41767)(sc - 119337][連接][PYTHON][12。X)實現列。{withField,dropFields}

  • (火花- 41068)(sc - 119268)(連接)(PYTHON)實現DataFrame.stat.corr

  • (火花- 41655)(sc - 119323)[連接][12。X]啟用pyspark.sql.connect.column中的doctests

  • (火花- 41738)[SC-119170][CONNECT]在SparkSession緩存中混合客戶端

  • (火花- 41354)(sc - 119194)(連接)添加RepartitionByExpression為原型

  • (火花- 41784)[SC-119289][CONNECT][PYTHON]添加缺失__rmod__在列

  • (火花- 41778)[SC-119262][SQL]為ArrayAggregate添加別名" reduce

  • (火花- 41067)(sc - 119171)(連接)(PYTHON)實現DataFrame.stat.cov

  • (火花- 41764)[SC-119216][CONNECT][PYTHON]使內部字符串op名稱與FunctionRegistry一致

  • (火花- 41734)為Catalog添加父消息

  • (火花- 41742)(sc - 119263)支持df.groupBy () .agg({“*”:“計數”})

  • (火花- 41761)[SC-119213][CONNECT][PYTHON]修正算術運算:__neg____pow____rpow__

  • (火花- 41062)(sc - 118182) [SQL]重命名UNSUPPORTED_CORRELATED_REFERENCECORRELATED_REFERENCE

  • (火花- 41751)(sc - 119211)(連接)(PYTHON)修複列。{isNull,isNotNull,eqNullSafe}

  • (火花- 41728)(sc - 119164][連接][PYTHON][12。X)實現unwrap_udt函數

  • (火花- 41333)(sc - 119195)[火花- 41737)執行GroupedData。{最小,馬克斯,avg,總和}

  • (火花- 41751)(sc - 119206)(連接)(PYTHON)修複列。{bitwiseAND,bitwiseOR,bitwiseXOR}

  • (火花- 41631)[SQL]在聚合上支持隱式橫向列別名解析

  • (火花- 41529)(sc - 119207)[連接][12。X)實現SparkSession.stop

  • (火花- 41729)(sc - 119205)(核心)[SQL][12。X]重命名_LEGACY_ERROR_TEMP_0011UNSUPPORTED_FEATURE。COMBINATION_QUERY_RESULT_CLAUSES

  • (火花- 41717)(sc - 119078)[連接][12。重複打印和reprhtml_ at LogicalPlan

  • (火花- 41740)(sc - 119169)(連接)(PYTHON)實現Column.name

  • (火花- 41733)[SC-119163][SQL][SS]為ResolveWindowTime規則應用基於樹模式的剪枝

  • (火花- 41732)[SC-119157][SQL][SS]為SessionWindowing規則應用基於樹模式的修剪

  • (火花- 41498)[SC-119018]通過Union傳播元數據

  • (火花- 41731)(sc - 119166][連接][PYTHON][12。實現列訪問器

  • (火花- 41736)PYTHON (sc - 119161)[連接][]pyspark_types_to_proto_types應該支持ArrayType

  • (火花- 41473)(sc - 119092)(連接)(PYTHON)實現format_number函數

  • (火花- 41707)(sc - 119141)[連接][12。X)實現Catalog API in Spark Connect

  • (火花- 41710)(sc - 119062)(連接)(PYTHON)實現Column.between

  • (火花- 41235)[SQL][PYTHON]高階函數:array_compact實現

  • (火花- 41518)[SC-118453][SQL]為錯誤類指定一個名稱_LEGACY_ERROR_TEMP_2422

  • (火花- 41723)(sc - 119091)(連接)(PYTHON)實現序列函數

  • (火花- 41703)[SC-119060][CONNECT][PYTHON]結合NullType和typed_null

  • (火花- 41722)[SC-119090][CONNECT][PYTHON]實現3個缺失時間窗口函數

  • (火花- 41503)[CONNECT][PYTHON]實現分區轉換函數

  • (火花- 41413)[SC-118968][SQL]當分區鍵不匹配時,避免在Storage-Partitioned Join中shuffle,但連接表達式是兼容的

  • (火花- 41700)(sc - 119046)(連接)(PYTHON)刪除FunctionBuilder

  • (火花- 41706)PYTHON (sc - 119094)[連接][]pyspark_types_to_proto_types應該支持MapType

  • (火花- 41702)[SC-119049][CONNECT][PYTHON]添加無效列操作

  • (火花- 41660)[SC-118866][SQL]如果使用了元數據列,則隻傳播它們

  • (火花- 41637)[sc-119003][sql] order by all

  • (火花- 41513)[SQL]實現一個累加器來收集每個映射器的行數指標

  • (火花- 41647)(sc - 119064)[連接][12。刪除pyspark.sql.connect.functions中的文檔字符串

  • (火花- 41701)[SC-119048][CONNECT][PYTHON]使列op支持小數

  • (火花- 41383)(sc - 119015)[火花- 41692][火花- 41693]實現彙總多維數據集而且

  • (火花- 41635)[sc-118944][sql

  • (火花- 41645)(sc - 119057)[連接][12。刪除pyspark.sql.connect.dataframe中的文檔字符串

  • (火花- 41688)[SC-118951][CONNECT][PYTHON]移動表達式到Expressions .py

  • (火花- 41687)[SC-118949][CONNECT]刪除pyspark.sql.connect.group中的文檔字符串

  • (火花- 41649)[SC-118950][CONNECT]刪除pyspark.sql.connect.window中的文檔字符串

  • (火花- 41681)[SC-118939][CONNECT]將GroupedData輸出到group.py

  • (火花- 41292)(sc - 119038)[火花- 41640][火花- 41641][連接][PYTHON][12。X)實現窗口功能

  • (火花- 41675)(sc - 119031) [sc - 118934][連接][PYTHON][12。X]使列操作支持datetime

  • (火花- 41672)[SC-118929][CONNECT][PYTHON]啟用已棄用的函數

  • (火花- 41673)(sc - 118932)(連接)(PYTHON)實現Column.astype

  • (火花- 41364)(sc - 118865)(連接)(PYTHON)實現廣播函數

  • (火花- 41648)(sc - 118914)[連接][12。刪除pyspark.sql.connect.readwriter中的文檔字符串

  • (火花- 41646)(sc - 118915)[連接][12。刪除pyspark.sql.connect.session中的文檔字符串

  • (火花- 41643)(sc - 118862)[連接][12。刪除pyspark.sql.connect.column中的文檔字符串

  • (火花- 41663)(sc - 118936][連接][PYTHON][12。X)實現the rest of Lambda functions

  • (火花- 41441)[SC-118557][SQL]支持生成不需要的子輸出到主機外部引用

  • (火花- 41669)[SC-118923][SQL] cancollapseexpression中的早期剪枝

  • (火花- 41639)[SC-118927][SQL][PROTOBUF]:從SchemaConverters中刪除ScalaReflectionLock

  • (火花- 41464)(sc - 118861)(連接)(PYTHON)實現DataFrame.to

  • (火花- 41434)(sc - 118857)(連接)(PYTHON)初始LambdaFunction實現

  • (火花- 41539)[SC-118802][SQL]在LogicalRDD的邏輯計劃中重新映射統計數據和輸出約束

  • (火花- 41396)[SC-118786][SQL][PROTOBUF] OneOf字段支持和遞歸檢查

  • (火花- 41528)(sc - 118769)[連接][12。X] Spark Connect和PySpark API的合並命名空間

  • (火花- 41568)[SC-118715][SQL]指定名稱遺產ERROR_TEMP_1236

  • (火花- 41440)(sc - 118788)(連接)(PYTHON)實現DataFrame.randomSplit

  • (火花- 41583)[SC-118718][SC-118642][CONNECT][PROTOBUF]在setup.py中添加Spark CONNECT和PROTOBUF並指定依賴項

  • (火花- 27561)[sc - 101081][12。在項目上支持隱式橫向列別名解析

  • (火花- 41535)[SC-118645][SQL]為日曆間隔字段設置正確的空InterpretedUnsafeProjection而且InterpretedMutableProjection

  • (火花- 40687)[SQL]支持數據屏蔽內置函數' mask '

  • (火花- 41520)[SC-118440][SQL]拆分AND_OR樹模式以分離AND和OR樹模式

  • (火花- 41349)[SC-118668][CONNECT][PYTHON]實現DataFrame.hint

  • (火花- 41546)PYTHON (sc - 118541)[連接][]pyspark_types_to_proto_types應該支持StructType。

  • (火花- 41334)(sc - 118549)(連接)(PYTHON)移動排序方式從關係到表達式的原型

  • (火花- 41387)[SC-118450][SS]從Kafka數據源斷言觸發的當前結束偏移量。AvailableNow

  • (火花- 41508)(sc - 118445)(核心)[SQL]重命名_LEGACY_ERROR_TEMP_1180UNEXPECTED_INPUT_TYPE和刪除_LEGACY_ERROR_TEMP_1179

  • (火花- 41319)[SC-118441][CONNECT][PYTHON]實現列。{when, else}和函數UnresolvedFunction

  • (火花- 41541)[SC-118460][SQL]修複在SQLShuffleWriteMetricsReporter.decRecordsWritten()中調用錯誤的子方法的問題

  • (火花- 41453)(sc - 118458)(連接)(PYTHON)實現DataFrame.subtract

  • (火花- 41248)[SC-118436][SC-118303][SQL]添加spark.sql.json。enablePartialResults”來啟用/禁用JSON部分結果

  • (火花- 41437)回複“[SC-117601][SQL]不為v1寫回調優化兩次輸入查詢”

  • (火花- 41472)[SC-118352][CONNECT][PYTHON]實現其餘的字符串/二進製函數

  • (火花- 41526)(sc - 118355)(連接)(PYTHON)實現Column.isin

  • (火花- 32170)[SC-118384] [CORE]通過階段任務指標改進推測

  • (火花- 41524)[SC-118399][SS]區分StateStoreConf中的SQLConf和extraOptions在RocksDBConf中的用法

  • (火花- 41465)[SC-118381][SQL]為錯誤類指定一個名稱遺產ERROR_TEMP_1235

  • (火花- 41511)[SC-118365][SQL] LongToUnsafeRowMap支持ignoresDuplicatedKey

  • (火花- 41409)(sc - 118302)(核心)[SQL]重命名_LEGACY_ERROR_TEMP_1043WRONG_NUM_ARGS。與OUT_SUGGESTION

  • (火花- 41438)(sc - 118344)(連接)(PYTHON)實現DataFrame.colRegex

  • (火花- 41437)[SC-117601][SQL]對於v1寫回退,不要優化輸入查詢兩次

  • (火花- 41314)[SC-117172][SQL]為錯誤類指定一個名稱_LEGACY_ERROR_TEMP_1094

  • (火花- 41443)[SC-118004][SQL]為錯誤類指定一個名稱遺產ERROR_TEMP_1061

  • (火花- 41506)[SC-118241][CONNECT][PYTHON]重構LiteralExpression以支持DataType

  • (火花- 41448)[SC-118046]在FileBatchWriter和FileFormatWriter中設置一致的MR作業id

  • (火花- 41456)[SC-117970][SQL]提高try_cast性能

  • (火花- 41495)(sc - 118125)(連接)(PYTHON)實現集合功能:P ~ Z

  • (火花- 41478)[SC-118167][SQL]為錯誤類指定一個名稱遺產ERROR_TEMP_1234

  • (火花- 41406)[SQL]重構錯誤信息NUM_COLUMNS_MISMATCH讓它更通用

  • (火花- 41404)(sc - 118016) [SQL]重構ColumnVectorUtils # toBatch為了使ColumnarBatchSuite # testRandomRows測試更原始的數據類型

  • (火花- 41468)[SC-118044][SQL]修複等效表達式中的PlanExpression處理問題

  • (火花- 40775)[SC-118045][SQL]修複V2文件掃描中重複的描述項

  • (火花- 41492)[SC-118042][CONNECT][PYTHON]實現MISC函數

  • (火花- 41459)[SC-118005][SQL] fix thrift server操作日誌輸出為空

  • (火花- 41395)(sc - 117899] [SQL]InterpretedMutableProjection應該使用setDecimal為不安全行的小數設置空值

  • (火花- 41376)[SC-117840][CORE][3.3]修正Netty preferDirectBufs檢查邏輯

  • (火花- 41484)(sc - 118159) [sc - 118036][連接][PYTHON][12。x)實現集合功能:E ~ M

  • (火花- 41389)(sc - 117426)(核心)[SQL]重用WRONG_NUM_ARGS而不是_LEGACY_ERROR_TEMP_1044

  • (火花- 41462)[SC-117920][SQL]日期和時間戳類型可以轉換為時間戳ntz

  • (火花- 41435)[SQL]更改調用invalidFunctionArgumentsErrorcurdate ()表達式不是空的

  • (火花- 41187)[SC-118030][CORE]當ExecutorLost發生時,AppStatusListener中的LiveExecutor內存泄漏

  • (火花- 41360)[SC-118083][CORE]如果執行程序丟失,避免BlockManager重新注冊

  • (火花- 41378)[SQL] DS v2中的支持列統計

  • (火花- 41402)(sc - 117910] [SQL][連接][12。X]重寫StringDecode的prettyName

  • (火花- 41414)(sc - 118041][連接][PYTHON][12。x)實現date/timestamp functions

  • (火花- 41329)[SC-117975][CONNECT]解決Spark CONNECT中的循環導入

  • (火花- 41477)[SC-118025][CONNECT][PYTHON]正確推斷字麵值整數的數據類型

  • (火花- 41446)(sc - 118024][連接][PYTHON][12。x]使createDataFrame支持模式和更多輸入數據集類型

  • (火花- 41475)[SC-117997][CONNECT]修複lint-scala命令錯誤和打印錯誤

  • (火花- 38277)[SC-117799][SS]在RocksDB狀態存儲提交後清除寫批

  • (火花- 41375)[SC-117801][SS]避免最新KafkaSourceOffset為空

  • (火花- 41412)(sc - 118015)(連接)實現Column.cast

  • (火花- 41439)(sc - 117893)(連接)(PYTHON)實現DataFrame.melt而且DataFrame.unpivot

  • (火花- 41399)[SC-118007][SC-117474][CONNECT]重構與test_connect_column相關的列測試

  • (火花- 41351)(sc - 117957) [sc - 117412][連接][12。列應該支持!=運算符

  • (火花- 40697)[SC-117806][SC-112787][SQL]添加讀側字符填充以覆蓋外部數據文件

  • (火花- 41349)(sc - 117594)[連接][12。X)實現DataFrame。hint

  • (火花- 41338)[SC-117170][SQL]解析同一批分析器中的外部引用和正常列

  • (火花- 41436)(sc - 117805)(連接)(PYTHON)實現集合功能:A ~ C

  • (火花- 41445)[SC-117802][CONNECT]實現dataframerleader .parquet

  • (火花- 41452)(sc - 117865] [SQL]to_char當格式為空時應返回空

  • (火花- 41444)[SC-117796][CONNECT] read.json()

  • (火花- 41398)[SC-117508][SQL]當運行時過濾後的分區鍵不匹配時放鬆對Storage-Partitioned Join的約束

  • (火花- 41228)[SC-117169][SQL]重命名和改進錯誤信息COLUMN_NOT_IN_GROUP_BY_CLAUSE

  • (火花- 41381)(sc - 117593)(連接)(PYTHON)實現count_distinct而且sum_distinct功能

  • (火花- 41433)[SC-117596][CONNECT]使最大箭頭批量大小可配置

  • (火花- 41397)[SC-117590][CONNECT][PYTHON]實現部分字符串/二進製函數

  • (火花- 41382)(sc - 117588)(連接)(PYTHON)實現產品函數

  • (火花- 41403)(sc - 117595)(連接)(PYTHON)實現DataFrame.describe

  • (火花- 41366)[SC-117580][CONNECT] DF.groupby.agg()應該是兼容的

  • (火花- 41369)[SC-117584][CONNECT]添加連接common到服務器的陰影罐子

  • (火花- 41411)[SC-117562][SS]多狀態操作員水印支持bug修複

  • (火花- 41176)[SC-116630][SQL]為錯誤類指定一個名稱遺產ERROR_TEMP_1042

  • (火花- 41380)(sc - 117476][連接][PYTHON][12。X)實現aggregation functions

  • (火花- 41363)(sc - 117470][連接][PYTHON][12。實現正常功能

  • (火花- 41305)[SC-117411

  • (火花- 41372)[SC-117427][CONNECT][PYTHON]實現DataFrame TempView

  • (火花- 41379)[SC-117420][SS][PYTHON]為PySpark中的foreachBatch sink在用戶函數中提供DataFrame中的克隆spark會話

  • (火花- 41373)[SC-117405][SQL][ERROR]重命名CAST_WITH_FUN_SUGGESTION為CAST_WITH_FUNC_SUGGESTION

  • (火花- 41358)(sc - 117417) [SQL]重構ColumnVectorUtils #填充使用方法PhysicalDataType而不是數據類型

  • (火花- 41355)[SC-117423][SQL]解決hive表名驗證問題

  • (火花- 41390)[SC-117429][SQL]更新用於生成注冊函數UDFRegistration

  • (火花- 41206)[SC-116381][SQL]重命名錯誤類_LEGACY_ERROR_TEMP_1233COLUMN_ALREADY_EXISTS

  • (火花- 41357)(sc - 117310][連接][PYTHON][12。實現數學函數

  • (火花- 40970)[SC-117308][CONNECT][PYTHON]支持列表[列]Join的on參數

  • (火花- 41345)[SC-117178][CONNECT]添加連接原型提示

  • (火花- 41226)(sc - 117194) [SQL][12。通過引入物理類型重構Spark類型

  • (火花- 41317)(sc - 116902][連接][PYTHON][12。X]增加對DataFrameWriter的基本支持

  • (火花- 41347)[SC-117173][CONNECT]添加強製轉換到表達式原型

  • (火花- 41323)[SQL]支持current_schema

  • (火花- 41339)[SC-117171][SQL]關閉並重新創建RocksDB寫批處理

  • (火花- 41227)實現數據幀交叉連接

  • (火花- 41346)(sc - 117176)(連接)(PYTHON)實現asc而且desc功能

  • (火花- 41343)[SC-117166][CONNECT]移動FunctionName解析到服務器端

  • (火花- 41321)[SC-117163][CONNECT]支持UnresolvedStar的目標字段

  • (火花- 41237)[SC-117167][SQL]重用錯誤類UNSUPPORTED_DATATYPE_LEGACY_ERROR_TEMP_0030

  • (火花- 41309)(sc - 116916] [SQL]重用INVALID_SCHEMA。沒有N_STRING_LITERAL而不是_LEGACY_ERROR_TEMP_1093

  • (火花- 41276)[SC-117136][SQL][ML][MLLIB][PROTOBUF][PYTHON][R][SS][AVRO]優化構造函數使用StructType

  • (火花- 41335)[SC-117135][CONNECT][PYTHON]支持IsNull和IsNotNull列

  • (火花- 41332)(sc - 117131)(連接)(PYTHON)修複nullOrdering排序方式

  • (火花- 41325)(sc - 117132)[連接][12。修正DF上GroupBy的avg()缺失

  • (火花- 41327)(sc - 117137)(核心)修複SparkStatusTracker.getExecutorInfosOn/ offheapstoragemmemory info . by switch On/ offheapstoragemmemory info

  • (火花- 41315)(sc - 117129)(連接)(PYTHON)實現DataFrame.replace而且DataFrame.na.replace

  • (火花- 41328)[SC-117125][CONNECT][PYTHON]添加邏輯和字符串API到列

  • (火花- 41331)(sc - 117127)(連接)(PYTHON)添加orderBy而且drop_duplicates

  • (火花- 40987)(sc - 117124)(核心)BlockManager # removeBlockInternal應該確保鎖被優雅地解鎖嗎

  • (火花- 41268)[SC-116970][CONNECT][PYTHON]重構“列”以實現API兼容性

  • (火花- 41312)(sc - 116881][連接][PYTHON][12。X)實現DataFrame。與ColumnRenamed

  • (火花- 41221)[SC-116607][SQL]添加錯誤類INVALID_FORMAT

  • (火花- 41272)[SC-116742][SQL]為錯誤類指定一個名稱遺產ERROR_TEMP_2019

  • (火花- 41180)(sc - 116760] [SQL]重用INVALID_SCHEMA而不是_LEGACY_ERROR_TEMP_1227

  • (火花- 41260)(sc - 116880] [PYTHON] [SS][12。在GroupState更新中將NumPy實例轉換為Python基元類型

  • (火花- 41174)[SC-116609][CORE][SQL]向用戶傳播一個無效的錯誤類格式to_binary ()

  • (火花- 41264)[SC-116971][CONNECT][PYTHON]使文本支持更多的數據類型

  • (火花- 41326)[SC-116972] [CONNECT]修複重複數據刪除丟失輸入的問題

  • (火花- 41316)[SC-116900][SQL]盡可能啟用尾遞歸

  • (火花- 41297)[SC-116931] [CONNECT] [PYTHON]支持字符串表達式

  • (火花- 41256)[SC-116932][SC-116883][CONNECT]實現datafframe . withcolumn (s)

  • (火花- 41182)[SC-116632][SQL]為錯誤類指定一個名稱遺產ERROR_TEMP_1102

  • (火花- 41181)[SC-116680][SQL]將map選項錯誤遷移到錯誤類

  • (火花- 40940)[sc - 115993][12。刪除流查詢的多狀態操作符檢查器。

  • (火花- 41310)[SC-116885][CONNECT][PYTHON]實現DataFrame.toDF

  • (火花- 41179)[SC-116631][SQL]為錯誤類指定一個名稱遺產ERROR_TEMP_1092

  • (火花- 41003)[SC-116741][SQL] BHJ LeftAnti不更新numOutputRows當codegen被禁用

  • (火花- 41148)(sc - 116878)(連接)(PYTHON)實現DataFrame.dropna而且DataFrame.na.drop

  • (火花- 41217)[SC-116380][SQL]添加錯誤類FAILED_FUNCTION_CALL

  • (火花- 41308)[SC-116875][CONNECT][PYTHON]改進datafframe .count()

  • (火花- 41301)[SC-116786] [CONNECT] SparkSession.range()

  • (火花- 41306)[SC-116860][CONNECT]改進連接表達式原型文檔

  • (火花- 41280)[SC-116733][CONNECT]實現DataFrame.tail

  • (火花- 41300)[SC-116751] [CONNECT]未設置的模式被解釋為模式

  • (火花- 41255)[SC-116730][SC-116695] [CONNECT]重命名RemoteSparkSession

  • (火花- 41250)(sc - 116788) [sc - 116633][連接][PYTHON] DataFrame。topanda不應該返回可選的pandas數據框架

  • (火花- 41291)PYTHON (sc - 116738)[連接][]DataFrame.explain應該打印並返回None

  • (火花- 41278)[SC-116732][CONNECT]清除Expression.proto中未使用的QualifiedAttribute

  • (火花- 41097)[SC-116653][CORE][SQL][SS][PROTOBUF]刪除基於Scala 2.13代碼的冗餘集合轉換

  • (火花- 41261)[SC-116718][PYTHON][SS]修複了當分組鍵的列沒有按最早的順序排列時applyInPandasWithState的問題

  • (火花- 40872)[SC-116717][3.3]當推入合並的shuffle塊為零大小時,回退到原始shuffle塊

  • (火花- 41114)[SC-116628][CONNECT]支持LocalRelation的本地數據

  • (火花- 41216)(sc - 116678)(連接)(PYTHON)實現DataFrame。{isLocal,isStreaming,printSchema,inputFiles}

  • (火花- 41238)[SC-116670][CONNECT][PYTHON]支持更多內置數據類型

  • (火花- 41230)(sc - 116674)(連接)(PYTHON)刪除str聚合表達式類型

  • (火花- 41224)[SC-116652][SPARK-41165][SPARK-41184][CONNECT]優化的基於箭頭的收集實現從服務器流到客戶端

  • (火花- 41222)[SC-116625][CONNECT][PYTHON]統一類型定義

  • (火花- 41225)[SC-116623] [CONNECT] [PYTHON]禁用不支持的函數。

  • (火花- 41201)(sc - 116526)(連接)(PYTHON)實現DataFrame。SelectExprPython客戶端

  • (火花- 41203)[SC-116258] [CONNECT]支持數據幀。在Python客戶端中進行轉換。

  • (火花- 41213)(sc - 116375)(連接)(PYTHON)實現DataFrame.__repr__而且DataFrame.dtypes

  • (火花- 41169)(sc - 116378)(連接)(PYTHON)實現DataFrame.drop

  • (火花- 41172)[SC-116245][SQL]將不明確的引用錯誤遷移到錯誤類

  • (火花- 41122)[SC-116141][CONNECT] Explain API支持不同模式

  • (火花- 41209)[SC-116584][PYTHON]改進PySpark類型推斷合並類型的方法

  • (火花- 41196)[SC-116555][SC-116179] [CONNECT]在Spark CONNECT服務器上同質化protobuf版本以使用相同的主版本。

  • (火花- 35531)[SC-116409][SQL]更新hive表統計信息,不進行不必要的轉換

  • (火花- 41154)[SC-116289][SQL]使用時間旅行規範查詢的關係緩存不正確

  • (火花- 41212)(sc - 116554] (sc - 116389)(連接)(PYTHON)實現DataFrame.isEmpty

  • (火花- 41135)(sc - 116400) [SQL]重命名UNSUPPORTED_EMPTY_LOCATIONINVALID_EMPTY_LOCATION

  • (火花- 41183)[SC-116265][SQL]添加一個擴展API來為緩存做計劃規範化

  • (火花- 41054)[SC-116447][UI][CORE]在live UI中支持RocksDB作為KVStore

  • (火花- 38550)[SQL][CORE]使用基於磁盤的存儲來為實時UI保存更多的調試信息

  • (火花- 41173)(sc - 116185] [SQL]要求()從字符串表達式的構造函數中取出

  • (火花- 41188)[SC-116242][CORE][ML] spark executor JVM進程默認設置executorEnv OMP_NUM_THREADS為spark.task.cpus

  • (火花- 41130)(sc - 116155) [SQL]重命名OUT_OF_DECIMAL_TYPE_RANGENUMERIC_OUT_OF_SUPPORTED_RANGE

  • (火花- 41175)[SC-116238][SQL]為錯誤類指定一個名稱遺產ERROR_TEMP_1078

  • (火花- 41106)[SC-116073][SQL]創建AttributeMap時減少集合轉換

  • (火花- 41139)[SC-115983][SQL]改進錯誤類:PYTHON_UDF_IN_ON_CLAUSE

  • (火花- 40657)[SC-115997][PROTOBUF]需要為Java類jar設置陰影,改善錯誤處理

  • (火花- 40999)[SC-116168]提示傳播到子查詢

  • (火花- 41017)[SC-116054][SQL]支持多個不確定過濾器的列修剪

  • (火花- 40834)[SC-114773][SQL]使用SparkListenerSQLExecutionEnd跟蹤UI中的最終SQL狀態

  • (火花- 41118)(sc - 116027] [SQL]to_number/try_to_number應該返回當格式為

  • (火花- 39799)[SC-115984][SQL] DataSourceV2:查看目錄接口

  • (火花- 40665)[SC-116210][SC-112300][CONNECT]避免在Apache Spark二進製版本中嵌入Spark CONNECT

  • (火花- 41048)[SC-116043][SQL]使用AQE緩存改進輸出分區和排序

  • (火花- 41198)[SC-116256][SS]修複流查詢中CTE和DSv1流源的度量

  • (火花- 41199)[SC-116244][SS]修複DSv1流媒體源和DSv2流媒體源同時使用時的度量問題

  • (火花- 40957)[SC-116261][SC-114706]在HDFSMetadataLog中添加內存緩存

  • (火花- 40940)恢複“[SC-115993]刪除流查詢的多狀態操作符檢查器”

  • (火花- 41090)[SQL]拋出異常db_name.view_name通過數據集API創建臨時視圖時

  • (火花- 41133)(sc - 116085] [SQL]積分UNSCALED_VALUE_TOO_LARGE_FOR_PRECISIONNUMERIC_VALUE_OUT_OF_RANGE

  • (火花- 40557)[SC-116182][SC-111442][CONNECT]代碼轉儲

  • (火花- 40448)[SC-114447][SC-111314][CONNECT] Spark CONNECT構建為帶有陰影依賴的驅動插件

  • (火花- 41096)[SC-115812][SQL]支持讀取拚字的FIXED_LEN_BYTE_ARRAY類型

  • (火花- 41140)[SQL]重命名錯誤類_LEGACY_ERROR_TEMP_2440INVALID_WHERE_CONDITION

  • (火花- 40918)[SC-114438][SQL]在生成柱狀輸出時,FileSourceScanExec與Orc和ParquetFileFormat不匹配

  • (火花- 41155)[SC-115991][SQL]為SchemaColumnConvertNotSupportedException添加錯誤消息

  • (火花- 40940)[SC-115993]刪除流查詢的多狀態操作符檢查器

  • (火花- 41098)(sc - 115790) [SQL]重命名GROUP_BY_POS_REFERS_AGG_EXPRGROUP_BY_POS_AGGREGATE

  • (火花- 40755)[SC-115912][SQL]將數字格式化的類型檢查失敗遷移到錯誤類

  • (火花- 41059)(sc - 115658) [SQL]重命名_LEGACY_ERROR_TEMP_2420NESTED_AGGREGATE_FUNCTION

  • (火花- 41044)[SQL]轉換DATATYPE_MISMATCH。UNSPECIFIED_FRAME to INTERNAL_ERROR

  • (火花- 40973)(sc - 115132) [SQL]重命名_LEGACY_ERROR_TEMP_0055UNCLOSED_BRACKETED_COMMENT

係統環境

  • 操作係統: Ubuntu 20.04.5 LTS

  • JavaZulu 8.64.0.19-CA-linux64

  • Scala: 2.12.14

  • Python: 3.9.5

  • R: 4.2.2

  • 三角洲湖: 2.2.0

已安裝的Python庫

圖書館

版本

圖書館

版本

圖書館

版本

argon2-cffi

21.3.0

argon2-cffi-bindings

21.2.0

asttokens

2.0.5

attrs

21.4.0

backcall

0.2.0

backports.entry-points-selectable

1.2.0

beautifulsoup4

4.11.1

黑色的

22.3.0

漂白劑

4.1.0

boto3

1.21.32

botocore

1.24.32

certifi

2021.10.8

cffi

1.15.0

chardet

4.0.0

charset-normalizer

2.0.4

點擊

8.0.4

密碼學

3.4.8

周期計

0.11.0

Cython

0.29.28

dbus-python

1.2.16

debugpy

1.5.1

裝飾

5.1.1

defusedxml

是0.7.1

distlib

0.3.6

docstring-to-markdown

0.11

entrypoints

0.4

執行

0.8.3

facets-overview

1.0.0

fastjsonschema

2.16.2

filelock

3.8.2

fonttools

4.25.0

idna

3.3

ipykernel

6.15.3

ipython

8.5.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

絕地武士

0.18.1

Jinja2

14

jmespath

0.10.0

joblib

1.1.0

jsonschema

4.4.0

jupyter-client

6.1.12

jupyter_core

4.11.2

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

kiwisolver

1.3.2

MarkupSafe

2.0.1

matplotlib

3.5.1

matplotlib-inline

0.1.2

麥凱布

0.7.0

使走調

0.8.4

mypy-extensions

0.4.3

nbclient

0.5.13

nbconvert

6.4.4

nbformat

5.3.0

nest-asyncio

1.5.5

nodeenv

1.7.0

筆記本

6.4.8

numpy

1.21.5

包裝

21.3

熊貓

1.4.2

pandocfilters

1.5.0

parso

0.8.3

pathspec

0.9.0

容易受騙的人

0.5.2

pexpect

4.8.0

pickleshare

0.7.5

枕頭

9.0.1

皮普

21.2.4

Beplay体育安卓版本platformdirs

2.6.0

情節

5.6.0

pluggy

1.0.0

prometheus-client

0.13.1

prompt-toolkit

3.0.20

protobuf

3.19.4

psutil

5.8.0

psycopg2

2.9.3

ptyprocess

0.7.0

pure-eval

0.2.2

pyarrow

7.0.0

pycparser

2.21

pyflakes

2.5.0

Pygments

2.11.2

PyGObject

3.36.0

pyodbc

4.0.32

pyparsing

3.0.4

pyright

1.1.283

pyrsistent

0.18.0

python-dateutil

2.8.2

python-lsp-jsonrpc

1.0.0

python-lsp-server

1.6.0

pytz

2021.3

pyzmq

22.3.0

請求

2.27.1

requests-unixsocket

0.2.0

繩子

0.22.0

s3transfer

0.5.0

scikit-learn

1.0.2中

scipy

1.7.3

seaborn

0.11.2

Send2Trash

1.8.0

setuptools

61.2.0

六個

1.16.0

soupsieve

2.3.1

ssh-import-id

5.10

堆棧數據

0.2.0

statsmodels

0.13.2

韌性

8.0.1

terminado

0.13.1

testpath

0.5.0

threadpoolctl

2.2.0

tokenize-rt

4.2.1

tomli

1.2.2

龍卷風

6.1

traitlets

5.1.1

typing_extensions

以下4.4.1

ujson

5.1.0

unattended-upgrades

0.1

urllib3

1.26.9

virtualenv

20.8.0

wcwidth

0.2.5

webencodings

0.5.1

whatthepatch

1.0.3

0.37.0

widgetsnbextension

3.6.1

yapf

0.31.0

已安裝的R庫

R庫從微軟CRAN快照在2022-11-11

圖書館

版本

圖書館

版本

圖書館

版本

箭頭

10.0.0

askpass

1.1

為了

0.2.1

補丁

1.4.1

基地

4.2.2

base64enc

0.1 - 3

4.0.4

bit64

1.2.3

引導

-28 - 1.3

釀造

1.0 8

生動

1.1.3

掃帚

1.0.1

bslib

0.4.1

cachem

1.0.6

callr

3.7.3

脫字符號

-93 - 6.0

cellranger

1.1.0

時間

-58 - 2.3

-20 - 7.3

cli

3.4.1

clipr

0.8.0

時鍾

0.6.1

集群

2.1.4

codetools

-18 - 0.2

色彩

2.0 - 3

commonmark

1.8.1

編譯器

4.2.2

配置

0.3.1

cpp11

0.4.3

蠟筆

1.5.2

憑證

1.3.2

旋度

4.3.3

data.table

1.14.4

數據集

4.2.2

DBI

1.1.3

dbplyr

2.2.1

desc

1.4.2

devtools

2.4.5

diffobj

0.3.5

消化

0.6.30

downlit

0.4.2

dplyr

1.0.10

dtplyr

1.2.2

e1071

-12 - 1.7

省略

0.3.2

評估

0.18

fansi

1.0.3

farver

2.1.1

fastmap

1.1.0

fontawesome

0.4.0

forcats

0.5.2

foreach

1.5.2

外國

-82 - 0.8

打造

0.2.0

fs

1.5.2

未來

1.29.0

future.apply

1.10.0

含漱劑

1.2.1 "

泛型

0.1.3

哥特

1.9.1

ggplot2

3.4.0

“大酒店”

1.3.1

gitcreds

0.1.2

glmnet

4.1 - 4

全局變量

0.16.1

膠水

1.6.2

googledrive

2.0.0

googlesheets4

1.0.1

高爾

1.0.0

圖形

4.2.2

grDevices

4.2.2

網格

4.2.2

gridExtra

2.3

gsubfn

0.7

gtable

0.3.1

需要戴安全帽的

1.2.0

2.5.1

highr

0.9

hms

1.1.2

htmltools

0.5.3

htmlwidgets

1.5.4

httpuv

1.6.6

httr

1.4.4

id

1.0.1

ini

0.3.1

不小

-13 - 0.9

isoband

0.2.6雖然隻是

迭代器

1.0.14

jquerylib

0.1.4

jsonlite

1.8.3

KernSmooth

-20 - 2.23

knitr

1.40

標簽

0.4.2

晚些時候

1.3.0

晶格

-45 - 0.20

熔岩

1.7.0

生命周期

1.0.3

listenv

0.8.0

lubridate

1.9.0

magrittr

2.0.3

減價

1.3

質量

-58 - 7.3

矩陣

1.5 - 1

memoise

2.0.1

方法

4.2.2

mgcv

-41 - 1.8

mime

0.12

miniUI

0.1.1.1

ModelMetrics

1.2.2.2

modelr

0.1.9

孟塞爾

0.5.0

nlme

-160 - 3.1

nnet

-18 - 7.3

numDeriv

2016.8 - -1.1

openssl

2.0.4

平行

4.2.2

平行

1.32.1

支柱

1.8.1

pkgbuild

1.3.1

pkgconfig

2.0.3

pkgdown

2.0.6

pkgload

1.3.1

plogr

0.2.0

plyr

1.8.7

讚美

1.0.0

prettyunits

1.1.1

pROC

1.18.0

processx

3.8.0

prodlim

2019.11.13

profvis

0.3.7

進步

1.2.2

progressr

0.11.0

承諾

1.2.0.1

原型

1.0.0

代理

-27 - 0.4

ps

1.7.2

purrr

0.3.5

r2d3

0.2.6雖然隻是

R6

2.5.1

ragg

1.2.4

randomForest

4.7 - -1.1

rappdirs

0.3.3

rcmdcheck

1.4.0

RColorBrewer

1.1 - 3

Rcpp

1.0.9

RcppEigen

0.3.3.9.3

readr

2.1.3

readxl

1.4.1

食譜

1.0.3

複賽

1.0.1

rematch2

2.1.2

遙控器

2.4.2

reprex

2.0.2

reshape2

1.4.4

rlang

1.0.6

rmarkdown

2.18

RODBC

-19 - 1.3

roxygen2

7.2.1

rpart

4.1.19

rprojroot

2.0.3

Rserve

-11 - 1.8

RSQLite

2.2.18

rstudioapi

0.14

rversions

2.1.2

房車

1.0.3

薩斯

0.4.2

尺度

1.2.1 "

selectr

0.4 - 2

sessioninfo

1.2.2

形狀

1.4.6

閃亮的

1.7.3

sourcetools

0.1.7

sparklyr

1.7.8

SparkR

3.3.1

空間

-11 - 7.3

樣條函數

4.2.2

sqldf

-11 - 0.4

SQUAREM

2021.1

統計數據

4.2.2

stats4

4.2.2

stringi

1.7.8

stringr

1.4.1

生存

3.4 0

sys

3.4.1

systemfonts

1.0.4

tcltk

4.2.2

testthat

3.1.5

textshaping

0.3.6

寵物貓

3.1.8中

tidyr

1.2.1 "

tidyselect

1.2.0

tidyverse

1.3.2

timechange

0.1.1

timeDate

4021.106

tinytex

0.42

工具

4.2.2

tzdb

0.3.0

urlchecker

1.0.1

usethis

2.1.6

use utf8

1.2.2

跑龍套

4.2.2

uuid

1.1 0

vctrs

0.5.0

viridisLite

0.4.1

發嗚嗚聲

1.6.0

沃爾多

0.4.0

晶須

0.4

withr

2.5.0

xfun

0.34

xml2

1.3.3

xopen

1.0.0

xtable

1.8 - 4

yaml

2.3.6

郵政編碼

2.2.2

安裝Java和Scala庫(Scala 2.12集群版本)

組ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.12.189

com.amazonaws

aws-java-sdk-cloudformation

1.12.189

com.amazonaws

aws-java-sdk-cloudfront

1.12.189

com.amazonaws

aws-java-sdk-cloudhsm

1.12.189

com.amazonaws

aws-java-sdk-cloudsearch

1.12.189

com.amazonaws

aws-java-sdk-cloudtrail

1.12.189

com.amazonaws

aws-java-sdk-cloudwatch

1.12.189

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.12.189

com.amazonaws

aws-java-sdk-codedeploy

1.12.189

com.amazonaws

aws-java-sdk-cognitoidentity

1.12.189

com.amazonaws

aws-java-sdk-cognitosync

1.12.189

com.amazonaws

aws-java-sdk-config

1.12.189

com.amazonaws

aws-java-sdk-core

1.12.189

com.amazonaws

aws-java-sdk-datapipeline

1.12.189

com.amazonaws

aws-java-sdk-directconnect

1.12.189

com.amazonaws

aws-java-sdk-directory

1.12.189

com.amazonaws

aws-java-sdk-dynamodb

1.12.189

com.amazonaws

aws-java-sdk-ec2

1.12.189

com.amazonaws

aws-java-sdk-ecs

1.12.189

com.amazonaws

aws-java-sdk-efs

1.12.189

com.amazonaws

aws-java-sdk-elasticache

1.12.189

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.12.189

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.12.189

com.amazonaws

aws-java-sdk-elastictranscoder

1.12.189

com.amazonaws

aws-java-sdk-emr

1.12.189

com.amazonaws

aws-java-sdk-glacier

1.12.189

com.amazonaws

aws-java-sdk-glue

1.12.189

com.amazonaws

aws-java-sdk-iam

1.12.189

com.amazonaws

aws-java-sdk-importexport

1.12.189

com.amazonaws

aws-java-sdk-kinesis

1.12.189

com.amazonaws

aws-java-sdk-kms

1.12.189

com.amazonaws

aws-java-sdk-lambda

1.12.189

com.amazonaws

aws-java-sdk-logs

1.12.189

com.amazonaws

aws-java-sdk-machinelearning

1.12.189

com.amazonaws

aws-java-sdk-opsworks

1.12.189

com.amazonaws

aws-java-sdk-rds

1.12.189

com.amazonaws

aws-java-sdk-redshift

1.12.189

com.amazonaws

aws-java-sdk-route53

1.12.189

com.amazonaws

aws-java-sdk-s3

1.12.189

com.amazonaws

aws-java-sdk-ses

1.12.189

com.amazonaws

aws-java-sdk-simpledb

1.12.189

com.amazonaws

aws-java-sdk-simpleworkflow

1.12.189

com.amazonaws

aws-java-sdk-sns

1.12.189

com.amazonaws

aws-java-sdk-sqs

1.12.189

com.amazonaws

aws-java-sdk-ssm

1.12.189

com.amazonaws

aws-java-sdk-storagegateway

1.12.189

com.amazonaws

aws-java-sdk-sts

1.12.189

com.amazonaws

aws-java-sdk-support

1.12.189

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.12.189

com.amazonaws

jmespath-java

1.12.189

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同學

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.13.4

com.fasterxml.jackson.core

jackson-core

2.13.4

com.fasterxml.jackson.core

jackson-databind

2.13.4.2

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.13.4

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.13.4

com.fasterxml.jackson.datatype

jackson-datatype-jsr310

2.13.4

com.fasterxml.jackson.module

jackson-module-paranamer

2.13.4

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.13.4

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1.5.2-1

com.github.wendykierp

JTransforms

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.8.6

com.google.crypto.tink

叮叮鈴

1.6.1

com.google.flatbuffers

flatbuffers-java

1.12.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

2.0.204

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.lihaoyi

sourcecode_2.12

0.1.9

com.microsoft.azure

azure-data-lake-store-sdk

2.3.9

com.ning

compress-lzf

1.1

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1.8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.10.0

com.twitter

chill_2.12

0.10.0

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.uber

h3

3.7.0

com.univocity

univocity-parsers

2.9.1

com.zaxxer

HikariCP

4.0.3

commons-cli

commons-cli

1.5.0

commons-codec

commons-codec

1.15

commons-collections

commons-collections

3.2.2

commons-dbcp

commons-dbcp

1.4

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.11.0

commons lang

commons lang

2.6

通用日誌

通用日誌

1.1.3

commons-pool

commons-pool

1.5.4

dev.ludovic.netlib

arpack

2.2.1

dev.ludovic.netlib

布拉斯特區

2.2.1

dev.ludovic.netlib

lapack

2.2.1

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0.21

io.delta

delta-sharing-spark_2.12

0.6.2

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.74.Final

io.netty

netty-buffer

4.1.74.Final

io.netty

netty-codec

4.1.74.Final

io.netty

netty-common

4.1.74.Final

io.netty

netty-handler

4.1.74.Final

io.netty

netty-resolver

4.1.74.Final

io.netty

netty-tcnative-classes

2.0.48.Final

io.netty

netty-transport

4.1.74.Final

io.netty

netty-transport-classes-epoll

4.1.74.Final

io.netty

netty-transport-classes-kqueue

4.1.74.Final

io.netty

netty-transport-native-epoll-linux-aarch_64

4.1.74.Final

io.netty

netty-transport-native-epoll-linux-x86_64

4.1.74.Final

io.netty

netty-transport-native-kqueue-osx-aarch_64

4.1.74.Final

io.netty

netty-transport-native-kqueue-osx-x86_64

4.1.74.Final

io.netty

netty-transport-native-unix-common

4.1.74.Final

io.prometheus

simpleclient

0.7.0

io.prometheus

simpleclient_common

0.7.0

io.prometheus

simpleclient_dropwizard

0.7.0

io.prometheus

simpleclient_pushgateway

0.7.0

io.prometheus

simpleclient_servlet

0.7.0

io.prometheus.jmx

收集器

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.transaction

jta

1.1

javax.transaction

事務api

1.1

javax.xml.bind

jaxb-api

. 2.2.11

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.13

net.java.dev.jna

jna

5.8.0

net.razorvine

泡菜

1.2

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.13.22

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.8

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

螞蟻

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

7.0.0

org.apache.arrow

arrow-memory-core

7.0.0

org.apache.arrow

arrow-memory-netty

7.0.0

org.apache.arrow

arrow-vector

7.0.0

org.apache.avro

avro

1.11.0

org.apache.avro

avro-ipc

1.11.0

org.apache.avro

avro-mapred

1.11.0

org.apache.commons

commons-collections4

4.4

org.apache.commons

commons-compress

1.21

org.apache.commons

commons-crypto

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

commons-text

1.10.0

org.apache.curator

curator-client

2.13.0

org.apache.curator

curator-framework

2.13.0

org.apache.curator

curator-recipes

2.13.0

org.apache.derby

德比

10.14.2.0

org.apache.hadoop

hadoop-client-api

3.3.4-databricks

org.apache.hadoop

hadoop-client-runtime

3.3.4

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

hive-cli

2.3.9

org.apache.hive

hive-jdbc

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-llap-common

2.3.9

org.apache.hive

hive-serde

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

hive-storage-api

2.8.1發布

org.apache.hive.shims

蜂巢0.23 -墊片

2.3.9

org.apache.hive.shims

hive-shims-common

2.3.9

org.apache.hive.shims

hive-shims-scheduler

2.3.9

org.apache.httpcomponents

httpclient

4.5.13

org.apache.httpcomponents

httpcore

4.4.14

org.apache.ivy

艾薇

2.5.0

org.apache.logging.log4j

log4j - 1.2 api

2.18.0

org.apache.logging.log4j

log4j api

2.18.0

org.apache.logging.log4j

log4j-core

2.18.0

org.apache.logging.log4j

log4j-slf4j-impl

2.18.0

org.apache.mesos

mesos-shaded-protobuf

1.4.0

org.apache.orc

orc-core

1.7.6

org.apache.orc

orc-mapreduce

1.7.6

org.apache.orc

orc-shims

1.7.6

org.apache.parquet

parquet-column

1.12.3-databricks-0002

org.apache.parquet

parquet-common

1.12.3-databricks-0002

org.apache.parquet

parquet-encoding

1.12.3-databricks-0002

org.apache.parquet

parquet-format-structures

1.12.3-databricks-0002

org.apache.parquet

parquet-hadoop

1.12.3-databricks-0002

org.apache.parquet

parquet-jackson

1.12.3-databricks-0002

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm9-shaded

4.20

org.apache.yetus

audience-annotations

0.13.0

org.apache.zookeeper

動物園管理員

操作

org.apache.zookeeper

zookeeper-jute

操作

org.checkerframework

checker-qual

3.5.0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.46.v20220331

org.eclipse.jetty

jetty-continuation

9.4.46.v20220331

org.eclipse.jetty

jetty-http

9.4.46.v20220331

org.eclipse.jetty

jetty-io

9.4.46.v20220331

org.eclipse.jetty

jetty-jndi

9.4.46.v20220331

org.eclipse.jetty

jetty-plus

9.4.46.v20220331

org.eclipse.jetty

jetty-proxy

9.4.46.v20220331

org.eclipse.jetty

jetty-security

9.4.46.v20220331

org.eclipse.jetty

jetty服務器

9.4.46.v20220331

org.eclipse.jetty

jetty servlet

9.4.46.v20220331

org.eclipse.jetty

jetty-servlets

9.4.46.v20220331

org.eclipse.jetty

jetty-util

9.4.46.v20220331

org.eclipse.jetty

jetty-util-ajax

9.4.46.v20220331

org.eclipse.jetty

jetty-webapp

9.4.46.v20220331

org.eclipse.jetty

jetty-xml

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-api

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-client

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-common

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket服務器

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-servlet

9.4.46.v20220331

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.36

org.glassfish.jersey.containers

jersey-container-servlet-core

2.36

org.glassfish.jersey.core

jersey客戶端

2.36

org.glassfish.jersey.core

jersey-common

2.36

org.glassfish.jersey.core

jersey-server

2.36

org.glassfish.jersey.inject

jersey-hk2

2.36

org.hibernate.validator

hibernate驗證框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.jetbrains

注釋

17.0.0

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.7.0-M11

org.json4s

json4s-core_2.12

3.7.0-M11

org.json4s

json4s-jackson_2.12

3.7.0-M11

org.json4s

json4s-scalap_2.12

3.7.0-M11

org.lz4

lz4-java

1.8.0

org.mariadb.jdbc

mariadb-java-client

第2.7.4

org.mlflow

mlflow-spark

1.27.0

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.3.3

org.roaringbitmap

RoaringBitmap

0.9.25

org.roaringbitmap

墊片

0.9.25

org.rocksdb

rocksdbjni

6.24.2

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.14

org.scala-lang

scala-library_2.12

2.12.14

org.scala-lang

scala-reflect_2.12

2.12.14

org.scala-lang.modules

scala-collection-compat_2.12

2.4.3

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

測試界麵

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.2

org.scalanlp

breeze_2.12

1.2

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.36

org.slf4j

jul-to-slf4j

1.7.36

org.slf4j

slf4j-api

1.7.36

org.spark-project.spark

未使用的

1.0.0

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1.9

org.typelevel

algebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0

org.typelevel

spire-Beplay体育安卓版本platform_2.12

0.17.0

org.typelevel

spire-util_2.12

0.17.0

org.typelevel

spire_2.12

0.17.0

org.wildfly.openssl

wildfly-openssl

1.0.7.Final

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.4

org.yaml

snakeyaml

1.24

奧羅

奧羅

2.0.8

pl.edu.icm

JLargeArrays

1.5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1