磚13.0運行時

在運行%皮普命令修改virtualEnv Python筆記本內部,磚不再自動重新啟動Python的過程。重新啟動Python程序,調用dbutils.library.restartPython ()。這種變化,%皮普命令在磚Jupyter類似於筆記本,是一致的!皮普和% sh皮普命令。磚建議%皮普而不是!皮普或% sh皮普。

使用根用戶集群級安裝Python庫

圖書館現在安裝使用根用戶負責圖書館的設施。如果你想配置pip安裝行為init腳本,使用文件(全球水平https://pip.pypa.io/en/stable/topics/configuration/配置文件)。

錯誤修複

在% sh命令,以下修複了:
- 輸出包含非現在支持utf - 8字符。
- 子流程現在打斷當命令取消了。

庫升級

升級的Python庫:
- asttokens 2.0.5 2.2.1
- 黑色22.3.0 22.6.0
- boto3 1.21.32 1.24.28
- botocore 1.24.32 1.27.28
- certifi 2021.10.8 2022.9.14
- cffi 1.15.0 1.15.1
- 密碼學3.4.8 37.0.1
- Cython 0.29.28 0.29.32
- dbus-python 1.2.16 1.2.18
- docstring-to-markdown從0.11到0.12
- 執行0.8.3 1.2.0
- facets-overview 1.0.0 1.0.2中
- fastjsonschema 2.16.2 2.16.3
- filelock 3.9.0 3.10.7
- ipykernel 6.15.3 6.17.1
- ipython 8.5.0 8.10.0
- joblib 1.1.1 1.2.0
- jsonschema 4.4.0 4.16.0
- jupyter-client 6.1.12 7.3.4
- 1.4.2 kiwisolver從1.3.2
- matplotlib 3.5.1 3.5.2
- matplotlib-inline 0.1.2 0.1.6
- nbformat 5.3.0發送的
- 筆記本6.4.8 6.4.12
- 熊貓從1.4.2 1.4.4
- 枕頭9.0.1 9.2.0
- 皮普從21.2.4 22.2.2
- Beplay体育安卓版本platformdirs 2.6.2 2.5.2
- 情節5.6.0 5.9.0
- prometheus-client 0.13.1 0.14.1
- prompt-toolkit 3.0.20 3.0.36
- psutil 5.8.0 5.9.0
- pyflakes 2.5.0 3.0.1
- PyGObject 3.36.0 3.42.1
- pyparsing 3.0.4 3.0.9
- pyright 1.1.283 1.1.294
- python-lsp-server 1.6.0 1.7.1上
- pytz從2021.3到2022.1
- pyzmq 22.3.0 23.2.0
- 從2.27.1 2.28.1請求
- 繩子從0.22.0 1.7.0
- s3transfer 0.5.0 0.6.0
- 1.1.1 scikit-learn從1.0.2中
- scipy 1.7.3 1.9.1
- setuptools 61.2.0 63.4.1
- ssh-import-id從5.10到5.11
- 堆棧數據從0.2.0 0.6.2
- testpath 0.5.0 0.6.0
- tomli 1.2.2 2.0.1
- ujson 5.1.0 5.4.0
- urllib3 1.26.9 1.26.11
- virtualenv 20.8.0 20.16.3
- whatthepatch 1.0.4 1.0.2中
- 輪0.37.0 0.37.1
升級R庫:
- 箭頭從10.0.0 10.0.1
- 從4.0.4到你
- 掃帚1.0.1 1.0.3
- bslib 0.4.1 0.4.2
- 時間從2.3 -58 2.3 -59人
- cli 3.4.1 3.6.0
- 色彩從2.0 3 - 2.1 0
- 旋度5.0.0 4.3.3
- data.tablefrom 1.14.4 to 1.14.6
- dbplyr tripwire 2.2.1
- 摘要從0.6.30 0.6.31
- dplyr 1.0.10 1.1.0
- e1071從1.7 -12 1.7 -13
- 評估從0.18到0.20
- 從1.0.3 fansi 1.0.4
- fontawesome 0.4.0 0.5.0
- forcats 0.5.2 1.0.0
- fs 1.5.2 1.6.1
- 未來1.29.0 1.31.0
- 漱口1.3.0從這次1.2.1版本
- 哥特1.9.1升級到1.9.2從
- glmnet從4.1到4.1 (4 6
- 全局0.16.1 0.16.2
- 高爾半島1.0.0 1.0.1
- highr從0.9到0.10
- htmltools 0.5.3 0.5.4
- htmlwidgets 1.5.4 1.6.1
- httpuv 1.6.6 1.6.8
- isoband 0.2.6雖然隻是0.2.7
- jsonlite 1.8.3 1.8.4
- knitr從1.40到1.42
- 熔岩從1.7.0 1.7.1上
- listenv 0.8.0 0.9.0
- lubridate 1.9.0 1.9.1
- 減價從1.3到1.5
- modelr 0.1.9 0.1.10
- openssl 2.0.4 2.0.5
- 平行1.32.1 1.34.0
- pkgbuild 1.4.0 1.3.1
- pkgdown 2.0.6 2.0.7
- pkgload 1.3.1 1.3.2
- plyr 1.8.8 1.8.7
- progressr從0.11.0 0.13.0。它
- purrr 0.3.5 1.0.1
- 從1.2.4 ragg 1.2.5
- Rcpp 1.0.9 1.0.10
- readxl 1.4.1 1.4.2
- 食譜從1.0.3 1.0.4
- rmarkdown從2.18到2.20
- RODBC從1.3 -19 1.3 -20
- roxygen2 7.2.1 7.2.3
- RSQLite 2.2.18 2.2.20
- sass 0.4.2 0.4.5
- 閃亮的1.7.3 1.7.4
- sourcetools 0.1.7 0.1.7-1
- sparklyr 1.7.8 1.7.9
- SparkR 3.3.2 3.4.0
- 空間從7.3 -11 7.3 -15
- stringi 1.7.8 1.7.12
- stringr 1.4.1 1.5.0
- 生存從3.4 0到3.5 - 3
- testthat 3.1.5 3.1.6
- tidyr 1.3.0從這次1.2.1版本
- timechange 0.1.1 0.2.0
- timeDate從4021.106到4022.108
- tinytex從0.42到0.44
- 從1.2.2 use utf8 1.2.3
- vctrs 0.5.0 0.5.2
- 發嗚嗚聲1.6.0 1.6.1
- 須從0.4到0.4.1
- xfun從0.34到0.37
- yaml 2.3.6 2.3.7
升級Java庫:
- com.amazonaws。aws-java-sdk-autoscaling from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudformation from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudfront from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudhsm from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudsearch from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudtrail from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudwatch from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudwatchmetrics from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-codedeploy from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cognitoidentity from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cognitosync from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-config from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-core from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-datapipeline from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-directconnect from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-directory from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-dynamodb from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-ec2 from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-ecs from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-efs from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-elasticache from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-elasticbeanstalk from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-elasticloadbalancing from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-elastictranscoder from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-emr from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-glacier from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-glue from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-iam from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-importexport from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-kinesis from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-kms from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-lambda from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-logs from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-machinelearning from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-opsworks from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-rds from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-redshift from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-route53 from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-s3 from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-ses from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-simpledb from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-simpleworkflow from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-sns from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-sqs from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-ssm from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-storagegateway from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-sts from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-support from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-workspaces from 1.12.189 to 1.12.390
- com.amazonaws。jmespath-javafrom 1.12.189 to 1.12.390
- com.fasterxml.jackson.core。jackson-annotationsfrom 2.13.4 to 2.14.2
- com.fasterxml.jackson.core。jackson-corefrom 2.13.4 to 2.14.2
- com.fasterxml.jackson.core。jackson-databindfrom 2.13.4.2 to 2.14.2
- com.fasterxml.jackson.dataformat。jackson-dataformat-cborfrom 2.13.4 to 2.14.2
- com.fasterxml.jackson.datatype。jackson-datatype-jodafrom 2.13.4 to 2.14.2
- com.fasterxml.jackson.module。jackson-module-paranamerfrom 2.13.4 to 2.14.2
- com.fasterxml.jackson.module.jackson-module-scala_2.12 2.13.4 2.14.2
- com.github.luben。zstd-jnifrom 1.5.2-1 to 1.5.2-5
- com.google.code.gson。gsonfrom 2.8.6 to 2.8.9
- com.google.crypto.tink。叮叮鈴from 1.6.1 to 1.7.0
- com.h2database。h2from 2.0.204 to 2.1.214
- com.jcraft。jschfrom 0.1.50 to 0.1.55
- 1.1.2 com.ning.compress-lzf從1.1
- 從1.3.3 commons-fileupload.commons-fileupload 1.5
- dev.ludovic.netlib.arpack 3.0.3 2.2.1
- dev.ludovic.netlib.blas 3.0.3 2.2.1
- dev.ludovic.netlib.lapack 3.0.3 2.2.1
- io.dropwizard.metrics。metrics-corefrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-graphitefrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-healthchecksfrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-jetty9from 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-jmxfrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-jsonfrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-jvmfrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-servletsfrom 4.1.1 to 4.2.10
- 從4.1.74 io.netty.netty-all。決賽4.1.87.Final
- 從4.1.74 io.netty.netty-buffer。決賽4.1.87.Final
- 從4.1.74 io.netty.netty-codec。決賽4.1.87.Final
- 從4.1.74 io.netty.netty-common。決賽4.1.87.Final
- 從4.1.74 io.netty.netty-handler。決賽4.1.87.Final
- 從4.1.74 io.netty.netty-resolver。決賽4.1.87.Final
- 從4.1.74 io.netty.netty-transport。決賽4.1.87.Final
- 從4.1.74 io.netty.netty-transport-classes-epoll。決賽4.1.87.Final
- 從4.1.74 io.netty.netty-transport-classes-kqueue。決賽4.1.87.Final
- 從4.1.74 io.netty.netty-transport-native-unix-common。決賽4.1.87.Final
- joda-time。joda-timefrom 2.10.13 to 2.12.1
- net.razorvine。泡菜from 1.2 to 1.3
- org.antlr。antlr4-runtime from 4.8 to 4.9.3
- org.apache.ant。螞蟻from 1.9.2 to 1.9.16
- org.apache.ant。ant-jschfrom 1.9.2 to 1.9.16
- org.apache.ant。ant-launcherfrom 1.9.2 to 1.9.16
- org.apache.arrow。arrow-formatfrom 7.0.0 to 11.0.0
- org.apache.arrow。arrow-memory-corefrom 7.0.0 to 11.0.0
- org.apache.arrow。箭頭-memory-netty from 7.0.0 to 11.0.0
- org.apache.arrow。arrow-vectorfrom 7.0.0 to 11.0.0
- org.apache.avro。avrofrom 1.11.0 to 1.11.1
- org.apache.avro。avro-ipcfrom 1.11.0 to 1.11.1
- org.apache.avro。avro-mapredfrom 1.11.0 to 1.11.1
- org.apache.httpcomponents。httpclientfrom 4.5.13 to 4.5.14
- org.apache.httpcomponents。httpcorefrom 4.4.14 to 4.4.16
- org.apache.ivy。艾薇from 2.5.0 to 2.5.1
- 從2.18.0 2.19.0 org.apache.logging.log4j.log4j - 1.2 api
- org.apache.logging.log4j。log4j apifrom 2.18.0 to 2.19.0
- org.apache.logging.log4j。log4j-corefrom 2.18.0 to 2.19.0
- org.apache.orc。orc-corefrom 1.7.6 to 1.8.2-shaded-protobuf
- org.apache.orc。orc-mapreducefrom 1.7.6 to 1.8.2-shaded-protobuf
- org.apache.orc。orc-shimsfrom 1.7.6 to 1.8.2
- org.apache.xbean。xbean-asm9-shaded從4.20到4.22
- org.apache.zookeeper。動物園管理員from 3.6.2 to 3.6.3
- org.apache.zookeeper。zookeeper-jutefrom 3.6.2 to 3.6.3
- org.eclipse.jetty。jetty-clientfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-continuationfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-httpfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-iofrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-jndifrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-plusfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-proxyfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-securityfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty服務器from 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty servletfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-servletsfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-utilfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-util-ajaxfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-webappfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-xmlfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty.websocket。從9.4.46 websocket-api。v20220331, 9.4.50.v20221201
- org.eclipse.jetty.websocket。websocket-clientfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty.websocket。websocket-commonfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty.websocket。websocket服務器from 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty.websocket。websocket-servletfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.hibernate.validator。hibernate驗證框架from 6.1.0.Final to 6.1.7.Final
- org.mlflow。mlflow-spark 2.1.1 2.2.0
- org.postgresql。postgresqlfrom 42.3.3 to 42.3.8
- org.roaringbitmap。RoaringBitmapfrom 0.9.25 to 0.9.39
- org.roaringbitmap。墊片from 0.9.25 to 0.9.39
- org.rocksdb。rocksdbjnifrom 6.28.2 to 7.8.3
- org.scala-lang.scala-compiler_2.12 2.12.14 2.12.15
- org.scala-lang.scala-library_2.12 2.12.14 2.12.15
- org.scala-lang.scala-reflect_2.12 2.12.14 2.12.15
- 從1.2 org.scalanlp.breeze-macros_2.12魅惑
- 從1.2 org.scalanlp.breeze_2.12魅惑
- org.slf4j。jcl-over-slf4j 1.7.36 2.0.6
- org.slf4j。jul-to-slf4j 1.7.36 2.0.6
- org.slf4j。slf4j-apifrom 1.7.36 to 2.0.6
- org.threeten。threeten-extra 1.5.0 1.7.1上
- org.wildfly.openssl。wildfly-opensslfrom 1.0.7.Final to 1.1.3.Final
- org.yaml。snakeyamlfrom 1.24 to 1.33

Apache火花

磚13.0運行時包含Apache 3.4.0火花。

火花SQL

特性

實現支持列在表的默認值(火星- 38334)
添加Dataset.as (StructType) (火星- 39625)
支持參數化SQL (火星- 41271,火星- 42702)
添加透視/融化(火星- 38864,火星- 39876)
支持“側列別名引用”(火星- 27561)
支持結果補償條款(火星- 28330,火星- 39159)
沒有時區支持時間戳數據類型(火星- 35662)
支持標量子查詢時間旅行(火星- 39306)
使目錄API兼容3-layer-namespace (火星- 39235)
支持時間戳在幾秒鍾內使用Dataframe穿越時間的選項(火星- 39633)
添加SparkSession.config(圖)(火星- 40163)
支持改變會話目錄的默認數據庫(火星- 35242)
Protobuf支持火花- from_protobuf和to_protobuf (火星- 40654)
添加源並入條款(不匹配時火星- 40921)
放鬆點約束創建表列選項(火星- 40944)
SQL等效Dataframe覆蓋命令(火星- 40956)
支持生成沒有要求孩子輸出主機外引用(火星- 41441)
ORDER BY (火星- 41637)
集團所有火星- 41635)
添加flatMapSortedGroups和cogroupSorted (火星- 38591)
支持與相關子查詢non-equality謂詞(火星- 36114)
支持與相關子查詢通過聯盟/交叉/除了(火星- 36124)

ANSI合規

ANSI SQL模式:無效訪問地圖上總是返回null列(火星- 40066)
支持雙引用標識符(火星- 40585)
ANSI SQL模式:圓整數溢出/ Bround應該返回一個錯誤(火星- 42045)
支持ANSI間隔積分(鑄造火星- 40008)
支持ANSI間隔的小數(火星- 40014)
返回更廣泛的ANSI間隔類型百分比的函數(火星- 40151)
支持ANSI間隔的小數(火星- 39470)
支持鑄造間隔積分在ANSI模式(火星- 39451)
強化SQLSTATE用法錯誤類(火星- 41994)

功能

支持FROM子句中的表值生成器函數(火星- 41594)
支持ANSI聚合函數:REGR_SXY (火星- 37681)
支持ANSI聚合函數:REGR_R2 (火星- 37641)
支持ANSI聚合函數:REGR_SXX (火星- 37672)
支持ANSI聚合函數:REGR_SYY (火星- 37702)
支持ANSI聚合函數:REGR_SLOPE (火星- 39230)
支持ANSI聚合函數:REGR_INTERCEPT (火星- 37623)
支持ANSI聚合函數PERCENTILE_CONT窗函數(火星- 38219)
支持ANSI聚合函數:PERCENTILE_DISC (火星- 37691)
支持SPLIT_PART函數(火星- 38063)
支持TRY_AVG函數(火星- 38589)
支持TRY_TO_BINARY函數(火星- 38590)
支持TO_NUMBER和TRY_TO_NUMBER SQL函數根據新規範(火星- 38796)
支持ANSI一般價值規範和功能——用戶(火星- 39138)
支持TO_CHAR和TRY_TO_CHAR函數格式十進製值作為字符串(火星- 28516)
支持ANY_VALUE聚合函數(火星- 39213)
支持EQUAL_NUL函數(火星- 39305)
支持聚合函數值(火星- 39320)
支持REGEXP_COUNT函數(火星- 39618)
的支持REGEXP_INSTR函數(火星- 39744)
的支持REGEXP_SUBSTR函數(火星- 39695)
支持透視功能(火星- 39876)
支持TRY_TO_TIMESTAMP函數(火星- 39795)
支持url編碼/解碼內置函數和整理url-related函數(火星- 39741)
支持聚合函數模式(火星- 39808)
支持函數(火星- 40109)
返回函數添加別名:LEN DATEPART, DATE_DIFF CURDATE (火星- 40352)
提高TO_BINARY函數(火星- 40112)
支持CURRENT_SCHEMA (火星- 41323)
支持數據屏蔽內置函數麵具(火星- 40687)
支持高階函數:ARRAY_COMPACT (火星- 41235)
支持ARRAY_APPEND函數(火星- 41232)
支持ARRAY_INSERT函數(火星- 41234)
支持LUHN_CHECK函數(火星- 42191)
支持ARRAY_SORT(列,比較器)(火星- 39925)

數據源

支持列統計DS v2 (火星- 41378)
在DS v2存儲分區加入(SPJ) (火星- 37375)
在DS v2(行級業務火星- 35801)
在界麵添加SupportsReportOrdering混合DS v2掃描(火星- 38647)
推斷出日期類型為CSV模式推理(火星- 39469)
支持驅動指標在DS v2定義度量API (火星- 39635)
分配和排序支持DS v2函數以書麵形式(火星- 39607)
StringEndsWith /包含支持壓低拚花,這樣我們可以利用字典過濾器(火星- 39002)
支持UDT火花鋪矢量化的讀者火星- 39086)
擴展元數據列支持拚花行索引文件(火星- 37980)
支持閱讀鋪FIXED_LEN_BYTE_ARRAY類型(火星- 41096)
優化過濾謂詞的順序(火星- 40045)
支持與該JDBC (CTE和臨時表查詢火星- 37259)
支持ignoreCorruptFiles和ignoreMissingFiles數據源的選擇(火星- 38767)
退出v1寫writefile (火星- 41407)
添加讀字符填充覆蓋外部數據文件(火星- 40697)

查詢優化

合並不相關的標量子查詢(火星- 34079)
默認啟用布隆過濾器連接(火星- 38841)
刪除不必要的不同總表達distinctKeys (火星- 38832)
支持謂詞下推和列修剪de-duped ct (火星- 37670)
刪除外連接如果聚合函數複製不可知論者流一邊(火星- 38886)
刪除左/右外連接如果隻選擇左/右側列和連接鍵在另一邊是獨一無二的(火星- 39172)
優化全球RepartitionByExpression排序(火星- 39911)
優化TransposeWindow規則(火星- 38034)
提高EliminateSorts支持移除類型通過LocalLimit (火星- 40050)
推動本地限製雙方如果聯接條件是空的(火星- 40040)
添加PushProjectionThroughLimit優化器(火星- 40501)
支持主/透視與加入的孩子(火星- 41195)
支持與多個不確定性過濾器(列修剪火星- 41017)
提高輸出與AQE緩存分區和排序(火星- 41048)
提高多像性能通過創建一個平衡表達式樹謂詞(火星- 41167)
刪除如果是RepartitionByExpression的孩子(火星- 36703)
使用可用的列統計數據查詢階段完成(火星- 39991)
重用WindowSpecDefinition表達式(火星- 41805)
改善AliasAwareOutputPartitioning AliasAwareQueryOutputOrdering考慮所有別名(火星- 40086,火星- 42049)
通過Python udf壓低限製(火星- 42115)

代碼生成和查詢執行

在BroadcastNestedLoopJoinExec defaultJoin運行並行(火星- 40487)
Codegen支持HiveGenericUDF (火星- 42051)
介紹洗牌SinglePartition (火星- 41986)
讓民進黨支持修剪方麵聯盟(火星- 39217)

其他值得注意的變化

支持自動分區統計信息收集(火星- 38573)
格式錯誤消息的節儉服務器(火星- 40098)
添加一個擴展API進行計劃正常化的緩存(火星- 41183)
重構火花類型通過引入物理類型(火星- 41226)
其中現場支持和遞歸檢查(火星- 41396)
集中列解決邏輯(火星- 41405)
改善計劃變更驗證(火星- 42081)
介紹SparkPath類型安全(火星- 41970)
db_name拋出異常。view_name當創建臨時視圖數據API (火星- 41090)
改變掩模函數的參數的默認值從1到零(火星- 42070)

火花的核心

解除

避免不必要的任務重新運行退役執行人失去如果洗牌數據遷移(火星- 41469)
忽略階段獲取失敗造成的退役的執行人(火星- 40481)
啟用spark.storage.decommission。抽樣|洗牌)Blocks.enabled默認情況下(火星- 40198)
添加對紗線的支持退役當ESS是禁用的(火星- 30835)

調度器

使舞台調度支持本地集群模式(火星- 41949)
支持獨立的階段任務資源水平集群動態分配時禁用(火星- 39853)
延遲onDisconnected使司機收到ExecutorExitCode (火星- 39957)
通過舞台任務指標(提高投機火星- 32170)
添加資源調度支持獨立的階段水平集群(火星- 39062)
改善LaunchTask過程避免階段失敗造成的不能發送LaunchTask消息(火星- 39955)

洗牌

客戶端添加基於推動洗牌讀指標(火星- 36620)
推動基於洗牌洗牌服務器端指標(火星- 33573)
確保mergedShuffleCleaner db close(之前已經關閉火星- 40186)
添加RocksDB支持洗牌服務狀態存儲(火星- 38888)
封裝並且用於存儲遠程DB /外部洗牌狀態(火星- 38909)
啟用spark.dynamicAllocation.shuffleTracking。默認啟用(火星- 3984)
啟用了基於推的洗牌服務將狀態存儲在納米水平DB工作保存重啟(火星- 33236)
刪除使用洗牌洗牌塊服務執行人(發布火星- 37618)

其他值得注意的變化

支持站點環境(火星- 39457)
啟用默認spark.kryo.unsafe (火星- 42137)
不允許任意定製類路徑與代理用戶集群模式(火星- 41958)
避免BlockManager續費如果遺囑執行人已經丟失(火星- 41360)
刪除單個任務結果的限製必須符合2 gb (火星- 40622)
移除棄用spark.akka的支持。*配置(火星- 40401)
改變默認日誌記錄到stderr符合log4j的行為(火星- 40406)
排除DirectTaskResult元數據在計算結果大小(火星- 40261)
允許自定義初始分區數量()行為(火星- 40211)
使用可中斷鎖而不是同步的Executor.updateDependencies () (火星- 40235)
任務應該觸發任務失敗的聽眾(火星- 40106)
添加能夠選擇性地禁用看或輪詢(火星- 36462)
不要緩存非係列化廣播關係驅動程序(火星- 39983)
解決死鎖TaskMemoryManager和UnsafeExternalSorter之間。SpillableIterator (火星- 39283)
暴露階段TaskContext(分區數量火星- 38679)
使內存開銷因素可配置(火星- 38194)
避免使用bash ShellBasedGroupsMappingProvider - c (火星- 38992)

結構化流

主要功能

異步進度跟蹤(火星- 39591)
Python任意狀態處理結構化流(火星- 40434)
Protobuf支持結構化流(火星- 40653)
修複記錄過濾後期支持鏈接有狀態操作符(火星- 40925)

其他值得注意的變化

引入流檢查點文件管理器基於Hadoop Abortable接口(火星- 40039)
反對觸發器。一次,促進觸發。AvailableNow (火星- 39805)
公開信息目錄表的邏輯計劃流查詢(火星- 39564)
支持從流水槽收集度量標準(火星- 38564)
反對DStream API (火星- 42075)
翻轉卡夫卡抵消獲取配置的默認值(火星- 40844)
提供克隆引發會話DataFrame PySpark foreachBatch水槽(在用戶函數火星- 41379)

火花連接

Python客戶機

實現DataFrame API (火星- 41279)
實現列API (火星- 41282)
實現功能的API (火星- 41283)
實現SparkSession API (火星- 41281)
實現I / O API (火星- 41284)
實現目錄API (火星- 41289)
支持用戶定義函數在Python中(火星- 41661)
支持熊貓/箭頭函數API (火星- 42393)
支持運行時SQL配置(火星- 42499)
構建、火花連接方案和基礎設施(火星- 41286)
火花Python客戶機連接類型注解(火星- 40451)

Scala的客戶

Scala實現基本的客戶端(火星- 41534,火星- 42133,火星- 42043,火星- 41822)
實現SparkSession API (火星- 42639,火星- 42581,火星- 42564,火星- 42544,火星- 42631)
實現Dataframe API (火星- 42440,火星- 42559,火星- 42558,火星- 42556,火星- 42468,火星- 42529,火星- 42561,火星- 42894,火星- 41874,火星- 42691,火星- 42692,火星- 42481,火星- 42541,火星- 42542,火星- 42520,火星- 41823)
實現列API (火星- 42441,火星- 42560)
實現功能的API (火星- 42461,火星- 42579,火星- 42527,火星- 42531,火星- 42495,火星- 42557)
實現I / O API (火星- 42457,火星- 42555,火星- 42690,火星- 42878,火星- 42757,火星- 42482,火星- 42733,火星- 42518)
實現運行時SQL配置(火星- 42586)
支持基本的用戶定義函數(火星- 42283,火星- 42653,火星- 42543)
基本類型的API支持(火星- 42580,火星- 42605)
火花連接測試基礎設施(火星- 42172,火星- 42377,火星- 42599)
實現REPL支持(火星- 42656,火星- 42884)

PySpark

熊貓API火花

重大的改進
- Python任意狀態處理結構化流(火星- 40434)
- 實現大熊貓API失蹤的參數(火星- 42883)
- 熊貓1.5支持(火星- 40576)
主要特點
- 實現係列。searchsorted (火星- 40330)
- 實現係列。autocorr (火星- 38774)
- 實現DataFrame。模式(火星- 40138)
- 實現DataFrame。箱線圖和DataFrame.plot。框(火星- 38993)
- 實現DataFrame。corrwith (火星- 38907)
- 實現DataFrame。重新取樣和係列。重新取樣(火星- 39081)
- 實現DataFrame.interpolate和Series.interpolate (火星- 38844)
- 實現DataFrame。ewm和係列。ewm (火星- 38785)
- 實現GroupBy。刺激(火星- 40334)
- 實現GroupBy。n (火星- 40333)
- 實現GroupBy。分位數(火星- 40332)
- 實現GroupBy。掃描電鏡(火星- 40305)
- 實現GroupBy。瘋了(火星- 39284)
- 實現GroupBy。斜(火星- 39246)
- 實現GroupBy。ewm (火星- 39129)
- 支持GroupBy位置索引(火星- 38947)

其他值得注意的變化

重大改進
- 提供一個內存分析器PySpark用戶定義的函數(火星- 40281)
- 使目錄API兼容3-layer-namespace (火星- 39235)
- 在PySpark NumPy輸入支持(火星- 39405)
- PySpark錯誤改善(火星- 41597)
主要功能
- 支持參數化SQL PySpark (火星- 41666)
- 實現“中值”功能(火星- 40003)
- 實現“模式”功能(火星- 40007)
- 實現“透視/融化”功能(火星- 39877)
- 支持在PySpark Varchar (火星- 39760)
- 支持CharType PySpark (火星- 39809)

MLLIB

實現PyTorch分銷商(火星- 41589)
統一數據驗證(火星- 38584)
減少ALS的洗牌大小(火星- 40476,火星- 40745)
Dedup等張回歸複製功能(火星- 41008)
KMeans blockify輸入向量(火星- 30661)
添加相關性得分nDCG評價(火星- 39446)

SparkR

添加透視/融化(火星- 41267)
添加array_sort(列,比較器)(火星- 40167)
支持多個“列”R(下降火星- 40087)
箭與SparkR 9.0.0支持(火星- 40114)
使目錄API兼容3-layer-namespace (火星- 39579,火星- 39646,火星- 39645,火星- 39236,火星- 39716,火星- 39719)
支持R 4.2.0 (火星- 39372)

住UI和曆史服務器服務

更好的UI火花可伸縮性和司機穩定對於大型應用程序(火星- 41053)
使用RocksDB spark.history.store.hybridStore。diskBackend默認情況下(火星- 42277)
嵌套組執行根執行(下火星- 41752)
環境中顯示指標屬性選項卡(火星- 39110)
修複StagePage輸入大小/記錄沒有顯示當記錄大於0 (火星- 34777)
改善事件日誌記錄通過使用傑克遜代替Json4s JsonProtocol性能(火星- 39489)
支持spark.history.fs.update。batchSize (火星- 39225)

構建

更新cloudpickle v2.2.0 (火星- 40991)
反對Python 3.7支持(火星- 39861)
支持Python 3.11 (火星- 41454)
更新dev.ludovic.netlib 3.0.2 (火星- 40251)
更新的微風2.0 (火星- 39616)
更新slf4j 2.0.6版本(火星- 41561)
6.4.1 kubernetes-client版本更新(火星- 42362)
更新rocksdbjni 7.9.2 (火星- 42129)
更新Apache箭頭11.0.0 (火星- 42161)
3.3.2升級Apache卡夫卡(火星- 42109)

維護更新

看到磚13.0運行時的維護更新。

係統環境

操作係統:Ubuntu 22.04.2 LTS
Java:祖魯8.68.0.21-CA-linux64
Scala:2.12.15
Python:3.10.6
R:4.2.2
三角洲湖:tripwire

安裝Python庫

圖書館	版本	圖書館	版本	圖書館	版本
appdirs	1.4.4	argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0
asttokens	2.2.1	attrs	21.4.0	backcall	0.2.0
beautifulsoup4	4.11.1	黑色的	22.6.0	漂白劑	4.1.0
信號燈	1.4	boto3	1.24.28	botocore	1.27.28
certifi	2022.9.14	cffi	1.15.1	chardet	4.0.0
charset-normalizer	2.0.4	點擊	8.0.4	密碼學	37.0.1
周期計	0.11.0	Cython	0.29.32	dbus-python	1.2.18
debugpy	1.5.1	裝飾	5.1.1	defusedxml	是0.7.1
distlib	0.3.6	docstring-to-markdown	0.12	entrypoints	0.4
執行	1.2.0	facets-overview	1.0.2中	fastjsonschema	2.16.3
filelock	3.10.7	fonttools	4.25.0	googleapis-common-protos	1.56.4
grpcio	1.48.1	grpcio-status	1.48.1	httplib2	0.20.2
idna	3.3	importlib-metadata	4.6.4	ipykernel	6.17.1
ipython	8.10.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
絕地武士	0.18.1	吉普車	是0.7.1	Jinja2	14
jmespath	0.10.0	joblib	1.2.0	jsonschema	4.16.0
jupyter-client	7.3.4	jupyter_core	4.11.2	jupyterlab-pygments	0.1.2
jupyterlab-widgets	1.0.0	密匙環	23.5.0	kiwisolver	1.4.2
launchpadlib	1.10.16	lazr.restfulclient	0.14.4	lazr.uri	1.0.6
MarkupSafe	2.0.1	matplotlib	3.5.2	matplotlib-inline	0.1.6
麥凱布	0.7.0	使走調	0.8.4	more-itertools	8.10.0
mypy-extensions	0.4.3	nbclient	0.5.13	nbconvert	6.4.4
nbformat	發送的	nest-asyncio	1.5.5	nodeenv	1.7.0
筆記本	6.4.12	numpy	1.21.5	oauthlib	3.2.0
包裝	21.3	熊貓	1.4.4	pandocfilters	1.5.0
parso	0.8.3	pathspec	0.9.0	容易受騙的人	0.5.2
pexpect	4.8.0	pickleshare	0.7.5	枕頭	9.2.0
皮普	22.2.2	Beplay体育安卓版本platformdirs	2.5.2	情節	5.9.0
pluggy	1.0.0	prometheus-client	0.14.1	prompt-toolkit	3.0.36
protobuf	3.19.4	psutil	5.9.0	psycopg2	2.9.3
ptyprocess	0.7.0	pure-eval	0.2.2	pyarrow	7.0.0
pycparser	2.21	pyflakes	3.0.1	Pygments	2.11.2
PyGObject	3.42.1	PyJWT	tripwire	pyodbc	4.0.32
pyparsing	3.0.9	pyright	1.1.294	pyrsistent	0.18.0
python-dateutil	2.8.2	python-lsp-jsonrpc	1.0.0	python-lsp-server	1.7.1上
pytoolconfig	1.2.2	pytz	2022.1	pyzmq	23.2.0
請求	2.28.1	繩子	1.7.0	s3transfer	0.6.0
scikit-learn	1.1.1	scipy	1.9.1	seaborn	0.11.2
SecretStorage	3.3.1	Send2Trash	1.8.0	setuptools	63.4.1
六個	1.16.0	soupsieve	2.3.1	ssh-import-id	5.11
堆棧數據	0.6.2	statsmodels	0.13.2	韌性	8.0.1
terminado	0.13.1	testpath	0.6.0	threadpoolctl	2.2.0
tokenize-rt	4.2.1	tomli	2.0.1	龍卷風	6.1
traitlets	5.1.1	ujson	5.4.0	unattended-upgrades	0.1
urllib3	1.26.11	virtualenv	20.16.3	wadllib	1.3.6
wcwidth	0.2.5	webencodings	0.5.1	whatthepatch	1.0.2中
輪	0.37.1	widgetsnbextension	3.6.1	yapf	0.31.0
氧化鋅碘仿糊	1.0.0

安裝R庫

R庫的安裝微軟在2023-02-10凹口快照。

圖書館	版本	圖書館	版本	圖書館	版本
箭頭	10.0.1	askpass	1.1	為了	0.2.1
補丁	1.4.1	基地	4.2.2	base64enc	0.1 - 3
位	你	bit64	你	團	1.2.3
引導	-28 - 1.3	釀造	1.0 8	生動	1.1.3
掃帚	1.0.3	bslib	0.4.2	cachem	1.0.6
callr	3.7.3	脫字符號	-93 - 6.0	cellranger	1.1.0
時間	-59 - 2.3	類	-21 - 7.3	cli	3.6.0
clipr	0.8.0	時鍾	0.6.1	集群	2.1.4
codetools	-19 - 0.2	色彩	2.1 0	commonmark	1.8.1
編譯器	4.2.2	配置	0.3.1	cpp11	0.4.3
蠟筆	1.5.2	憑證	1.3.2	旋度	5.0.0
data.table	1.14.6	數據集	4.2.2	DBI	1.1.3
dbplyr	tripwire	desc	1.4.2	devtools	2.4.5
diffobj	0.3.5	消化	0.6.31	downlit	0.4.2
dplyr	1.1.0	dtplyr	1.2.2	e1071	-13 - 1.7
省略	0.3.2	評估	0.20	fansi	1.0.4
farver	2.1.1	fastmap	1.1.0	fontawesome	0.5.0
forcats	1.0.0	foreach	1.5.2	外國	-82 - 0.8
打造	0.2.0	fs	1.6.1	未來	1.31.0
future.apply	1.10.0	含漱劑	1.3.0	泛型	0.1.3
哥特	1.9.2	ggplot2	3.4.0	“大酒店”	1.3.1
gitcreds	0.1.2	glmnet	4.1 6	全局變量	0.16.2
膠水	1.6.2	googledrive	2.0.0	googlesheets4	1.0.1
高爾	1.0.1	圖形	4.2.2	grDevices	4.2.2
網格	4.2.2	gridExtra	2.3	gsubfn	0.7
gtable	0.3.1	需要戴安全帽的	1.2.0	還	2.5.1
highr	0.10	hms	1.1.2	htmltools	0.5.4
htmlwidgets	1.6.1	httpuv	1.6.8	httr	1.4.4
id	1.0.1	ini	0.3.1	不小	-13 - 0.9
isoband	0.2.7	迭代器	1.0.14	jquerylib	0.1.4
jsonlite	1.8.4	KernSmooth	-20 - 2.23	knitr	1.42
標簽	0.4.2	晚些時候	1.3.0	晶格	-45 - 0.20
熔岩	1.7.1上	生命周期	1.0.3	listenv	0.9.0
lubridate	1.9.1	magrittr	2.0.3	減價	1.5
質量	7.3 - -58.2	矩陣	1.5 - 1	memoise	2.0.1
方法	4.2.2	mgcv	-41 - 1.8	mime	0.12
miniUI	0.1.1.1	ModelMetrics	1.2.2.2	modelr	0.1.10
孟塞爾	0.5.0	nlme	-162 - 3.1	nnet	-18 - 7.3
numDeriv	2016.8 - -1.1	openssl	2.0.5	平行	4.2.2
平行	1.34.0	支柱	1.8.1	pkgbuild	1.4.0
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.2
plogr	0.2.0	plyr	1.8.8	讚美	1.0.0
prettyunits	1.1.1	pROC	1.18.0	processx	3.8.0
prodlim	2019.11.13	profvis	0.3.7	進步	1.2.2
progressr	0.13.0	承諾	1.2.0.1	原型	1.0.0
代理	-27 - 0.4	ps	1.7.2	purrr	1.0.1
r2d3	0.2.6雖然隻是	R6	2.5.1	ragg	1.2.5
randomForest	4.7 - -1.1	rappdirs	0.3.3	rcmdcheck	1.4.0
RColorBrewer	1.1 - 3	Rcpp	1.0.10	RcppEigen	0.3.3.9.3
readr	2.1.3	readxl	1.4.2	食譜	1.0.4
複賽	1.0.1	rematch2	2.1.2	遙控器	2.4.2
reprex	2.0.2	reshape2	1.4.4	rlang	1.0.6
rmarkdown	2.20	RODBC	-20 - 1.3	roxygen2	7.2.3
rpart	4.1.19	rprojroot	2.0.3	Rserve	-12 - 1.8
RSQLite	2.2.20	rstudioapi	0.14	rversions	2.1.2
房車	1.0.3	薩斯	0.4.5	尺度	1.2.1 "
selectr	0.4 - 2	sessioninfo	1.2.2	形狀	1.4.6
閃亮的	1.7.4	sourcetools	0.1.7-1	sparklyr	1.7.9
SparkR	3.4.0	空間	-15 - 7.3	樣條函數	4.2.2
sqldf	-11 - 0.4	SQUAREM	2021.1	統計數據	4.2.2
stats4	4.2.2	stringi	1.7.12	stringr	1.5.0
生存	3.5 - 3	sys	3.4.1	systemfonts	1.0.4
tcltk	4.2.2	testthat	3.1.6	textshaping	0.3.6
寵物貓	3.1.8中	tidyr	1.3.0	tidyselect	1.2.0
tidyverse	1.3.2	timechange	0.2.0	timeDate	4022.108
tinytex	0.44	工具	4.2.2	tzdb	0.3.0
urlchecker	1.0.1	usethis	2.1.6	use utf8	1.2.3
跑龍套	4.2.2	uuid	1.1 0	vctrs	0.5.2
viridisLite	0.4.1	發嗚嗚聲	1.6.1	沃爾多	0.4.0
晶須	0.4.1	withr	2.5.0	xfun	0.37
xml2	1.3.3	xopen	1.0.0	xtable	1.8 - 4
yaml	2.3.7	郵政編碼	2.2.2

安裝了Java和Scala庫(Scala 2.12集群版)

組ID	工件ID	版本
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.390
com.amazonaws	aws-java-sdk-cloudformation	1.12.390
com.amazonaws	aws-java-sdk-cloudfront	1.12.390
com.amazonaws	aws-java-sdk-cloudhsm	1.12.390
com.amazonaws	aws-java-sdk-cloudsearch	1.12.390
com.amazonaws	aws-java-sdk-cloudtrail	1.12.390
com.amazonaws	aws-java-sdk-cloudwatch	1.12.390
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.390
com.amazonaws	aws-java-sdk-codedeploy	1.12.390
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.390
com.amazonaws	aws-java-sdk-cognitosync	1.12.390
com.amazonaws	aws-java-sdk-config	1.12.390
com.amazonaws	aws-java-sdk-core	1.12.390
com.amazonaws	aws-java-sdk-datapipeline	1.12.390
com.amazonaws	aws-java-sdk-directconnect	1.12.390
com.amazonaws	aws-java-sdk-directory	1.12.390
com.amazonaws	aws-java-sdk-dynamodb	1.12.390
com.amazonaws	aws-java-sdk-ec2	1.12.390
com.amazonaws	aws-java-sdk-ecs	1.12.390
com.amazonaws	aws-java-sdk-efs	1.12.390
com.amazonaws	aws-java-sdk-elasticache	1.12.390
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.390
com.amazonaws	aws-java-sdk-emr	1.12.390
com.amazonaws	aws-java-sdk-glacier	1.12.390
com.amazonaws	aws-java-sdk-glue	1.12.390
com.amazonaws	aws-java-sdk-iam	1.12.390
com.amazonaws	aws-java-sdk-importexport	1.12.390
com.amazonaws	aws-java-sdk-kinesis	1.12.390
com.amazonaws	aws-java-sdk-kms	1.12.390
com.amazonaws	aws-java-sdk-lambda	1.12.390
com.amazonaws	aws-java-sdk-logs	1.12.390
com.amazonaws	aws-java-sdk-machinelearning	1.12.390
com.amazonaws	aws-java-sdk-opsworks	1.12.390
com.amazonaws	aws-java-sdk-rds	1.12.390
com.amazonaws	aws-java-sdk-redshift	1.12.390
com.amazonaws	aws-java-sdk-route53	1.12.390
com.amazonaws	aws-java-sdk-s3	1.12.390
com.amazonaws	aws-java-sdk-ses	1.12.390
com.amazonaws	aws-java-sdk-simpledb	1.12.390
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.390
com.amazonaws	aws-java-sdk-sns	1.12.390
com.amazonaws	aws-java-sdk-sqs	1.12.390
com.amazonaws	aws-java-sdk-ssm	1.12.390
com.amazonaws	aws-java-sdk-storagegateway	1.12.390
com.amazonaws	aws-java-sdk-sts	1.12.390
com.amazonaws	aws-java-sdk-support	1.12.390
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.390
com.amazonaws	jmespath-java	1.12.390
com.clearspring.analytics	流	2.9.6
com.databricks	Rserve	1.8 - 3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	同學	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.14.2
com.fasterxml.jackson.core	jackson-core	2.14.2
com.fasterxml.jackson.core	jackson-databind	2.14.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.14.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.14.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.13.4
com.fasterxml.jackson.module	jackson-module-paranamer	2.14.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.14.2
com.github.ben-manes.caffeine	咖啡因	2.3.4
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1人
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java	1.1人
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1人
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1人
com.github.luben	zstd-jni	1.5.2-5
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.9
com.google.crypto.tink	叮叮鈴	1.7.0
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	番石榴	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	2.1.214
com.helger	分析器	1.1.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	配置	1.2.1 "
com.typesafe.scala-logging	scala-logging_2.12	3.7.2章
com.uber	h3	3.7.0
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.15
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.11.0
commons lang	commons lang	2.6
通用日誌	通用日誌	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	布拉斯特區	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.21
io.delta	delta-sharing-spark_2.12	0.6.3
io.dropwizard.metrics	metrics-core	4.2.10
io.dropwizard.metrics	metrics-graphite	4.2.10
io.dropwizard.metrics	metrics-healthchecks	4.2.10
io.dropwizard.metrics	metrics-jetty9	4.2.10
io.dropwizard.metrics	metrics-jmx	4.2.10
io.dropwizard.metrics	metrics-json	4.2.10
io.dropwizard.metrics	metrics-jvm	4.2.10
io.dropwizard.metrics	metrics-servlets	4.2.10
io.netty	netty-all	4.1.87.Final
io.netty	netty-buffer	4.1.87.Final
io.netty	netty-codec	4.1.87.Final
io.netty	netty-codec-http	4.1.87.Final
io.netty	netty-codec-http2	4.1.87.Final
io.netty	netty-codec-socks	4.1.87.Final
io.netty	netty-common	4.1.87.Final
io.netty	netty-handler	4.1.87.Final
io.netty	netty-handler-proxy	4.1.87.Final
io.netty	netty-resolver	4.1.87.Final
io.netty	netty-transport	4.1.87.Final
io.netty	netty-transport-classes-epoll	4.1.87.Final
io.netty	netty-transport-classes-kqueue	4.1.87.Final
io.netty	netty-transport-native-epoll	4.1.87.Final
io.netty	netty-transport-native-epoll	4.1.87.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.87.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.87.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.87.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.87.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	收集器	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	激活	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo api	3.0.1
javax.transaction	jta	1.1
javax.transaction	事務api	1.1
javax.xml.bind	jaxb-api	. 2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	泡菜	1.3
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.22
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1之上
org.apache.ant	螞蟻	1.9.16
org.apache.ant	ant-jsch	1.9.16
org.apache.ant	ant-launcher	1.9.16
org.apache.arrow	arrow-format	11.0.0
org.apache.arrow	arrow-memory-core	11.0.0
org.apache.arrow	arrow-memory-netty	11.0.0
org.apache.arrow	arrow-vector	11.0.0
org.apache.avro	avro	1.11.1
org.apache.avro	avro-ipc	1.11.1
org.apache.avro	avro-mapred	1.11.1
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.21
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	德比	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.3.4
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.8.1發布
org.apache.hive.shims	蜂巢0.23 -墊片	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	艾薇	2.5.1
org.apache.logging.log4j	log4j - 1.2 api	2.19.0
org.apache.logging.log4j	log4j api	2.19.0
org.apache.logging.log4j	log4j-core	2.19.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.19.0
org.apache.mesos	便	1.11.0-shaded-protobuf
org.apache.orc	orc-core	1.8.2-shaded-protobuf
org.apache.orc	orc-mapreduce	1.8.2-shaded-protobuf
org.apache.orc	orc-shims	1.8.2
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-shaded	4.22
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	動物園管理員	3.6.3
org.apache.zookeeper	zookeeper-jute	3.6.3
org.checkerframework	checker-qual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.50.v20221201
org.eclipse.jetty	jetty-continuation	9.4.50.v20221201
org.eclipse.jetty	jetty-http	9.4.50.v20221201
org.eclipse.jetty	jetty-io	9.4.50.v20221201
org.eclipse.jetty	jetty-jndi	9.4.50.v20221201
org.eclipse.jetty	jetty-plus	9.4.50.v20221201
org.eclipse.jetty	jetty-proxy	9.4.50.v20221201
org.eclipse.jetty	jetty-security	9.4.50.v20221201
org.eclipse.jetty	jetty服務器	9.4.50.v20221201
org.eclipse.jetty	jetty servlet	9.4.50.v20221201
org.eclipse.jetty	jetty-servlets	9.4.50.v20221201
org.eclipse.jetty	jetty-util	9.4.50.v20221201
org.eclipse.jetty	jetty-util-ajax	9.4.50.v20221201
org.eclipse.jetty	jetty-webapp	9.4.50.v20221201
org.eclipse.jetty	jetty-xml	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-api	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-client	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-common	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket服務器	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-servlet	9.4.50.v20221201
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.36
org.glassfish.jersey.containers	jersey-container-servlet-core	2.36
org.glassfish.jersey.core	jersey客戶端	2.36
org.glassfish.jersey.core	jersey-common	2.36
org.glassfish.jersey.core	jersey-server	2.36
org.glassfish.jersey.inject	jersey-hk2	2.36
org.hibernate.validator	hibernate驗證框架	6.1.7.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	注釋	17.0.0
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	mariadb-java-client	第2.7.4
org.mlflow	mlflow-spark	2.2.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.3.8
org.roaringbitmap	RoaringBitmap	0.9.39
org.roaringbitmap	墊片	0.9.39
org.rocksdb	rocksdbjni	7.8.3
org.rosuda.REngine	REngine	魅惑
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.4.3
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	測試界麵	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	魅惑
org.scalanlp	breeze_2.12	魅惑
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	2.0.6
org.slf4j	jul-to-slf4j	2.0.6
org.slf4j	slf4j-api	2.0.6
org.threeten	threeten-extra	1.7.1上
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-Beplay体育安卓版本platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1.33
奧羅	奧羅	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2中
stax	stax-api	1.0.1