Databricks Runtime 11.0(不支持)<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#databricks-runtime-110-unsupported" title="">

以下發布說明提供了Databricks運行時11.0的信息,由Apache Spark 3.3.0提供支持。Databricks於2022年6月發布了這些圖像。

新功能和改進<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#new-features-and-improvements" title="">

Apache Spark的新版本<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#new-version-of-apache-spark" title="">

Databricks Runtime 11.0和Databricks Runtime 11.0 Photon包含Apache Spark 3.3.0。詳細信息請參見<一個類="reference internal" href="//m.eheci.com/docs/release-notes/runtime/#spark">Apache火花

Python筆記本現在使用IPython內核<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#python-notebooks-now-use-the-ipython-kernel" title="">

在Databricks Runtime 11.0及以上版本中,Python筆記本使用IPython內核來執行Python代碼。看到<一個類="reference internal" href="//m.eheci.com/docs/notebooks/ipython-kernel.html">IPython內核

支持ipywidgets<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#support-for-ipywidgets" title="">

現在你可以使用ipywidgets使你的Databricks Python筆記本具有交互性。看到<一個類="reference internal" href="//m.eheci.com/docs/notebooks/ipywidgets.html">ipywidgets

Synapse連接器現在以非遺留模式寫入Parquet數據<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#synapse-connector-now-writes-parquet-data-in-non-legacy-mode" title="">

Azure Synapse連接器現在以非遺留模式寫入Parquet數據。它保留了INT96時間戳格式,當使用PolyBase和複製批處理和流工作負載的命令。

SQL:DESC現在是一個別名描述

您現在可以使用DESC作為一個別名描述當您描述外部位置或存儲憑證時。例如:

描述一個外部位置。DESC外部位置location_name描述一個存儲憑證。DESC存儲憑證credential_name

SQL:新current_version函數輸出版本詳細信息<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#sql-new-current_version-function-outputs-version-details" title="">

current_version函數輸出當前Databricks運行時版本(如果可用),當前Databricks SQL版本(如果可用),以及其他相關版本詳細信息。使用此功能可以查詢版本相關信息。看到<一個類="reference internal" href="//m.eheci.com/docs/sql/language-manual/functions/current_version.html">current_version函數

刪除缺失的Delta表約束現在將引發錯誤<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#dropping-a-missing-delta-table-constraint-now-raises-an-error" title="">

如果現在嚐試按名稱刪除Delta表約束,而該約束不存在,則會得到一個錯誤。方法獲取前麵的行為(如果約束不存在,該行為不會拋出錯誤),現在必須使用如果存在聲明。看到<一個類="reference internal" href="//m.eheci.com/docs/sql/language-manual/sql-ref-syntax-ddl-alter-table.html">ALTER TABLE

SQL:新除了條款選擇語句從選擇中排除列<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#sql-new-except-clause-in-select-statement-excludes-columns-from-selection" title="">

選擇語句現在支持除了子句從選擇中排除列。例如,選擇除了(x)表格返回所有的表格的列除外x.還允許嵌套列。例如,選擇除了(x.a)表格返回所有的表格的列,但省略了字段一個從結構x

支持刪除Delta表中的列(公開預覽)<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#support-for-dropping-columns-in-delta-tables-public-preview" title="">

你可以使用改變表格< table_name >下降(如果存在)< column_name >改變表格< table_name >下降(如果存在)(< column_name >,*)從Delta表中分別刪除列或列列表,作為僅元數據的操作。這些列實際上是“軟刪除”的,因為它們仍然在底層Parquet文件中,但對Delta表不再可見。

你可以使用REORG表格< table_name >應用(清洗)對包含任何軟刪除數據(如刪除列)的文件觸發文件重寫。

你可以使用真空從物理存儲中刪除已刪除的文件,包括包含已刪除列和已被重寫的舊文件REORG表格

複製改進<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#copy-into-improvements" title="">

您現在可以創建空的占位符Delta表,以便稍後在操作期間推斷模式複製命令:

創建表格如果存在my_table評論<table_description>TBLPROPERTIES<table_properties>));複製my_table“/道路/ /文件”FILEFORMAT<格式>FORMAT_OPTIONS“mergeSchema”“真正的”COPY_OPTIONS“mergeSchema”“真正的”);

前麵的SQL語句是冪等的,可以調度它隻向Delta表中攝取一次數據。

請注意

空的Delta表在外部不可用複製.你不能使用插入而且合並將數據寫入無模式的Delta表。數據插入表後用複製,則該表可查詢。

如果您正在攝取的數據由於某些損壞問題而無法讀取,您可以通過設置跳過損壞的文件ignoreCorruptFiles真正的FORMAT_OPTIONS

複製my_table“/道路/ /文件”FILEFORMAT<格式>FORMAT_OPTIONS“ignoreCorruptFiles”“真正的”

複製命令返回因損壞而跳過的文件數num_skipped_corrupt_files列。該指標也出現在operationMetrics列下numSkippedCorruptFiles跑步之後描述曆史在Delta表上。

不跟蹤損壞的文件複製,因此,如果損壞得到修複,它們可以在後續運行中重新加載。您可以通過運行查看哪些文件被損壞複製驗證模式。

轉換δ現在支持Unity目錄的環境(公開預覽)<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#convert-to-delta-is-now-supported-in-unity-catalog-enabled-environments-public-preview" title="">

在<一個類="reference internal" href="//m.eheci.com/docs/data-governance/unity-catalog/index.html">Unity-Catalog-啟用的環境,使用轉換δ你現在可以:

  • 將外部位置的Parquet文件轉換為Delta Lake。

  • 將Parquet外部表轉換為Delta表。

行為變化<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#behavior-changes" title="">

SQL:lpad而且rpad函數現在支持字節序列<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#sql-lpad-and-rpad-functions-now-support-byte-sequences" title="">

的<一個類="reference internal" href="//m.eheci.com/docs/sql/language-manual/functions/lpad.html">lpad而且<一個類="reference internal" href="//m.eheci.com/docs/sql/language-manual/functions/rpad.html">rpad函數已經更新,除了字符串之外,還增加了對字節序列的支持。

字符串格式format_string而且printf不再允許% 0美元

指定格式% 0美元format_string而且printf函數現在默認拋出錯誤。此更改是為了保留Databricks Runtime和常見第三方數據庫以前版本的預期行為。第一個參數應該總是引用% 1 $使用參數索引來指示參數在參數列表中的位置。

缺省情況下,CSV文件中的空值現在被寫入不帶引號的空字符串<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#null-values-in-csv-files-are-now-written-as-unquoted-empty-strings-by-default" title="">

CSV文件中的空值以前被寫入帶引號的空字符串。在這個版本中,缺省情況下CSV文件中的空值將被寫入不帶引號的空字符串。若要更改回以前的行為,請設置nullValue選項""用於寫操作。

table屬性外部現在已被保留<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#the-table-property-external-is-now-reserved" title="">

房地產外部現在默認為保留表屬性。屬性時拋出異常外部屬性具有創建表格TBLPROPERTIES而且改變表格TBLPROPERTIES條款。

Log4j從Log4j 1升級到Log4j 2<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#log4j-is-upgraded-from-log4j-1-to-log4j-2" title="">

Log4j 1正在升級到Log4j 2。正在刪除遺留的Log4j 1依賴項。

如果您依賴於先前包含在Databricks運行時中的Log4j 1類,那麼這些類將不再存在。您應該將依賴項升級到Log4j 2。

如果您有依賴於Log4j 2的自定義插件或配置文件,那麼它們可能不再適用於此版本中的Log4j 2版本。如需幫助,請聯係Databricks代表。

缺省情況下,從Maven安裝的庫現在在數據平麵中進行解析<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#libraries-installed-from-maven-are-now-resolved-in-your-data-plane-by-default" title="">

在集群上安裝庫時,Maven庫現在默認在數據平麵中解析。您集群必須能夠訪問<一個類="reference external" href="https://maven.org">Maven中央.屬性,也可以恢複到前麵的行為<一個類="reference internal" href="//m.eheci.com/docs/clusters/configure.html">Spark配置屬性

spark.databricks.libraries.enableMavenResolution假

錯誤修複<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#bug-fixes" title="">

  • 二進製兼容性LeafNodeUnaryNode,BinaryNodeApache Spark和Databricks Runtime之間的問題已經修複,這些類現在與Apache Spark 3.3.0及以上版本兼容。如果您在使用Databricks Runtime的第三方包時遇到以下或類似消息,請使用Apache Spark 3.3.0或以上版本重新構建包:發現接口org.apache.spark.sql.catalyst.plans.logical.UnaryNode,預期

庫升級<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#library-upgrades" title="">

  • 升級的Python庫:

    • Beplay体育安卓版本平台從2.5.1到2.5.2

    • Protobuf從3.20.0到3.20.1

  • 升級的R庫:

    • Blob從1.2.2到1.2.3

    • 掃帚從0.7.12到0.8.0

    • 插入從6.0-91到6.0-92

    • Cli從3.2.0到3.3.0

    • Dplyr從1.0.8到1.0.9

    • 未來從1.24.0到1.25.0

    • future.applyfrom 1.8.1 to 1.9.0

    • 從1.5.0到1.6.0

    • Ggplot2從3.3.5到3.3.6

    • Glmnet從4.1-3到4.1-4

    • Haven從2.4.3到2.5.0

    • HTTR從1.4.2到1.4.3

    • 針織衫從1.38到1.39

    • Magrittr從2.0.2到2.0.3

    • 平行地從1.30.0到1.31.1

    • Ps從1.6.0到1.7.0

    • RColorBrewer從1.1-2到1.1-3

    • RcppEigen從0.3.3.9.1到0.3.3.9.2

    • Readxl從1.3.1到1.4.0

    • rmark2 .13降至2.14

    • Rprojroot從2.0.2到2.0.3

    • 從2.2.11到2.2.13

    • 從1.1.1擴展到1.2.0

    • 從3.1.2測試到3.1.4

    • 從3.1.6到3.1.7

    • Tinytex從0.37到0.38

    • TZDB從0.2.0到0.3.0

    • Uuid從1.0-4到1.1-0

    • VCTRS從0.3.8到0.4.1

  • 升級的Java庫:

    • com.fasterxml.jackson.core。jackson-annotationsfrom 2.13.0 to 2.13.3

    • com.fasterxml.jackson.core。jackson-corefrom 2.13.0 to 2.13.3

    • com.fasterxml.jackson.core。jackson-databindfrom 2.13.0 to 2.13.3

    • com.fasterxml.jackson.dataformat。jackson-dataformat-cborfrom 2.13.0 to 2.13.3

    • com.fasterxml.jackson.datatype。jackson-datatype-jodafrom 2.13.0 to 2.13.3

    • com.fasterxml.jackson.module。jackson-module-paranamerfrom 2.13.0 to 2.13.3

    • 從2.13.0到2.13.3

    • Com.google.crypto.tink.tink從1.6.0升級到1.6.1

    • Com.ning.compress-lzf從1.0.3到1.1

    • arpack從2.2.0到2.2.1

    • Dev.ludovic.netlib.blas從2.2.0到2.2.1

    • Dev.ludovic.netlib.lapack從2.2.0到2.2.1

    • Io.netty.netty-all來自4.1.73。最終到4.74

    • Io.netty.netty-buffer從4.1.73。最終到4.74

    • Io.netty.netty-codec從4.1.73。最終到4.74

    • Io.netty.netty-common from 4.1.73。最終到4.74

    • Io.netty.netty-handler來自4.1.73。最終到4.74

    • Io.netty.netty-resolver從4.1.73。最終到4.74

    • io.netty.netty- tcnnative -classes從2.0.46開始。最終到2.0.48

    • Io.netty.netty-transport來自4.1.73。最終到4.74

    • io.netty。netty-transport-classes-epoll最終到4.74

    • Io.netty.netty-transport-classes-kqueue from 4.1.73。最終到4.74

    • Io.netty.netty-transport-native-epoll-linux-aarch_64 from 4.1.73。最終到4.74

    • Io.netty.netty-transport-native-epoll-linux-x86_64 from 4.1.73。最終到4.74

    • Io.netty.netty-transport-native-kqueue-osx-aarch_64 from 4.1.73。最終到4.74

    • Io.netty.netty-transport-native-kqueue-osx-x86_64 from 4.1.73。最終到4.74

    • Io.netty.netty-transport-native-unix-common最終到4.74

    • joda-time。joda-timefrom 2.10.12 to 2.10.13

    • Org.apache.commons.commons-math3從3.4.1到3.6.1

    • Org.apache.httpcomponents.httpcore從4.4.12到4.4.14

    • org.apache.orc。orc-corefrom 1.7.3 to 1.7.4

    • org.apache.orc。orc-mapreducefrom 1.7.3 to 1.7.4

    • org.apache.orc。orc-shimsfrom 1.7.3 to 1.7.4

    • org.eclipse.jetty。jetty-clientfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-continuationfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-httpfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-iofrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-jndifrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-plusfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-proxyfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-securityfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty服務器from 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty servletfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-servletsfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-utilfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-util-ajaxfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-webappfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty。jetty-xmlfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty.websocket。Websocket-api從9.4.43。V20210629到9.4.46.v20220331

    • org.eclipse.jetty.websocket。websocket-clientfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty.websocket。websocket-commonfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty.websocket。websocket服務器from 9.4.43.v20210629 to 9.4.46.v20220331

    • org.eclipse.jetty.websocket。websocket-servletfrom 9.4.43.v20210629 to 9.4.46.v20220331

    • org.mariadb.jdbc。Mariadb-java-client從2.2.5到2.7.4

    • Org.postgresql.postgresql從42.2.19到42.3.3

    • roaringbitmap. roaringbitmap從0.9.23到0.9.25

    • Org.roaringbitmap.shims從0.9.23到0.9.25

    • Org.rocksdb.rocksdbjni從6.20.3到6.24.2

    • org.slf4j。Jcl-over-slf4j從1.7.32到1.7.36

    • org.slf4j。july -slf4j從1.7.32到1.7.36

    • org.slf4j。slf4j-apifrom 1.7.30 to 1.7.36

Apache火花<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#apache-spark" title="">

Databricks Runtime 11.0包含Apache Spark 3.3.0。

Spark SQL和Core<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#spark-sql-and-core" title="">

ANSI模式<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#ansi-mode" title="">

  • ANSI模式中新的顯式強製轉換語法規則(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-33354">火星- 33354

  • 如果索引在ANSI模式下為空,Elt()應該返回null (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38304">火星- 38304

  • 如果數組/map中不存在元素,可選擇返回null結果(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37750">火星- 37750

  • 允許在數值類型和時間戳類型之間進行強製轉換(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37714">火星- 37714

  • 默認禁用ANSI保留關鍵字(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37724">火星- 37724

  • 使用存儲分配規則來解析函數調用(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37438">火星- 37438

  • 添加配置以允許在Datetime和Numeric (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37179">火星- 37179

  • 添加配置可選地強製ANSI保留關鍵字(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37133">火星- 37133

  • 禁止在Interval和String字麵值之間進行二進製操作(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36508">火星- 36508

功能增強<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#feature-enhancements" title="">

  • 支持ANSI SQL INTERVAL類型(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-27790">火星- 27790

  • 錯誤信息改進(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38781">火星- 38781

  • Spark SQL的隱藏文件元數據支持(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37273">火星- 37273

  • 支持原始字符串文字(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36371">火星- 36371

  • 批處理Dataset.observe() (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34806">火星- 34806

  • 支持為重平衡指定初始分區號(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38410">火星- 38410

  • 支持級聯模式dropNamespaceAPI (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37929">火星- 37929

  • 允許datetime類型之間的存儲賦值和隱式強製轉換(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37707">火星- 37707

  • 收集,第一個和最後一個應該是確定的聚合函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32940">火星- 32940

  • 為具有複雜重載的函數添加ExpressionBuilder (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37164">火星- 37164

  • 通過名稱向聯合添加數組支持(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36546">火星- 36546

  • 添加df。withMetadata:用於更新數據幀元數據的語法糖(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36642">火星- 36642

  • 支持原始字符串文字(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36371">火星- 36371

  • 使用CAST解析默認模式的日期/時間戳(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36418">火星- 36418

  • 支持數據集嵌套模式中的值類(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-20384">火星- 20384

  • 添加AS OF語法支持(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37219">火星- 37219

  • 在TABLESAMPLE中添加REPEATABLE以指定種子(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37165">火星- 37165

  • 添加ansi語法目錄xxx要更改當前目錄(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36841">火星- 36841

  • 支持ILIKE (ALL | ANY | SOME) -大小寫不敏感LIKE (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36674">火星- 36674,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36736">火星- 36736,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36778">火星- 36778

  • 支持格式化解釋模式下查詢階段顯示運行時統計數據(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38322">火星- 38322

  • 為排序合並連接添加溢出大小指標(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37726">火星- 37726

  • 更新SHOW函數的SQL語法(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37777">火星- 37777

  • 支持DROP COLUMN [IF EXISTS]語法(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38939">火星- 38939

  • 新的內置函數及其擴展(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38783">火星- 38783

    • Datetime

      • 添加TIMESTAMPADD()函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38195">火星- 38195

      • 添加TIMESTAMPDIFF()函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38284">火星- 38284

      • 添加DATEDIFF ()別名TIMESTAMPDIFF ()(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38389">火星- 38389

      • 添加返回()別名TIMESTAMPADD ()(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38332">火星- 38332

      • 添加轉換\ _timezone ()函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37552">火星- 37552,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37568">火星- 37568

      • 在函數中公開make_date表達式。scala (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36554">火星- 36554

    • AES功能(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-12567">火星- 12567

      • 增加內置函數aes_encrypt和aes_decrypt (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-12567">火星- 12567

      • 支持GCM模式aes \ _encrypt ()/aes \ _decrypt ()(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37591">火星- 37591

      • GCM中的默認模式aes \ _encrypt ()/aes \ _decrypt ()(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37666">火星- 37666

      • 添加模式而且填充參數,aes \ _encrypt ()/aes \ _decrypt ()(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37586">火星- 37586

    • ANSI聚合函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37671">火星- 37671

      • 函數:regr_count (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37613">火星- 37613

      • 支持ANSI聚合函數:regr_avgx & regr_avgy (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37614">火星- 37614

      • 支持ANSI聚合函數:<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37676">火星- 37676,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38219">火星- 38219

      • 支持ANSI聚合函數:<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37691">火星- 37691

      • 函數:regr_count (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37613">火星- 37613

      • 支持ANSI聚合函數:<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-27974">火星- 27974

      • 函數:regr_r2 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37641">火星- 37641

      • 新的SQL函數:try_avg (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38589">火星- 38589

    • 集合

      • 介紹SQL函數ARRAY_SIZE<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38345">火星- 38345

      • 新的SQL函數:map_contains_key<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37584">火星- 37584

      • 新的SQL函數:try_element_at (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37533">火星- 37533

      • 新的SQL函數:try_sum (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38548">火星- 38548

    • 格式

      • 添加一個新的SQL函數到_binary (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37507">火星- 37507,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38796">火星- 38796

      • 新的SQL函數:try_to_binary (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38590">火星- 38590,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38796">火星- 38796

      • 數據類型格式化功能:到\ _number(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-28137">火星- 28137

    • 字符串/二進製

      • 添加CONTAINS()字符串函數<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37508">火星- 37508

      • 添加startswith ()而且endswith ()字符串函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37520">火星- 37520

      • 為二進製字符串添加lpad和rpad函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37047">火星- 37047

      • 支持split_part函數<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38063">火星- 38063

    • 為地板和天花板函數添加縮放參數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37475">火星- 37475

    • 新的SQL函數:try_subtract和try_multiply (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38164">火星- 38164

    • 實現了支持部分聚合的histogram_numeric聚合函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-16280">火星- 16280

    • 在sql中添加max_by/min_by。函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36963">火星- 36963

    • 增加新的內置SQL函數:SEC和CSC (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36683">火星- 36683

    • array_intersect處理重複的Double。NaN和Float。南(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36754">火星- 36754

    • 將cot添加為Scala和Python函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36660">火星- 36660

性能增強<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#performance-enhancements" title="">

  • 全階段代碼生成

    • 添加代碼生成,用於排序聚合而不分組鍵(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37564">火星- 37564

    • 為完整的外部排序合並連接添加代碼生成(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35352">火星- 35352

    • 為完整的外部洗牌哈希連接添加代碼生成(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32567">火星- 32567

    • 為存在排序合並連接添加代碼生成(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37316">火星- 37316

  • 下推(濾鏡)

    • 通過RebalancePartitions下推過濾器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37828">火星- 37828

    • 下推布爾列篩選器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36644">火星- 36644

    • 如果連接條件為空,則左半/反連接右側推下限製1 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37917">火星- 37917

    • 翻譯更多的標準聚合函數進行下推(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37527">火星- 37527

    • 支持通過聚合/聯合傳播空關係(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35442">火星- 35442

    • 行級運行時過濾(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32268">火星- 32268

    • 支持行級運行時過濾器中的左半連接(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38565">火星- 38565

    • 支持謂詞下推和列剪枝減duped cte (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37670">火星- 37670

  • 向量化

    • 實現一個ConstantColumnVector並提高隱藏文件元數據的性能(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37896">火星- 37896

    • 為VectorizedPlainValuesReader啟用向量化讀取。readBooleans (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35867">火星- 35867

  • 結合/刪除/替換節點

    • 合並工會,如果他們之間有一個項目(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37915">火星- 37915

    • 如果我們可以安全的向上施放兩個施放法,則合並為一個施放法(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37922">火星- 37922

    • 如果Sort是RepartitionByExpression (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36703">火星- 36703

    • 刪除外部連接,如果它在流側隻有DISTINCT和別名(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37292">火星- 37292

    • 如果子元素已經排序(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37455">火星- 37455

    • 隻有在不複製昂貴表達式時才會崩潰項目(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36718">火星- 36718

    • 刪除多餘的別名後RewritePredicateSubquery (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36280">火星- 36280

    • 合並不相關的標量子查詢(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34079">火星- 34079

  • 分區

    • 如果存在靜態分區修剪,則不要添加動態分區修剪(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38148">火星- 38148

    • 改進優化器規則中的重平衡分區(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37904">火星- 37904

    • 為重新平衡分區添加小分區因子(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37357">火星- 37357

  • 加入

    • 微調邏輯以降級廣播哈希連接在DynamicJoinSelection (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37753">火星- 37753

    • 在為SEMI/ANTI洗牌散列連接建立關係時忽略重複的連接鍵(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36794">火星- 36794

    • 支持優化傾斜連接,即使引入額外的shuffle (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-33832">火星- 33832

  • AQE

    • 支持消除限製在AQE優化器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36424">火星- 36424

    • 在普通和AQE優化器中優化一行計劃(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38162">火星- 38162

  • 聚合。隻支持可折疊表達式(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38489">火星- 38489

  • arrayEquals應該快速跳過與未對齊平台對齊的檢查(Beplay体育安卓版本<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37796">火星- 37796

  • 在替換規則中添加樹型修剪(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37379">火星- 37379

  • 添加更多Not運算符簡化(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36665">火星- 36665

  • 在unwrapcastinbinarycompare中支持布爾類型(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36607">火星- 36607

  • 聯合刪除第一個非空表達式之後的所有表達式(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36359">火星- 36359

  • 添加邏輯計劃訪問器以傳播不同的屬性(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36194">火星- 36194

內置連接器增強功能<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#built-in-connector-enhancements" title="">

  • 一般

    • datetime從datasource (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38437">火星- 38437

    • 當表路徑的第一個字母為斜杠時,將表位置視為絕對位置(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38236">火星- 38236

    • 從空靜態數字類型分區(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35561">火星- 35561

    • 支持ignoreCorruptFiles而且ignoreMissingFiles在數據源選項中(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38767">火星- 38767

    • 添加命令顯示目錄(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35973">火星- 35973

  • 拚花

    • 啟用根據字段id匹配模式列名(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38094">火星- 38094

    • 在拚字板中讀取/寫入數據時刪除檢查字段名稱(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-27442">火星- 27442

    • 支持向量化讀布爾值使用RLE編碼Parquet DataPage V2 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37864">火星- 37864

    • 支持向量化路徑的Parquet v2數據頁編碼(delta_binary_packs)<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36879">火星- 36879

    • 更改保存在Parquet/Avro元數據中的會話時區的時間戳(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37705">火星- 37705

    • 按分區列下推聚合組(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36646">火星- 36646

    • 合計(最小/最大/計數)壓下拚花(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36645">火星- 36645

    • Parquet:通過字段id (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38094">火星- 38094

    • 如果使用G1GC和ON_HEAP,則通過LONG_ARRAY_OFFSET減少默認頁麵大小(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37593">火星- 37593

    • 為Parquet V2支持實現向量化的DELTA_BYTE_ARRAY和DELTA_LENGTH_BYTE_ARRAY編碼(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37974">火星- 37974

    • 支持Parquet向量化閱讀器的複雜類型(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34863">火星- 34863

  • 獸人

    • 在Orc中讀取/寫入現有數據時刪除檢查字段名稱(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37965">火星- 37965

    • ORC的總下推(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34960">火星- 34960

    • 支持從/到ORC數據源讀取和寫入ANSI間隔(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36931">火星- 36931

    • 在ORC數據源中支持純數字列名(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36663">火星- 36663

  • JSON

    • 在JSON閱讀器中解析引用NaN和Infinity值時,尊重allowNonNumericNumbers (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38060">火星- 38060

    • 在CSV/JSON中,datetime默認使用CAST (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36536">火星- 36536

    • 在Json閱讀器的MapType中對齊不支持的鍵類型的錯誤消息(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35320">火星- 35320

  • CSV

    • 修複了引用CSV中的損壞記錄列的問題(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38523">火星- 38534

    • null值應該保存為空值,而不是帶引號的空字符串" "<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37575">火星- 37575

  • JDBC

    • 將IMMEDIATE語句添加到DB2方言截斷實現(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-30062">火星- 30062

  • 蜂巢

    • 支持寫入Hive bucket表(Hive文件格式與Hive hash) (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32712">火星- 32712

    • 使用表達式在客戶端過濾Hive分區(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35437">火星- 35437

    • 支持動態分區修剪HiveTableScanExec (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36876">火星- 36876

    • InsertIntoHiveDir應該使用數據源,如果它是可轉換的(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38215">火星- 38215

    • 支持寫Hive bucket表(Parquet/ORC格式,帶Hive hash) (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32709">火星- 32709

節點解除<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#node-decommission" title="">

  • FallbackStorage不應該嚐試解析任意的“遠程”主機名(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38062">火星- 38062

  • ExecutorMonitor。onExecutorRemoved應該處理ExecutorDecommission作為完成(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38023">火星- 38023

其他顯著變化<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#other-notable-changes" title="">

  • 將細粒度鎖添加到blockinfemanager (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37356">火星- 37356

  • 支持將Spark gpu/fpga資源類型映射為自定義YARN資源類型(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37208">火星- 37208

  • 報告準確的shuffle塊大小,如果其傾斜(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36967">火星- 36967

  • 支持網絡層的Netty日誌記錄(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36719">火星- 36719

結構化流<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#structured-streaming" title="">

主要功能<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#major-features" title="">

  • 介紹觸發。AvailableNow用於運行像Trigger這樣的流查詢。一次在多個批次(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36533">火星- 36533

其他顯著變化<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#other-notable-changes" title="">

  • 使用statfulopclustereddistribution對有狀態操作符進行向後兼容(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38204">火星- 38204

  • 修複flatMapGroupsWithState超時的批量與數據鍵(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38320">火星- 38320

  • 修複了與RocksDB狀態存儲提供程序的流-流外部連接的正確性問題(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38684">火星- 38684

  • 支持觸發。Kafka數據源上的AvailableNow (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36649">火星- 36649

  • 優化RocksDB狀態存儲提供程序的寫路徑(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37224">火星- 37224

  • 引入一個新的數據源,為每個微批提供一致的行集(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37062">火星- 37062

  • 使用HashClusteredDistribution對有狀態操作符進行向後兼容(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38204">火星- 38204

PySpark<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#pyspark" title="">

Spark上的Pandas API<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#pandas-api-on-spark" title="">

重大改進<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#major-improvements" title="">
  • '分布式序列'索引優化為默認值(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36559">火星- 36559,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36338">火星- 36338

    • 支持在Spark上的pandas API中指定索引類型和名稱(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36709">火星- 36709

    • 在Spark上為pandas API顯示SQL計劃中的默認索引類型(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38654">火星- 38654

主要功能<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#major-features" title="">
  • 實現SparkSQL本機ps.merge_asof (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36813">火星- 36813

  • 在Spark的pandas API中支持TimedeltaIndex (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37525">火星- 37525

  • 支持Python的timedelta (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37275">火星- 37275,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37510">火星- 37510

  • 在CategoricalAccessor/CategoricalIndex (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36185">火星- 36185

  • 在Spark上的pandas API中使用Python的SQL API標準字符串格式化器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37436">火星- 37436

  • 支持timedelta Series/Index的基本操作(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37510">火星- 37510

  • 支持ps.MultiIndex.dtypes (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36930">火星- 36930

  • 實現指數。地圖(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36469">火星- 36469

  • 實現係列。__xor__和係列。__rxor__ (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36653">火星- 36653

  • 實現一元運算符的積分ps.Series/Index (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36003">火星- 36003

  • 實現DataFrame。浸(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36396">火星- 36396

  • 支持str和時間戳(Series|DataFrame).describe()<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37657">火星- 37657

  • 支持λ參數的DataFrame.rename(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38763">火星- 38763

其他顯著變化<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#other-notable-changes" title="">

突發的變化<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#breaking-changes" title="">
  • 在docs和Python /docs中刪除對Python 3.6支持的引用(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36977">火星- 36977

  • 通過將內置pickle替換為cloudpickle來刪除namedtuple hack (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32079">火星- 32079

  • 將熊貓最小版本提升至1.0.5 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37465">火星- 37465

  • 重大改進

    • 為Python/Pandas udf提供分析器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37443">火星- 37443

    • 在PySpark中使用Python的SQL API標準字符串格式化器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37516">火星- 37516

    • 在PySpark異常中公開SQL狀態和錯誤類(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36953">火星- 36953

    • 嚐試在Python工作線程崩潰時捕獲faulthanlder (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36062">火星- 36062

主要功能<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#major-features" title="">
  • 實現DataFrame。mapInArrow in Python (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37228">火星- 37228

  • 在PySpark中使用Python的SQL API標準字符串格式化器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37516">火星- 37516

  • 添加df。pyspark API (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36642">火星- 36642

  • 支持Python的timedelta (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37275">火星- 37275

  • 在pyspark.sql.catalog中暴露tableExists (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36176">火星- 36176

  • 暴露pyspark.sql.catalog中的databaseExists (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36207">火星- 36207

  • 暴露函數存在於pyspark sql目錄中(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36258">火星- 36258

  • 添加Dataframe。觀察PySpark (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36263">火星- 36263

  • 將max_by/min_by API添加到PySpark<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36972">火星- 36972

  • 支持在創建DataFrame時推斷嵌套的dict為結構(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35929">火星- 35929

  • 添加位/octet_length api到Scala, Python和R (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36751">火星- 36751

  • 支持ILIKE API的Python (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36882">火星- 36882

  • 為Python DataFrame API添加isEmpty方法(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37207">火星- 37207

  • 添加多個列,添加支持(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35173">火星- 35173

  • 添加SparkContext。一個ddArchive in PySpark (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38278">火星- 38278

  • 使sql類型reprs可計算(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-18621">火星- 18621

  • python/pyspark/mllib中fpm.py的內聯類型提示(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37396">火星- 37396

  • 實現dropna參數的SeriesGroupBy.value_counts(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38837">火星- 38837

MLLIB<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#mllib" title="">

主要功能<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#major-features" title="">

  • 為trainKMeansModel添加distancmeasure參數<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37118">火星- 37118

  • 暴露LogisticRegression。集在itialModel, like KMeans et al do (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36481">火星- 36481

  • 支持CrossValidatorModel獲取每個paramMap的度量標準偏差(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36425">火星- 36425

重大改進<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#major-improvements" title="">

  • 通過延遲分配優化MLlib中的一些treeaggregate (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35848">火星- 35848

  • 重寫_shared_params_code_gen.py為ml/param/shared.py的內聯類型提示(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37419">火星- 37419

其他顯著變化<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#other-notable-changes" title="">

  • 更新至breeze 1.2 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35310">火星- 35310

SparkR<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#sparkr" title="">

  • 將SparkR文檔遷移到pkgdown (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37474">火星- 37474

  • 在R中公開make_date表達式(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37108">火星- 37108

  • 將max_by/min_by API添加到SparkR (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36976">火星- 36976

  • 支持ILIKE API上的R (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36899">火星- 36899

  • 加sec和csc為R函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36824">火星- 36824

  • 添加位/octet_length api到Scala, Python和R (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36751">火星- 36751

  • 添加cot作為R函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36688">火星- 36688

用戶界麵<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#ui" title="">

  • 階段級別的推測指標總結(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36038">火星- 36038

  • 統一shuffle read block time to shuffle read fetch wait time in StagePage (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37469">火星- 37469

  • 在用戶界麵中添加修改後的SQL執行配置(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34735">火星- 34735

  • 使ThriftServer識別spark.sql.redaction.string.regex (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36400">火星- 36400

  • 在UI中啟動應用程序後附加並啟動處理程序(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36237">火星- 36237

  • 將提交持續時間添加到SQL選項卡的圖形節點(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34399">火星- 34399

  • 支持RocksDB後端在Spark曆史服務器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37680">火星- 37680

  • 在UI中顯示Pandas API的選項(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38656">火星- 38656

  • 在SQL UI頁麵中將“SQL”重命名為“SQL / DataFrame”(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38657">火星- 38657

構建<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#build" title="">

  • 從log4j 1遷移到log4j 2 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37814">火星- 37814

  • 將log4j2升級到2.17.2 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38544">火星- 38544

  • 升級至Py4J 0.10.9.5 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38563">火星- 38563

  • 更新ORC至1.7.4 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38866">火星- 38866

  • 更新數據表至1.10.25 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38924">火星- 38924

維護更新<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#maintenance-updates" title="">

看到<一個類="reference internal" href="//m.eheci.com/docs/release-notes/runtime/maintenance-updates.html">Databricks運行時11.0

係統環境<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#system-environment" title="">

  • 操作係統: Ubuntu 20.04.4 LTS

  • Java: Zulu 8.56.0.21-CA-linux64

  • Scala: 2.12.14

  • Python: 3.9.5

  • R: 4.1.3

  • 三角洲湖: 1.2.1 "

已安裝的Python庫<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#installed-python-libraries" title="">

圖書館

版本

圖書館

版本

圖書館

版本

Antergos Linux

2015.10 (ISO-Rolling)

argon2-cffi

20.1.0

async-generator

1.10

attrs

21.2.0

backcall

0.2.0

backports.entry-points-selectable

1.1.1

漂白劑

4.0.0

boto3

1.21.18

botocore

1.24.18

certifi

2021.10.8

cffi

1.14.6

chardet

4.0.0

charset-normalizer

2.0.4

周期計

0.10.0

Cython

0.29.24

dbus-python

1.2.16

debugpy

1.4.1

裝飾

5.1.0

defusedxml

是0.7.1

distlib

0.3.4

distro-info

0.23 ubuntu1

entrypoints

0.3

facets-overview

1.0.0

filelock

3.6.0

idna

3.2

ipykernel

6.12.1

ipython

7.32.0

ipython-genutils

0.2.0

ipywidgets

7.7.0

絕地武士

0.18.0

Jinja2

14

jmespath

0.10.0

joblib

1.0.1

jsonschema

3.2.0

jupyter-client

6.1.12

jupyter-core

4.8.1

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

kiwisolver

1.3.1

MarkupSafe

2.0.1

matplotlib

3.4.3

matplotlib-inline

0.1.2

使走調

0.8.4

nbclient

0.5.3

nbconvert

6.1.0

nbformat

5.1.3

nest-asyncio

1.5.1

筆記本

6.4.5

numpy

1.20.3

包裝

21.0

熊貓

1.3.4

pandocfilters

3

parso

0.8.2

容易受騙的人

0.5.2

pexpect

4.8.0

pickleshare

0.7.5

枕頭

8.4.0

皮普

21.2.4

Beplay体育安卓版本platformdirs

2.5.2

情節

5.6.0

prometheus-client

0.11.0

prompt-toolkit

3.0.20

protobuf

3.20.1

psutil

5.8.0

psycopg2

2.9.3

ptyprocess

0.7.0

pyarrow

7.0.0

pycparser

2.20

Pygments

2.10.0

PyGObject

3.36.0

pyodbc

4.0.31

pyparsing

3.0.4

pyrsistent

0.18.0

python-apt

2.0.0 + ubuntu0.20.4.7

python-dateutil

2.8.2

pytz

2021.3

pyzmq

22.2.1

請求

2.26.0

requests-unixsocket

0.2.0

s3transfer

0.5.2

scikit-learn

0.24.2

scipy

1.7.1上

seaborn

0.11.2

Send2Trash

1.8.0

setuptools

58.0.4

六個

1.16.0

ssh-import-id

5.10

statsmodels

0.12.2

韌性

8.0.1

terminado

0.9.4

testpath

0.5.0

threadpoolctl

2.2.0

龍卷風

6.1

traitlets

5.1.0

unattended-upgrades

0.1

urllib3

1.26.7

virtualenv

20.8.0

wcwidth

0.2.5

webencodings

0.5.1

0.37.0

widgetsnbextension

3.6.0

已安裝的R庫<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#installed-r-libraries" title="">

R庫從<一個類="reference external" href="https://cran.microsoft.com/snapshot/2022-05-06/">微軟CRAN快照於2022-05-06

圖書館

版本

圖書館

版本

圖書館

版本

askpass

1.1

為了

0.2.1

補丁

1.4.1

基地

4.1.3

base64enc

0.1 - 3

4.0.4

bit64

1.2.3

引導

-28 - 1.3

釀造

1.0 7

生動

1.1.3

掃帚

0.8.0

bslib

0.3.1

cachem

1.0.6

callr

3.7.0

脫字符號

-92 - 6.0

cellranger

1.1.0

時間

-56 - 2.3

-20 - 7.3

cli

3.3.0

clipr

0.8.0

集群

2.1.3

codetools

-18 - 0.2

色彩

2.0 - 3

commonmark

1.8.0

編譯器

4.1.3

配置

0.3.1

cpp11

0.4.2

蠟筆

1.5.1

憑證

1.3.2

旋度

4.3.2

data.table

1.14.2

數據集

4.1.3

DBI

1.1.2

dbplyr

2.1.1

desc

1.4.1

devtools

2.4.3

diffobj

0.3.5

消化

0.6.29

dplyr

1.0.9

dtplyr

1.2.1 "

e1071

1.7 9

省略

0.3.2

評估

0.15

fansi

1.0.3

farver

魅惑

fastmap

1.1.0

fontawesome

0.2.2

forcats

0.5.1

foreach

1.5.2

外國

-82 - 0.8

打造

0.2.0

fs

1.5.2

未來

1.25.0

future.apply

1.9.0

含漱劑

1.2.0

泛型

0.1.2

哥特

1.6.0

ggplot2

3.3.6

“大酒店”

1.3.0

gitcreds

0.1.1

glmnet

4.1 - 4

全局變量

0.14.0

膠水

1.6.2

googledrive

2.0.0

googlesheets4

1.0.0

高爾

1.0.0

圖形

4.1.3

grDevices

4.1.3

網格

4.1.3

gridExtra

2.3

gsubfn

0.7

gtable

0.3.0

需要戴安全帽的

0.2.0

2.5.0

highr

0.9

hms

1.1.1

htmltools

0.5.2

htmlwidgets

1.5.4

httpuv

1.6.5

httr

3

id

1.0.1

ini

0.3.1

不小

-12 - 0.9

isoband

0.2.5

迭代器

1.0.14

jquerylib

0.1.4

jsonlite

1.8.0

KernSmooth

-20 - 2.23

knitr

1.39

標簽

0.4.2

晚些時候

1.3.0

晶格

-45 - 0.20

熔岩

1.6.10

生命周期

1.0.1

listenv

0.8.0

lubridate

1.8.0

magrittr

2.0.3

減價

1.1

質量

-56 - 7.3

矩陣

1.4 - 1

memoise

2.0.1

方法

4.1.3

mgcv

-40 - 1.8

mime

0.12

ModelMetrics

1.2.2.2

modelr

0.1.8

孟塞爾

0.5.0

nlme

-157 - 3.1

nnet

-17 - 7.3

numDeriv

2016.8 - -1.1

openssl

2.0.0

平行

4.1.3

平行

1.31.1

支柱

1.7.0

pkgbuild

1.3.1

pkgconfig

2.0.3

pkgload

1.2.4

plogr

0.2.0

plyr

1.8.7

讚美

1.0.0

prettyunits

1.1.1

pROC

1.18.0

processx

3.5.3

prodlim

2019.11.13

進步

1.2.2

progressr

0.10.0

承諾

1.2.0.1

原型

1.0.0

代理

-26 - 0.4

ps

1.7.0

purrr

0.3.4

r2d3

0.2.6雖然隻是

R6

2.5.1

randomForest

4.7 - 1

rappdirs

0.3.3

rcmdcheck

1.4.0

RColorBrewer

1.1 - 3

Rcpp

1.0.8.3

RcppEigen

0.3.3.9.2

readr

2.1.2

readxl

1.4.0

食譜

0.2.0

複賽

1.0.1

rematch2

2.1.2

遙控器

2.4.2

reprex

2.0.1

reshape2

1.4.4

rlang

1.0.2中

rmarkdown

2.14

RODBC

-19 - 1.3

roxygen2

7.1.2

rpart

4.1.16

rprojroot

2.0.3

Rserve

-10 - 1.8

RSQLite

2.2.13

rstudioapi

0.13

rversions

2.1.1

房車

1.0.2中

薩斯

0.4.1

尺度

1.2.0

selectr

0.4 - 2

sessioninfo

1.2.2

形狀

1.4.6

閃亮的

1.7.1上

sourcetools

0.1.7

sparklyr

1.7.5

SparkR

3.3.0

空間

-11 - 7.3

樣條函數

4.1.3

sqldf

-11 - 0.4

SQUAREM

2021.1

統計數據

4.1.3

stats4

4.1.3

stringi

1.7.6

stringr

1.4.0

生存

-13 - 3.2

sys

3.4

tcltk

4.1.3

testthat

3.1.4

寵物貓

3.1.7

tidyr

1.2.0

tidyselect

1.1.2

tidyverse

1.3.1

timeDate

3043.102

tinytex

0.38

工具

4.1.3

tzdb

0.3.0

usethis

2.1.5

use utf8

1.2.2

跑龍套

4.1.3

uuid

1.1 0

vctrs

0.4.1

viridisLite

0.4.0

發嗚嗚聲

1.5.7

沃爾多

0.4.0

晶須

0.4

withr

2.5.0

xfun

0.30

xml2

1.3.3

xopen

1.0.0

xtable

1.8 - 4

yaml

2.3.5

郵政編碼

2.2.0

安裝Java和Scala庫(Scala 2.12集群版本)<一個類="headerlink" href="//m.eheci.com/docs/release-notes/runtime/#installed-java-and-scala-libraries-scala-212-cluster-version" title="">

組ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.12.189

com.amazonaws

aws-java-sdk-cloudformation

1.12.189

com.amazonaws

aws-java-sdk-cloudfront

1.12.189

com.amazonaws

aws-java-sdk-cloudhsm

1.12.189

com.amazonaws

aws-java-sdk-cloudsearch

1.12.189

com.amazonaws

aws-java-sdk-cloudtrail

1.12.189

com.amazonaws

aws-java-sdk-cloudwatch

1.12.189

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.12.189

com.amazonaws

aws-java-sdk-codedeploy

1.12.189

com.amazonaws

aws-java-sdk-cognitoidentity

1.12.189

com.amazonaws

aws-java-sdk-cognitosync

1.12.189

com.amazonaws

aws-java-sdk-config

1.12.189

com.amazonaws

aws-java-sdk-core

1.12.189

com.amazonaws

aws-java-sdk-datapipeline

1.12.189

com.amazonaws

aws-java-sdk-directconnect

1.12.189

com.amazonaws

aws-java-sdk-directory

1.12.189

com.amazonaws

aws-java-sdk-dynamodb

1.12.189

com.amazonaws

aws-java-sdk-ec2

1.12.189

com.amazonaws

aws-java-sdk-ecs

1.12.189

com.amazonaws

aws-java-sdk-efs

1.12.189

com.amazonaws

aws-java-sdk-elasticache

1.12.189

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.12.189

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.12.189

com.amazonaws

aws-java-sdk-elastictranscoder

1.12.189

com.amazonaws

aws-java-sdk-emr

1.12.189

com.amazonaws

aws-java-sdk-glacier

1.12.189

com.amazonaws

aws-java-sdk-glue

1.12.189

com.amazonaws

aws-java-sdk-iam

1.12.189

com.amazonaws

aws-java-sdk-importexport

1.12.189

com.amazonaws

aws-java-sdk-kinesis

1.12.189

com.amazonaws

aws-java-sdk-kms

1.12.189

com.amazonaws

aws-java-sdk-lambda

1.12.189

com.amazonaws

aws-java-sdk-logs

1.12.189

com.amazonaws

aws-java-sdk-machinelearning

1.12.189

com.amazonaws

aws-java-sdk-opsworks

1.12.189

com.amazonaws

aws-java-sdk-rds

1.12.189

com.amazonaws

aws-java-sdk-redshift

1.12.189

com.amazonaws

aws-java-sdk-route53

1.12.189

com.amazonaws

aws-java-sdk-s3

1.12.189

com.amazonaws

aws-java-sdk-ses

1.12.189

com.amazonaws

aws-java-sdk-simpledb

1.12.189

com.amazonaws

aws-java-sdk-simpleworkflow

1.12.189

com.amazonaws

aws-java-sdk-sns

1.12.189

com.amazonaws

aws-java-sdk-sqs

1.12.189

com.amazonaws

aws-java-sdk-ssm

1.12.189

com.amazonaws

aws-java-sdk-storagegateway

1.12.189

com.amazonaws

aws-java-sdk-sts

1.12.189

com.amazonaws

aws-java-sdk-support

1.12.189

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.12.189

com.amazonaws

jmespath-java

1.12.189

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同學

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.13.3

com.fasterxml.jackson.core

jackson-core

2.13.3

com.fasterxml.jackson.core

jackson-databind

2.13.3

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.13.3

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.13.3

com.fasterxml.jackson.module

jackson-module-paranamer

2.13.3

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.13.3

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1.5.2-1

com.github.wendykierp

JTransforms

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.8.6

com.google.crypto.tink

叮叮鈴

1.6.1

com.google.flatbuffers

flatbuffers-java

1.12.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

2.0.204

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.lihaoyi

sourcecode_2.12

0.1.9

com.microsoft.azure

azure-data-lake-store-sdk

2.3.9

com.ning

compress-lzf

1.1

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1.8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.10.0

com.twitter

chill_2.12

0.10.0

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.univocity

univocity-parsers

2.9.1

com.zaxxer

HikariCP

4.0.3

commons-cli

commons-cli

1.5.0

commons-codec

commons-codec

1.15

commons-collections

commons-collections

3.2.2

commons-dbcp

commons-dbcp

1.4

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.11.0

commons lang

commons lang

2.6

通用日誌

通用日誌

1.1.3

commons-pool

commons-pool

1.5.4

dev.ludovic.netlib

arpack

2.2.1

dev.ludovic.netlib

布拉斯特區

2.2.1

dev.ludovic.netlib

lapack

2.2.1

蜂巢3.2 - 2.3 - __hadoop -

jets3t - 0.7

liball_deps_2.12

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0.21

io.delta

delta-sharing-spark_2.12

0.4.0

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.74.Final

io.netty

netty-buffer

4.1.74.Final

io.netty

netty-codec

4.1.74.Final

io.netty

netty-common

4.1.74.Final

io.netty

netty-handler

4.1.74.Final

io.netty

netty-resolver

4.1.74.Final

io.netty

netty-tcnative-classes

2.0.48.Final

io.netty

netty-transport

4.1.74.Final

io.netty

netty-transport-classes-epoll

4.1.74.Final

io.netty

netty-transport-classes-kqueue

4.1.74.Final

io.netty

netty-transport-native-epoll-linux-aarch_64

4.1.74.Final

io.netty

netty-transport-native-epoll-linux-x86_64

4.1.74.Final

io.netty

netty-transport-native-kqueue-osx-aarch_64

4.1.74.Final

io.netty

netty-transport-native-kqueue-osx-x86_64

4.1.74.Final

io.netty

netty-transport-native-unix-common

4.1.74.Final

io.prometheus

simpleclient

0.7.0

io.prometheus

simpleclient_common

0.7.0

io.prometheus

simpleclient_dropwizard

0.7.0

io.prometheus

simpleclient_pushgateway

0.7.0

io.prometheus

simpleclient_servlet

0.7.0

io.prometheus.jmx

收集器

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.annotation

javax.annotation-api

1.3.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.transaction

jta

1.1

javax.transaction

事務api

1.1

javax.xml.bind

jaxb-api

. 2.2.11

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.13

maven-trees

蜂巢3.2 - 2.3 - __hadoop -

liball_deps_2.12

net.java.dev.jna

jna

5.8.0

net.razorvine

泡菜

1.2

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.13.14

net.snowflake

spark-snowflake_2.12

2.10.0-spark_3.1

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.8

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

螞蟻

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

7.0.0

org.apache.arrow

arrow-memory-core

7.0.0

org.apache.arrow

arrow-memory-netty

7.0.0

org.apache.arrow

arrow-vector

7.0.0

org.apache.avro

avro

1.11.0

org.apache.avro

avro-ipc

1.11.0

org.apache.avro

avro-mapred

1.11.0

org.apache.commons

commons-collections4

4.4

org.apache.commons

commons-compress

1.21

org.apache.commons

commons-crypto

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

commons-text

1.9

org.apache.curator

curator-client

2.13.0

org.apache.curator

curator-framework

2.13.0

org.apache.curator

curator-recipes

2.13.0

org.apache.derby

德比

10.14.2.0

org.apache.hadoop

hadoop-client-api

3.3.2-databricks

org.apache.hadoop

hadoop-client-runtime

3.3.2

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

hive-cli

2.3.9

org.apache.hive

hive-jdbc

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-llap-common

2.3.9

org.apache.hive

hive-serde

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

hive-storage-api

2.7.2

org.apache.hive.shims

蜂巢0.23 -墊片

2.3.9

org.apache.hive.shims

hive-shims-common

2.3.9

org.apache.hive.shims

hive-shims-scheduler

2.3.9

org.apache.httpcomponents

httpclient

4.5.13

org.apache.httpcomponents

httpcore

4.4.14

org.apache.ivy

艾薇

2.5.0

org.apache.logging.log4j

log4j - 1.2 api

2.17.2

org.apache.logging.log4j

log4j api

2.17.2

org.apache.logging.log4j

log4j-core

2.17.2

org.apache.logging.log4j

log4j-slf4j-impl

2.17.2

org.apache.mesos

mesos-shaded-protobuf

1.4.0

org.apache.orc

orc-core

1.7.4

org.apache.orc

orc-mapreduce

1.7.4

org.apache.orc

orc-shims

1.7.4

org.apache.parquet

parquet-column

1.12.0-databricks-0004

org.apache.parquet

parquet-common

1.12.0-databricks-0004

org.apache.parquet

parquet-encoding

1.12.0-databricks-0004

org.apache.parquet

parquet-format-structures

1.12.0-databricks-0004

org.apache.parquet

parquet-hadoop

1.12.0-databricks-0004

org.apache.parquet

parquet-jackson

1.12.0-databricks-0004

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm9-shaded

4.20

org.apache.yetus

audience-annotations

0.5.0

org.apache.zookeeper

動物園管理員

操作

org.apache.zookeeper

zookeeper-jute

操作

org.checkerframework

checker-qual

3.5.0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.46.v20220331

org.eclipse.jetty

jetty-continuation

9.4.46.v20220331

org.eclipse.jetty

jetty-http

9.4.46.v20220331

org.eclipse.jetty

jetty-io

9.4.46.v20220331

org.eclipse.jetty

jetty-jndi

9.4.46.v20220331

org.eclipse.jetty

jetty-plus

9.4.46.v20220331

org.eclipse.jetty

jetty-proxy

9.4.46.v20220331

org.eclipse.jetty

jetty-security

9.4.46.v20220331

org.eclipse.jetty

jetty服務器

9.4.46.v20220331

org.eclipse.jetty

jetty servlet

9.4.46.v20220331

org.eclipse.jetty

jetty-servlets

9.4.46.v20220331

org.eclipse.jetty

jetty-util

9.4.46.v20220331

org.eclipse.jetty

jetty-util-ajax

9.4.46.v20220331

org.eclipse.jetty

jetty-webapp

9.4.46.v20220331

org.eclipse.jetty

jetty-xml

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-api

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-client

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-common

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket服務器

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-servlet

9.4.46.v20220331

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.34

org.glassfish.jersey.containers

jersey-container-servlet-core

2.34

org.glassfish.jersey.core

jersey客戶端

2.34

org.glassfish.jersey.core

jersey-common

2.34

org.glassfish.jersey.core

jersey-server

2.34

org.glassfish.jersey.inject

jersey-hk2

2.34

org.hibernate.validator

hibernate驗證框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.jetbrains

注釋

17.0.0

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.7.0-M11

org.json4s

json4s-core_2.12

3.7.0-M11

org.json4s

json4s-jackson_2.12

3.7.0-M11

org.json4s

json4s-scalap_2.12

3.7.0-M11

org.lz4

lz4-java

1.8.0

org.mariadb.jdbc

mariadb-java-client

第2.7.4

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.3.3

org.roaringbitmap

RoaringBitmap

0.9.25

org.roaringbitmap

墊片

0.9.25

org.rocksdb

rocksdbjni

6.24.2

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.14

org.scala-lang

scala-library_2.12

2.12.14

org.scala-lang

scala-reflect_2.12

2.12.14

org.scala-lang.modules

scala-collection-compat_2.12

2.4.3

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

測試界麵

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.2

org.scalanlp

breeze_2.12

1.2

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.36

org.slf4j

jul-to-slf4j

1.7.36

org.slf4j

slf4j-api

1.7.36

org.spark-project.spark

未使用的

1.0.0

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1.8

org.typelevel

algebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0

org.typelevel

spire-Beplay体育安卓版本platform_2.12

0.17.0

org.typelevel

spire-util_2.12

0.17.0

org.typelevel

spire_2.12

0.17.0

org.wildfly.openssl

wildfly-openssl

1.0.7.Final

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.4

org.yaml

snakeyaml

1.24

奧羅

奧羅

2.0.8

pl.edu.icm

JLargeArrays

1.5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1