磚運行時的維護更新
這個頁麵列表維護更新發出了磚的運行時版本。維護更新添加到現有的集群中,重新啟動集群。
請注意
版本正在上演。磚帳戶可能沒有更新,直到一個星期或更後最初的發布日期。
請注意
本文包含引用白名單,磚不使用的一個術語。從軟件中刪除這個詞時,我們就將它從這篇文章。
磚的運行時版本
維護更新版本:
原來的版本說明,遵循下麵的鏈接副標題。
磚12.1運行時
看到磚12.1運行時。
2023年2月24日
您現在可以使用一組統一的選項(主機,港口,數據庫,用戶,密碼)連接到數據源支持查詢聯合會(PostgreSQL、MySQL、突觸、雪花、紅移,SQL Server)。請注意,港口是可選的,將使用默認端口號為每個數據源如果沒有提供。
PostgreSQL連接配置的示例
創建表postgresql_table使用postgresql選項(數據表“<表名稱>”,主機“<主機名>”,數據庫“<數據庫名稱>”,用戶“用戶> <”,密碼秘密(“範圍”,“關鍵”));
雪花連接配置的示例
創建表snowflake_table使用雪花選項(數據表“<表名稱>”,主機“<主機名>”,港口“<端口號>”,數據庫“<數據庫名稱>”,用戶秘密(“snowflake_creds”,“my_username”),密碼秘密(“snowflake_creds”,“my_password”),模式“<模式名稱>”,sfWarehouse“< warehouse-name >”);
(火花- 41989)從pyspark.pandas (PYTHON)避免打破日誌配置
(火花- 42346)子查詢合並後[SQL]重寫不同的骨料
(火花- 41990)[SQL]使用
FieldReference.column而不是應用在V1 V2濾波器轉換恢複”(火花- 41848)(核心)修複任務時間安排的滿滿的TaskResourceProfile”
(火花- 42162)介紹MultiCommutativeOp表達式作為規範化的內存優化交換表達式的大樹
操作係統安全更新。
2023年2月16日
同步命令支持同步蜂巢Metastore重新創建表。如果HMS表同步之前統一目錄然後刪除並重新創建,隨後re-sync將工作而不是扔TABLE_ALREADY_EXISTS狀態代碼。
(火花- 41219)[SQL] IntegralDivide使用十進製(1,0)來表示0
(火花- 36173)(核心)支持在TaskContext CPU數量
(火花- 41848)(核心)修複與TaskResourceProfile任務時間安排的滿滿的
(火花- 42286)[SQL]撤退之前codegen代碼路徑的複雜expr
2023年1月31日
創建一個模式定義的位置現在要求用戶能夠選擇和修改任何文件上的特權。
(火花- 41581)[SQL]命名遺產ERROR_TEMP_1230
(火花- 41996)[SQL] [SS]修複卡夫卡測試來驗證丟失分區占緩慢卡夫卡操作
(火花- 41580)[SQL]命名遺產ERROR_TEMP_2137
(火花- 41666)PYTHON支持參數化SQL
sql ()(火花- 41579)[SQL]命名遺產ERROR_TEMP_1249
(火花- 41573)[SQL]命名遺產ERROR_TEMP_2136
(火花- 41574)[SQL]命名遺產ERROR_TEMP_2009
(火花- 41049)(後續)修複代碼同步ConvertToLocalRelation回歸
(火花- 41576)[SQL]命名遺產ERROR_TEMP_2051
(火花- 41572)[SQL]命名遺產ERROR_TEMP_2149
(火花- 41575)[SQL]命名遺產ERROR_TEMP_2054
操作係統安全更新。
磚12.0運行時
看到磚12.0運行時。
2023年2月24日
您現在可以使用一組統一的選項(主機,港口,數據庫,用戶,密碼)連接到數據源支持查詢聯合會(PostgreSQL、MySQL、突觸、雪花、紅移,SQL Server)。請注意,港口是可選的,將使用默認端口號為每個數據源如果沒有提供。
PostgreSQL連接配置的示例
創建表postgresql_table使用postgresql選項(數據表“<表名稱>”,主機“<主機名>”,數據庫“<數據庫名稱>”,用戶“用戶> <”,密碼秘密(“範圍”,“關鍵”));
雪花連接配置的示例
創建表snowflake_table使用雪花選項(數據表“<表名稱>”,主機“<主機名>”,港口“<端口號>”,數據庫“<數據庫名稱>”,用戶秘密(“snowflake_creds”,“my_username”),密碼秘密(“snowflake_creds”,“my_password”),模式“<模式名稱>”,sfWarehouse“< warehouse-name >”);
恢複”(火花- 41848)(核心)修複任務時間安排的滿滿的TaskResourceProfile”
(火花- 42162)介紹MultiCommutativeOp表達式作為規範化的內存優化交換表達式的大樹
(火花- 41990)[SQL]使用
FieldReference.column而不是應用在V1 V2濾波器轉換(火花- 42346)子查詢合並後[SQL]重寫不同的骨料
操作係統安全更新。
2023年2月16日
用戶現在可以讀和寫一些三角洲表,要求讀者版本3和作家版本7,通過使用磚運行時的9.1或更高版本。成功,表功能表中列出的協議必須由磚的當前版本支持運行時。
同步命令支持同步蜂巢Metastore重新創建表。如果HMS表同步之前統一目錄然後刪除並重新創建,隨後re-sync將工作而不是扔TABLE_ALREADY_EXISTS狀態代碼。
(火花- 36173)(核心)支持在TaskContext CPU數量
(火花- 42286)[SQL]撤退之前codegen代碼路徑的複雜expr
(火花- 41848)(核心)修複與TaskResourceProfile任務時間安排的滿滿的
(火花- 41219)[SQL] IntegralDivide使用十進製(1,0)來表示0
2023年1月25日
(火花- 41660)[SQL]隻傳播如果他們使用元數據列
(火花- 41379)[SS] [PYTHON)提供克隆引發會話在DataFrame用戶函數PySpark foreachBatch水槽
(火花- 41669)在canCollapseExpressions [SQL]早期修剪
操作係統安全更新。
2023年1月18日
刷新函數SQL命令現在支持SQL函數和SQL表函數。例如,命令可以用來刷新一個持久的SQL函數,在另一個SQL更新會話。Java數據庫連接(JDBC)數據源v1現在支持限製條款疊加來提高查詢的性能。這個功能是默認啟用,可以禁用
spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled設置為假。acl集群在遺留表,創建函數引用JVM類現在需要
MODIFY_CLASSPATH特權。Java數據庫連接(JDBC)數據源v1現在支持限製條款疊加來提高查詢的性能。這個功能是默認啟用和spark.databricks.optimizer.jdbcDSv1LimitPushdown可以禁用。啟用設置為false。
Azure突觸連接器現在返回一個更具描述性的錯誤消息,當一列或分號等名稱包含無效字符。在這種情況下,將返回以下信息:
Azure突觸分析失敗的來執行的JDBC查詢生產通過的連接器。使確定列的名字做不包括任何無效的字符這樣的作為“;”或空格。火花結構化流現在使用格式(“deltasharing”)作為源三角洲共享桌子上。
(火花- 38277)[SS]明確寫批處理後RocksDB商店的提交狀態
(火花- 41733)基於[SQL] [SS]應用樹各種規則ResolveWindowTime修剪
(火花- 39591)[SS]異步跟蹤進展
(火花- 41339)[SQL]關閉並重新創建RocksDB寫批處理而不是清算
(火花- 41198)[SS]修複指標在流查詢CTE和DSv1流源
(火花- 41539)[SQL]再交換數據和約束對輸出邏輯LogicalRDD的計劃
(火花- 41732)基於[SQL] [SS]應用樹各種規則SessionWindowing修剪
(火花- 41862)[SQL]修複正確性錯誤相關的默認值在獸人的讀者
(火花- 41199)[SS]解決度量問題當DSv1 co-used流源和DSv2流源
(火花- 41261)(PYTHON) [SS]修複問題applyInPandasWithState當分組關鍵字的列不放置在從最早的訂單
操作係統安全更新。
磚11.3運行時
看到磚運行時11.3 LTS。
2023年2月28日
您現在可以使用一組統一的選項(主機,港口,數據庫,用戶,密碼)連接到數據源支持查詢聯合會(PostgreSQL、MySQL、突觸、雪花、紅移,SQL Server)。請注意,港口是可選的,並且為每個數據源使用默認端口號如果沒有提供。
PostgreSQL連接配置的示例
創建表postgresql_table使用postgresql選項(數據表“<表名稱>”,主機“<主機名>”,數據庫“<數據庫名稱>”,用戶“用戶> <”,密碼秘密(“範圍”,“關鍵”));
雪花連接配置的示例
創建表snowflake_table使用雪花選項(數據表“<表名稱>”,主機“<主機名>”,港口“<端口號>”,數據庫“<數據庫名稱>”,用戶秘密(“snowflake_creds”,“my_username”),密碼秘密(“snowflake_creds”,“my_password”),模式“<模式名稱>”,sfWarehouse“< warehouse-name >”);
(火花- 42286)[SQL]撤退之前codegen代碼路徑的複雜expr
(火花- 41989)從pyspark.pandas (PYTHON)避免打破日誌配置
(火花- 42346)子查詢合並後[SQL]重寫不同的骨料
(火花- 41360)(核心)避免BlockManager續費如果遺囑執行人已經丟失
(火花- 42162)介紹MultiCommutativeOp表達式作為規範化的內存優化交換表達式的大樹
(火花- 41990)[SQL]使用
FieldReference.column而不是應用在V1 V2濾波器轉換操作係統安全更新。
2023年2月16日
用戶現在可以讀和寫一些三角洲表,要求讀者版本3和作家版本7,通過使用磚運行時的9.1或更高版本。成功,表功能表中列出的協議必須由磚的當前版本支持運行時。
同步命令支持同步蜂巢Metastore重新創建表。如果HMS表同步之前統一目錄然後刪除並重新創建,隨後re-sync將工作而不是扔TABLE_ALREADY_EXISTS狀態代碼。
(火花- 41219)[SQL] IntegralDivide使用十進製(1,0)來表示0
(火花- 40382)[SQL]組不同的聚合表達式的語義上等價的孩子
RewriteDistinctAggregates操作係統安全更新。
2023年1月25日
(火花- 41379)[SS] [PYTHON)提供克隆引發會話在DataFrame用戶函數PySpark foreachBatch水槽
(火花- 41660)[SQL]隻傳播如果他們使用元數據列
(火花- 41669)在canCollapseExpressions [SQL]早期修剪
各種各樣的bug修複。
2023年1月18日
刷新函數SQL命令現在支持SQL函數和SQL表函數。例如,命令可以用來刷新一個持久的SQL函數,在另一個SQL更新會話。Java數據庫連接(JDBC)數據源v1現在支持限製條款疊加來提高查詢的性能。這個功能是默認啟用,可以禁用
spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled設置為假。Java數據庫連接(JDBC)數據源v1現在支持限製條款疊加來提高查詢的性能。這個功能是默認啟用和spark.databricks.optimizer.jdbcDSv1LimitPushdown可以禁用。啟用設置為false。
Azure突觸連接器現在返回一個更具描述性的錯誤消息,當一列或分號等名稱包含無效字符。在這種情況下,將返回以下信息:
Azure突觸分析失敗的來執行的JDBC查詢生產通過的連接器。使確定列的名字做不包括任何無效的字符這樣的作為“;”或空格。(火花- 41198)[SS]修複指標在流查詢CTE和DSv1流源
(火花- 41862)[SQL]修複正確性錯誤相關的默認值在獸人的讀者
(火花- 41539)[SQL]再交換數據和約束對輸出邏輯LogicalRDD的計劃
(火花- 39591)[SS]異步跟蹤進展
(火花- 41199)[SS]解決度量問題當DSv1 co-used流源和DSv2流源
(火花- 41261)(PYTHON) [SS]修複問題applyInPandasWithState當分組關鍵字的列不放置在從最早的訂單
(火花- 41339)[SQL]關閉並重新創建RocksDB寫批處理而不是清算
(火花- 41732)基於[SQL] [SS]應用樹各種規則SessionWindowing修剪
(火花- 38277)[SS]明確寫批處理後RocksDB商店的提交狀態
操作係統安全更新。
2022年11月29日
用戶可以配置前導和尾隨空白的行為寫數據時使用紅移的連接器。添加了以下選項來控製空白處理:
csvignoreleadingwhitespace當設置為真正的期間,除去前導空白值時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。csvignoretrailingwhitespace當設置為真正的從價值觀,刪除空格時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。
JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時
cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。升級
snowflake-jdbc依賴3.13.22版。表類型的JDBC表默認現在外部。
(火花- 40906)[SQL]
模式之前應該複製鑰匙插入地圖嗎操作係統安全更新。
2022年11月15日
表acl和加州大學共享集群現在允許數據集。從python toJSON方法。
(火花- 40646)JSON解析結構、地圖和數組已經固定,所以當一個記錄不匹配模式的一部分,其餘的記錄仍然可以正確解析,而不是返回null。為改善行為,選擇集
spark.sql.json.enablePartialResults來真正的。國旗是禁用默認保存原來的行為。(火花- 40903)[SQL]避免重新排序十進製加規範化數據類型是否改變
(火花- 40618)[SQL]修複bug在MergeScalarSubqueries規則使用參考與嵌套的子查詢跟蹤
(火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件
操作係統安全更新。
2022年11月1日
現在統一的目錄中結構化流支持刷新臨時訪問令牌。流與統一目錄所有目的或工作集群工作負載運行最初的令牌到期後不再失敗。
固定的一個問題,如果一個增量表有一個用戶定義的列命名
_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。固定一個運行的問題
合並從源和使用99列的條件可能導致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投來org.apache.spark.sql.catalyst.InternalRow。固定的問題自動加載程序,文件可以複製在同一個micro-batch當
allowOverwrites啟用。Apache commons-text 1.10.0升級。
(火花- 38881)[DSTREAMS][運動][PYSPARK]添加支持CloudWatch MetricsLevel配置
(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
(火花- 40670)[SS] [PYTHON)修複肺水腫applyInPandasWithState當輸入模式“空列上”專欄(s)
操作係統安全更新。
磚11.2運行時
看到磚11.2運行時。
2023年2月28日
(火花- 42286)[SQL]撤退之前codegen代碼路徑的複雜expr
(火花- 42346)子查詢合並後[SQL]重寫不同的骨料
操作係統安全更新。
2023年2月16日
用戶現在可以讀和寫一些三角洲表,要求讀者版本3和作家版本7,通過使用磚運行時的9.1或更高版本。成功,表功能表中列出的協議必須由磚的當前版本支持運行時。
同步命令支持同步蜂巢Metastore重新創建表。如果HMS表同步之前統一目錄然後刪除並重新創建,隨後re-sync將工作而不是扔TABLE_ALREADY_EXISTS狀態代碼。
(火花- 41219)[SQL] IntegralDivide使用十進製(1,0)來表示0
操作係統安全更新。
2023年1月31日
表類型的JDBC表默認現在外部。
(火花- 41379)[SS] [PYTHON)提供克隆引發會話在DataFrame用戶函數PySpark foreachBatch水槽
2023年1月18日
Azure突觸連接器現在返回一個更具描述性的錯誤消息,當一列或分號等名稱包含無效字符。在這種情況下,將返回以下信息:
Azure突觸分析失敗的來執行的JDBC查詢生產通過的連接器。使確定列的名字做不包括任何無效的字符這樣的作為“;”或空格。(火花- 41198)[SS]修複指標在流查詢CTE和DSv1流源
(火花- 41862)[SQL]修複正確性錯誤相關的默認值在獸人的讀者
(火花- 41539)[SQL]再交換數據和約束對輸出邏輯LogicalRDD的計劃
(火花- 41199)[SS]解決度量問題當DSv1 co-used流源和DSv2流源
(火花- 41339)[SQL]關閉並重新創建RocksDB寫批處理而不是清算
(火花- 41732)基於[SQL] [SS]應用樹各種規則SessionWindowing修剪
(火花- 38277)[SS]明確寫批處理後RocksDB商店的提交狀態
操作係統安全更新。
2022年11月29日
用戶可以配置前導和尾隨空白的行為寫數據時使用紅移的連接器。添加了以下選項來控製空白處理:
csvignoreleadingwhitespace當設置為真正的期間,除去前導空白值時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。csvignoretrailingwhitespace當設置為真正的從價值觀,刪除空格時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。
JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時
cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。(火花- 40906)[SQL]
模式之前應該複製鑰匙插入地圖嗎操作係統安全更新。
2022年11月15日
(火花- 40646)JSON解析結構、地圖和數組已經固定,所以當一個記錄不匹配模式的一部分,其餘的記錄仍然可以正確解析,而不是返回null。為改善行為,選擇集
spark.sql.json.enablePartialResults來真正的。國旗是禁用默認保存原來的行為。(火花- 40618)[SQL]修複bug在MergeScalarSubqueries規則使用參考與嵌套的子查詢跟蹤
(火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件
操作係統安全更新。
2022年11月1日
Apache commons-text 1.10.0升級。
固定的一個問題,如果一個增量表有一個用戶定義的列命名
_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。固定一個運行的問題
合並從源和使用99列的條件可能導致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投來org.apache.spark.sql.catalyst.InternalRow。固定的問題自動加載程序,文件可以複製在同一個micro-batch當
allowOverwrites啟用了(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作係統安全更新。
2022年10月19日
固定的問題複製到使用臨時憑證統一目錄啟用集群/倉庫。
(火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符
操作係統安全更新。
2022年10月5日
用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。
(火花- 40315)[SQL]支持url編碼/解碼內置函數和整理url-related功能
(火花- 40156)[SQL]
url_decode ()應該返回一個錯誤類(火花- 40169)不疊加鋪過濾器沒有參考數據模式
(火花- 40460)在選擇[SS]解決流指標
_metadata(火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中
(火花- 40055)[SQL] listCatalogs也應該回報spark_catalog即使defaultSessionCatalog spark_catalog實現
操作係統安全更新。
2022年9月22日
(火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()
(火花- 40389)[SQL]小數不能向上的積分類型如果演員能溢出
(火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中
(火花- 40066)[SQL](後續)檢查ElementAt之前解決它的數據類型
(火花- 40109)[SQL]新的SQL函數:get ()
(火花- 40066)[SQL] ANSI模式:無效訪問地圖上總是返回null列
(火花- 40089)[SQL]修複排序十進製類型
(火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點
(火花- 40152)[SQL]修複split_part codegen編譯問題
(火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()
(火花- 40212)[SQL] SparkSQL castPartValue不妥善處理字節,短,或浮動
(火花- 40218)[SQL]分組應該保存分組列集
(火花- 35542)(ML)解決辦法:Bucketizer創建多個列的參數
(火花- 40079)添加輸入為空inputCols驗證輸入的情況
(火花- 39912)火星- 39828[SQL]完善CatalogImpl
磚11.1運行時
2023年1月31日
(火花- 41379)[SS] [PYTHON)提供克隆引發會話在DataFrame用戶函數PySpark foreachBatch水槽
各種各樣的bug修複。
2023年1月18日
Azure突觸連接器現在返回一個更具描述性的錯誤消息,當一列或分號等名稱包含無效字符。在這種情況下,將返回以下信息:
Azure突觸分析失敗的來執行的JDBC查詢生產通過的連接器。使確定列的名字做不包括任何無效的字符這樣的作為“;”或空格。(火花- 41198)[SS]修複指標在流查詢CTE和DSv1流源
(火花- 41862)[SQL]修複正確性錯誤相關的默認值在獸人的讀者
(火花- 41199)[SS]解決度量問題當DSv1 co-used流源和DSv2流源
(火花- 41339)[SQL]關閉並重新創建RocksDB寫批處理而不是清算
(火花- 41732)基於[SQL] [SS]應用樹各種規則SessionWindowing修剪
(火花- 38277)[SS]明確寫批處理後RocksDB商店的提交狀態
操作係統安全更新。
2022年11月29日
用戶可以配置前導和尾隨空白的行為寫數據時使用紅移的連接器。添加了以下選項來控製空白處理:
csvignoreleadingwhitespace當設置為真正的期間,除去前導空白值時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。csvignoretrailingwhitespace當設置為真正的從價值觀,刪除空格時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。
JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時
cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。(火花- 39650)[SS]修複錯誤的價值模式在線重複數據刪除的向後兼容性
操作係統安全更新。
2022年11月15日
(火花- 40646)JSON解析結構、地圖和數組已經固定,所以當一個記錄不匹配模式的一部分,剩下的記錄仍然可以正確解析,而不是返回null。為改善行為,選擇集
spark.sql.json.enablePartialResults來真正的。國旗是禁用默認保存原來的行為。操作係統安全更新。
2022年11月1日
Apache commons-text 1.10.0升級。
固定的一個問題,如果一個增量表有一個用戶定義的列命名
_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。固定一個運行的問題
合並從源和使用99列的條件可能導致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投來org.apache.spark.sql.catalyst.InternalRow。固定的問題自動加載程序,文件可以複製在同一個micro-batch當
allowOverwrites啟用了(火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件
(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作係統安全更新。
2022年10月18日
固定的問題複製到使用臨時憑證統一目錄啟用集群/倉庫。
(火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符
操作係統安全更新。
2022年10月5日
用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。
(火花- 40169)不疊加鋪過濾器沒有參考數據模式
(火花- 40460)在選擇[SS]解決流指標
_metadata(火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中
(火花- 40055)[SQL] listCatalogs也應該回報spark_catalog即使defaultSessionCatalog spark_catalog實現
操作係統安全更新。
2022年9月22日
(火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()
(火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中
(火花- 40089)[SQL]修複排序十進製類型
(火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點
(火花- 40152)[SQL]修複split_part codegen編譯問題
2022年9月6日
我們更新了許可模型在表訪問控製表(acl),因此隻有修改權限需要改變表的模式或表和ALTER Table屬性。以前,這些操作需要用戶自己的桌子上。所有權仍然需要授予權限表,改變它的所有者,改變其位置,或重命名它。這種變化使表acl的權限模型更符合統一目錄。
(火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()
(火花- 40212)[SQL] SparkSQL castPartValue不妥善處理字節,短,或浮動
(火花- 40218)[SQL]分組應該保存分組列集
(火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null
(火花- 40053)[心][SQL][測試]添加
假設動態取消案例需要Python運行時環境(火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存
(火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況
2022年8月24日
股票、提供者和接受者現在支持SQL命令改變所有者,評論,重命名
(火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係
(火花- 39912)(火花- 39828)[SQL]完善CatalogImpl
(火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值
(火花- 39806)固定問題查詢訪問元數據在分區表結構崩潰
(火花- 39867)全球限製不應繼承OrderPreservingUnaryNode [SQL]
(火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的
(火花- 39839)[SQL]處理特殊情況的空變長十進製與非零offsetAndSize UnsafeRow結構完整性檢查
(火花- 39713)[SQL] ANSI模式:添加使用try_element_at INVALID_ARRAY_INDEX錯誤的建議
(火花- 39847)在RocksDBLoader.loadLibrary [SS]解決競態條件()如果調用者線程中斷
(火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策
操作係統安全更新。
2022年8月10日,
δ表與表的訪問控製,通過DML語句,如自動模式演化
插入和合並現在是對所有用戶可用嗎修改權限表等。此外,執行模式演化所需權限複製成現在降低了從老板來修改與其他命令的一致性。這些變化使表ACL的安全模型更符合統一目錄的安全模型以及其他操作如取代一個表。
(火花- 39889)提高除0的錯誤消息
(火花- 39795)[SQL]新的SQL函數:try_to_timestamp
(火花- 39749)總是使用簡單的字符串表示在鑄造十進製ANSI模式下字符串
(火花- 39625)重命名df。作為來df.to
(火花- 39787)[SQL]使用錯誤類to_timestamp解析錯誤的功能
(火花- 39625)[SQL]添加Dataset.as (StructType)
(火花- 39689)支持2-chars
lineSep在CSV數據源(火花- 39579)PYTHON [SQL] [] [R]使ListFunctions / getFunction / functionExists兼容3層名稱空間
(火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元
(火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer
(火花- 39265)[SQL]當啟用SPARK_ANSI_SQL_MODE修複測試失敗
(火花- 39441)[SQL]加速DeduplicateRelations
(火花- 39497)[SQL]提高失蹤的分析異常映射鍵列
(火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動
(火花- 39434)[SQL]數組索引時提供運行時錯誤查詢上下文邊界
磚11.0運行時
2022年11月29日
用戶可以配置前導和尾隨空白的行為寫數據時使用紅移的連接器。添加了以下選項來控製空白處理:
csvignoreleadingwhitespace當設置為真正的期間,除去前導空白值時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。csvignoretrailingwhitespace當設置為真正的從價值觀,刪除空格時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。
JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時
cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。(火花- 39650)[SS]修複錯誤的價值模式在線重複數據刪除的向後兼容性
操作係統安全更新。
2022年11月15日
(火花- 40646)JSON解析結構、地圖和數組已經固定,所以當一個記錄不匹配模式的一部分,其餘的記錄仍然可以正確解析,而不是返回null。為改善行為,選擇集
spark.sql.json.enablePartialResults來真正的。國旗是禁用默認保存原來的行為。
2022年11月1日
Apache commons-text 1.10.0升級。
固定的一個問題,如果一個增量表有一個用戶定義的列命名
_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。固定的問題自動加載程序,文件可以複製在同一個micro-batch當
allowOverwrites啟用了(火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件
(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作係統安全更新。
2022年10月18日
(火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符
操作係統安全更新。
2022年10月5日
用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。
(火花- 40169)不疊加鋪過濾器沒有參考數據模式
(火花- 40460)在選擇[SS]解決流指標
_metadata(火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中
操作係統安全更新。
2022年9月22日
(火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()
(火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中
(火花- 40089)[SQL]修複排序十進製類型
(火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點
(火花- 40152)[SQL]修複split_part codegen編譯問題
2022年9月6日
(火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()
(火花- 40212)[SQL] SparkSQL castPartValue不妥善處理字節,短,或浮動
(火花- 40218)[SQL]分組應該保存分組列集
(火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null
(火花- 40053)[心][SQL][測試]添加
假設動態取消案例需要Python運行時環境(火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存
(火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況
2022年8月24日
(火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係
(火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值
(火花- 39806)固定問題查詢訪問元數據在分區表結構崩潰
(火花- 39867)全球限製不應繼承OrderPreservingUnaryNode [SQL]
(火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的
操作係統安全更新。
2022年8月9日
(火花- 39713)[SQL] ANSI模式:添加使用try_element_at INVALID_ARRAY_INDEX錯誤的建議
(火花- 39847)在RocksDBLoader.loadLibrary解決競態條件()如果調用者線程中斷
(火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策
(火花- 39889)提高除0的錯誤消息
(火花- 39795)[SQL]新的SQL函數:try_to_timestamp
(火花- 39749)總是使用簡單的字符串表示在鑄造十進製ANSI模式下字符串
(火花- 39625)[SQL]添加Dataset.to (StructType)
(火花- 39787)[SQL]使用錯誤類to_timestamp解析錯誤的功能
操作係統安全更新。
2022年7月27日,
(火花- 39689)支持2-chars
lineSep在CSV數據源(火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的
(火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元
(火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer
(火花- 39497)[SQL]提高失蹤的分析異常映射鍵列
(火花- 39441)[SQL]加速DeduplicateRelations
(火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動
(火花- 39434)[SQL]數組索引時提供運行時錯誤查詢上下文邊界
(火花- 39570)[SQL]內聯表應該允許表達式與別名
操作係統安全更新。
2022年7月13日
使三角洲合並操作結果一致的來源是不確定的。
固定的問題cloud_files_state TVF當運行在non-DBFS路徑。
禁用自動加載器使用本地雲api對Azure目錄清單。
(火花- 38796)[SQL]更新to_number和try_to_number功能允許公關與正數
(火花- 39272)[SQL]增加查詢上下文的初始位置1
(火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常
操作係統安全更新。
2022年7月5日
改進的一係列錯誤類的錯誤消息。
(火花- 39451)[SQL]支持鑄造間隔積分ANSI模式
(火花- 39361)不要使用Log4J2擴展throwable轉換模式的默認日誌配置
(火花- 39354)[SQL]確保顯示
表或視圖不發現即使有dataTypeMismatchError有關過濾器在同一時間(火花- 38675)(核心)解決種族在BlockInfoManager解鎖
(火花- 39392)[SQL]提煉ANSI try_ *函數錯誤消息提示
(火花- 39214)[SQL][3.3]改善錯誤有關
(火花- 37939)[SQL]使用錯誤類解析錯誤的屬性
(火花- 39085)[SQL]的錯誤消息
INCONSISTENT_BEHAVIOR_CROSS_VERSION對error-classes.json(火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入
(火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間
(火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱
操作係統安全更新。
磚10.5運行時
2022年11月1日
固定的一個問題,如果一個增量表有一個用戶定義的列命名
_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。(火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件
(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作係統安全更新。
2022年10月18日
操作係統安全更新。
2022年10月5日
用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。
reload4j已經升級到1.2.19修複漏洞。
(火花- 40460)在選擇[SS]解決流指標
_metadata(火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中
操作係統安全更新。
2022年9月22日
(火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()
(火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符
(火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中
(火花- 38404)[SQL]時提高CTE決議一個嵌套CTE外部CTE的引用
(火花- 40089)[SQL]修複排序十進製類型
(火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點
操作係統安全更新。
2022年9月6日
(火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()
(火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null
(火花- 40053)[心][SQL][測試]添加
假設動態取消案例需要Python運行時環境(火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存
(火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況
2022年8月24日
(火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係
(火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值
(火花- 39806)固定問題查詢訪問元數據在分區表結構崩潰
(火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的
(火花- 37643)[SQL]當charVarcharAsString是真的,char數據類型謂詞查詢應該跳過rpadding規則
操作係統安全更新。
2022年8月9日
(火花- 39847)在RocksDBLoader.loadLibrary解決競態條件()如果調用者線程中斷
(火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策
操作係統安全更新。
2022年7月27日,
(火花- 39625)[SQL]添加Dataset.as (StructType)
(火花- 39689)支持2-chars
lineSep在CSV數據源(火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的
(火花- 39570)[SQL]內聯表應該允許表達式與別名
(火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元
(火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer
(火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動
操作係統安全更新。
2022年7月13日
使三角洲合並操作結果一致的來源是不確定的。
(火花- 39355)[SQL]構建UnresolvedAttribute單柱使用引用
(火花- 39548)[SQL] CreateView命令窗口查詢子句打錯了窗口定義沒有發現問題
(火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常
禁用自動加載器使用本地雲api對Azure目錄清單。
操作係統安全更新。
2022年7月5日
(火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入
操作係統安全更新。
2022年6月15日
(火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間
(火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱
(火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口
(火花- 36718)[SQL]跟蹤解決
isExtractOnly檢查CollapseProject
2022年6月2日
(火花- 39166)[SQL]提供運行時錯誤查詢上下文WSCG時二進製算術
(火花- 39093)[SQL]避免codegen編譯錯誤當year-month間隔或白天間隔除以一個積分
(火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考
操作係統安全更新。
2022年5月18日
修複一個潛在的本機內存泄漏的自動加載程序。
(火花- 38868)[SQL]不傳播異常過濾器謂詞時優化外部連接
(火花- 38796)[SQL]實現to_number和try_to_number SQL函數根據一項新的規範
(火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係
(火花- 38929)[SQL]在ANSI改善鑄造失敗的錯誤消息
(火花- 38926)[SQL]輸出錯誤消息在SQL風格的類型
(火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成
(火花- 32268)[SQL]添加ColumnPruning injectBloomFilter
(火花- 38908)[SQL]提供運行時錯誤的查詢上下文鑄件從字符串到數量/日期/時間戳/布爾
(火花- 39046)[SQL]如果TreeNode上下文返回一個空字符串。起源是錯誤的設置
(火花- 38974)[SQL]過濾器中與給定的數據庫名稱注冊函數列表功能
(火花- 38762)[SQL]提供查詢的上下文在十進製溢出錯誤
(火花- 38931)[SS]創建dfs根目錄為RocksDBFileManager未知數量的鑰匙1日檢查站
(火花- 38992)(核心)避免使用bash ShellBasedGroupsMappingProvider - c
(火花- 38716)[SQL]提供查詢上下文映射鍵不存在錯誤
(火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型
(火花- 38698)[SQL]提供運行時錯誤的查詢上下文/ Pmod分裂/ Div /提醒
(火花- 38823)[SQL]使
NewInstancenon-foldable修複聚合緩衝腐敗問題(火花- 38809)[SS]實現選項跳過null值對稱散列stream-stream連接的實現
(火花- 38676)[SQL]提供SQL查詢的上下文在加/減/乘的運行時錯誤消息
(火花- 38677)[PYSPARK] Python MonitorThread應該檢測死鎖阻塞I / O
操作係統安全更新。
磚10.4運行時
看到磚運行時10.4 LTS。
2023年2月28日
支持生成列yyyy-MM-dd date_format。這種改變增加了支持分區修剪yyyy-MM-dd作為date_format生成的列。
用戶現在可以讀和寫一些三角洲表,要求讀者版本3和作家版本7,通過使用磚運行時9.1 LTS或更高版本。成功,表功能表中列出的協議必須由磚的當前版本支持運行時。
支持生成列yyyy-MM-dd date_format。這種改變增加了支持分區修剪yyyy-MM-dd作為date_format生成的列。
操作係統安全更新。
2023年2月16日
(火花- 30220)使使用/存在於子查詢過濾器外的節點
操作係統安全更新。
2023年1月31日
表類型的JDBC表默認現在外部。
2023年1月18日
Azure突觸連接器現在返回一個更具描述性的錯誤消息,當一列或分號等名稱包含無效字符。在這種情況下,將返回以下信息:
Azure突觸分析失敗的來執行的JDBC查詢生產通過的連接器。使確定列的名字做不包括任何無效的字符這樣的作為“;”或空格。(火花- 38277)[SS]明確寫批處理後RocksDB商店的提交狀態
(火花- 41199)[SS]解決度量問題當DSv1 co-used流源和DSv2流源
(火花- 41198)[SS]修複指標在流查詢CTE和DSv1流源
(火花- 41339)[SQL]關閉並重新創建RocksDB寫批處理而不是清算
(火花- 41732)基於[SQL] [SS]應用樹各種規則SessionWindowing修剪
操作係統安全更新。
2022年11月29日
用戶可以配置前導和尾隨空白的行為寫數據時使用紅移的連接器。添加了以下選項來控製空白處理:
csvignoreleadingwhitespace當設置為真正的期間,除去前導空白值時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。csvignoretrailingwhitespace當設置為真正的從價值觀,刪除空格時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。
JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時
cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。操作係統安全更新。
2022年11月15日
Apache commons-text 1.10.0升級。
(火花- 40646)JSON解析結構、地圖和數組已經固定,所以當一個記錄不匹配模式的一部分,其餘的記錄仍然可以正確解析,而不是返回null。為改善行為,選擇集
spark.sql.json.enablePartialResults來真正的。國旗是禁用默認保存原來的行為。(火花- 40292)[SQL]修複列名在“arrays_zip”功能從嵌套的結構體數組是引用
操作係統安全更新。
2022年11月1日
固定的一個問題,如果一個增量表有一個用戶定義的列命名
_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。固定的問題自動加載程序,文件可以複製在同一個micro-batch當
allowOverwrites啟用了(火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件
(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作係統安全更新。
2022年10月18日
操作係統安全更新。
2022年10月5日
(火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中
操作係統安全更新。
2022年9月22日
用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址
(火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()
(火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符
(火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中
(火花- 38404)[SQL]時提高CTE決議一個嵌套CTE外部CTE的引用
(火花- 40089)[SQL]修複排序十進製類型
(火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點
2022年9月6日
(火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()
(火花- 40218)[SQL]分組應該保存分組列集
(火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null
(火花- 40053)[心][SQL][測試]添加
假設動態取消案例需要Python運行時環境(火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存
(火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況
2022年8月24日
(火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係
(火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值
(火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的
(火花- 37643)[SQL]當charVarcharAsString是真的,char數據類型謂詞查詢應該跳過rpadding規則
操作係統安全更新。
2022年8月9日
(火花- 39847)在RocksDBLoader.loadLibrary解決競態條件()如果調用者線程中斷
(火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策
操作係統安全更新。
2022年7月27日,
(火花- 39625)[SQL]添加Dataset.as (StructType)
(火花- 39689)支持2-chars
lineSep在CSV數據源(火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的
(火花- 39570)[SQL]內聯表應該允許表達式與別名
(火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元
(火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer
(火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動
(火花- 38868)[SQL]不傳播異常過濾器謂詞時優化外部連接
操作係統安全更新。
2022年7月20日
使三角洲合並操作結果一致的來源是不確定的。
(火花- 39355)[SQL]構建UnresolvedAttribute單柱使用引用
(火花- 39548)[SQL] CreateView命令窗口查詢子句打錯了窗口定義沒有發現問題
(火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常
禁用自動加載器使用本地雲api對Azure目錄清單。
操作係統安全更新。
2022年7月5日
(火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入
操作係統安全更新。
2022年6月15日
(火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間
(火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱
(火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口
(火花- 36718)[SQL]跟蹤解決
isExtractOnly檢查CollapseProject
2022年6月2日
(火花- 39093)[SQL]避免codegen編譯錯誤當year-month間隔或白天間隔除以一個積分
(火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考
操作係統安全更新。
2022年5月18日
修複一個潛在的本機內存泄漏的自動加載程序。
(火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係
(火花- 37593)(核心)默認頁麵大小減少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用
(火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成
(火花- 32268)[SQL]添加ColumnPruning injectBloomFilter
(火花- 38974)[SQL]過濾器中與給定的數據庫名稱注冊函數列表功能
(火花- 38931)[SS]創建dfs根目錄為RocksDBFileManager未知數量的鑰匙1日檢查站
操作係統安全更新。
2022年4月19日
從版本1.11.655 1.12.1899升級Java AWS SDK。
固定一個問題與notebook-scoped庫不工作在批處理流媒體工作。
(火花- 38616)[SQL]跟蹤SQL查詢文本TreeNode催化劑
操作係統安全更新。
2022年4月6日
下麵的火花與這個版本現在可以使用SQL函數:
timestampadd ()和返回():添加一個時間單位指定一個時間戳的表情。timestampdiff ()和datediff ():計算兩個時間戳之間的時差在指定單元表達式。
1.12.2 Parquet-MR已經升級
改進支持廣泛的模式在鋪文件
(火花- 38631)(核心)使用java實現un-tarring Utils.unpack
(火花- 38509)(火花- 38481)擇優挑選3 timestmapadd / diff相關變化
(火花- 38523)[SQL]修複指的腐敗記錄列從CSV
(火花- 38237)[SQL] [SS]允許
ClusteredDistribution需要完整的集群鍵(火花- 38437)從數據源[SQL]寬大的序列化datetime
(火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關
(火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞
操作係統安全更新。
磚運行時的10.3(不支持)
2022年7月27日,
(火花- 39689)支持2-chars
lineSep在CSV數據源(火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的
(火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元
操作係統安全更新。
2022年7月20日
使三角洲合並操作結果一致的來源是不確定的。
(火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動
(火花- 39548)[SQL] CreateView命令窗口查詢子句打錯了窗口定義沒有發現問題
(火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常
操作係統安全更新。
2022年7月5日
(火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入
操作係統安全更新。
2022年6月15日
(火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間
(火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱
(火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口
(火花- 36718)[SQL]跟蹤解決
isExtractOnly檢查CollapseProject
2022年6月2日
(火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考
操作係統安全更新。
2022年5月18日
修複一個潛在的本機內存泄漏的自動加載程序。
(火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係
(火花- 37593)(核心)默認頁麵大小減少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用
(火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成
(火花- 32268)[SQL]添加ColumnPruning injectBloomFilter
(火花- 38974)[SQL]過濾器中與給定的數據庫名稱注冊函數列表功能
(火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型
操作係統安全更新。
2022年5月4日
從版本1.11.655 1.12.1899升級Java AWS SDK。
2022年4月19日
(火花- 38616)[SQL]跟蹤SQL查詢文本TreeNode催化劑
操作係統安全更新。
2022年4月6日
(火花- 38631)(核心)使用java實現un-tarring Utils.unpack
操作係統安全更新。
2022年3月22日
改變當前工作目錄的筆記本高並發性集群表訪問控製或憑據透傳啟用用戶的主目錄。以前,工作目錄
/磚/驅動程序。(火花- 38437)從數據源[SQL]寬大的序列化datetime
(火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關
(火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞
(火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()
2022年3月14日,
改善在三角洲湖為空交易事務衝突檢測。
(火花- 38185)[SQL]解決數據不正確如果聚合函數是空的
(火花- 38318)[SQL]回歸時替換數據視圖
(火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的
(火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作
(火花- 34069)[SQL]殺死障礙任務應該尊重
SPARK_JOB_INTERRUPT_ON_CANCEL(火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳
2022年2月23日
(火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花
磚運行時的10.2(不支持)
2022年6月15日
(火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間
(火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱
(火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口
2022年6月2日
(火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係
(火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考
操作係統安全更新。
2022年5月18日
修複一個潛在的本機內存泄漏的自動加載程序。
(火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成
(火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型
(火花- 38931)[SS]創建dfs根目錄為RocksDBFileManager未知數量的鑰匙1日檢查站
操作係統安全更新。
2022年5月4日
從版本1.11.655 1.12.1899升級Java AWS SDK。
2022年4月19日
操作係統安全更新。
各種各樣的bug修複。
2022年4月6日
(火花- 38631)(核心)使用java實現un-tarring Utils.unpack
操作係統安全更新。
2022年3月22日
改變當前工作目錄的筆記本高並發性集群表訪問控製或憑據透傳啟用用戶的主目錄。以前,工作目錄
/磚/驅動程序。(火花- 38437)從數據源[SQL]寬大的序列化datetime
(火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關
(火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞
(火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()
2022年3月14日,
改善在三角洲湖為空交易事務衝突檢測。
(火花- 38185)[SQL]解決數據不正確如果聚合函數是空的
(火花- 38318)[SQL]回歸時替換數據視圖
(火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的
(火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作
(火花- 34069)[SQL]殺死障礙任務應該尊重
SPARK_JOB_INTERRUPT_ON_CANCEL(火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳
2022年2月23日
(火花- 37577)[SQL]修複ClassCastException: ArrayType不能為生成StructType修剪
2022年2月8日
(火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。
操作係統安全更新。
2022年2月1日
操作係統安全更新。
2022年1月26日
固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。
固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。
2022年1月19日
介紹了支持內聯臨時憑證複製到加載源數據不需要SQL ANY_FILE權限
Bug修複和安全改進。
2021年12月20日
固定一個罕見的bug,鑲花的列索引過濾。
磚運行時的10.1(不支持)
2022年6月15日
(火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間
(火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱
(火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口
2022年6月2日
操作係統安全更新。
2022年5月18日
修複一個潛在的本機內存泄漏的自動加載程序。
(火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成
(火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型
操作係統安全更新。
2022年4月19日
(火花- 37270)[SQL]修複可折疊推入CaseWhen分支如果elseValue是空的
操作係統安全更新。
2022年4月6日
(火花- 38631)(核心)使用java實現un-tarring Utils.unpack
操作係統安全更新。
2022年3月22日
(火花- 38437)從數據源[SQL]寬大的序列化datetime
(火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關
(火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞
(火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()
2022年3月14日,
改善在三角洲湖為空交易事務衝突檢測。
(火花- 38185)[SQL]解決數據不正確如果聚合函數是空的
(火花- 38318)[SQL]回歸時替換數據視圖
(火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的
(火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作
(火花- 34069)[SQL]殺死障礙任務應該尊重
SPARK_JOB_INTERRUPT_ON_CANCEL(火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳
2022年2月23日
(火花- 37577)[SQL]修複ClassCastException: ArrayType不能為生成StructType修剪
2022年2月8日
(火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。
操作係統安全更新。
2022年2月1日
操作係統安全更新。
2022年1月26日
固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。
固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。
2022年1月19日
介紹了支持內聯臨時憑證複製到加載源數據不需要SQL ANY_FILE權限
固定一個內存不足的問題在一定條件下與查詢結果緩存。
固定的問題
使用數據庫當用戶當前目錄切換到非默認目錄。Bug修複和安全改進。
操作係統安全更新。
2021年12月20日
固定一個罕見的bug,鑲花的列索引過濾。
磚運行時的10.0(不支持)
2022年4月19日
(火花- 37270)[SQL]修複可折疊推入CaseWhen分支如果elseValue是空的
操作係統安全更新。
2022年4月6日
(火花- 38631)(核心)使用java實現un-tarring Utils.unpack
操作係統安全更新。
2022年3月22日
(火花- 38437)從數據源[SQL]寬大的序列化datetime
(火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關
(火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞
(火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()
2022年3月14日,
改善在三角洲湖為空交易事務衝突檢測。
(火花- 38185)[SQL]解決數據不正確如果聚合函數是空的
(火花- 38318)[SQL]回歸時替換數據視圖
(火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的
(火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作
(火花- 34069)[SQL]殺死障礙任務應該尊重
SPARK_JOB_INTERRUPT_ON_CANCEL(火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳
2022年2月23日
(火花- 37577)[SQL]修複ClassCastException: ArrayType不能為生成StructType修剪
2022年2月8日
(火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。
(火花- 36905)[SQL]解決閱讀蜂巢的觀點不明確的列名
(火花- 37859)[SQL]修複問題,創建SQL表與火花JDBC 3.1與3.2不可讀的
操作係統安全更新。
2022年2月1日
操作係統安全更新。
2022年1月26日
固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。
固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。
2022年1月19日
Bug修複和安全改進。
操作係統安全更新。
2021年12月20日
固定一個罕見的bug,鑲花的列索引過濾。
2021年11月9日
引入額外的配置的旗幟,使細粒ANSI行為的控製。
2021年11月4日
固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。Apache火花連接器三角洲共享是0.2.0升級。
2021年11月30日
固定時間戳字符串解析一個時區的問題沒有一個冒號被認為是無效的。
固定一個內存不足的問題在一定條件下與查詢結果緩存。
固定的問題
使用數據庫當用戶當前目錄切換到非默認目錄。
磚運行時9.1 LTS
看到磚運行時9.1 LTS。
2023年2月28日
用戶現在可以讀和寫一些三角洲表,要求讀者版本3和作家版本7,通過使用磚運行時9.1 LTS或更高版本。成功,表功能表中列出的協議必須由磚的當前版本支持運行時。
操作係統安全更新。
2023年2月16日
操作係統安全更新。
2023年1月31日
表類型的JDBC表默認現在外部。
2023年1月18日
操作係統安全更新。
請注意
LTS意味著這個版本長期支持。看到(LTS)生命周期的長期支持。
2022年11月29日
JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時
cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。操作係統安全更新。
2022年11月15日
Apache commons-text 1.10.0升級。
操作係統安全更新。
各種各樣的bug修複。
2022年11月1日
固定的一個問題,如果一個增量表有一個用戶定義的列命名
_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。固定的問題自動加載程序,文件可以複製在同一個micro-batch當
allowOverwrites啟用了(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作係統安全更新。
2022年10月18日
操作係統安全更新。
2022年10月5日
各種各樣的bug修複。
操作係統安全更新。
2022年9月22日
用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址
(火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()
(火花- 40089)[SQL]修複排序十進製類型
(火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點
2022年9月6日
(火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()
(火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存
(火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況
2022年8月24日
(火花- 39666)[SQL] UnsafeProjection使用。創建尊重
spark.sql.codegen.factoryMode在ExpressionEncoder(火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的
操作係統安全更新。
2022年8月9日
操作係統安全更新。
2022年7月27日,
使三角洲合並操作結果一致的來源是不確定的。
(火花- 39689)支持2-chars
lineSep在CSV數據源(火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer
(火花- 37392)[SQL]推斷時修複性能缺陷產生的約束
操作係統安全更新。
2022年7月13日
(火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常
禁用自動加載器使用本地雲api對Azure目錄清單。
操作係統安全更新。
2022年7月5日
操作係統安全更新。
各種各樣的bug修複。
2022年6月15日
(火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間
2022年6月2日
(火花- 34554)[SQL]在ColumnarMap實現copy()方法
操作係統安全更新。
2022年5月18日
修複一個潛在的本機內存泄漏的自動加載程序。
從1.11.655 1.11.678升級AWS SDK版本。
(火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係
(火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成
操作係統安全更新。
2022年4月19日
操作係統安全更新。
各種各樣的bug修複。
2022年4月6日
(火花- 38631)(核心)使用java實現un-tarring Utils.unpack
操作係統安全更新。
2022年3月22日
改變當前工作目錄的筆記本高並發性集群表訪問控製或憑據透傳啟用用戶的主目錄。以前,工作目錄
/磚/驅動程序。(火花- 38437)從數據源[SQL]寬大的序列化datetime
(火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關
(火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞
(火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花
2022年3月14日,
(火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的
(火花- 34069)[SQL]殺死障礙任務應該尊重
SPARK_JOB_INTERRUPT_ON_CANCEL
2022年2月23日
(火花- 37859)[SQL]不檢查期間為元數據模式的比較
2022年2月8日
(火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。
操作係統安全更新。
2022年2月1日
操作係統安全更新。
2022年1月26日
固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。
固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。
2022年1月19日
Bug修複和安全改進。
操作係統安全更新。
2021年11月4日
固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。Apache火花連接器三角洲共享是0.2.0升級。
2021年10月20日
BigQuery連接器從0.18.1 0.22.2升級。這增加了支持BigNumeric類型。
磚運行時的9.0(不支持)
2022年2月8日
操作係統安全更新。
2022年2月1日
操作係統安全更新。
2022年1月26日
固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。
2022年1月19日
Bug修複和安全改進。
操作係統安全更新。
2021年11月4日
固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。Apache火花連接器三角洲共享是0.2.0升級。
2021年9月22日
固定一個錯誤引發數組與空字符串
2021年9月15日
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。
2021年9月8日
添加支持模式名稱(
databaseName.schemaName.tableName格式)的目標表名Azure突觸連接器。添加幾何和地理JDBC類型支持火花SQL。
(火花- 33527)[SQL]擴展解碼的功能是一致的與主流數據庫。
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。
2021年8月25日,
SQL服務器驅動程序庫是9.2.1.jre8升級。
雪花連接器是2.9.0升級。
固定失效鏈接筆記本AutoML實驗頁麵上最好的試驗。
磚運行時的8.4(不支持)
2022年1月19日
操作係統安全更新。
2021年11月4日
固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。Apache火花連接器三角洲共享是0.2.0升級。
2021年9月22日
火花JDBC驅動程序是2.6.19.1030升級
(火花- 36734)1.5.1 [SQL]升級獸人
2021年9月15日
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。操作係統安全更新。
2021年9月8日
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。
2021年8月25日,
SQL服務器驅動程序庫是9.2.1.jre8升級。
雪花連接器是2.9.0升級。
修複bug造成的憑據透傳新鋪預取優化,用戶的透傳憑證文件訪問期間可能不被發現。
2021年8月11日,
修複一個RocksDB不相容問題,防止舊磚8.4運行時。這對於自動加載器修複向前兼容性,
複製成和有狀態的流媒體應用程序。修複一個缺陷與S3路徑自動加載器使用時自動加載程序沒有
路徑選擇。修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。
修複一個缺陷在使用自動加載器與失配頭文件讀取CSV文件。如果列名稱不匹配,用null列會填寫。現在,如果提供了模式,它假定的模式是一樣的,隻保存列不匹配如果啟用了獲救的數據列。
添加一個新選項
externalDataSource到Azure突觸連接器刪除控製許可要求數據庫混合基的閱讀。
2021年7月29日
(火花- 36034)(構建)變基datetime下推過濾器拚花
(火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性
connectionProvider選項
磚運行時的8.3(不支持)
2022年1月19日
操作係統安全更新。
2021年11月4日
固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。
2021年9月22日
火花JDBC驅動程序是2.6.19.1030升級
2021年9月15日
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。操作係統安全更新。
2021年9月8日
(火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。
2021年8月25日,
SQL服務器驅動程序庫是9.2.1.jre8升級。
雪花連接器是2.9.0升級。
修複bug造成的憑據透傳新鋪預取優化,用戶的透傳憑證文件訪問期間可能不被發現。
2021年8月11日,
修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。
修複一個缺陷在使用自動加載器與失配頭文件讀取CSV文件。如果列名稱不匹配,用null列會填寫。現在,如果提供了模式,它假定的模式是一樣的,隻保存列不匹配如果啟用了獲救的數據列。
2021年7月29日
升級數據磚雪花火花2.9.0-spark-3.1連接器
(火花- 36034)(構建)變基datetime下推過濾器拚花
(火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性
connectionProvider選項
2021年7月14日
修正了在使用列名Azure突觸連接的點。
介紹了
database.schema.table格式突觸連接器。增加了提供的支持
databaseName.schemaName.tableName格式表而不是隻作為目標schemaName.tableName或的表。
2021年6月15日
磚運行時的8.2(不支持)
2021年9月22日
操作係統安全更新。
2021年9月15日
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。
2021年9月8日
(火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。
2021年8月25日,
雪花連接器是2.9.0升級。
2021年8月11日,
修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。
(火花- 36034)[SQL]變基datetime鋪下推過濾器。
2021年7月29日
升級數據磚雪花火花2.9.0-spark-3.1連接器
(火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性
connectionProvider選項
2021年7月14日
修正了在使用列名Azure突觸連接的點。
介紹了
database.schema.table格式突觸連接器。增加了提供的支持
databaseName.schemaName.tableName格式表而不是隻作為目標schemaName.tableName或的表。固定防止用戶的故障時間旅行與三角洲表老版本可用。
2021年6月15日
修複一個
NoSuchElementException錯誤在三角洲湖優化寫道,編寫大量數據時可能發生和遇到執行人損失
2021年6月7日
禁用列表謂詞下推(StartsWith, EndsWith,包含,不是(等於())和數據類型)AWS膠水不支持目錄,因為他們的膠水。
2021年5月26日,
Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作係統安全更新。
(火花- 35227)(構建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)確保主刪除執行人未能發送完成狀態
固定一個伯父問題時自動加載程序結構化流進展指標報告。
磚運行時的8.1(不支持)
2021年9月22日
操作係統安全更新。
2021年9月15日
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。
2021年9月8日
(火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。
2021年8月25日,
雪花連接器是2.9.0升級。
2021年8月11日,
修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。
(火花- 36034)[SQL]變基datetime鋪下推過濾器。
2021年7月29日
升級數據磚雪花火花2.9.0-spark-3.1連接器
(火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性
connectionProvider選項
2021年7月14日
修正了在使用列名Azure突觸連接的點。
固定防止用戶的故障時間旅行與三角洲表老版本可用。
2021年6月15日
修複一個
NoSuchElementException錯誤在三角洲湖優化寫道,編寫大量數據時可能發生和遇到執行人損失
2021年6月7日
禁用列表謂詞下推(StartsWith, EndsWith,包含,不是(等於())和數據類型)AWS膠水不支持目錄,因為他們的膠水。
2021年5月26日,
Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作係統安全更新。
(火花- 35227)(構建)更新SparkSubmit spark-packages的解析器
固定一個伯父問題時自動加載程序結構化流進展指標報告。
2021年4月27日
(火花- 34245)(核心)確保主刪除執行人未能發送完成狀態
(火花- 34856)[SQL] ANSI模式:允許鑄造複雜類型為字符串類型
(火花- 35014)修複PhysicalAggregation模式不重寫可折疊的表達式
(火花- 34769)[SQL] AnsiTypeCoercion: TypeCollection返回狹隘的轉換類型
(火花- 34614)[SQL] ANSI模式:將字符串解析錯誤布爾將拋出異常
(火花- 33794)[SQL] ANSI模式:修複NextDay拋出運行時表達式IllegalArgumentException當收到無效輸入
磚運行時的8.0(不支持)
2021年9月15日
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。
2021年8月25日,
雪花連接器是2.9.0升級。
2021年8月11日,
修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。
(火花- 36034)[SQL]變基datetime鋪下推過濾器。
2021年7月29日
(火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性
connectionProvider選項
2021年7月14日
修正了在使用列名Azure突觸連接的點。
固定防止用戶的故障時間旅行與三角洲表老版本可用。
2021年6月7日
禁用列表謂詞下推(StartsWith, EndsWith,包含,不是(等於())和數據類型)AWS膠水不支持目錄,因為他們的膠水。
2021年5月26日,
Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作係統安全更新。
(火花- 35227)(構建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)確保主刪除執行人未能發送完成狀態
2021年3月24日
(火花- 34681)[SQL]修複bug,完全外洗好的散列連接在構建左側不相等的條件
(火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序
(火花- 34613)[SQL]修複視圖不捕捉禁用提示配置
磁盤緩存是默認啟用i3en實例。
2021年3月9日
(火花- 34543)[SQL]尊重
spark.sql.caseSensitive配置解決分區規範在v1集位置(火花- 34392)[SQL]支持ZoneOffset + h: DateTimeUtils毫米。getZoneId
(UI)修複的href鏈接引發DAG可視化
(火花- 34436)[SQL]民進黨支持像任何/所有的表情
磚運行時的7.6(不支持)
2021年8月11日,
修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。
(火花- 36034)[SQL]變基datetime鋪下推過濾器。
2021年7月29日
(火花- 32998)(構建)添加能力覆蓋默認遠程回購隻與內部回購
2021年7月14日
固定防止用戶的故障時間旅行與三角洲表老版本可用。
2021年5月26日,
Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作係統安全更新。
(火花- 35227)(構建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)確保主刪除執行人未能發送完成狀態
2021年3月24日
(火花- 34768)[SQL]尊重Univocity中的默認輸入緩衝區的大小
(火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序
磁盤緩存是默認啟用i3en實例。
2021年3月9日
(僅Azure)固定一個汽車加載程序錯誤會導致NullPointerException當使用磚7.6運行時的運行一個老自動加載程序流中創建數據磚7.2運行時
(UI)修複的href鏈接引發DAG可視化
未知的葉節點在SizeInBytesOnlyStatsSparkPlanVisitor SparkPlan沒有正確處理
恢複的輸出模式
顯示數據庫[Delta][8.0, 7.6]固定計算錯誤文件大小自動邏輯
禁用過時檢查δ在磁盤高速緩存表文件
[SQL]使用正確的動態範圍時修剪建立關鍵連接提示
禁用char類型支持非sql代碼路徑
避免在DataFrameReader.schema肺水腫
修複肺水腫時EventGridClient反應沒有實體
修複一個讀關閉流錯誤在Azure自動加載程序
[SQL]不生成洗牌分區號建議啟用先進的時
2021年2月24日
升級引發BigQuery連接器v0.18,介紹各種bug修複和支持箭頭和Avro迭代器。
固定一個正確性的問題,導致火花拚花時返回不正確的結果文件的小數精度和等級是不同的火花模式。
固定閱讀失敗問題Microsoft SQL Server包含空間數據類型的表,通過添加幾何和地理JDBC類型支持火花SQL。
引入了一個新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。(火花- 34212)固定從鋪閱讀十進製數據文件有關的問題。
(火花- 34260)[SQL]修複UnresolvedException創建臨時視圖時兩次。
磚運行時的7.5(不支持)
2021年5月26日,
Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作係統安全更新。
(火花- 35227)(構建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)確保主刪除執行人未能發送完成狀態
2021年3月24日
(火花- 34768)[SQL]尊重Univocity中的默認輸入緩衝區的大小
(火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序
磁盤緩存是默認啟用i3en實例。
2021年3月9日
(僅Azure)固定一個汽車加載程序錯誤會導致NullPointerException當使用磚7.5運行時的運行一個老自動加載程序流中創建數據磚7.2運行時。
(UI)修複的href鏈接引發DAG可視化
未知的葉節點在SizeInBytesOnlyStatsSparkPlanVisitor SparkPlan沒有正確處理
恢複的輸出模式
顯示數據庫禁用過時檢查δ在磁盤高速緩存表文件
[SQL]使用正確的動態範圍時修剪建立關鍵連接提示
禁用char類型支持非sql代碼路徑
避免在DataFrameReader.schema肺水腫
修複肺水腫時EventGridClient反應沒有實體
修複一個讀關閉流錯誤在Azure自動加載程序
2021年2月24日
升級引發BigQuery連接器v0.18,介紹各種bug修複和支持箭頭和Avro迭代器。
固定一個正確性的問題,導致火花拚花時返回不正確的結果文件的小數精度和等級是不同的火花模式。
固定閱讀失敗問題Microsoft SQL Server包含空間數據類型的表,通過添加幾何和地理JDBC類型支持火花SQL。
引入了一個新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。(火花- 34212)固定從鋪閱讀十進製數據文件有關的問題。
(火花- 34260)[SQL]修複UnresolvedException創建臨時視圖時兩次。
2021年2月4日,
固定的回歸,防止增量執行查詢,設置一個全球限製等
選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。介紹了寫時間檢查蜂巢客戶機來防止腐敗的蜂巢metastore三角洲的元數據表。
固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。
2021年1月20日
固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:
這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,
df.join (df.select(美元“上校”作為“new_col”),氣孔導度)派生DataFrame排除了一些列通過選擇、groupBy或窗口。
加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
升級存儲Azure SDK 2.3.8 2.3.9。
(火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值
(火花- 33480)[SQL]更新char、varchar表的錯誤消息插入長度檢查
磚運行時7.3 LTS
看到磚運行時7.3 LTS。
2023年2月28日
操作係統安全更新。
2023年2月16日
操作係統安全更新。
2023年1月31日
表類型的JDBC表默認現在外部。
2023年1月18日
操作係統安全更新。
2022年11月29日
各種各樣的bug修複。
2022年11月15日
Apache commons-text 1.10.0升級。
操作係統安全更新。
各種各樣的bug修複。
2022年11月1日
(火花- 38542)[SQL] UnsafeHashedRelation應該序列化numKeys出來
2022年10月18日
操作係統安全更新。
2022年10月5日
各種各樣的bug修複。
操作係統安全更新。
2022年9月22日
(火花- 40089)[SQL]修複排序十進製類型
2022年9月6日
(火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存
(火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況
2022年8月24日
(火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的
操作係統安全更新。
2022年8月9日
操作係統安全更新。
2022年7月27日,
使三角洲合並操作結果一致的來源是不確定的。
操作係統安全更新。
各種各樣的bug修複。
2022年7月13日
(火花- 32680)[SQL]不預處理V2 cta與未解決的查詢
禁用自動加載器使用本地雲api對Azure目錄清單。
操作係統安全更新。
2022年7月5日
操作係統安全更新。
各種各樣的bug修複。
2022年6月2日
(火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係
操作係統安全更新。
2022年5月18日
從1.11.655 1.11.678升級AWS SDK版本。
操作係統安全更新。
各種各樣的bug修複。
2022年4月19日
操作係統安全更新。
各種各樣的bug修複。
2022年4月6日
操作係統安全更新。
各種各樣的bug修複。
2022年3月14日,
刪除從log4j jar 1.2.17脆弱類
各種各樣的bug修複。
2022年2月23日
(火花- 37859)[SQL]不檢查期間為元數據模式的比較
2022年2月8日
升級Ubuntu 1.8.0.312 JDK。
操作係統安全更新。
2022年2月1日
操作係統安全更新。
2022年1月26日
固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。
2022年1月19日
從7.3毫升LTS Conda刪除默認通道
操作係統安全更新。
2021年12月7日
操作係統安全更新。
2021年11月4日
固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。
2021年9月15日
固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOException
java.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。操作係統安全更新。
2021年9月8日
(火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。
2021年8月25日,
雪花連接器是2.9.0升級。
2021年7月29日
(火花- 36034)(構建)變基datetime下推過濾器拚花
(火花- 34508)(構建)跳過
HiveExternalCatalogVersionsSuite如果網絡是
2021年7月14日
介紹了
database.schema.table格式Azure突觸連接器。增加了提供的支持
databaseName.schemaName.tableName格式表而不是隻作為目標schemaName.tableName或的表。固定防止用戶的故障時間旅行與三角洲表老版本可用。
2021年6月15日
修複一個
NoSuchElementException錯誤在三角洲湖優化寫道,編寫大量數據時可能發生和遇到執行人損失
Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作係統安全更新。
(火花- 35227)(構建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)確保主刪除執行人未能發送完成狀態
(火花- 35045)[SQL]添加一個內部選項控製在univocity輸入緩衝區
2021年3月24日
(火花- 34768)[SQL]尊重Univocity中的默認輸入緩衝區的大小
(火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序
(火花- 33118)[SQL]創建臨時表失敗的位置
磁盤緩存是默認啟用i3en實例。
2021年3月9日
Azure的Azure Blob文件係統驅動程序更新數據存儲Gen2湖現在是默認啟用。它將多個穩定的改進。
修複Windows上的路徑分隔符
databricks-connectget-jar-dir(UI)修複的href鏈接引發DAG可視化
[DBCONNECT]添加支持FlatMapCoGroupsInPandas磚7.3連接
恢複的輸出模式
顯示數據庫[SQL]使用正確的動態範圍時修剪建立關鍵連接提示
禁用過時檢查δ在磁盤高速緩存表文件
[SQL]不生成洗牌分區號建議橫穿時啟用
2021年2月24日
升級引發BigQuery連接器v0.18,介紹各種bug修複和支持箭頭和Avro迭代器。
固定一個正確性的問題,導致火花拚花時返回不正確的結果文件的小數精度和等級是不同的火花模式。
固定閱讀失敗問題Microsoft SQL Server包含空間數據類型的表,通過添加幾何和地理JDBC類型支持火花SQL。
引入了一個新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。(火花- 34212)固定從鋪閱讀十進製數據文件有關的問題。
(火花- 33579)(UI)修複執行人代理背後的空白頁。
(火花- 20044)火花界麵(UI)支持的背後前端反向代理使用路徑前綴。
(火花- 33277)[PYSPARK] [SQL]使用ContextAwareIterator任務結束後停止消費。
2021年2月4日,
固定的回歸,防止增量執行查詢,設置一個全球限製等
選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。
2021年1月20日
固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:
這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,
df.join (df.select(美元“上校”作為“new_col”),氣孔導度)派生DataFrame排除了一些列通過選擇、groupBy或窗口。
加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
操作係統安全更新。
(火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值
(火花- 33677)[SQL]如果模式包含任何escapeChar跳過LikeSimplification規則
(火花- 33592)(毫升)(PYTHON) Pyspark毫升驗證器參數estimatorParamMaps儲蓄和重載後可能會丟失
(火花- 33071)[火花- 33536][SQL]避免改變dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()
2020年12月8日
(火花- 33587)(核心)殺死執行人在嵌套的致命錯誤
(火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串
(火花- 33316)[SQL]支持用戶提供nullable Avro模式非空催化劑Avro寫作模式
火花工作啟動使用磚連接可以無限期地掛了
遺囑執行人TaskRunner美元。anonfun copySessionState美元在執行器堆棧跟蹤操作係統安全更新。
2020年11月20日
(火花- 33404)[SQL][3.0]修正不正確的結果
date_trunc表達式(火花- 33339)(PYTHON) Pyspark應用程序將掛由於非異常錯誤
(火花- 33183)[SQL][熱修複補丁]修複優化規則EliminateSorts和添加一個物理規則刪除冗餘
(火花- 33371)[PYTHON][3.0]更新設置。py和Python 3.9測試
(火花- 33391)[SQL] element_at CreateArray不尊重一個建立索引。
(火花- 33306)[SQL]時區時需要把日期字符串
(火花- 33260)[SQL]從排序方式時SortExec流修正不正確的結果
2020年的11月5日
2020年10月13日
操作係統安全更新。
你可以讀和寫DBFS使用FUSE掛載在/ DBFS /在高並發證書透傳啟用集群。普通坐騎但坐騎,需要支持透傳憑證還不支持。
(火花- 32999)[SQL]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode
(火花- 32585)[SQL]支持ScalaReflection scala枚舉
固定在保險絲安裝包含文件名清單目錄無效的XML字符
保險絲不再使用ListMultipartUploads山
2020年9月29日,
(火花- 32718)[SQL]刪除不必要的關鍵詞為間隔單位
(火花- 32635)[SQL]修複可折疊的傳播
添加一個新的配置
spark.shuffle.io.decoder.consolidateThreshold。設置配置值Long.MAX_VALUE跳過的整合網狀的framebuffer,從而防止java.lang.IndexOutOfBoundsException在角落的情況下。
2023年2月28日
操作係統安全更新。
2023年2月16日
操作係統安全更新。
2023年1月31日
各種各樣的bug修複。
2023年1月18日
操作係統安全更新。
2022年11月29日
操作係統安全更新。
2022年11月15日
操作係統安全更新。
各種各樣的bug修複。
2022年11月1日
操作係統安全更新。
2022年10月18日
操作係統安全更新。
2022年10月5日
操作係統安全更新。
2022年8月24日
操作係統安全更新。
2022年8月9日
操作係統安全更新。
2022年7月27日,
操作係統安全更新。
2022年7月5日
操作係統安全更新。
2022年6月2日
操作係統安全更新。
2022年5月18日
操作係統安全更新。
2022年4月19日
操作係統安全更新。
各種各樣的bug修複。
2022年4月6日
操作係統安全更新。
各種各樣的bug修複。
2022年3月14日,
各種各樣的bug修複。
2022年2月23日
各種各樣的bug修複。
2022年2月8日
升級Ubuntu 1.8.0.312 JDK。
操作係統安全更新。
2022年2月1日
操作係統安全更新。
2022年1月19日
操作係統安全更新。
2021年9月22日
操作係統安全更新。
2021年4月30日
操作係統安全更新。
(火花- 35227)(構建)更新SparkSubmit spark-packages的解析器
2021年1月12日
操作係統安全更新。
2020年12月8日
(火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串
操作係統安全更新。
2020年11月20日
2020年11月3日
從1.8.0_252 1.8.0_265升級Java版本。
修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()
2020年10月13日
操作係統安全更新。
磚6.4運行時擴展支持(不支持)
看到磚運行時的6.4(不支持)和磚6.4運行時擴展支持(不支持)。
2022年7月5日
操作係統安全更新。
各種各樣的bug修複。
2022年6月2日
操作係統安全更新。
2022年5月18日
操作係統安全更新。
2022年4月19日
操作係統安全更新。
各種各樣的bug修複。
2022年4月6日
操作係統安全更新。
各種各樣的bug修複。
2022年3月14日,
刪除從log4j jar 1.2.17脆弱類
各種各樣的bug修複。
2022年2月23日
各種各樣的bug修複。
2022年2月8日
升級Ubuntu 1.8.0.312 JDK。
操作係統安全更新。
2022年2月1日
操作係統安全更新。
2022年1月26日
固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。
2022年1月19日
操作係統安全更新。
2021年12月8日
操作係統安全更新。
2021年9月22日
操作係統安全更新。
2021年6月15日
(火花- 35576)[SQL]編輯中的敏感信息設置命令的結果
2021年6月7日
添加一個新的配置
spark.sql.maven.additionalRemoteRepositories,一個用逗號分隔的字符串遠程maven配置可選的額外的鏡子。默認值https://maven-central.storage-download.googleapis.com/maven2/。
2021年4月30日
操作係統安全更新。
(火花- 35227)(構建)更新SparkSubmit spark-packages的解析器
2021年4月6日
固定重試添加到S3客戶解決連接複位問題。
2021年3月24日
磁盤緩存是默認啟用i3en實例。
2021年3月9日
端口hadoop - 17215 Azure Blob文件係統驅動程序(支持條件覆蓋)。
修複Windows上的路徑分隔符
databricks-connectget-jar-dir增加了對蜂巢的支持metastore 2.3.5版本,2.3.6,2.3.7
泄漏後箭頭“totalResultsCollected”報告錯誤
2021年2月24日
引入了一個新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。
2021年2月4日,
固定的回歸,防止增量執行查詢,設置一個全球限製等
選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。
2021年1月12日
操作係統安全更新。
2020年12月8日
(火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串
(火花- 33183)[SQL]修複優化規則EliminateSorts和添加一個物理規則刪除冗餘
(運行時6.4毫升GPU)我們之前安裝一個不正確的版本(NCCL 2.7.8-1 + cuda11.1)。這個版本糾正它2.4.8-1 + cuda10.0兼容CUDA 10.0。
操作係統安全更新。
2020年11月20日
(火花- 33260)[SQL]從排序方式時SortExec流修正不正確的結果
(火花- 32635)[SQL]修複可折疊的傳播
2020年11月3日
從1.8.0_252 1.8.0_265升級Java版本。
修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()
修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。
2020年10月13日
操作係統安全更新。
(火花- 32999)[SQL][2.4]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode
固定在保險絲安裝包含文件名清單目錄無效的XML字符
保險絲不再使用ListMultipartUploads山
2020年9月24日
修正了之前的限製標準集群上,透傳仍將限製用戶使用文件係統實現。現在用戶可以訪問本地文件係統沒有限製。
操作係統安全更新。
2020年9月8日
創建一個新的參數Azure突觸分析,
maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。更新存儲Azure SDK 8.6.4和啟用TCP保持活著的連接由WASB司機
2020年8月25日,
固定在self-merge模糊屬性的決議
2020年8月18日
(火花- 32431)[SQL]檢查重複的嵌套列從內置數據源讀取
固定一個SQS連接器在使用Trigger.Once競態條件。
2020年8月11日,
(火花- 28676)(核心)從ContextCleaner避免過度伐木
2020年8月3日
您現在可以使用集群passthrough-enabled LDA變換函數。
操作係統安全更新。
2020年7月7日
從1.8.0_232 1.8.0_252升級Java版本。
2020年4月21日
(火花- 31312)[SQL] HiveFunctionWrapper UDF實例的緩存類實例
2020年4月7日
解決一個問題與熊貓udf不工作PyArrow 0.15.0以上,我們添加了一個環境變量(
ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。
2020年3月10日
優化自動定量現在默認情況下通用集群上使用保費計劃及以上。
雪花連接器(
spark-snowflake_2.11)包含在磚2.5.9運行時更新版本。snowflake-jdbc是3.12.0更新版本。
磚運行時5.5 LTS(不支持)
看到磚運行時5.5 LTS(不支持)和磚5.5運行時擴展支持(不支持)。
2021年12月8日
操作係統安全更新。
2021年9月22日
操作係統安全更新。
2021年8月25日,
下調了一些以前在5.5 ML升級python包擴展支持版本保持更好的平價5.5毫升LTS(現在棄用)。[_]/發行說明/運行/ 5.5 xml.md)更新兩個版本之間的差異。
2021年6月15日
(火花- 35576)[SQL]編輯中的敏感信息設置命令的結果
2021年6月7日
添加一個新的配置
spark.sql.maven.additionalRemoteRepositories,一個用逗號分隔的字符串遠程maven配置可選的額外的鏡子。默認值https://maven-central.storage-download.googleapis.com/maven2/。
2021年4月30日
操作係統安全更新。
(火花- 35227)(構建)更新SparkSubmit spark-packages的解析器
2021年4月6日
固定重試添加到S3客戶解決連接複位問題。
2021年3月24日
磁盤緩存是默認啟用i3en實例。
2021年3月9日
端口hadoop - 17215 Azure Blob文件係統驅動程序(支持條件覆蓋)。
2021年2月24日
引入了一個新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。
2021年1月12日
操作係統安全更新。
2020年12月8日
(火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串
操作係統安全更新。
2020年11月20日
(火花- 33260)[SQL]從排序方式時SortExec流修正不正確的結果
(火花- 32635)[SQL]修複可折疊的傳播
2020年10月29日
從1.8.0_252 1.8.0_265升級Java版本。
修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()
修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。
2020年10月13日
操作係統安全更新。
(火花- 32999)[SQL][2.4]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode
2020年9月24日
操作係統安全更新。
2020年9月8日
創建一個新的參數Azure突觸分析,
maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。
2020年8月18日
(火花- 32431)[SQL]檢查重複的嵌套列從內置數據源讀取
固定一個SQS連接器在使用Trigger.Once競態條件。
2020年8月11日,
(火花- 28676)(核心)從ContextCleaner避免過度伐木
2020年8月3日
操作係統安全更新
2020年7月7日
從1.8.0_232 1.8.0_252升級Java版本。
2020年4月21日
(火花- 31312)[SQL] HiveFunctionWrapper UDF實例的緩存類實例
2020年4月7日
解決一個問題與熊貓udf不工作PyArrow 0.15.0以上,我們添加了一個環境變量(
ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。
2020年3月25日
雪花連接器(
spark-snowflake_2.11)包含在磚2.5.9運行時更新版本。snowflake-jdbc是3.12.0更新版本。
2020年3月10日
工作產出,比如日誌輸出發送到stdout, 20 mb的大小限製。如果總輸出有一個更大的規模,將被取消和標記為失敗。為了避免遇到這個限製,可以防止stdout從司機通過設置回來
spark.databricks.driver.disableScalaOutput火花配置真正的。默認情況下,標誌值假。國旗控製單元輸出Scala JAR和Scala筆記本工作。如果啟用了國旗,引發不工作執行結果返回給客戶機。國旗並不影響數據集群中所寫的日誌文件。設置這個標誌建議隻對自動化集群JAR的工作,因為它將禁用筆記本的結果。
2020年2月18日
(火花- 24783)[SQL] spark.sql.shuffle。分區= 0應該拋出異常
代有憑據透傳與ADLS性能下降由於不正確的線程本地處理當ADLS端啟用預取。這個版本禁用ADLS Gen2預取時啟用憑據透傳,直到我們有一個適當的修複。
2020年1月28日,
固定一個bug S3AFileSystem,
fs.isDirectory(路徑)或fs.getFileStatus(路徑).isDirectory ()可能有時不正確返回假。該錯誤將在路徑的清單awss3list-objects-v2——前綴路徑/——max-keys1——分隔符/反應沒有鑰匙和常見的前綴,但是isTruncated=真正的。這對目錄下可能發生許多對象被刪除和版本啟用。
(火花- 30447)[SQL]常數nullability傳播問題。
2020年1月14日,
從1.8.0_222 1.8.0_232升級Java版本。
2019年11月19日
(火花- 29743)[SQL]示例應該設定needCopyResult真實如果孩子的needCopyResult是正確的
從3.6.0意外升級到3.6.1 R版本。我們回到3.6.0下調了它。
2019年的11月5日
從1.8.0_212 1.8.0_222升級Java版本。
2019年10月23日
(火花- 29244)(核心)防止頁麵再次在BytesToBytesMap自由釋放
2019年10月8日
服務器端更改讓辛巴Apache火花ODBC驅動程序重新連接後,繼續在抓取結果(需要連接失敗辛巴Apache火花首款ODBC驅動程序版本)。
固定一個問題影響使用
優化命令啟用了ACL表集群。固定的一個問題,
pyspark.ml圖書館會失敗因為Scala UDF禁止錯誤表ACL啟用集群。固定NullPointerException WASB檢查錯誤代碼時客戶端。
2019年9月24日
提高穩定性的鑲花的作家。
固定儲蓄的問題查詢取消它開始執行可能會困在開始之前的狀態。
2019年9月10日
BytesToBytesMap添加線程安全的迭代器
(火花- 27992)(火花- 28881)Python允許加入連接線程傳播錯誤
固定一個bug影響某些全球聚合查詢。
改進的憑據修訂。
(火花- 27330)[SS]支持在foreach任務中止的作家
(火花- 28642)顯示創建表中隱藏的憑證
(火花- 28699)[SQL]禁用使用基數排序ShuffleExchangeExec重新分配情況
2019年8月27日,
(火花- 20906)[SQL] API允許用戶指定的模式來avro_與模式注冊表
(火花- 27838)[SQL]支持用戶提供非空avro模式為nullable催化劑沒有任何零記錄
改善三角洲湖時間旅行
影響某些固定的一個問題
變換表達式支持廣播變量處理隔離時啟用
2019年8月13日,
三角洲流源應該檢查表的最新協議
(火花- 28260)增加ExecutionState關閉狀態
(火花- 28489)[SS] KafkaOffsetRangeCalculator修複一個缺陷。getRanges可能會抵消下降
2019年7月30日
(火花- 28015)[SQL]檢查stringToDate()消耗整個輸入yyyy和yyyy - m [m]格式
(火花- 28308)(核心)CalendarInterval次秒級前應該填補一部分解析
(火花- 27485)EnsureRequirements。重新排序應該優雅地處理重複的表達式
(火花- 28355)(核心)(PYTHON)使用火花設計及其閾值的UDF壓縮的廣播
磚運行時的7.4(不支持)
2021年4月30日
操作係統安全更新。
(火花- 35227)(構建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)確保主刪除執行人未能發送完成狀態
(火花- 35045)[SQL]添加一個內部選項來控製輸入緩衝區univocity和CSV輸入緩衝區大小的配置
2021年3月24日
(火花- 34768)[SQL]尊重Univocity中的默認輸入緩衝區的大小
(火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序
磁盤緩存是默認啟用i3en實例。
2021年3月9日
Azure的Azure Blob文件係統驅動程序更新數據存儲Gen2湖現在是默認啟用。它將多個穩定的改進。
[es - 67926] [UI]修複的href鏈接引發DAG可視化
[es - 65064]恢複的輸出模式
顯示數據庫(sc - 70522] [SQL]使用正確的動態範圍時修剪建立關鍵連接提示
(sc - 35081)禁用過時檢查δ在磁盤高速緩存表文件
(sc - 70640)修複肺水腫時EventGridClient反應沒有實體
(sc - 70220] [SQL]不生成洗牌分區號建議啟用先進的時
2021年2月24日
升級引發BigQuery連接器v0.18,介紹各種bug修複和支持箭頭和Avro迭代器。
固定一個正確性的問題,導致火花拚花時返回不正確的結果文件的小數精度和等級是不同的火花模式。
固定閱讀失敗問題Microsoft SQL Server包含空間數據類型的表,通過添加幾何和地理JDBC類型支持火花SQL。
引入了一個新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。(火花- 34212)固定從鋪閱讀十進製數據文件有關的問題。
(火花- 33579)(UI)修複執行人代理背後的空白頁。
(火花- 20044)火花界麵(UI)支持的背後前端反向代理使用路徑前綴。
(火花- 33277)[PYSPARK] [SQL]使用ContextAwareIterator任務結束後停止消費。
2021年2月4日,
固定的回歸,防止增量執行查詢,設置一個全球限製等
選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。
2021年1月20日
固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:
這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,
df.join (df.select(美元“上校”作為“new_col”),氣孔導度)派生DataFrame排除了一些列通過選擇、groupBy或窗口。
加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
操作係統安全更新。
(火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值
(火花- 33677)[SQL]如果模式包含任何escapeChar跳過LikeSimplification規則
(火花- 33071)[火花- 33536][SQL]避免改變dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()
2020年12月8日
(火花- 33587)(核心)殺死執行人在嵌套的致命錯誤
(火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串
(火花- 33316)[SQL]支持用戶提供nullable Avro模式非空催化劑Avro寫作模式
操作係統安全更新。
2020年11月20日
(火花- 33404)[SQL][3.0]修正不正確的結果
date_trunc表達式(火花- 33339)(PYTHON) Pyspark應用程序將掛由於非異常錯誤
(火花- 33183)[SQL][熱修複補丁]修複優化規則EliminateSorts和添加一個物理規則刪除冗餘
(火花- 33371)[PYTHON][3.0]更新設置。py和Python 3.9測試
(火花- 33391)[SQL] element_at CreateArray不尊重一個建立索引。
(火花- 33306)[SQL]時區時需要把日期字符串
(火花- 33260)[SQL]從排序方式時SortExec流修正不正確的結果
(火花- 33272)[SQL]修剪QueryPlan.transformUpWithNewOutput屬性映射
磚運行時的7.2(不支持)
2021年2月4日,
固定的回歸,防止增量執行查詢,設置一個全球限製等
選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。
2021年1月20日
固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:
這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,
df.join (df.select(美元“上校”作為“new_col”),氣孔導度)派生DataFrame排除了一些列通過選擇、groupBy或窗口。
加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
操作係統安全更新。
(火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值
(火花- 33677)[SQL]如果模式包含任何escapeChar跳過LikeSimplification規則
(火花- 33071)[火花- 33536][SQL]避免改變dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()
2020年12月8日
(火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串
(火花- 33404)[SQL]修正不正確的結果
date_trunc表達式(火花- 33339)(PYTHON) Pyspark應用程序將掛由於非異常錯誤
(火花- 33183)[SQL]修複優化規則EliminateSorts和添加一個物理規則刪除冗餘
(火花- 33391)[SQL] element_at CreateArray不尊重一個建立索引。
操作係統安全更新。
2020年11月20日
(火花- 33306)[SQL]時區時需要把日期字符串
(火花- 33260)[SQL]從排序方式時SortExec流修正不正確的結果
2020年11月3日
從1.8.0_252 1.8.0_265升級Java版本。
修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()
修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。
2020年10月13日
操作係統安全更新。
(火花- 32999)[SQL]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode
固定在保險絲安裝包含文件名清單目錄無效的XML字符
保險絲不再使用ListMultipartUploads山
2020年9月29日,
(火花- 28863)[SQL] [WARMFIX] AlreadyOptimized介紹防止V1FallbackWriters再分析
(火花- 32635)[SQL]修複可折疊的傳播
添加一個新的配置
spark.shuffle.io.decoder.consolidateThreshold。設置配置值Long.MAX_VALUE跳過的整合網狀的framebuffer,從而防止java.lang.IndexOutOfBoundsException在角落的情況下。
2020年9月24日
(火花- 32764)[SQL] -0.0應該等於0.0
(火花- 32753)[SQL]隻複製標簽節點改造計劃時沒有標簽
(火花- 32659)[SQL]修複數據插入動態分區修剪問題非原子類型
操作係統安全更新。
2020年9月8日
創建一個新的參數Azure突觸分析,
maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。
磚運行時的7.1(不支持)
2021年2月4日,
固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。
2021年1月20日
固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:
這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,
df.join (df.select(美元“上校”作為“new_col”),氣孔導度)派生DataFrame排除了一些列通過選擇、groupBy或窗口。
加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
操作係統安全更新。
(火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值
(火花- 33677)[SQL]如果模式包含任何escapeChar跳過LikeSimplification規則
(火花- 33071)[火花- 33536][SQL]避免改變dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()
2020年12月8日
(火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串
火花工作啟動使用磚連接可以無限期地掛了
遺囑執行人TaskRunner美元。anonfun copySessionState美元在執行器堆棧跟蹤操作係統安全更新。
2020年11月20日
(火花- 33404)[SQL][3.0]修正不正確的結果
date_trunc表達式(火花- 33339)(PYTHON) Pyspark應用程序將掛由於非異常錯誤
(火花- 33183)[SQL][熱修複補丁]修複優化規則EliminateSorts和添加一個物理規則刪除冗餘
(火花- 33371)[PYTHON][3.0]更新設置。py和Python 3.9測試
(火花- 33391)[SQL] element_at CreateArray不尊重一個建立索引。
(火花- 33306)[SQL]時區時需要把日期字符串
2020年11月3日
從1.8.0_252 1.8.0_265升級Java版本。
修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()
修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。
2020年10月13日
操作係統安全更新。
(火花- 32999)[SQL]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode
固定在保險絲安裝包含文件名清單目錄無效的XML字符
保險絲不再使用ListMultipartUploads山
2020年9月29日,
(火花- 28863)[SQL] [WARMFIX] AlreadyOptimized介紹防止V1FallbackWriters再分析
(火花- 32635)[SQL]修複可折疊的傳播
添加一個新的配置
spark.shuffle.io.decoder.consolidateThreshold。設置配置值Long.MAX_VALUE跳過的整合網狀的framebuffer,從而防止java.lang.IndexOutOfBoundsException在角落的情況下。
2020年9月24日
(火花- 32764)[SQL] -0.0應該等於0.0
(火花- 32753)[SQL]隻複製標簽節點改造計劃時沒有標簽
(火花- 32659)[SQL]修複數據插入動態分區修剪問題非原子類型
操作係統安全更新。
2020年9月8日
創建一個新的參數Azure突觸分析,
maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。
2020年8月25日,
(火花- 32159)[SQL]修複之間的集成
聚合器[[_]數組,_,_)和UnresolvedMapObjects(火花- 32559)[SQL]修複邏輯
UTF8String.toInt / toLong,沒有正確處理非ascii字符(火花- 32543)[R]刪除
箭頭:as_tibble使用SparkR(火花- 32091)(核心)忽略超時錯誤刪除塊時失去的遺囑執行人
固定一個問題影響到Azure突觸連接器與MSI憑證
固定在self-merge模糊屬性的決議
2020年8月18日
(火花- 32594)插入的日期[SQL]修複序列化蜂巢表
(火花- 32237)[SQL]解決CTE中的提示
(火花- 32431)[SQL]檢查重複的嵌套列從內置數據源讀取
(火花- 32467)(UI)避免編碼兩次https URL重定向
固定一個SQS連接器在使用Trigger.Once競態條件。
2020年8月11日,
(火花- 32280)(火花- 32372)[SQL] ResolveReferences.dedupRight應該隻重寫屬性衝突的祖先節點計劃
(火花- 32234)[SQL]火花SQL命令選擇獸人表上是失敗的
2020年8月3日
您現在可以使用集群passthrough-enabled LDA變換函數。
磚運行時的7.0(不支持)
2021年2月4日,
固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。
2021年1月20日
固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:
這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,
df.join (df.select(美元“上校”作為“new_col”),氣孔導度)派生DataFrame排除了一些列通過選擇、groupBy或窗口。
加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
操作係統安全更新。
(火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值
(火花- 33677)[SQL]如果模式包含任何escapeChar跳過LikeSimplification規則
(火花- 33071)[火花- 33536][SQL]避免改變dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()
2020年12月8日
(火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串
(火花- 33404)[SQL]修正不正確的結果
date_trunc表達式(火花- 33339)(PYTHON) Pyspark應用程序將掛由於非異常錯誤
(火花- 33183)[SQL]修複優化規則EliminateSorts和添加一個物理規則刪除冗餘
(火花- 33391)[SQL] element_at CreateArray不尊重一個建立索引。
操作係統安全更新。
2020年11月20日
(火花- 33306)[SQL]時區時需要把日期字符串
2020年11月3日
從1.8.0_252 1.8.0_265升級Java版本。
修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()
修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。
2020年10月13日
操作係統安全更新。
(火花- 32999)[SQL]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode
固定在保險絲安裝包含文件名清單目錄無效的XML字符
保險絲不再使用ListMultipartUploads山
2020年9月29日,
(火花- 28863)[SQL] [WARMFIX] AlreadyOptimized介紹防止V1FallbackWriters再分析
(火花- 32635)[SQL]修複可折疊的傳播
添加一個新的配置
spark.shuffle.io.decoder.consolidateThreshold。設置配置值Long.MAX_VALUE跳過的整合網狀的framebuffer,從而防止java.lang.IndexOutOfBoundsException在角落的情況下。
2020年9月24日
(火花- 32764)[SQL] -0.0應該等於0.0
(火花- 32753)[SQL]隻複製標簽節點改造計劃時沒有標簽
(火花- 32659)[SQL]修複數據插入動態分區修剪問題非原子類型
操作係統安全更新。
2020年9月8日
創建一個新的參數Azure突觸分析,
maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。
2020年8月25日,
(火花- 32159)[SQL]修複之間的集成
聚合器[[_]數組,_,_)和UnresolvedMapObjects(火花- 32559)[SQL]修複邏輯
UTF8String.toInt / toLong,沒有正確處理非ascii字符(火花- 32543)[R]刪除
箭頭:as_tibble使用SparkR(火花- 32091)(核心)忽略超時錯誤刪除塊時失去的遺囑執行人
固定一個問題影響到Azure突觸連接器與MSI憑證
固定在self-merge模糊屬性的決議
2020年8月18日
(火花- 32594)插入的日期[SQL]修複序列化蜂巢表
(火花- 32237)[SQL]解決CTE中的提示
(火花- 32431)[SQL]檢查重複的嵌套列從內置數據源讀取
(火花- 32467)(UI)避免編碼兩次https URL重定向
固定一個SQS連接器在使用Trigger.Once競態條件。
2020年8月11日,
(火花- 32280)(火花- 32372)[SQL] ResolveReferences.dedupRight應該隻重寫屬性衝突的祖先節點計劃
(火花- 32234)[SQL]火花SQL命令選擇獸人表上是失敗的
您現在可以使用集群passthrough-enabled LDA變換函數。
磚運行時的6.6(不支持)
2020年11月20日
(火花- 33260)[SQL]從排序方式時SortExec流修正不正確的結果
(火花- 32635)[SQL]修複可折疊的傳播
2020年11月3日
從1.8.0_252 1.8.0_265升級Java版本。
修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()
修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。
2020年10月13日
操作係統安全更新。
(火花- 32999)[SQL][2.4]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode
固定在保險絲安裝包含文件名清單目錄無效的XML字符
保險絲不再使用ListMultipartUploads山
2020年9月24日
操作係統安全更新。
2020年9月8日
創建一個新的參數Azure突觸分析,
maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。更新存儲Azure SDK 8.6.4和啟用TCP保持活著的連接由WASB司機
2020年8月25日,
固定在self-merge模糊屬性的決議
2020年8月18日
(火花- 32431)[SQL]檢查重複的嵌套列從內置數據源讀取
固定一個SQS連接器在使用Trigger.Once競態條件。
2020年8月11日,
(火花- 28676)(核心)從ContextCleaner避免過度伐木
(火花- 31967)(UI)下調vis.js 4.21.0修複工作界麵加載時間回歸
2020年8月3日
您現在可以使用集群passthrough-enabled LDA變換函數。
操作係統安全更新。
磚運行時的6.5(不支持)
2020年9月24日
修正了之前的限製標準集群上,透傳仍將限製用戶使用文件係統實現。現在用戶可以訪問本地文件係統沒有限製。
操作係統安全更新。
2020年9月8日
創建一個新的參數Azure突觸分析,
maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。更新存儲Azure SDK 8.6.4和啟用TCP保持活著的連接由WASB司機
2020年8月25日,
固定在self-merge模糊屬性的決議
2020年8月18日
(火花- 32431)[SQL]檢查重複的嵌套列從內置數據源讀取
固定一個SQS連接器在使用Trigger.Once競態條件。
2020年8月11日,
(火花- 28676)(核心)從ContextCleaner避免過度伐木
2020年8月3日
您現在可以使用集群passthrough-enabled LDA變換函數。
操作係統安全更新。
2020年7月7日
從1.8.0_242 1.8.0_252升級Java版本。
2020年4月21日
(火花- 31312)[SQL] HiveFunctionWrapper UDF實例的緩存類實例
磚運行時的6.3(不支持)
2020年7月7日
從1.8.0_232 1.8.0_252升級Java版本。
2020年4月21日
(火花- 31312)[SQL] HiveFunctionWrapper UDF實例的緩存類實例
2020年4月7日
解決一個問題與熊貓udf不工作PyArrow 0.15.0以上,我們添加了一個環境變量(
ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。
2020年3月10日
雪花連接器(
spark-snowflake_2.11)包含在磚2.5.9運行時更新版本。snowflake-jdbc是3.12.0更新版本。
2020年2月18日
代有憑據透傳與ADLS性能下降由於不正確的線程本地處理當ADLS端啟用預取。這個版本禁用ADLS Gen2預取時啟用憑據透傳,直到我們有一個適當的修複。
2020年2月11日
固定一個錯誤在我們的S3客戶機(S3AFileSystem.java),即
fs.isDirectory(路徑)或fs.getFileStatus(路徑).isDirectory ()可能有時不正確返回假。該錯誤將在路徑的清單awss3list-objects-v2——前綴路徑/——max-keys1——分隔符/反應沒有鑰匙和常見的前綴,但是isTruncated=真正的。這對目錄下可能發生許多對象被刪除和版本啟用。
(火花- 24783)[SQL] spark.sql.shuffle。分區= 0應該拋出異常
(火花- 30447)[SQL]常數nullability傳播問題
(火花- 28152)[SQL]添加一個配置老遺產MsSqlServerDialect數值映射
Allowlisted覆蓋函數,以便MLModels延伸MLWriter可以調用該函數。
磚運行時的6.2(不支持)
2020年4月21日
(火花- 31312)[SQL] HiveFunctionWrapper UDF實例的緩存類實例
2020年4月7日
解決一個問題與熊貓udf不工作PyArrow 0.15.0以上,我們添加了一個環境變量(
ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。
2020年3月25日
工作產出,比如日誌輸出發送到stdout, 20 mb的大小限製。如果總輸出有一個更大的規模,將被取消和標記為失敗。為了避免遇到這個限製,可以防止stdout從司機通過設置回來
spark.databricks.driver.disableScalaOutput火花配置真正的。默認情況下,標誌值假。國旗控製單元輸出Scala JAR和Scala筆記本工作。如果啟用了國旗,引發不工作執行結果返回給客戶機。國旗並不影響數據集群中所寫的日誌文件。設置這個標誌建議隻對自動化集群JAR的工作,因為它將禁用筆記本的結果。
2020年3月10日
雪花連接器(
spark-snowflake_2.11)包含在磚2.5.9運行時更新版本。snowflake-jdbc是3.12.0更新版本。
2020年2月18日
(火花- 24783)[SQL] spark.sql.shuffle。分區= 0應該拋出異常
代有憑據透傳與ADLS性能下降由於不正確的線程本地處理當ADLS端啟用預取。這個版本禁用ADLS Gen2預取時啟用憑據透傳,直到我們有一個適當的修複。
2020年1月28日,
固定一個bug S3AFileSystem,
fs.isDirectory(路徑)或fs.getFileStatus(路徑).isDirectory ()可能有時不正確返回假。該錯誤將在路徑的清單awss3list-objects-v2——前綴路徑/——max-keys1——分隔符/反應沒有鑰匙和常見的前綴,但是isTruncated=真正的。這對目錄下可能發生許多對象被刪除和版本啟用。
Allowlisted毫升模型作家覆蓋函數為集群支持憑證透傳,所以這種模式節省可以使用覆蓋模式憑證透傳集群。
(火花- 30447)[SQL]常數nullability傳播問題。
(火花- 28152)[SQL]添加一個配置老遺產MsSqlServerDialect數值映射。
2020年1月14日,
從1.8.0_222 1.8.0_232升級Java版本。
2019年12月10日,
(火花- 29904)[SQL]解析在微秒時間戳精度通過JSON或CSV數據來源。
磚運行時的6.1(不支持)
2020年4月7日
解決一個問題與熊貓udf不工作PyArrow 0.15.0以上,我們添加了一個環境變量(
ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。
2020年3月25日
工作產出,比如日誌輸出發送到stdout, 20 mb的大小限製。如果總輸出有一個更大的規模,將被取消和標記為失敗。為了避免遇到這個限製,可以防止stdout從司機通過設置回來
spark.databricks.driver.disableScalaOutput火花配置真正的。默認情況下,標誌值假。國旗控製單元輸出Scala JAR和Scala筆記本工作。如果啟用了國旗,引發不工作執行結果返回給客戶機。國旗並不影響數據集群中所寫的日誌文件。設置這個標誌建議隻對自動化集群JAR的工作,因為它將禁用筆記本的結果。
2020年3月10日
雪花連接器(
spark-snowflake_2.11)包含在磚2.5.9運行時更新版本。snowflake-jdbc是3.12.0更新版本。
2020年2月18日
(火花- 24783)[SQL] spark.sql.shuffle。分區= 0應該拋出異常
代有憑據透傳與ADLS性能下降由於不正確的線程本地處理當ADLS端啟用預取。這個版本禁用ADLS Gen2預取時啟用憑據透傳,直到我們有一個適當的修複。
2020年1月28日,
固定一個bug S3AFileSystem,
fs.isDirectory(路徑)或fs.getFileStatus(路徑).isDirectory ()可能有時不正確返回假。該錯誤將在路徑的清單awss3list-objects-v2——前綴路徑/——max-keys1——分隔符/反應沒有鑰匙和常見的前綴,但是isTruncated=真正的。這對目錄下可能發生許多對象被刪除和版本啟用。
(火花- 30447)[SQL]常數nullability傳播問題。
(火花- 28152)[SQL]添加一個配置老遺產MsSqlServerDialect數值映射。
2020年1月14日,
從1.8.0_222 1.8.0_232升級Java版本。
2019年11月7日
(火花- 29743)[SQL]示例應該設定needCopyResult真實如果孩子的needCopyResult是正確的。
秘密從火花引用公共預覽配置屬性和環境變量。看到在火花配置使用一個秘密財產或環境變量。
2019年的11月5日
固定一個bug DBFS融合處理掛載點
/ /在它的路徑。(火花- 29081)取代SerializationUtils調用。克隆屬性與更快的實現
(火花- 29244)(核心)防止頁麵再次在BytesToBytesMap自由釋放
(6.1毫升)圖書館mkl無意中安裝了2019.4版本。我們下調mkl 2019.3版本2019.03蟒蛇分布相匹配。
磚運行時的6.0(不支持)
2020年3月25日
工作產出,比如日誌輸出發送到stdout, 20 mb的大小限製。如果總輸出有一個更大的規模,將被取消和標記為失敗。為了避免遇到這個限製,可以防止stdout從司機通過設置回來
spark.databricks.driver.disableScalaOutput火花配置真正的。默認情況下,標誌值假。國旗控製單元輸出Scala JAR和Scala筆記本工作。如果啟用了國旗,引發不工作執行結果返回給客戶機。國旗並不影響數據集群中所寫的日誌文件。設置這個標誌建議隻對自動化集群JAR的工作,因為它將禁用筆記本的結果。
2020年2月18日
代有憑據透傳與ADLS性能下降由於不正確的線程本地處理當ADLS端啟用預取。這個版本禁用ADLS Gen2預取時啟用憑據透傳,直到我們有一個適當的修複。
2020年2月11日
(火花- 24783)[SQL] spark.sql.shuffle。分區= 0應該拋出異常
2020年1月28日,
固定一個bug S3AFileSystem,
fs.isDirectory(路徑)或fs.getFileStatus(路徑).isDirectory ()可能有時不正確返回假。該錯誤將在路徑的清單awss3list-objects-v2——前綴路徑/——max-keys1——分隔符/反應沒有鑰匙和常見的前綴,但是isTruncated=真正的。這對目錄下可能發生許多對象被刪除和版本啟用。
(火花- 30447)[SQL]常數nullability傳播問題。
(火花- 28152)[SQL]添加一個配置老遺產MsSqlServerDialect數值映射。
2020年1月14日,
從1.8.0_222 1.8.0_232升級Java版本。
2019年11月19日
(火花- 29743)[SQL]示例應該設定needCopyResult真實如果孩子的needCopyResult是正確的
2019年的11月5日
DBFS保險絲支持使用罐裝ACL S3坐騎。
dbutils.tensorboard.start ()現在支持TensorBoard 2.0手動(如果安裝)。固定一個bug DBFS融合處理掛載點
/ /在它的路徑。(火花- 29081)取代SerializationUtils調用。克隆屬性與更快的實現
2019年10月23日
(火花- 29244)(核心)防止頁麵再次在BytesToBytesMap自由釋放
2019年10月8日
服務器端更改讓辛巴Apache火花ODBC驅動程序重新連接後,繼續在抓取結果(需要連接失敗辛巴Apache火花首款ODBC驅動程序版本)。
固定一個問題影響使用
優化命令啟用了ACL表集群。固定的一個問題,
pyspark.ml圖書館會失敗因為Scala UDF禁止錯誤表ACL啟用集群。固定NullPointerException WASB檢查錯誤代碼時客戶端。
磚運行時5.4毫升(不支持)
2019年6月18日
改進處理MLflow活躍在Hyperopt集成
改進消息Hyperopt
更新包
Marchkdown從3.1到3.1.1
磚運行時的5.4(不支持)
2019年11月19日
(火花- 29743)[SQL]示例應該設定needCopyResult真實如果孩子的needCopyResult是正確的
2019年10月8日
服務器端更改讓辛巴Apache火花ODBC驅動程序連接失敗後重新連接並繼續在抓取結果(需要辛巴Apache火花ODBC驅動程序更新版本首款)。
固定NullPointerException WASB檢查錯誤代碼時客戶端。
2019年9月10日
BytesToBytesMap添加線程安全的迭代器
固定一個bug影響某些全球聚合查詢。
(火花- 27330)[SS]支持在foreach任務中止的作家
(火花- 28642)顯示創建表中隱藏的憑證
(火花- 28699)[SQL]禁用使用基數排序ShuffleExchangeExec重新分配情況
(火花- 28699)(核心)修複一個角落流產不確定的階段
2019年8月27日,
影響某些固定的一個問題
變換表達式
2019年8月13日,
三角洲流源應該檢查表的最新協議
(火花- 28489)[SS] KafkaOffsetRangeCalculator修複一個缺陷。getRanges可能會抵消下降
2019年7月30日
(火花- 28015)[SQL]檢查stringToDate()消耗整個輸入yyyy和yyyy - m [m]格式
(火花- 28308)(核心)CalendarInterval次秒級前應該填補一部分解析
(火花- 27485)EnsureRequirements。重新排序應該優雅地處理重複的表達式
2019年7月2日
升級snappy-java 1.1.7.1 1.1.7.3。
2019年6月18日
改進處理MLflow活躍在MLlib集成
使用磁盤緩存改進磚顧問的相關消息
固定一個bug影響使用高階函數
固定一個bug影響三角洲元數據查詢
磚運行時的5.3(不支持)
2019年11月7日
(火花- 29743)[SQL]示例應該設定needCopyResult真實如果孩子的needCopyResult是正確的
2019年10月8日
服務器端更改讓辛巴Apache火花ODBC驅動程序連接失敗後重新連接並繼續在抓取結果(需要辛巴Apache火花ODBC驅動程序更新版本首款)。
固定NullPointerException WASB檢查錯誤代碼時客戶端。
2019年9月10日
BytesToBytesMap添加線程安全的迭代器
固定一個bug影響某些全球聚合查詢。
(火花- 27330)[SS]支持在foreach任務中止的作家
(火花- 28642)顯示創建表中隱藏的憑證
(火花- 28699)[SQL]禁用使用基數排序ShuffleExchangeExec重新分配情況
(火花- 28699)(核心)修複一個角落流產不確定的階段
2019年8月27日,
影響某些固定的一個問題
變換表達式
2019年8月13日,
三角洲流源應該檢查表的最新協議
(火花- 28489)[SS] KafkaOffsetRangeCalculator修複一個缺陷。getRanges可能會抵消下降
2019年7月30日
(火花- 28015)[SQL]檢查stringToDate()消耗整個輸入yyyy和yyyy - m [m]格式
(火花- 28308)(核心)CalendarInterval次秒級前應該填補一部分解析
(火花- 27485)EnsureRequirements。重新排序應該優雅地處理重複的表達式
2019年6月18日
使用磁盤緩存改進磚顧問的相關消息
固定一個bug影響使用高階函數
固定一個bug影響三角洲元數據查詢
2019年5月28日
提高穩定性的三角洲
容忍ioexception返回當δLAST_CHECKPOINT閱讀文件
添加複蘇失敗庫安裝
2019年5月7日,
港口hadoop - 15778(沛富:解決客戶端節流讀)代連接器湖存儲Azure數據
港口hadoop - 16040(沛富:Bug修複tolerateOobAppends配置)湖Azure數據存儲Gen2連接器
固定一個bug影響表acl
重命名
fs.s3a.requesterPays.enabled來fs.s3a.requester-pays.enabled固定競態條件,當加載δ日誌校驗和文件
固定三角洲衝突檢測邏輯不認同“插入+覆蓋”是純粹的“添加”操作
固定一個bug影響亞馬遜運動連接器
確保磁盤緩存不表啟用了acl時禁用
[火花- 27494][SS]零鍵/值不工作在卡夫卡源v2
[火花- 27446][R]使用現有火花conf如果可用。
[火花- 27454][火花- 27454][ML] [SQL]火花圖像數據源失敗時遇到一些非法圖片
[火花- 27160][SQL]修複DecimalType在構建獸人過濾器
[火花- 27338](核心)解決僵局UnsafeExternalSorter和TaskMemoryManager之間
磚運行時的5.2(不支持)
2019年9月10日
BytesToBytesMap添加線程安全的迭代器
固定一個bug影響某些全球聚合查詢。
(火花- 27330)[SS]支持在foreach任務中止的作家
(火花- 28642)顯示創建表中隱藏的憑證
(火花- 28699)[SQL]禁用使用基數排序ShuffleExchangeExec重新分配情況
(火花- 28699)(核心)修複一個角落流產不確定的階段
2019年8月27日,
影響某些固定的一個問題
變換表達式
2019年8月13日,
三角洲流源應該檢查表的最新協議
(火花- 28489)[SS] KafkaOffsetRangeCalculator修複一個缺陷。getRanges可能會抵消下降
2019年7月30日
(火花- 28015)[SQL]檢查stringToDate()消耗整個輸入yyyy和yyyy - m [m]格式
(火花- 28308)(核心)CalendarInterval次秒級前應該填補一部分解析
(火花- 27485)EnsureRequirements。重新排序應該優雅地處理重複的表達式
2019年7月2日
容忍ioexception返回當δLAST_CHECKPOINT閱讀文件
2019年6月18日
使用磁盤高速緩存改進磚顧問的相關消息
固定一個bug影響使用高階函數
固定一個bug影響三角洲元數據查詢
2019年5月28日
添加複蘇失敗庫安裝
2019年5月7日,
港口hadoop - 15778(沛富:解決客戶端節流讀)代連接器湖存儲Azure數據
港口hadoop - 16040(沛富:Bug修複tolerateOobAppends配置)湖Azure數據存儲Gen2連接器
固定競態條件,當加載δ日誌校驗和文件
固定三角洲衝突檢測邏輯不認同“插入+覆蓋”是純粹的“添加”操作
固定一個bug影響亞馬遜運動連接器
確保磁盤緩存不表啟用了acl時禁用
[火花- 27494][SS]零鍵/值不工作在卡夫卡源v2
[火花- 27454][火花- 27454][ML] [SQL]火花圖像數據源失敗時遇到一些非法圖片
[火花- 27160][SQL]修複DecimalType在構建獸人過濾器
[火花- 27338](核心)解決僵局UnsafeExternalSorter和TaskMemoryManager之間
2019年3月26日
避免嵌入平台相關補償在舞台生成的Beplay体育安卓版本代碼
(火花- 26665)(核心)BlockTransferService修複一個缺陷。fetchBlockSync可能永遠掛。
(火花- 27134)[SQL] array_distinct函數不正確工作列包含數組的數組。
(火花- 24669)[SQL]無效表的級聯刪除數據庫。
(火花- 26572)[SQL]修正總codegen結果評估。
影響某些PythonUDFs固定一個bug。
2019年2月26日
(火花- 26864)[SQL]查詢可能返回不正確的結果當python udf是用作left-semi聯接條件。
(火花- 26887)PYTHON創建datetime。日期直接而不是創建datetime64作為中間數據。
固定一個bug影響JDBC / ODBC服務器。
固定一個bug影響PySpark。
構建HadoopRDD時排除隱藏文件。
固定一個缺陷在三角洲序列化問題引起的。
2019年2月12日
固定一個問題影響使用Azure的三角洲ADLS Gen2掛載點。
固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當
spark.network.crypto.enabled被設置為true)。
2019年1月30日
固定時StackOverflowError把斜加入提示緩存的關係。
固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。
(火花- 26706)[SQL]修複
illegalNumericPrecedenceByteType。(火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正確處理空記錄。
CSV / JSON數據源時應避免globbing路徑推理模式。
固定約束推理算子在窗口。
固定一個問題影響卵子庫安裝集群有表啟用了ACL。
磚運行時的5.1(不支持)
2019年8月13日,
三角洲流源應該檢查表的最新協議
(火花- 28489)[SS] KafkaOffsetRangeCalculator修複一個缺陷。getRanges可能會抵消下降
2019年7月30日
(火花- 28015)[SQL]檢查stringToDate()消耗整個輸入yyyy和yyyy - m [m]格式
(火花- 28308)(核心)CalendarInterval次秒級前應該填補一部分解析
(火花- 27485)EnsureRequirements。重新排序應該優雅地處理重複的表達式
2019年7月2日
容忍ioexception返回當δLAST_CHECKPOINT閱讀文件
2019年6月18日
固定一個bug影響使用高階函數
固定一個bug影響三角洲元數據查詢
2019年5月28日
添加複蘇失敗庫安裝
2019年5月7日,
港口hadoop - 15778(沛富:解決客戶端節流讀)代連接器湖存儲Azure數據
港口hadoop - 16040(沛富:Bug修複tolerateOobAppends配置)湖Azure數據存儲Gen2連接器
固定競態條件,當加載δ日誌校驗和文件
固定三角洲衝突檢測邏輯不認同“插入+覆蓋”是純粹的“添加”操作
[火花- 27494][SS]零鍵/值不工作在卡夫卡源v2
[火花- 27454][火花- 27454][ML] [SQL]火花圖像數據源失敗時遇到一些非法圖片
[火花- 27160][SQL]修複DecimalType在構建獸人過濾器
[火花- 27338](核心)解決僵局UnsafeExternalSorter和TaskMemoryManager之間
2019年3月26日
避免嵌入平台相關補償在舞台生成的Beplay体育安卓版本代碼
影響某些PythonUDFs固定一個bug。
2019年2月26日
(火花- 26864)[SQL]查詢可能返回不正確的結果當python udf是用作left-semi聯接條件。
固定一個bug影響JDBC / ODBC服務器。
構建HadoopRDD時排除隱藏文件。
2019年2月12日
固定一個問題影響卵子庫安裝集群有表啟用了ACL。
固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。
(火花- 26706)[SQL]修複
illegalNumericPrecedenceByteType。(火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正確處理空記錄。
固定約束推理算子在窗口。
固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當
spark.network.crypto.enabled被設置為true)。
2019年1月30日
固定一個可能導致的問題
df.rdd.count ()某些情況下UDT返回錯誤的答案。固定一個問題影響安裝駕駛室。
(火花- 26267)從卡夫卡重試時檢測錯誤的補償。
固定一個bug影響流媒體查詢多個文件流源。
固定時StackOverflowError把斜加入提示緩存的關係。
固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。
2019年1月8日
固定的問題,導致錯誤
org.apache.spark.sql.expressions.Window.rangeBetween(長)是不白名單。(火花- 26352)加入重新排序不應該改變的順序輸出屬性。
(火花- 26366)ReplaceExceptWithFilter應該考慮零錯誤。
三角洲湖穩定性改善。
啟用了三角洲湖。
磚IO緩存為IO啟用緩存加速實例類型。
磚運行時的5.0(不支持)
2019年6月18日
固定一個bug影響使用高階函數
2019年5月7日,
固定競態條件,當加載δ日誌校驗和文件
固定三角洲衝突檢測邏輯不認同“插入+覆蓋”是純粹的“添加”操作
[火花- 27494][SS]零鍵/值不工作在卡夫卡源v2
[火花- 27454][火花- 27454][ML] [SQL]火花圖像數據源失敗時遇到一些非法圖片
[火花- 27160][SQL]修複DecimalType在構建獸人過濾器
[火花- 27338](核心)解決僵局UnsafeExternalSorter和TaskMemoryManager之間
2019年3月26日
避免嵌入平台相關補償在舞台生成的Beplay体育安卓版本代碼
影響某些PythonUDFs固定一個bug。
2019年3月12日,
(火花- 26864)[SQL]查詢可能返回不正確的結果當python udf是用作left-semi聯接條件。
2019年2月26日
固定一個bug影響JDBC / ODBC服務器。
構建HadoopRDD時排除隱藏文件。
2019年2月12日
固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。
(火花- 26706)[SQL]修複
illegalNumericPrecedenceByteType。(火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正確處理空記錄。
固定約束推理算子在窗口。
固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當
spark.network.crypto.enabled被設置為true)。
2019年1月30日
固定一個可能導致的問題
df.rdd.count ()某些情況下UDT返回錯誤的答案。(火花- 26267)從卡夫卡重試時檢測錯誤的補償。
固定一個bug影響流媒體查詢多個文件流源。
固定時StackOverflowError把斜加入提示緩存的關係。
固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。
2019年1月8日
固定的問題,造成了錯誤
org.apache.spark.sql.expressions.Window.rangeBetween(長)是不白名單。(火花- 26352)加入重新排序不應該改變的順序輸出屬性。
(火花- 26366)ReplaceExceptWithFilter應該考慮零錯誤。
三角洲湖穩定性改善。
啟用了三角洲湖。
磚IO緩存為IO啟用緩存加速實例類型。
2018年12月18日,
(火花- 26293)當在子查詢Python UDF拋異常
固定一個問題影響特定查詢使用加入和限製。
修訂從抽樣憑證名稱火花UI
2018年12月6日
固定一個問題導致不正確的查詢結果在使用orderBy跟隨groupBy group by關鍵領導排序鍵的一部分。
升級雪花連接器的火花2.4.9.2-spark_2.4_pre_release 2.4.10。
隻有忽略腐敗文件後一個或多個後重試
spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles國旗是啟用的。固定一個問題影響某些自我聯合查詢。
與該行服務器會話固定一個錯誤有時會泄漏時取消。
(火花- 26307)固定使用Hive SerDe cta當插入一個分區表。
(火花- 26147)Python udf在聯接條件失敗,即使使用列的一側連接
(火花- 26211)修複嵌入二進製,結構和空數組。
(火花- 26181)的
hasMinMaxStats的方法ColumnStatsMap是不正確的。固定一個問題影響車輪安裝Python環境中沒有互聯網接入。
2018年11月20日
固定的問題引起了筆記本不取消流查詢後可用。
固定一個問題影響特定查詢使用窗口的功能。
固定一個問題影響流從三角洲與多個模式變化。
固定一個問題影響某些聚合查詢離開半/反連接。
固定一個問題影響閱讀時間戳列紅移。
磚運行時的4.3(不支持)
2019年4月9日
(火花- 26665)(核心)修複一個錯誤會導致BlockTransferService。fetchBlockSync永遠掛。
(火花- 24669)[SQL]無效表的級聯刪除數據庫。
2019年3月12日,
固定一個bug影響代碼生成。
固定一個bug影響三角洲。
2019年2月26日
固定一個bug影響JDBC / ODBC服務器。
2019年2月12日
(火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正確處理空記錄。
構建HadoopRDD時不包括隱藏文件。
固定鋪在謂詞過濾轉換它的值是空的。
固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當
spark.network.crypto.enabled被設置為true)。
2019年1月30日
固定一個可能導致的問題
df.rdd.count ()某些情況下UDT返回錯誤的答案。固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。
2019年1月8日
固定的問題導致錯誤
org.apache.spark.sql.expressions.Window.rangeBetween(長)是不白名單。修訂從抽樣憑證名稱火花UI
(火花- 26352)加入重新排序不應該改變的順序輸出屬性。
(火花- 26366)ReplaceExceptWithFilter應該考慮零錯誤。
啟用了三角洲湖。
磚IO緩存為IO啟用緩存加速實例類型。
2018年12月18日,
(火花- 25002)Avro:修改輸出記錄的名稱空間。
固定一個問題影響特定查詢使用加入和限製。
(火花- 26307)固定使用Hive SerDe cta當插入一個分區表。
隻有忽略腐敗文件後一個或多個後重試
spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles國旗是啟用的。(火花- 26181)的
hasMinMaxStats的方法ColumnStatsMap是不正確的。固定一個問題影響車輪安裝Python環境中沒有互聯網接入。
固定查詢分析器的性能問題。
固定的問題導致DataFrame PySpark行動失敗的“拒絕連接”錯誤。
固定一個問題影響某些自我聯合查詢。
2018年11月20日
(火花- 17916)(火花- 25241)解決空字符串被解析為零當nullValue設置。
(火花- 25387)修正引起的肺水腫壞CSV輸入。
固定一個問題影響某些聚合查詢離開半/反連接。
固定一個問題影響閱讀時間戳列紅移。
2018年11月6日
(火花- 25741)長url沒有適當呈現在web UI。
(火花- 25714)在優化器規則BooleanSimplification解決零處理。
固定一個問題影響突觸的臨時對象清理分析連接器。
(火花- 25816)解決嵌套屬性分辨率提取器。
2018年10月9日,
固定一個bug影響運行的輸出
顯示創建表在三角洲表。固定的錯誤影響
聯盟操作。
2018年9月25日
(火花- 25368)[SQL]約束推理不正確返回錯誤的結果。
(火花- 25402)在BooleanSimplification [SQL]零處理。
固定
NotSerializableException在Avro數據源。
2018年9月11日
(火花- 25214)[SS]修複問題,卡夫卡v2源可能返回重複的記錄
failOnDataLoss = false。(火花- 24987)[SS]修複卡夫卡articlePartition消費者在沒有新的補償時泄漏。
減少過濾器應該正確處理null值。
改善執行引擎的穩定。
2018年8月28日
固定一個bug三角洲湖刪除命令,錯誤地刪除條件的求值結果為空的行。
(火花- 25142)添加錯誤消息當Python工人不能打開套接字
_load_from_socket。
2018年8月23日
(火花- 23935)mapEntry拋出
org.codehaus.commons.compiler.CompileException。固定可空鋪讀者的映射問題。
(火花- 25051)[SQL] FixNullability AnalysisBarrier不應該停止。
(火花- 25081)固定一臭蟲,其ShuffleExternalSorter可能訪問內存頁麵發布時無法分配內存。
固定一個磚三角洲和Pyspark之間的相互作用可能導致瞬態讀失敗。
(火花- 25084)“分配”在多個列(包裝在括號中)可能導致codegen問題。
(火花- 25096)放鬆nullability是否force-nullable演員。
降低了違約數量的線程使用的三角洲湖優化命令,減少內存開銷和提交數據更快。
(火花- 25114)修複RecordBinaryComparator減法時兩個詞之間Integer.MAX_VALUE整除。
固定的秘密經理修訂時命令部分成功。
磚運行時的4.2(不支持)
2019年2月26日
固定一個bug影響JDBC / ODBC服務器。
2019年2月12日
(火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正確處理空記錄。
構建HadoopRDD時不包括隱藏文件。
固定鋪在謂詞過濾轉換它的值是空的。
固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當
spark.network.crypto.enabled被設置為true)。
2019年1月30日
固定一個可能導致的問題
df.rdd.count ()某些情況下UDT返回錯誤的答案。
2019年1月8日
固定的問題,導致錯誤
org.apache.spark.sql.expressions.Window.rangeBetween(長)是不白名單。修訂從抽樣憑證名稱火花UI
(火花- 26352)加入重新排序不應該改變的順序輸出屬性。
(火花- 26366)ReplaceExceptWithFilter應該考慮零錯誤。
啟用了三角洲湖。
磚IO緩存為IO啟用緩存加速實例類型。
2018年12月18日,
(火花- 25002)Avro:修改輸出記錄的名稱空間。
固定一個問題影響特定查詢使用加入和限製。
(火花- 26307)固定使用Hive SerDe cta當插入一個分區表。
隻有忽略腐敗文件後一個或多個後重試
spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles國旗是啟用的。(火花- 26181)的
hasMinMaxStats的方法ColumnStatsMap是不正確的。固定一個問題影響車輪安裝Python環境中沒有互聯網接入。
固定查詢分析器的性能問題。
固定的問題導致DataFrame PySpark行動失敗的“拒絕連接”錯誤。
固定一個問題影響某些自我聯合查詢。
2018年11月20日
(火花- 17916)(火花- 25241)解決空字符串被解析為零當nullValue設置。
固定一個問題影響某些聚合查詢離開半/反連接。
固定一個問題影響閱讀時間戳列紅移。
2018年11月6日
(火花- 25741)長url沒有適當呈現在web UI。
(火花- 25714)在優化器規則BooleanSimplification解決零處理。
2018年10月9日,
固定一個bug影響運行的輸出
顯示創建表在三角洲表。固定的錯誤影響
聯盟操作。
2018年9月25日
(火花- 25368)[SQL]約束推理不正確返回錯誤的結果。
(火花- 25402)在BooleanSimplification [SQL]零處理。
固定
NotSerializableException在Avro數據源。
2018年9月11日
(火花- 25214)[SS]修複問題,卡夫卡v2源可能返回重複的記錄
failOnDataLoss = false。(火花- 24987)[SS]修複卡夫卡articlePartition消費者在沒有新的補償時泄漏。
減少過濾器應該正確處理null值。
2018年8月28日
固定一個bug三角洲湖刪除命令,錯誤地刪除條件的求值結果為空的行。
2018年8月23日
固定NoClassDefErrorδ快照
(火花- 23935)mapEntry拋出
org.codehaus.commons.compiler.CompileException。(火花- 24957)[SQL]與十進製其次是平均聚合返回錯誤的結果。平均可能返回不正確的結果。演員會繞過平均算子中添加如果劃分的結果是相同的類型是鑄出。
(火花- 25081)固定一臭蟲,其ShuffleExternalSorter可能訪問內存頁麵發布時無法分配內存。
固定一個磚三角洲和Pyspark之間的相互作用可能導致瞬態讀失敗。
(火花- 25114)修複RecordBinaryComparator減法時兩個詞之間Integer.MAX_VALUE整除。
(火花- 25084)“分配”在多個列(包裝在括號中)可能導致codegen問題。
(火花- 24934)[SQL]明確allowlist支持類型上/下界內存分區修剪。當複雜數據類型用於查詢過濾器對緩存數據,火花總是返回一個空結果集。內存統計修剪產生不正確的結果,因為上/下邊界設置為null的複雜類型。解決辦法是不使用內存統計修剪複雜類型。
固定的秘密經理修訂時命令部分成功。
固定可空鋪讀者的映射問題。
2018年8月2日,
writeStream補充道。表API in Python.
固定一個問題影響三角洲檢查點。
(火花- 24867)[SQL]添加AnalysisBarrier DataFrameWriter。SQL緩存沒有被使用在使用DataFrameWriter寫DataFrame UDF。這是一個我們在AnalysisBarrier回歸造成的變化,因為並不是所有分析儀規則是等冪的。
固定一個可能導致的問題
mergeInto命令產生不正確的結果。改善穩定訪問Azure數據存儲Gen1湖。
(火花- 24809)序列化LongHashedRelation執行者可能導致數據錯誤。
(火花- 24878)[SQL]修正逆函數數組類型的原始類型包含null。
2018年7月11日
固定在查詢執行一個錯誤會導致聚合不同精度小數列上在某些情況下返回不正確的結果。
固定一個
NullPointerException錯誤,被扔在先進的聚合操作,比如分組集。
磚運行時4.1毫升(不支持)
2018年7月31日
添加Azure突觸分析4.1毫升運行時
固定一個錯誤可能導致不正確的查詢結果當一個分區的名稱列謂詞中使用不同的情況下,列在表的模式。
固定一個bug影響火花SQL執行引擎。
固定一個bug影響代碼生成。
固定一個錯誤(
java.lang.NoClassDefFoundError影響三角洲湖)。改進的錯誤處理在三角洲湖。
固定一個錯誤導致錯誤數據跳過統計收集32個字符的字符串列或更大。
磚運行時的4.1(不支持)
2019年1月8日
(火花- 26366)ReplaceExceptWithFilter應該考慮零錯誤。
啟用了三角洲湖。
2018年12月18日,
(火花- 25002)Avro:修改輸出記錄的名稱空間。
固定一個問題影響特定查詢使用加入和限製。
(火花- 26307)固定使用Hive SerDe cta當插入一個分區表。
隻有忽略腐敗文件後一個或多個後重試
spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles國旗是啟用的。固定一個問題影響車輪安裝Python環境中沒有互聯網接入。
固定的問題導致DataFrame PySpark行動失敗的“拒絕連接”錯誤。
固定一個問題影響某些自我聯合查詢。
2018年11月20日
(火花- 17916)(火花- 25241)解決空字符串被解析為零當nullValue設置。
固定一個問題影響某些聚合查詢離開半/反連接。
2018年11月6日
(火花- 25741)長url沒有適當呈現在web UI。
(火花- 25714)在優化器規則BooleanSimplification解決零處理。
2018年10月9日,
固定一個bug影響運行的輸出
顯示創建表在三角洲表。固定的錯誤影響
聯盟操作。
2018年9月25日
(火花- 25368)[SQL]約束推理不正確返回錯誤的結果。
(火花- 25402)在BooleanSimplification [SQL]零處理。
固定
NotSerializableException在Avro數據源。
2018年9月11日
(火花- 25214)[SS]修複問題,卡夫卡v2源可能返回重複的記錄
failOnDataLoss = false。(火花- 24987)[SS]修複卡夫卡articlePartition消費者在沒有新的補償時泄漏。
減少過濾器應該正確處理null值。
2018年8月28日
固定一個bug三角洲湖刪除命令,錯誤地刪除條件的求值結果為空的行。
(火花- 25084)“分配”在多個列(包裝在括號中)可能導致codegen問題。
(火花- 25114)修複RecordBinaryComparator減法時兩個詞之間Integer.MAX_VALUE整除。
2018年8月23日
固定NoClassDefErrorδ快照。
(火花- 24957)[SQL]與十進製其次是平均聚合返回錯誤的結果。平均可能返回不正確的結果。演員會繞過平均算子中添加如果劃分的結果是相同的類型是鑄出。
固定可空鋪讀者的映射問題。
(火花- 24934)[SQL]明確allowlist支持類型上/下界內存分區修剪。當複雜數據類型用於查詢過濾器對緩存數據,火花總是返回一個空結果集。內存統計修剪產生不正確的結果,因為上/下邊界設置為null的複雜類型。解決辦法是不使用內存統計修剪複雜類型。
(火花- 25081)固定一臭蟲,其ShuffleExternalSorter可能訪問內存頁麵發布時無法分配內存。
固定一個磚三角洲和Pyspark之間的相互作用可能導致瞬態讀失敗。
固定的秘密經理修訂時命令部分成功
2018年8月2日,
(火花- 24613)[SQL]緩存和UDF不能與後續相關的緩存。封裝的邏輯計劃與執行計劃的AnalysisBarrier編譯緩存管理器,為了避免再次被分析的計劃。這也是一個回歸2.3火花。
固定一個突觸分析連接器問題影響寫作DateType時區轉換數據。
固定一個問題影響三角洲檢查點。
固定一個可能導致的問題
mergeInto命令產生不正確的結果。(火花- 24867)[SQL]添加AnalysisBarrier DataFrameWriter。SQL緩存沒有被使用在使用DataFrameWriter寫DataFrame UDF。這是一個我們在AnalysisBarrier回歸造成的變化,因為並不是所有分析儀規則是等冪的。
(火花- 24809)序列化LongHashedRelation執行者可能導致數據錯誤。
2018年7月11日
固定在查詢執行一個錯誤會導致聚合不同精度小數列上在某些情況下返回不正確的結果。
固定一個
NullPointerException錯誤,被扔在先進的聚合操作,比如分組集。
2018年6月28日
固定一個錯誤可能導致不正確的查詢結果當一個分區的名稱列謂詞中使用不同的情況下,列在表的模式。
2018年5月29日
固定一個bug影響火花SQL執行引擎。
固定一個bug影響代碼生成。
固定一個錯誤(
java.lang.NoClassDefFoundError影響三角洲湖)。改進的錯誤處理在三角洲湖。
2018年5月15日
固定一個錯誤導致錯誤數據跳過統計收集32個字符的字符串列或更大。
磚運行時的4.0(不支持)
2018年11月6日
(火花- 25714)在優化器規則BooleanSimplification解決零處理。
2018年10月9日,
固定的錯誤影響
聯盟操作。
2018年9月25日
(火花- 25368)[SQL]約束推理不正確返回錯誤的結果。
(火花- 25402)在BooleanSimplification [SQL]零處理。
固定
NotSerializableException在Avro數據源。
2018年9月11日
減少過濾器應該正確處理null值。
2018年8月28日
固定一個bug三角洲湖刪除命令,錯誤地刪除條件的求值結果為空的行。
2018年8月23日
固定可空鋪讀者的映射問題。
固定的秘密經理修訂時命令部分成功
固定一個磚三角洲和Pyspark之間的相互作用可能導致瞬態讀失敗。
(火花- 25081)固定一臭蟲,其ShuffleExternalSorter可能訪問內存頁麵發布時無法分配內存。
(火花- 25114)修複RecordBinaryComparator減法時兩個詞之間Integer.MAX_VALUE整除。
2018年8月2日,
(火花- 24452)避免在int添加或多個可能的溢出。
(火花- 24588)流加入需要HashClusteredPartitioning從孩子。
固定一個可能導致的問題
mergeInto命令產生不正確的結果。(火花- 24867)[SQL]添加AnalysisBarrier DataFrameWriter。SQL緩存沒有被使用在使用DataFrameWriter寫DataFrame UDF。這是一個我們在AnalysisBarrier回歸造成的變化,因為並不是所有分析儀規則是等冪的。
(火花- 24809)序列化LongHashedRelation執行者可能導致數據錯誤。
2018年6月28日
固定一個錯誤可能導致不正確的查詢結果當一個分區的名稱列謂詞中使用不同的情況下,列在表的模式。
2018年5月31日
固定一個bug影響火花SQL執行引擎。
改進的錯誤處理在三角洲湖。
2018年5月17日
Bug修複磚秘密的管理。
改善穩定讀取數據存儲在Azure存儲數據湖。
固定一個bug影響抽樣緩存。
固定一個bug影響空值等於在火花SQL。
2018年4月24日
升級Azure數據存儲SDK湖2.0.11 2.2.8改善湖訪問Azure數據存儲的穩定性。
固定一個bug影響覆蓋蜂巢分區表的插入
spark.databricks.io.hive.fastwriter.enabled是假。修正了序列化失敗的任務。
改進的三角洲湖穩定。
2018年3月14日,
防止不必要的元數據更新在編寫成三角洲湖。
固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。
磚運行時3.5 LTS(不支持)
2019年11月7日
(火花- 29743)[SQL]示例應該設定needCopyResult真實如果孩子的needCopyResult是正確的
2019年10月8日
服務器端更改讓辛巴Apache火花ODBC驅動程序連接失敗後重新連接並繼續在抓取結果(需要辛巴Apache火花ODBC驅動程序更新版本首款)。
2019年9月10日
(火花- 28699)[SQL]禁用使用基數排序ShuffleExchangeExec重新分配情況
2019年4月9日
(火花- 26665)(核心)修複一個錯誤會導致BlockTransferService。fetchBlockSync永遠掛。
2019年2月12日
固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當
spark.network.crypto.enabled被設置為true)。
2019年1月30日
固定一個可能導致的問題
df.rdd.count ()某些情況下UDT返回錯誤的答案。
2018年12月18日,
隻有忽略腐敗文件後一個或多個後重試
spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles國旗是啟用的。固定一個問題影響某些自我聯合查詢。
2018年11月20日
(火花- 25816)固定在嵌套屬性分辨率提取器。
2018年11月6日
(火花- 25714)在優化器規則BooleanSimplification解決零處理。
2018年10月9日,
固定的錯誤影響
聯盟操作。
2018年9月25日
(火花- 25402)在BooleanSimplification [SQL]零處理。
固定
NotSerializableException在Avro數據源。
2018年9月11日
減少過濾器應該正確處理null值。
2018年8月28日
固定一個bug三角洲湖刪除命令,錯誤地刪除條件的求值結果為空的行。
(火花- 25114)修複RecordBinaryComparator減法時兩個詞之間Integer.MAX_VALUE整除。
2018年8月23日
(火花- 24809)序列化LongHashedRelation執行者可能導致數據錯誤。
固定可空鋪讀者的映射問題。
(火花- 25081)固定一臭蟲,其ShuffleExternalSorter可能訪問內存頁麵發布時無法分配內存。
固定一個磚三角洲和Pyspark之間的相互作用可能導致瞬態讀失敗。
2018年6月28日
固定一個錯誤可能導致不正確的查詢結果當一個分區的名稱列謂詞中使用不同的情況下,列在表的模式。
2018年6月28日
固定一個錯誤可能導致不正確的查詢結果當一個分區的名稱列謂詞中使用不同的情況下,列在表的模式。
2018年5月31日
固定一個bug影響火花SQL執行引擎。
改進的錯誤處理在三角洲湖。
2018年5月17日
改善穩定讀取數據存儲在Azure存儲數據湖。
固定一個bug影響抽樣緩存。
固定一個bug影響空值等於在火花SQL。
固定一個bug影響某些聚合流查詢。
2018年4月24日
升級Azure數據存儲SDK湖2.0.11 2.2.8改善湖訪問Azure數據存儲的穩定性。
固定一個bug影響覆蓋蜂巢分區表的插入
spark.databricks.io.hive.fastwriter.enabled是假。修正了序列化失敗的任務。
2018年3月09日
固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。
2018年3月1日
改進的效率處理流,需要花很長時間停止。
固定一個問題影響到Python自動完成。
應用Ubuntu安全補丁。
固定一個問題影響特定查詢使用Python udf和窗口函數。
固定一個問題影響使用udf集群上的表啟用訪問控製。
2018年1月29日
固定一個問題影響操縱表存儲在Azure Blob存儲。
固定聚合在空DataFrame dropDuplicates之後。
磚運行時的3.4(不支持)
2018年5月31日
固定一個bug影響火花SQL執行引擎。
改進的錯誤處理在三角洲湖。
2018年5月17日
改善穩定讀取數據存儲在Azure存儲數據湖。
固定一個bug影響抽樣緩存。
固定一個bug影響空值等於在火花SQL。
2018年4月24日
固定一個bug影響覆蓋蜂巢分區表的插入
spark.databricks.io.hive.fastwriter.enabled是假。
2018年3月09日
固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。
2017年12月13日
固定一個問題影響到Scala中的udf。
固定一個問題影響使用數據源表上數據不索引存儲在non-DBFS路徑。
2017年12月07日
改進的洗牌的穩定性。
磚運行時的3.3(不支持)
2018年5月31日
固定一個bug影響火花SQL執行引擎。
2018年4月24日
固定一個bug影響覆蓋蜂巢分區表的插入
spark.databricks.io.hive.fastwriter.enabled是假。
2018年3月12日,
固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。
2018年1月29日
固定一個問題影響到Scala中的udf。
2017年10月11日
改進的洗牌的穩定性。
磚運行時的3.2(不支持)
2018年3月30日
固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。
2017年9月13日
固定一個問題影響使用
spark_submit_task與磚的工作。
2017年9月6日
固定一個問題影響某些窗函數的性能。
2.1.1-db6(不支持)
2018年5月31日
固定一個bug影響火花SQL執行引擎。
2018年3月30日
固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。