磚包含一個默認的Java和Scala庫的數量。可以替換任何這些庫的另一個版本使用集群級init腳本刪除默認庫jar,然後安裝你需要的版本。

確定工件id

識別jar文件的名稱你想刪除:

1. 單擊數據磚運行時版本支持的版本(從列表中您正在使用AWS|Azure|GCP)。
2. 導航到Java和Scala庫部分。
3. 確定工件ID圖書館你想刪除。

使用工件id找到jar文件名

使用ls - l命令在一個筆記本找到jar包含工件id。例如,找到jar文件名spark-snowflake_2.12工件id的磚7.0運行時您可以使用下麵的代碼:

% sh ls - l /磚/罐/ * spark-snowflake_2.12 *

這將返回jar文件名

”————workspace_spark_3_0 maven-trees——蜂巢2.7 - 2.3 __hadoop net.snowflake——spark-snowflake_2.12 net.snowflake__spark-snowflake_2.12__2.5.9-spark_2.4.jar”。

上傳替換jar文件

上傳你DBFS路徑替換jar文件。

創建初始化腳本

使用以下模板來創建一個集群級init腳本。

% sh # !/bin/bash rm射頻/磚/罐/ < jar_filename_to_remove >。jar cp / dbfs / < path_to_replacement_jar > / < replacement_jar_filename >。jar /磚/罐/

使用前一步spark-snowflake_2.12示例將導致一個init腳本類似如下:

% sh # !/bin/bash rm射頻/磚/罐/——workspace_spark_3_0——maven-trees蜂巢2.7 - 2.3 - __hadoop -——net.snowflake spark-snowflake_2.12——net.snowflake__spark-snowflake_2.12__2.5.9-spark_2.4。jar cp / dbfs / FileStore /罐/ e43fe9db_c48d_412b_b142_cdde10250800-spark_snowflake_2_11_2_7_1_spark_2_4-b2adc。jar /磚/罐/

安裝初始化腳本並重啟

1. 在集群上安裝集群級init腳本,在配置集群級指令後,init腳本(AWS|Azure|GCP)。
2. 重新啟動集群。