不同的配置相同的磚運行時版本

[yoniau]

你好,

在我的DBR安裝,映射到shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileSystem s3a方案。在我客戶的DBR安裝com.databricks.s3a.S3AFileSystem映射。

我們都使用相同的DBR運行時,我們都沒有配置任何覆蓋該設置。

這種差異的原因是什麼?我怎樣才能確保我使用正確的文件係統?我怎樣才能確保在未來沒有第三個文件係統出現並再次打破我的代碼嗎?

[Hubert_Dudek1]

@Yoni盟,磚運行時7.3 LTS com.databricks.s3a.S3AFileSystem以上使用新的連接器。你用7.3 ?

無論如何,請核實火花配置在兩個安裝(通過集群- >火花UI - >環境)有什麼關於S3AFileSystem嗎?然後設置共同的價值觀為(通過集群- >配置- >高級選項)

[Prabakar · Accepted solution]

@Yoni盟,如果你們兩人都是使用相同的DBR版本,那麼你不應該發現任何差異。@Hubert Dudek說過,可能會有一些火花配置更改了一個集群。此外,值得檢查任何集群範圍或全球init腳本。

[Kaniz]

嗨@Yoni盟,隻是一個友好的後續。你還需要幫助,或做什麼@Hubert杜德克(客戶)和@Prabakar Ammeappin的回答幫助你找到解決方案了嗎?請讓我們知道。