從PyCharm配置磚(火花)的上下文

[kmartin62]

你好。我試圖連接到磚從我的IDE (PyCharm),然後運行三角洲表查詢。然而,集群我試圖訪問給我許可。在這種情況下,我會去我的集群,運行的電池給我許可,然後回到我PyCharm所以我可以查詢的表。我想問的問題是,有一些方法可以直接從PyCharm這種配置嗎?這是我使用的代碼給許可

如果StorageAccountName不是沒有StorageAccountAccessKey並不是沒有:打印(“配置火花上下文…”)spark_context._jsc.hadoopConfiguration ()。集(f“fs.azure.account.key。.blob.core.windows.net {StorageAccountName}”, StorageAccountAccessKey)

我用這種方法,而不是直接引發配置,因為我StorageAccountAccessKey存儲在key-vault和集群可能從各種存儲帳戶信息這意味著我有各種各樣的訪問鍵,等等。

[Hubert_Dudek1]

• Java運行時環境(JRE) 8。客戶測試了OpenJDK 8 JRE。客戶端不支持Java 11。
• 小版本的Python安裝客戶端必須一樣的小磚集群的Python版本。

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

磚> > Python版本運行時版本

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

3.8 9.1 9.1 LTS ML, LTS > >

3.7 7.3 7.3 LTS ML, LTS > >

6.4毫升,6.4 > > 3.7

5.5 LTS 3.6毫升> >

5.5 LTS > > 3.5

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

目前隻支持運行時之上

更多的在這裏https://docs.m.eheci.com/dev-tools/databricks-connect.html

[kmartin62]

謝謝!我現在下調到Java 8和它的工作原理。我必須winutils hadoop作為env var添加,對吧?沒有它,如果我刪除它,它不會工作?

[Hubert_Dudek1]

是的,這是必要的和路徑必須添加文件夾路徑= % %路徑;% HADOOP_PREFIX % \ bin

任何機會被選為最佳答案嗎?

[kmartin62]

確定

[jose_gonzalez]

嗨@Martin Kostadinov

你是否檢查了故障排除部分DBconnect文檔嗎?這是幫助你找到應對問題?這裏的文檔https://docs.m.eheci.com/dev-tools/databricks-connect.html故障排除