取消
顯示的結果
而不是尋找
你的意思是:

從PyCharm配置磚(火花)的上下文

kmartin62
新的貢獻者三世

你好。我試圖連接到磚從我的IDE (PyCharm),然後運行三角洲表查詢。然而,集群我試圖訪問給我許可。在這種情況下,我會去我的集群,運行的電池給我許可,然後回到我PyCharm所以我可以查詢的表。我想問的問題是,有一些方法可以直接從PyCharm這種配置嗎?這是我使用的代碼給許可

如果StorageAccountName不是沒有StorageAccountAccessKey並不是沒有:打印(“配置火花上下文…”)spark_context._jsc.hadoopConfiguration ()。集(f“fs.azure.account.key。.blob.core.windows.net {StorageAccountName}”, StorageAccountAccessKey)

我用這種方法,而不是直接引發配置,因為我StorageAccountAccessKey存儲在key-vault和集群可能從各種存儲帳戶信息這意味著我有各種各樣的訪問鍵,等等。

1接受解決方案

接受的解決方案

Hubert_Dudek1
尊敬的貢獻者三世

“我試圖連接到磚從我的IDE (PyCharm),然後運行三角洲表查詢。”

如果你要後您的代碼部署到磚唯一的解決方案,我看到是使用databricks-connect或就在雲開發環境和工作(拉請求生產和使用回購)。

如果您的代碼不會被部署到磚和您想要查詢的表從別的地方可以使用JDBC / ODBC連接器。如果你想讓集群和不同的管理員操作您可以安裝databricks-cli和擴展它在您的代碼類似下麵的例子:

從databricks_cli。sdk進口ApiClient

從databricks_cli。sdk進口服務

主機= " your_host "

令牌= " your_token "

客戶= ApiClient(主機=主機,令牌=令牌)

工作區= service.WorkspaceService(客戶端)

在原帖子查看解決方案

9回複9

Hubert_Dudek1
尊敬的貢獻者三世

你使用databricks-connect嗎?

kmartin62
新的貢獻者三世

因為一些不好的原因,我不能使用databricks-connect。我得到java模塊。基本沒有“打開java。nio”不願透露姓名的模塊錯誤,我不能解決它和我知道它是什麼。現在,我使用python-sql-connector (https://docs.m.eheci.com/dev-tools/python-sql-connector.html)

Hubert_Dudek1
尊敬的貢獻者三世

“我試圖連接到磚從我的IDE (PyCharm),然後運行三角洲表查詢。”

如果你要後您的代碼部署到磚唯一的解決方案,我看到是使用databricks-connect或就在雲開發環境和工作(拉請求生產和使用回購)。

如果您的代碼不會被部署到磚和您想要查詢的表從別的地方可以使用JDBC / ODBC連接器。如果你想讓集群和不同的管理員操作您可以安裝databricks-cli和擴展它在您的代碼類似下麵的例子:

從databricks_cli。sdk進口ApiClient

從databricks_cli。sdk進口服務

主機= " your_host "

令牌= " your_token "

客戶= ApiClient(主機=主機,令牌=令牌)

工作區= service.WorkspaceService(客戶端)

kmartin62
新的貢獻者三世

所以你建議databricks-connect同去,我明白了。你有什麼好主意什麼可能導致錯誤的解釋在我之前的評論,我怎麼能修複它嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map