你好,
我幫助我的一個客戶建立一個Azure磚環境。工作區是設置為私人訪問,我們使用Azure防火牆和Azure私人聯係。
我們有網絡環境配置成功,我們能夠開始在工作區中集群。然而,當試圖運行一個簡單的SQL語句從一個筆記本,我得到一個非常奇怪的錯誤:
如果不存在quickstart_catalog創建目錄
com.m.eheci.common.client.UnexpectedHttpError: HTTP請求失敗狀態:HTTP / 1.1 302年發現
望著蔚藍的弗蘭克-威廉姆斯日誌應用程序規則,我看到交通從集群出站canadacentral.azuredatabricks.net,它看起來像302年來自認證未遂後重定向。我懷疑集群是一個HTML載荷響應從服務器(磚登錄頁麵),和302年的重定向時發生認證失敗(例如,當試圖連接到一個私有工作區以外的網絡)。這是強化了我所看到的,當我嚐試運行使用目錄- HTML載荷,回來是磚登錄頁麵:
使用目錄主要
Py4JJavaError:調用o336.sql時發生一個錯誤。
:shaded.v245.com.fasterxml.jackson.core.JsonParseException:意想不到的字符(“<”(60)代碼):預計有效值(數字、字符串、數組、對象,“真正的”,“錯誤”或“零”)
在[來源:< !html doctype html > < > <頭> < meta charset = " utf - 8 " / > < meta http-equiv =“內容語言”內容= "恩" / > <標題>磚——簽署的< /名稱> < meta name = " viewport " content = "寬度= 960 " / > < link rel =“圖標”類型=“圖像/ png " href = " /圖標。ico " / > < meta http-equiv =“- type”內容= " text / html;charset = UTF8 " / > < link rel = "偶像" href = " /圖標。ico " > <腳本推遲=“推遲”src = " /靜態/ js /登錄/ login.fb760649。js " > < /腳本> < /頭> <身體類= "光亮模式" > < uses-legacy-bootstrap > < div id = "登錄頁麵" > < / div > < / uses-legacy-bootstrap > < /身體> < / html >;線:1、列:2)
我懷疑有不正確的Azure防火牆/私人鏈接設置,但是我不完全確定。快速總結:
- 簡化的部署(在一個聯接多個子網)
- 亞行工作空間的子網,NSG允許相關流量出站和UDR指揮0.0.0.0/0對AFW
- 兩個PL端點(api_ui和sso_auth)在PL子網,映射到一個私人Azure DNS區域
- VNet定製的DNS設置(使用兩個域控製器運行在Azure)——DCs有條件貨代azuredatabricks.netAzure DNS
- AFW網絡規則允許1433,3306、9093、6666 (TCP)和123年(UDP)出站工作區,所有的來源
- AFW從工作區應用規則允許出站443 *。azuredatabricks.net
- AFW啟用了SNAT出站流量的PL子網(不知道這是一個最佳實踐,但我們不能開始集群昨天直到我們啟用)
我知道工作的端點在某種程度上,因為我能夠登錄到工作區,開始集群(即安全集群正在建立連接繼電器)。但是,我不是很確定為什麼試圖運行DB SQL從DB返回看似身份驗證錯誤的登錄頁麵。我懷疑我丟失的東西與私營鏈接/ AFW設置。任何幫助將是感謝!
編輯添加:
當我試著使用non-UC目錄(如默認hive_metastore),我沒有任何錯誤。隻有當試圖運行DB SQL UC-backed目錄。
