三角洲生活表:BAD_REQUEST:管道集群是不可到達的。

[jorgemarmol]

你好社區:

´我不知道為什麼我的三角洲住表工作流失敗到這一步。這是我的配置管道:

{
“id”:“* *”,
“pipeline_type”:“工作空間”,
“集群”:(
{
“標簽”:“默認”,
“spark_conf”: {* * *},
“num_workers”: 3
},
{
“標簽”:“維護”,
“spark_conf”: {* * * *},
“num_workers”: 3
}
),
“發展”:假的,
“連續”:假的,
“頻道”:“當前”,
“光子”:假的,
“庫”:(
{
“筆記本”:{
“路徑”:“GeneracionAutomatica / DLT發生器(青銅)”
}
},
{
“筆記本”:{
“路徑”:“GeneracionAutomatica / DLT發生器(分期)”
}
}
),
“名稱”:“三角洲住表(青銅)”,
“版”:“高級”,
“存儲”:“* * * *”,
"配置":{
“pipelines.autoOptimize。zOrderCols”:“\ \“時間戳””,
”管道。numUpdateRetryAttempts”:“7”
},
“目標”:“myrl”
}

請注意:* * *信息保密。

結果有時是這樣的:

但有時它工作並完成de管道! !

任何人有任何想法嗎?謝謝! !

[Kaniz]

嗨@jorgemarmol,可能有幾個原因為什麼管道集群是遙不可及的。

一些可能的原因包括:

1。基礎設施問題:開發集群偶爾會由於基礎設施問題。下文的變化通常是測試開發集群第一,這可能會導致不穩定和不可用。在這種情況下,部署的集群會失敗,但是用戶可以忽略這些失敗,如果他們有一個釋放,將成功舉辦盡管dev的以下問題。

2。自我引導失敗或Npip隧道設置:這個錯誤表明引導失敗由於網絡連接問題之間的數據和控製飛機。更具體地說,磚安全集群連接(SCC)繼電器是不可到達的,或文件不能下載的人工製品桶由於DNS解析問題

3所示。火花司機不可到達:這個問題可能是由於無效的火花或故障的init腳本配置。也可能發生如果沒有NAT網關或磚出口路徑控製飛機服務可以從客戶VPC或者客戶VPC有出口VPC防火牆規則阻礙交通控製飛機

為了解決這些問題,您可以下載係統日誌,搜索“FAILED_MESSAGE”,使用Base64解碼工具對信息進行解碼。網絡診斷工具也可以用來執行詳細的驗證。它檢查網絡延遲,SSL和應用程序層連通性和DNS解析發布和特定的端點。在獨立模式運行此工具,按照README捆綁工具。

[jorgemarmol]

嗨@Kaniz,非常感謝你的回答! !

你能告訴我我怎樣才能下載日誌和獨立模式的意義是什麼,好嗎?我已經從集群驅動程序下載日誌日誌但我不能找到”FAILED_MESSAGE”:

謝謝你! !