Azure磚間歇失敗的作業由於連接超時(讀取失敗)而執行一個MS SQL存儲過程的SQL Azure數據庫。
我的要求是三角洲過程記錄(δ記錄使用最後更新日期)DataLake DataLake(我們並沒有訪問。目前我們的黑盒。我們隻有授予山和查詢鋪文件)到一個臨時表在MS SQL數據庫中,然後運行SQL合並邏輯通過存儲過程。通過合並一些數百萬條記錄將更新邏輯為每個工作運行,所以它將花費大約10分鍾完成SPROC執行。有時成功完成,有時會失敗,由於連接超時。
大約有20 MS SQL數據集處理從數據湖,單一的筆記本是獻給每一個數據集。
我用下麵執行SPROC JDBC邏輯。磚的工作使用的是高配置的集群的144 gb, 72核心司機和工人一樣的司機。
val道具=新屬性()props.put (“encryptionmethod”、“SSL”)道具。把(accesstoken accesstoken) val康涅狄格州= DriverManager。getConnection (jdbcurl道具){conn.createStatement試試。執行(EXEC (stg)。[usp_MergePurchaseOrder]”)}抓住{案例例:異常= >把前女友}最後{conn.close ()}
這是阻礙我們去生產。請幫助我。我的整個團隊是新磚的概念。
