取消
顯示的結果
而不是尋找
你的意思是:

高成本的存儲在使用結構化的流

lnights
新的貢獻者二世

你好,

我從Azure事件中心和讀取數據操作與數據後我寫dataframe回到事件中心(我使用這個連接器的):

#讀取數據df =(火花。readStream .format (eventhubs) .options (* * ehConf) .load()) #一些數據操作# ds = df \ .select寫入數據(“身體”、“partitionKey”) \ .writeStream \ .format (eventhubs) \ .options (* * output_ehConf) \ .option (“checkpointLocation”、“checkpoin / eventhub-to-eventhub / savestate.txt”) \ .trigger (processingTime =“1秒”)\ .start ()

在這種情況下,我得到了存儲成本高,遠遠超過我計算成本(4次)。交易費用是由大量的存儲:

交易在azure存儲我試圖減少交易的數量通過processingTime觸發,但並沒有帶來任何顯著的結果(對我來說,一個最小的延遲)是至關重要的。

問題:我正確使用結構化流,如果是這樣,我怎麼能優化存儲成本?

謝謝你的時間!

3回複3

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

你好,請您參考//m.eheci.com/blog/2022/10/18/best-practices-cost-management-databricks.html讓我們知道如果這可以幫助嗎?

lnights
新的貢獻者二世

Debayan,謝謝你的建議,我閱讀這篇文章,但這並沒有回答我的問題。

我隻是學習如何使用磚,也許這些成本結構化流處理是正常的嗎?

Vidula_Khanna
主持人
主持人

嗨@Serhii Dovhanich

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map