如何減少時間加載數據到azure突觸表?

[tinendra]

你好,

我隻是想知道如果有任何選項減少加載時間Pyspark Dataframe到Azure突觸表使用磚。

像. .

我有pyspark dataframe約有40 k記錄和我試圖數據加載到azure突觸表使用磚幾乎是1.10小時+完整的數據加載到azure表。我用保存模式(“覆蓋”)按要求。

請讓我知道如果任何可能的解決方案來減少時間。

謝謝,

Tinendra

[ajaypanday6781]

嗨@Tinendra Kumar,

你可以增加突觸的導航係統,如果可能的話,使用append模式而保存文件,將幫助您減少時間。

[tinendra]

嗨@Ajay Pandey

我沒有任何控製azure的一麵。請告訴我如果有什麼方法/選擇這個火花/磚邊嗎?

[ajaypanday6781]

嗨@Tinendra Kumar,

沒有選項來檢查你的許可在磚。

[werners1]

你檢查這個:

https://learn.microsoft.com/en-us/azure/databricks/archive/azure/synapse-polybase

《我不使用磚數據加載到突觸。我寫數據拚花/湖三角洲湖在我們的數據,並利用ADF複製在必要時突觸。這是非常快。

另一個選擇是使用突觸Serverless或外部表鑲花文件本身。