性能問題,批量數據加載到後行走DB從數據磚。

[Phani1]

我們正麵臨一個加載時性能問題批量數據向postgres數據庫數據磚。我們使用的是火花JDBC連接移動數據。然而,傳輸的速率很低是導致性能瓶頸。有什麼更好的方法來完成這一任務呢?

[daniel_sahal]

@Janga Reddy

我記得我們之前有這樣的問題。切換到另一個庫部分地解決了這個問題。

https://community.m.eheci.com/s/question/0D58Y00009ia8JpSAI/getting-error-while-loading-parquet-d..。

[Vidula_Khanna]

嗨@Janga Reddy

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

[User16502773013]

你好@Janga Reddy @Daniel薩哈和@Vidula Khanna

提高性能一般來說我們需要設計更多的並行性,在火花JDBC上下文由分區的數量要寫的數據

這個例子在這裏顯示了如何控製並行而寫作過程中是由numPartitions閱讀,雖然numPartitions火花JDBC讀參數,同樣的可以做dataframe使用重新分區(文檔在這裏)

值得一提的是,並行讀/寫可以施壓RDBMS(在這種情況下Postgres)意義而引發寫可以發生在平行,大小/能力/目的地數據庫的連接應考慮,應該評估。

問候