你好,
我們的團隊正在使用辛巴Deltalake ODBC來執行數據加載,並與3列一個表的55秒左右才插入15記錄。
如何提高事務性加載到Deltalake嗎?有什麼選項從辛巴ODBC驅動程序利用批量加載Deltalake對數據遷移(非常重要)?還是有一種Deltalake配置表的支持/執行更好的事務性工作負載(非常重要的日常數據synchornization從源到Deltalake) ?
謝謝
@Indra Limena:
有幾種方法可以提高事務性加載到三角洲湖:
辛巴ODBC驅動程序,有一個選項有可能利用批量加載,但你需要查閱文檔或聯係供應商尋找。然而,即使有一個選項使用批量加載,它可能不是一樣優化本機三角洲湖連接器或批量插入API。
一般來說,如果你想執行批量數據遷移或每天從源係統數據同步到三角洲湖,推薦使用一個工具,是優化用例,例如Apache NiFi或Apache氣流。這些工具可以處理大量數據,並提供高效、可靠的數據傳輸機製。