連接到Syncsort

預覽

這個特性是在公共預覽。

Syncsort幫助你分解數據豎井通過整合遺產,大型機,IBM數據與數據磚。您可以輕鬆地將數據從這些來源為三角洲湖。

這是用Syncsort磚的步驟。

第一步:生成一個磚個人訪問令牌

Syncsort驗證使用磚與磚的個人訪問令牌。

請注意

作為一個安全最佳實踐進行身份驗證時使用自動化工具,係統、腳本和應用程序,磚建議您使用OAuth令牌或個人訪問令牌屬於服務主體而不是用戶工作區。為服務主體,創建令牌服務主體的管理令牌。

Syncsort將數據寫入一個S3 bucket和磚集成的集群將從該位置讀取數據。因此集成集群需要安全訪問S3 bucket。

AWS資源的訪問,你可以啟動磚集成集群實例的配置文件。實例配置文件應該訪問分期S3 bucket和目標S3 bucket,你想寫三角洲表。創建一個實例配置文件和配置集成集群使用的角色,按照說明S3訪問配置實例配置文件。

作為一種替代方法,您可以使用我憑證透傳,使特定於用戶的訪問S3數據從一個共享集群。

                spark.databricks.delta.optimizeWrite.enabled真實spark.databricks.delta.autoCompact.enabled真實
               

集群配置的細節,請參閱創建一個集群。

看到檢索連接細節的步驟來獲得JDBC URL和HTTP路徑。

連接一個磚集群Syncsort需要JDBC / ODBC連接屬性如下:

去磚和大數據的連接登錄頁麵,按提示操作。