為自動加載器配置多個源路徑

[MRTN]

我目前使用兩個流監測數據在兩個不同的容器在Azure存儲賬戶。有什麼辦法可以配置一個自動裝卸機讀從兩個不同的地方嗎?文件的模式是相同的。

[匿名 · Accepted solution]

@Morten Stakkeland:

是的,它是可以配置多個位置的自動裝卸機讀。

您可以定義多個CloudFiles源自動裝卸機,每個指向不同的集裝箱在同一存儲賬戶。在你的情況中,因為文件的模式是相同的,您可以使用相同的模式的來源。下麵是一個例子,你可以定義多個源自動裝卸機配置:

{“格式”:“三角洲”,“模式”:“追加”,“cloudFiles”: {" cloudStorage ":{“超時”:“1 h”、“帳號名稱”:“< storage-account-name >”,“accountKey”:“< storage-account-access-key >”},“useIncrementalListing”:真的,“maxConcurrentFileCount”: 20,“源”:[{“路徑”:“container1 /”、“globPattern”:“*。csv”、“遞歸”:真正的},{“路徑”:“container2 /”、“globPattern”:“*。csv”、“遞歸”:真正}]}}

在這個例子中,我們定義了兩個來源,一個用於container1 /目錄和一個用於container2 /目錄中。globPattern參數指定,我們隻想負載CSV文件,並遞歸參數告訴自動裝卸機遞歸搜索子目錄中的文件。

注意,您還可以使用不同模式的兩個來源如果必要,隻要他們有相同的列名稱和數據類型。

[MRTN]

@Suteja卡努裏人感謝有用的答案!與此同時,我們已經在Azure上使用文件通知模式。我們可以使用相同的“源”關鍵監控兩個文件夾在這種情況下嗎?