我們ADLS容器位置包含幾個(100 +)不同的數據對象文件夾包含鋪文件分區列和我們想要公開的每個數據主題文件夾在磚SQL表。有什麼方法可以自動創建這些表嗎?
abfss: / /(電子郵件保護)/ sc /生/ DataSubject1 /
abfss: / /(電子郵件保護)/ sc /生/ DataSubject2 /
abfss: / /(電子郵件保護)/ sc /生/ DataSubject3 /
abfss: / /(電子郵件保護)/ sc /生/ DataSubject4 /
....
abfss: / /(電子郵件保護)/ sc /生/ DataSubject100 /
我想自動創建表DataSubject1 DataSubject2 DataSubject3…DataSubject100在磚SQL數據庫(sqlanalytics_db)。
@Vasanth Kumar你有新數據到達這些地方嗎?如果你沒有新的數據到達,您可以簡單地複製到命令,指向的位置。例子:
創建表DataSubject1;複製到DataSubject1 abfss: / /(電子郵件保護)/ sc /生/ DataSubject1 ' FILEFORMAT =鋪FORMAT_OPTIONS (“inferSchema”=“真實”,“mergeSchema”= true”);
現在,您可以運行這個命令一個存儲路徑,您現在可以模板運行許多存儲路徑。可能最簡單的方法是使用Python變量替換生成SQL作為字符串和對集群運行它。
PS:別忘了設置創建的表的主人,否則你不會看到他們在磚SQL(管理員可以看到所有新創建的表)