你好朋友,
我們有一個應用程序,它從各種表提取dat Azure磚,我們提取的postgres表(postgres安裝在Azure vm)。提取我們應用變換後的數據集在postgres表的幫助下火花在木星的筆記本和編寫的程序加載數據Neo4j圖形數據庫(Neo4j安裝在另一個Azure VM)。現在我們正在做提取通過SQL查詢和轉換Postgres我們利用Python(火花)計劃。有很多的表(超過100),有依賴性,不可能所有手動運行。因此,我們正在尋找一個協調器和調度器可以創建我們的工作執行工作流和安排他們運行在一個特定的時間框架。你能推薦一個嗎?提前感謝。我將該應用程序的架構,在這篇文章。
