磚發射的“工作”功能為生產工作負載

磚現在包括一個新功能叫做工作,使支持運行的生產管道,由獨立的火花的應用程序。工作包括一個調度程序,使數據科學家和工程師來指定一個周期安排他們的生產工作,將根據指定的時間表執行。

筆記本電腦作為工作

除了支持運行Apache火花獨立應用程序,工作特性提供了一個獨特的功能,允許運行數據磚筆記本工作。,一份工作可以指定使用現有的筆記本,然後根據指定的時間表執行。這使互動勘探和生產之間的無縫過渡。因此,數據科學家可以使用筆記本電腦之前,執行他們的交互式數據探索。一旦筆記本是足夠發達,它可以轉換到生產使用工作,無需費時代碼重寫。每次運行的輸出工作,包括圖形輸出,也是存儲為一個筆記本,可以開了,用作任何其他筆記本,允許交互式調試的答案或進一步的探索。這樣,數據科學家可以反複迭代和改善他們的工作,而不必花時間重寫和不同係統之間移動代碼。

筆記本電腦為工作流

除了筆記本電腦作為工作運行,用戶可以運行編譯應用程序和庫工作。我們發現用戶經常使用筆記本電腦來指定一個工作流調用其他獨立工作。這樣的工作流可以方便腳本語言如Python,使用簡單的if指令和異常處理。以這種方式使用筆記本指定生產工作流非常強大,幾乎任何模式可以表示使用筆記本。

靈活的集群支持

工作與磚的現有集群的集成。工作可以指定集群使用一個現存的磚。此外,一份工作可以擁有自己的專用指定集群,在每次運行時啟動和拆除。這將確保工作都有自己的專用集群,隔離從其他用戶造成的錯誤和工作。在AWS隨需應變的情況下,可以啟動集群以及更便宜的現貨實例。此外,支持混合模式,fallback-on-demand,試圖發動大多數集群機器現場實例,但將在按需回退實例如果現貨實例的供應是有限的。這樣,組織可以一定要得到他們請求的集群,而降低成本在可能的情況下,通過使用實例。

通知支持

工作特性有一個通知係統,它可以配置為發送一封電子郵件給一組用戶隻要生產工作完成或失敗。這是特別重要的工作運行沒有human-in-the-loop,隻要出現問題需要注意。

發射的工作特性,旨在進一步提高磚的端到端用戶體驗。筆記本電腦現在可以用於生產工作負載,除了有用庫(筆記本可以調用其他筆記本電腦),儀表盤和在線協作。雖然這是第一次正式發布的工作特性,我們有幾個客戶已經在生產環境中使用它作為我們的早期項目的一部分。beplay体育app下载地址

我們很樂意聽到你的反饋,請讓我們知道你的想法關於這個新功能!