磚通常運行時5.3毫升現在可用
我們興奮地宣布磚的一般可用性(GA)運行時,機器學習作為釋放磚的一部分運行時5.3毫升。建立在磚上運行時,運行時毫升磚是開發ML / DL應用程序的優化運行時數據磚。它提供了本地與流行的ML / DL框架的集成,如scikit-learn XGBoost, TensorFlow, PyTorch, Keras, Horovod,等。除了預先配置這些流行的框架,DBR毫升使這些框架更容易使用,更可靠、更高效。
自從我們在預覽介紹了機器學習磚運行時的2018年6月,我們已經目睹了指數采用的總工作量和用戶的數量。接近1000個組織試圖磚運行時毫升預覽版本在過去十個月。滿足快速增長的需求,我們繼續改善我們的集成和測試到達一個健壯的節奏磚的更新和添加庫運行時毫升。此外,磚提供優化特性的改善對於開發人員使用這些框架的經驗。客戶的積極反饋讓我們為機器學習磚運行時一般可用(GA)。beplay体育app下载地址
磚運行時毫升現在一般可用在所有磚產品的:
- Azure磚
- AWS雲
- GPU集群
- CPU集群
開始時,隻需從下拉列表中選擇磚運行時的5.3毫升,當你創建一個新的集群在磚:
https://www.youtube.com/watch?v=yhLKu0O_qds
磚運行時對機器學習的優點
磚運行時對機器學習集中在三個關鍵領域:可用性、可靠性和性能。
易用性
的所有庫中標識“磚運行時的ML分層庫”(見下圖)在磚預配置運行時毫升。你可以馬上開始開發機器學習應用程序不需要配置環境本身。
在磚運行時5.0毫升版本中,我們介紹了HorovodRunner,這使得它易於使用分布式深度學習框架Horovod。Horovod的一個關鍵挑戰是可用性,因為它需要你跨節點共享代碼和庫,配置SSH,執行複雜的MPI命令,等等。HorovodRunner抽象這些並發症通過提供一個簡單的API允許您輕鬆地利用Horovod的好處。幾行代碼更改,您可以很容易地遷移您的單節點深度學習培訓代碼運行在集群磚。
多少毫升庫為單節點開發用例。我們不斷地評估流行毫升庫和尋找方法讓他們更容易在分布式係統中運行。例如,我們正在致力於一個分布式hyperparameter調諧特性。請繼續關注。
可靠性
機器學習是一個快速發展的空間,我們想要的最新和磚最大的工具運行時機器學習。每一個預先配置的ML圖書館磚運行時毫升定期發布新版本。穩定我們的環境,對磚磚工程日常運行集成測試之前運行時毫升和壓力測試所有新庫集成或更新現有的庫。
磚運行時版本以來的MLβ十個月前,我們繼續擴大我們的測試套件和合並來自近1000個組織的反饋使ML工作流運行順利。
我們采取了集中的方法來維護和更新庫在磚運行時毫升。根據客戶需求和市場趨勢,我們確定了圖書館作為“頂級”庫的列表。對於這些“頂級”庫,磚計劃更快的更新和提供先進的支持。看到信息的“分層在磚運行時庫毫升”部分所示。健壯的測試和集成,我們有信心,定期添加和更新流行毫升圖書館在未來磚運行時的ML版本。
最後,磚的主要倡議運行時在2019毫升是允許您自定義您的ML環境。我們正在研究解決方案,讓您可以輕鬆地挑選合適的組毫升庫包括在磚運行時毫升。輕環境可能導致額外的穩定性的改善。請繼續收看。
性能
磚運行時毫升包括性能改進超出可用“現成”的開源版本的幾個庫。在磚運行時5.0毫升釋放,我們做了改善Apache火花MLlib邏輯回歸和樹分類器。毫升的磚運行時的運行時,我們觀察到~ 40%加速火花性能測試而Apache火花測試盒框。
磚的GraphFrames圖書館運行時毫升還包含一個優化的實現。從5.0毫升,在磚GraphFrames運行時毫升運行2 - 4倍,支持開源GraphFrames相比更大的圖。圖查詢將利用基於成本的優化(CBO)火花確定加入訂單,如果底層節點和邊表包含列統計。這可能會導致100倍加速,這取決於工作負載和數據傾斜。
改進的性能僅可在磚。你可以利用改進的性能在兩種磚運行時和磚毫升的運行時。
我們也改善集群啟動時間25%通過減少圖像大小。
分層圖書館磚運行時毫升
磚運行時對機器學習包括各種流行毫升庫。圖書館定期更新包括新的特性和修複。流行的庫的子集標記為頂級庫。對於這些庫,磚提供更快的更新節奏,上遊包更新到最新的版本,每個運行時版本(除非依賴性衝突)。磚還提供了先進的支持、測試和嵌入式為頂級庫優化。磚5.3運行時機器學習庫包括以下:
頂級庫:
- TensorFlow / TensorBoard / tf.keras
- spark-tensorflow-connector
- PyTorch
- Horovod / HorovodRunner
- GraphFrames
其他提供庫:
- Keras
- spark-xgboost
- MLeap
- scikit-learn
- 熊貓
- 深度學習管道為Apache火花
- TensorFrames
默認的優化融合在Azure磚
磚運行時基本FUSE客戶機DBFS,當地的一個分布式文件係統安裝在磚集群。這個功能已經非常受歡迎,因為它允許本地訪問遠程存儲。然而,當前實現不允許足夠快開發分布式應用程序所需的數據訪問。
在磚5.3運行時,Azure磚現在提供了一個優化的融合默認安裝。您現在可以在培訓和高性能數據訪問推理沒有應用init腳本。數據存儲在dbfs: /毫升和訪問本地文件:/ dbfs /毫升現在支持這種優化融合山。如果你正在運行一個磚運行時版本5.3之前,你可以跟隨我們指令安裝一個高性能的第三方客戶端融合。
我們正在做一個默認優化融合山磚AWS用戶,從而實現功能平價在Azure和AWS平台。Beplay体育安卓版本
私人預覽:MLlib-MLflow集成
磚的運行時5.3毫升支持自動記錄MLflow運行模型適合使用PySpark MLlib優化算法CrossValidator和TrainValidationSplit。之前5.3毫升,如果你想跟蹤PySpark MLlib交叉驗證或MLflow調優,你必須明確MLflow磚筆記本的API調用。與MLflow-MLlib集成,當你調整hyperparameters通過運行CrossValidator或TrainValidationSplit參數會自動記錄到MLflow和評價指標。你可以檢查在MLflow調優如何影響評價指標。
這個特性是在私人預覽。聯係你的磚銷售代表了解啟用它。
其他庫更新
我們更新以下圖書館磚運行時5.3 ML:
- Horovod 0.16.0
- TensorBoardX 1.6
- PyArrow 0.12.1(包括支持BinaryType數據)
- 磚毫升模型導出API已棄用。磚建議使用MLeap相反,它提供了更廣泛的報道MLlib模型類型