新特性來加速生產與下一代數據科學之路的工作區

通過克萊門斯Mewald

2020年11月19日在公司博客上

分享這篇文章

今天,在歐洲2020數據+人工智能峰會上,我們分享了一些激動人心的下一代數據科學更新工作區-現代數據團隊的協作環境beplay娱乐ios公布了在火花+人工智能峰會2020。

數據和人工智能的力量已經擾亂了許多行業,然而我們隻觸及表麵的潛力,和數據團隊每天仍然麵臨許多挑戰。這部分是由於缺乏光滑不幹涉在各種各樣的角色在生命周期的不同階段。此外,該字段的快速創新意味著大多數開源軟件和工具提供還沒有生產好。最後,傳統的軟件工程和DevOps工具為生產設計建造軟件不像今天數據密切相關,和他們沒有趕上新興科學和機器學習實踐數據。

下一代數據科學工作空間導航這些挑戰提供一個開放的和統一的現代數據團隊協作經驗通過結合筆記本與最佳開發工作流環境Git-based協作和再現性。beplay娱乐ios這個輪流被完全自動化和低摩擦CI / CD管道從實驗到生產部署。

在這個博客中,我們將介紹新功能添加到下一代數據工作區繼續增加數據科學生產力和簡化數據團隊的交接,具體目錄,TensorBoard,和黑暗的模式以及臨時的變化,Diff看來,Git-based項目和企業的安全特性。

引入嵌入式TensorBoard、目錄和黑暗模式磚筆記本

數據科學家和工程師都已經愛磚筆記本的協作和生產力的功能,包括支持多種編程語言(Python, Scala、SQL或R),評論,與人合寫,co-presence,beplay娱乐ios內置的可視化,並能跟蹤實驗以及相應的參數,指標,從特定的筆記本版本的代碼。

例如,實驗跟蹤磚允許您快速查看所有運行記錄中使用MLflow從你的筆記本,點擊一個按鈕。一個常見的用例是確定最好的機器學習模型的排序指標。現在你可以很容易地找到最佳運行最低的損失。因為與筆記本的緊密集成,你也可以回到確切的版本的代碼,創建了這個運行,允許你複製它在未來,如下所示。

新的TensorBoard支持

TensorFlow Keras廣泛流行的深度學習框架,和機會,您想使用Keras TensorFlow後端。現在你可以直接TensorBoard嵌入筆記本,你可以監控你的訓練進度在上下文。

新目錄

因為筆記本可以變得相當長,新目錄特性使用減價標題允許您輕鬆瀏覽一個筆記本。筆記本在下麵的例子火車Keras模型,你可以看到現在可以快速導航到該部分。

引入黑暗模式

最後,我們非常興奮地介紹黑磚模式。我們知道很多用戶一樣興奮這個特性。隻是去用戶設置>筆記本設置>,打開筆記本黑暗模式編輯器翻轉開關。

許多人認為這樣的協作平台隻能用於探索和實驗。beplay娱乐iosBeplay体育安卓版本就很難把筆記本的易用性和協作特性與大規模生產部署的嚴密性。beplay娱乐ios用於管理代碼版本控製、CI / CD和工業生產部署,該行業已經利用健壯的代碼管理的最佳實踐在複雜的環境中,他們是Git。

因此Git-based磚項目的與Git完全集成生態係統將這些最佳實踐數據工程和數據科學、再現性變得越來越重要。

diff看來,引入nbformat支持Git-based數據磚項目和企業的安全特性

磚項目允許數據科學家使用Git來開展他們的工作在磚上,在那裏他們可以訪問所有的數據集和使用最佳的開源工具在一個安全的和可伸縮的環境。今天,我們討論的新功能即將迅速幫助數據團隊並自信地移動實驗生產包括原生支持開放標準筆記本格式(nbformat)來促進合作和互操作性,新的diff視圖很容易比較代碼合並分支時,保護你的知識產權和企業安全特性。