取消
顯示的結果
而不是尋找
你的意思是:

調試!

MCosta
新的貢獻者三世

嗨毫升,

我們使用磚訓練的深度學習模型。代碼,然而,有一個複雜的結構類。這也可以在一個完美的無缺陷的世界像《愛麗絲夢遊仙境》。

調試在磚是尷尬的。我們最終做時所有的發展在本地機器上,代碼是“成熟”我們開始玩磚+ MLFlow訓練模型。我們不僅使用Azure磚,但也為數據。然而,我們最終有一個“安全漏洞”,這種方法。IT人員想消除這種類型的本地機器的許可,這將創建一個挑戰毫升團隊……

穀歌搜索沒有找到一個好的參考,作為指導原則適合做“複雜”麵向磚模型開發和培訓。任何建議都是受歡迎的!

幹杯

10個回答10

emily1
新的貢獻者三世

我也有關於調試的問題,因為我沒有選擇使用本地計算機數據安全。我很震驚作為經驗豐富的開發人員,沒有合適的IDE,甚至調試工具在磚,隻是筆記本。事實真是這樣,還是我錯過什麼嗎?如果這是為開發人員設計的,不應該有一種遍曆代碼至少?筆記本電腦非常適合EDA但不是為發展而設計的。

BilalAslamDbrx
尊敬的貢獻者二世
尊敬的貢獻者二世

@Emily Heureux給你我有一個有趣的驚喜。我們有一個新特性的負載出來幫助開發的IDE。你能郵件薩阿德·安薩裏磚。com,他會讓你開始嗎?

User16844989228
新的貢獻者三世

嗨@Emily Heureux請取得聯係,希望得到你的反饋!

jamesw
新的貢獻者二世

我也在尋找一種與當地基於IDE的開發調試代碼。我們有一個複雜的python代碼(代碼庫和成熟毫升。py文件,不是筆記本)和大量使用調試(vscode)。關鍵是能夠通過代碼步驟和檢查變量等。這與筆記本根本是不可能的。

我們正在考慮這個代碼庫遷移到基於磚但是我們擔心IDE的開發和調試能力。我們想要避免的情況我們使用磚時犧牲軟件最佳實踐。

雖然notebook-based發展似乎適合磚例子毫升項目,使用現有的神經網絡的體係結構、特征提取、數據集,我認為這種類型的發展幾乎是不可能的一個大型研究團隊的ML /工程師提供一個成熟的ML代碼庫。

我也困惑的建議基於IDE的開發工具。databricks-connect不推薦(棄用),建議使用dbx代替。Dbx並不提供任何調試功能。它也迫使你使用筆記本或python包。理想情況下我們想要執行的代碼庫是IDE與調試計算集群。

磚建議你使用dbx由磚實驗室為當地的發展而不是磚連接。看到的:https://docs.m.eheci.com/dev-tools/databricks-connect.html databricks-connect

dbx目前不提供交互式調試功能。如果你想使用交互式調試,可以使用磚連接,然後使用dbx部署操作。看到https://dbx.readthedocs.io/en/latest/intro/?h=debug的局限性

似乎databricks-connect IDE內最接近的選項進行調試。然而,據我所知,隻有引發相關命令發送到磚計算集群的其餘的代碼在本地機器上執行。(見局限性https://docs.m.eheci.com/dev-tools/databricks-connect.html的局限性)。該混合方法是具有挑戰性的發展作為我們大部分的代碼沒有使用火花api,並有潛在的環境不匹配。

最後,還有vscode磚擴展https://github.com/paiqo/Databricks-VSCode。我相信這可以計算集群上執行的筆記本。我試著用這個,找不到任何對調試的支持。

任何建議將不勝感激!

謝謝

BilalAslamDbrx
尊敬的貢獻者二世
尊敬的貢獻者二世

你應該聯係@Saad安薩裏@James W。他可以走你通過我們的路線圖,我想你會喜歡它的。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map