我也在尋找一種與當地基於IDE的開發調試代碼。我們有一個複雜的python代碼(代碼庫和成熟毫升。py文件,不是筆記本)和大量使用調試(vscode)。關鍵是能夠通過代碼步驟和檢查變量等。這與筆記本根本是不可能的。
我們正在考慮這個代碼庫遷移到基於磚但是我們擔心IDE的開發和調試能力。我們想要避免的情況我們使用磚時犧牲軟件最佳實踐。
雖然notebook-based發展似乎適合磚例子毫升項目,使用現有的神經網絡的體係結構、特征提取、數據集,我認為這種類型的發展幾乎是不可能的一個大型研究團隊的ML /工程師提供一個成熟的ML代碼庫。
我也困惑的建議基於IDE的開發工具。databricks-connect不推薦(棄用),建議使用dbx代替。Dbx並不提供任何調試功能。它也迫使你使用筆記本或python包。理想情況下我們想要執行的代碼庫是IDE與調試計算集群。
磚建議你使用dbx由磚實驗室為當地的發展而不是磚連接。看到的:https://docs.m.eheci.com/dev-tools/databricks-connect.html databricks-connect
dbx目前不提供交互式調試功能。如果你想使用交互式調試,可以使用磚連接,然後使用dbx部署操作。看到https://dbx.readthedocs.io/en/latest/intro/?h=debug的局限性
似乎databricks-connect IDE內最接近的選項進行調試。然而,據我所知,隻有引發相關命令發送到磚計算集群的其餘的代碼在本地機器上執行。(見局限性https://docs.m.eheci.com/dev-tools/databricks-connect.html的局限性)。該混合方法是具有挑戰性的發展作為我們大部分的代碼沒有使用火花api,並有潛在的環境不匹配。
最後,還有vscode磚擴展https://github.com/paiqo/Databricks-VSCode。我相信這可以計算集群上執行的筆記本。我試著用這個,找不到任何對調試的支持。
任何建議將不勝感激!
謝謝
