開發人員工具和指導
了解您可以使用Databricks資產和數據的工具和指南,並開發數據鏈驅動器應用程序。
使用IDE
您可以將許多受歡迎的第三方IDE連接到數據鏈球群集。這使您可以通過使用SPARK API在本地開發機上編寫代碼,然後在Databricks群集上遠程運行該代碼作為作業。
Databricks建議您使用DBX由Databricks實驗室進行本地開發。
Databricks還提供了您可以探索到的代碼示例使用IDE和DBX
。
筆記
Databricks還支持一個名為的工具Databricks Connect。但是,Databricks目前沒有針對Databricks Connect的新功能開發。此外,Databricks Connect有幾個限製。
使用筆記本
要在筆記本中運行Python,R或Scala代碼,以與Databricks群集一起使用文件係統,庫和秘密,請參閱Databricks實用程序。
致電Databricks REST API
您可以使用流行的第三方公用事業,例如卷曲以及諸如郵差通過Databricks REST API直接與Databricks資源一起工作。
類別 |
使用此API與…一起工作 |
---|---|
通過使用DataBricks REST API的最新版本,數據科學與工程工作空間資產,例如集群,全局啟動腳本,組,池,作業,作業,庫,秘密和代幣。 |
|
通過使用Databricks REST API的2.1版,數據科學與工程工作區資產(例如作業)。 |
|
通過使用DataBricks REST API的2.0版,數據科學與工程工作區資產,例如群集,全局啟動腳本,組,池,作業,作業,庫,秘密和代幣。 |
|
命令執行和執行上下文通過使用Databricks REST API的1.2版。 |
提供基礎架構
您可以使用基礎架構AS-CODE(IAC)方法來編程配置數據標準和資產,例如工作區,集群,作業,組和用戶。有關詳細信息,請參閱Databricks Terraform提供商。
使用CI/CD
為了管理Databricks資產和數據的生命周期,您可以使用連續集成和連續交付(CI/CD)和數據管道工具。
區域 |
當您想…時使用這些工具 |
---|---|
在GITHUB上構建CI/CD工作流,該工作流使用為數據鏈球製定開發的GitHub操作。 |
|
為使用Jenkins的Databrick開發CI/CD管道。 |
|
管理和安排使用Apache氣流的數據管道。 |
使用SQL數據庫工具
您可以使用這些工具來運行SQL命令和腳本,並在Databricks中瀏覽數據庫對象。
工具 |
當您想時使用此功能: |
---|---|
使用命令行在Databricks SQL端點上運行SQL命令和腳本。 |
|
使用查詢控製台,架構導航,智能代碼完成以及其他功能來運行SQL命令和腳本,並在Databricks中瀏覽數據庫對象。 |
|
通過使用此客戶端軟件應用程序和數據庫管理工具,將SQL命令和瀏覽數據庫對象運行。 |
|
通過使用此SQL查詢工具,在數據映中運行SQL腳本(交互式或作為批處理)。 |
使用其他工具
您可以將許多流行的第三方工具連接到群集以訪問數據映中的數據。看到Databricks集成。