開發人員工具和指導

了解您可以使用Databricks資產和數據的工具和指南,並開發數據鏈驅動器應用程序。

使用IDE

您可以將許多受歡迎的第三方IDE連接到數據鏈球群集。這使您可以通過使用SPARK API在本地開發機上編寫代碼,然後在Databricks群集上遠程運行該代碼作為作業。

Databricks建議您使用DBX由Databricks實驗室進行本地開發。

Databricks還提供了您可以探索到的代碼示例使用IDEDBX

筆記

Databricks還支持一個名為的工具Databricks Connect。但是,Databricks目前沒有針對Databricks Connect的新功能開發。此外,Databricks Connect有幾個限製

使用連接器或驅動程序

您可以使用連接器和驅動程序將代碼連接到Databricks群集。這些連接器和驅動程序包括:

有關通過JDBC或ODBC連接代碼的更多信息,請參見JDBC和ODBC配置指南

使用筆記本

要在筆記本中運行Python,R或Scala代碼,以與Databricks群集一起使用文件係統,庫和秘密,請參閱Databricks實用程序

致電Databricks REST API

您可以使用流行的第三方公用事業,例如卷曲以及諸如郵差通過Databricks REST API直接與Databricks資源一起工作。

類別

使用此API與…一起工作

REST API(最新)

通過使用DataBricks REST API的最新版本,數據科學與工程工作空間資產,例如集群,全局啟動腳本,組,池,作業,作業,庫,秘密和代幣。

REST API 2.1

通過使用Databricks REST API的2.1版,數據科學與工程工作區資產(例如作業)。

REST API 2.0

通過使用DataBricks REST API的2.0版,數據科學與工程工作區資產,例如群集,全局啟動腳本,組,池,作業,作業,庫,秘密和代幣。

REST API 1.2

命令執行和執行上下文通過使用Databricks REST API的1.2版。

提供基礎架構

您可以使用基礎架構AS-CODE(IAC)方法來編程配置數據標準和資產,例如工作區,集群,作業,組和用戶。有關詳細信息,請參閱Databricks Terraform提供商

使用CI/CD

為了管理Databricks資產和數據的生命周期,您可以使用連續集成和連續交付(CI/CD)和數據管道工具。

區域

當您想…時使用這些工具

使用github操作在數據映中進行連續集成和交付

在GITHUB上構建CI/CD工作流,該工作流使用為數據鏈球製定開發的GitHub操作。

使用Jenkins上的數據映起連續集成和交付

為使用Jenkins的Databrick開發CI/CD管道。

管理數據管道中的依賴項

管理和安排使用Apache氣流的數據管道。

使用SQL數據庫工具

您可以使用這些工具來運行SQL命令和腳本,並在Databricks中瀏覽數據庫對象。

工具

當您想時使用此功能:

Databricks SQL CLI

使用命令行在Databricks SQL端點上運行SQL命令和腳本。

與Databricks集成Datagrip

使用查詢控製台,架構導航,智能代碼完成以及其他功能來運行SQL命令和腳本,並在Databricks中瀏覽數據庫對象。

DBEAVER與Databricks集成

通過使用此客戶端軟件應用程序和數據庫管理工具,將SQL命令和瀏覽數據庫對象運行。

SQL Workbench/j

通過使用此SQL查詢工具,在數據映中運行SQL腳本(交互式或作為批處理)。

使用其他工具

您可以將許多流行的第三方工具連接到群集以訪問數據映中的數據。看到Databricks集成