查詢數據

本文將展示如何在統一查詢數據目錄。

需求

  • 計算資源您使用筆記本,磚SQL編輯器,或探險家工作流來創建查詢的數據必須符合統一目錄安全需求。

  • 查詢數據表或視圖,用戶必須有使用目錄在父目錄權限,使用模式允許在家長模式,選擇允許在表或視圖。

    請注意

    閱讀從一個視圖集群上使用單用戶訪問模式,用戶必須擁有的選擇所有引用的表和視圖。

三級名稱空間符號

在統一目錄,一個表或視圖包含在父目錄和模式。你可以引用一個表或視圖使用兩個不同風格的符號。您可以使用使用目錄使用語句指定目錄和模式:

使用目錄<catalog_name>;使用模式<schema_name>;選擇*<table_name>;
火花sql(“使用目錄< catalog_name >”)火花sql(“使用模式< schema_name >”)顯示(火花(“< table_name >”))
圖書館(SparkR)sql(“使用目錄< catalog_name >”)sql(“使用模式< schema_name >”)顯示(tableToDF(“< table_name >”))
火花sql(“使用目錄< catalog_name >”)火花sql(“使用模式< schema_name >”)顯示(火花(“< table_name >”))

作為一種替代方法,您可以使用三級名稱空間表示法:

選擇*<catalog_name><schema_name><table_name>;
顯示(火花(“< catalog_name >, < schema_name >。< table_name > "))
圖書館(SparkR)顯示(tableToDF(“< catalog_name >, < schema_name >。< table_name > "))
顯示(火花(“< catalog_name >, < schema_name >。< table_name > "))

使用三級名稱空間簡化查詢數據在多個目錄和模式。

您還可以使用三級名稱空間在蜂巢metastore符號數據設置< catalog_name >hive_metastore

探索在磚SQL表和視圖

您可以快速探索表和視圖,而不需要運行一個集群通過使用數據瀏覽

  1. 打開數據瀏覽,點擊數據圖標數據在側邊欄。

  2. 在數據瀏覽器,選擇目錄和模式以查看其表和視圖。

對於蜂巢Metastore中的對象,您必須運行一個SQL倉庫使用數據瀏覽。

選擇表和視圖

選擇從一個表或視圖從一個筆記本:

  1. 使用側邊欄切換到數據科學與工程。

  2. 把筆記本數據科學與工程或磚機器學習集群這是為統一配置的目錄。

  3. 在筆記本上,創建一個查詢,統一編目表和視圖的引用。您可以使用三級名稱空間符號輕鬆地選擇數據在多個目錄和模式,包括workspace-local蜂巢metastore。

    請注意

    閱讀從一個視圖從一個集群與單用戶安全模式下,用戶必須擁有的選擇所有引用的表和視圖。

選擇從一個表或視圖從磚SQL:

  1. 使用側邊欄切換到磚SQL。

  2. 點擊SQL編輯器在側邊欄。

  3. 選擇一個SQL倉庫這是為統一配置的目錄。

  4. 組成一個查詢。將一個表或視圖插入查詢,選擇一個目錄和模式,然後單擊插入的表或視圖的名稱。

  5. 點擊運行

選擇從文件

探索數據存儲在外部位置從這些數據創建表之前,您可以使用數據瀏覽器或以下命令。

權限要求:你必須有文件允許在外部位置與雲存儲路徑返回一個列表的數據文件位置。

  1. 列出文件雲存儲路徑:

    列表“s3: / / < path_to_files >”;
  2. 在給定查詢中的數據文件路徑:

    選擇*<格式>(s3:/ / <path_to_files> ';
  1. 列出文件雲存儲路徑:

    顯示(火花sql(”名單s3: / / < path_to_files >”))
  2. 在給定查詢中的數據文件路徑:

    顯示(火花負載(“s3: / / < path_to_files >”))
  1. 列出文件雲存儲路徑:

    圖書館(SparkR)顯示(sql(”名單s3: / / < path_to_files >”))
  2. 在給定查詢中的數據文件路徑:

    圖書館(SparkR)顯示(loadDF(“s3: / / < path_to_files >”))
  1. 列出文件雲存儲路徑:

    顯示(火花sql(”名單s3: / / < path_to_files >”))
  2. 在給定查詢中的數據文件路徑:

    顯示(火花負載(“s3: / / < path_to_files >”))

下一個步驟