查詢數據
本文將展示如何在統一查詢數據目錄。
需求
的計算資源您使用筆記本,磚SQL編輯器,或探險家工作流來創建查詢的數據必須符合統一目錄安全需求。
查詢數據表或視圖,用戶必須有
使用目錄
在父目錄權限,使用模式
允許在家長模式,選擇
允許在表或視圖。請注意
閱讀從一個視圖集群上使用單用戶訪問模式,用戶必須擁有的
選擇
所有引用的表和視圖。
三級名稱空間符號
在統一目錄,一個表或視圖包含在父目錄和模式。你可以引用一個表或視圖使用兩個不同風格的符號。您可以使用使用目錄
和使用
語句指定目錄和模式:
使用目錄<catalog_name>;使用模式<schema_name>;選擇*從<table_name>;
火花。sql(“使用目錄< catalog_name >”)火花。sql(“使用模式< schema_name >”)顯示(火花。表(“< table_name >”))
圖書館(SparkR)sql(“使用目錄< catalog_name >”)sql(“使用模式< schema_name >”)顯示(tableToDF(“< table_name >”))
火花。sql(“使用目錄< catalog_name >”)火花。sql(“使用模式< schema_name >”)顯示(火花。表(“< table_name >”))
作為一種替代方法,您可以使用三級名稱空間表示法:
選擇*從<catalog_name>。<schema_name>。<table_name>;
顯示(火花。表(“< catalog_name >, < schema_name >。< table_name > "))
圖書館(SparkR)顯示(tableToDF(“< catalog_name >, < schema_name >。< table_name > "))
顯示(火花。表(“< catalog_name >, < schema_name >。< table_name > "))
使用三級名稱空間簡化查詢數據在多個目錄和模式。
您還可以使用三級名稱空間在蜂巢metastore符號數據設置< catalog_name >
來hive_metastore
。
探索在磚SQL表和視圖
您可以快速探索表和視圖,而不需要運行一個集群通過使用數據瀏覽。
打開數據瀏覽,點擊數據在側邊欄。
在數據瀏覽器,選擇目錄和模式以查看其表和視圖。
對於蜂巢Metastore中的對象,您必須運行一個SQL倉庫使用數據瀏覽。
選擇表和視圖
選擇從一個表或視圖從一個筆記本:
使用側邊欄切換到數據科學與工程。
把筆記本數據科學與工程或磚機器學習集群這是為統一配置的目錄。
在筆記本上,創建一個查詢,統一編目表和視圖的引用。您可以使用三級名稱空間符號輕鬆地選擇數據在多個目錄和模式,包括workspace-local蜂巢metastore。
請注意
閱讀從一個視圖從一個集群與單用戶安全模式下,用戶必須擁有的
選擇
所有引用的表和視圖。
選擇從一個表或視圖從磚SQL:
使用側邊欄切換到磚SQL。
點擊SQL編輯器在側邊欄。
選擇一個SQL倉庫這是為統一配置的目錄。
組成一個查詢。將一個表或視圖插入查詢,選擇一個目錄和模式,然後單擊插入的表或視圖的名稱。
點擊運行。
選擇從文件
探索數據存儲在外部位置從這些數據創建表之前,您可以使用數據瀏覽器或以下命令。
權限要求:你必須有讀文件
允許在外部位置與雲存儲路徑返回一個列表的數據文件位置。
列出文件雲存儲路徑:
列表“s3: / / < path_to_files >”;
在給定查詢中的數據文件路徑:
選擇*從<格式>。”(s3:/ / <path_to_files> ';
列出文件雲存儲路徑:
顯示(火花。sql(”名單s3: / / < path_to_files >”))
在給定查詢中的數據文件路徑:
顯示(火花。讀。負載(“s3: / / < path_to_files >”))
列出文件雲存儲路徑:
圖書館(SparkR)顯示(sql(”名單s3: / / < path_to_files >”))
在給定查詢中的數據文件路徑:
圖書館(SparkR)顯示(loadDF(“s3: / / < path_to_files >”))
列出文件雲存儲路徑:
顯示(火花。sql(”名單s3: / / < path_to_files >”))
在給定查詢中的數據文件路徑:
顯示(火花。讀。負載(“s3: / / < path_to_files >”))