查詢亞馬遜使用磚紅移

驗證S3和紅移

數據源包括多個網絡連接,見下圖:

┌───────┐┌───────────────────> S3││<─────────────────┐│我或鍵└───────┘我或鍵││^││││我或鍵v v┌──────v────┐┌────────────┐┌───────────┐│┌──────────┴┐│紅移││火花│││火花│││<──────────>││司機<────────> |執行人│└────────────┘└───────────┘└───────────┘JDBC與配置用戶名/密碼火花(默認啟用SSL)

數據源讀取和寫入數據傳輸數據時S3 /紅移。因此,它需要AWS憑證與讀和寫訪問一個S3 bucket(指定使用tempdir配置參數)。

以下部分描述每個連接的身份驗證配置選項:

加密

• 確保JDBC:除非存在任何SSL-related設置JDBC URL,也默認數據源支持SSL加密和驗證紅移服務器是值得信賴的(也就是說,sslmode = verify-full)。,從亞馬遜服務器自動下載服務器證書第一次。如果失敗,預捆綁的證書文件作為後備。這適用於紅移和PostgreSQL JDBC驅動程序。介紹了自動SSL配置2.1.1-db4集群形象(不支持);之前的版本並不自動配置SSL和使用默認的JDBC驅動程序的配置(SSL禁用)。

  這個功能有問題,或者你隻是想禁用SSL,您可以調用.option (“autoenablessl”,“假”)在你的DataFrameReaderorgydF4y2BaDataFrameWriter。

  如果你想指定自定義SSL-related設置,您可以按照紅移的說明文檔:在Java中使用SSL和服務器證書和JDBC驅動程序的配置選項任何SSL-related選項出現在JDBCurl優先考慮使用數據源(即自動配置不會觸發)。

• 加密存儲在S3中卸載數據(數據存儲當閱讀從紅移):根據紅移的文檔卸載數據S3”,自動卸載加密數據文件使用Amazon S3服務器端加密(SSE-S3)。”

  紅移也支持與自定義客戶端加密密鑰(見:卸載加密的數據文件),但缺乏能力的數據源指定所需的對稱密鑰。

• 加密存儲在S3中複製數據(數據存儲在寫紅移):根據紅移的文檔從Amazon S3加載加密的數據文件:

您可以使用複製命令加載數據文件上傳與AWS-managed Amazon S3使用服務器端加密加密密鑰(SSE-S3或SSE-KMS),客戶端加密,或兩者兼而有之。複製不支持Amazon S3與客供服務器端加密密鑰(SSE-C)。

使用此功能,配置您的Hadoop文件係統使用S3Amazon S3加密。這將不加密清單寫文件,其中包含所有文件的列表。

參數

火花中提供的參數映射或選擇SQL支持以下設置:

jdbc: subprotocol: / / <主機>:<口> /數據庫?用戶= <用戶名>密碼= <密碼>

配置字符串列的最大大小

在創建紅移表時,默認行為是創建文本列字符串列。紅移的商店文本列如VARCHAR (256),所以這些列的最大大小是256字符(源)。

支持更大的列,可以使用最大長度列元數據字段指定單個字符串的最大長度列。這也是有用的實現節省空間的性能優化,宣布與最大長度小於默認列。

df=…# dataframe你會想寫紅移#指定自定義每一列的寬度columnLengthMap={“language_code”:2,“country_code”:2,“url”:2083年,}#每一列元數據應用定製為(colName,長度)在columnLengthMap。iteritems():元數據={最大長度的:長度}df=df。withColumn(colName,df(colName]。別名(colName,元數據=元數據))df。寫\。格式(“com.databricks.spark.redshift”)\。選項(“url”,jdbcURL)\。選項(“tempdir”,s3TempDirectory)\。選項(“數據表”,sessionTable)\。保存()

進口org。apache。火花。sql。類型。MetadataBuilder/ /指定自定義每一列的寬度瓦爾columnLengthMap=地圖(“language_code”- >2,“country_code”- >2,“url”- >2083年)vardf=…/ / dataframe你會想寫紅移/ /每一列元數據應用定製columnLengthMap。foreach{情況下(colName,長度)= >瓦爾元數據=新MetadataBuilder()。putLong(“最大長度”,長度)。構建()df=df。withColumn(colName,df(colName)。作為(colName,元數據))}df。寫。格式(“com.databricks.spark.redshift”)。選項(“url”,jdbcURL)。選項(“tempdir”,s3TempDirectory)。選項(“數據表”,sessionTable)。保存()

設置一個自定義列類型

如果你需要手動設置列類型,您可以使用redshift_type列元數據。例如,如果您希望覆蓋火花SQL模式- >紅移SQL類型匹配器來分配一個用戶定義的列類型,您可以執行以下操作:

#指定自定義類型的每一列columnTypeMap={“language_code”:“CHAR (2)”,“country_code”:“CHAR (2)”,“url”:“BPCHAR (111)”,}df=…# dataframe你會想寫紅移#每一列元數據應用定製為(colName,colType)在columnTypeMap。iteritems():元數據={“redshift_type”:colType}df=df。withColumn(colName,df(colName]。別名(colName,元數據=元數據))

進口org。apache。火花。sql。類型。MetadataBuilder/ /指定自定義類型的每一列瓦爾columnTypeMap=地圖(“language_code”- >“CHAR (2)”,“country_code”- >“CHAR (2)”,“url”- >“BPCHAR (111)”)vardf=…/ / dataframe你會想寫紅移/ /每一列元數據應用定製columnTypeMap。foreach{情況下(colName,colType)= >瓦爾元數據=新MetadataBuilder()。putString(“redshift_type”,colType)。構建()df=df。withColumn(colName,df(colName)。作為(colName,元數據))}

配置列編碼

當創建一個表,使用編碼列元數據字段指定為每個列(見壓縮編碼亞馬遜文檔可用的編碼)。

設置列上的描述

紅移列可以有附加的描述,應該出現在大多數查詢(使用工具評論命令)。你可以設置描述列元數據字段指定一個描述單個列。

查詢下推到紅移

火花優化器將以下運營商分成紅移:

• 過濾器

• 項目

• 排序

• 限製

• 聚合

• 加入

在項目和過濾器它支持以下表達式:

• 大多數布爾邏輯運算符

• 比較

• 基本的算術運算

• 數字和字符串類型轉換

• 多數字符串函數

• 標量子查詢,如果他們完全可以下推到紅移。

在聚合它支持以下聚合函數:

• AVG

• 數

• 馬克斯

• 最小值

• 總和

• STDDEV_SAMP

• STDDEV_POP

• VAR_SAMP

• VAR_POP

結合截然不同的條款,適用。

在加入它支持以下類型的連接:

• 內心的加入

• 左外加入

• 正確的外加入

• 左半加入

• 左反加入

• 子查詢重寫成加入通過優化器。在哪裏存在,在哪裏不存在

查詢的疊加可能最有益限製。一個查詢等選擇*從large_redshift_table限製10可能需要很長時間,因為整個表將首先被卸載S3作為中間結果。疊加,限製執行在紅移。與聚合查詢,將聚合分解成紅移也有助於減少需要傳輸的數據量。

查詢下推到紅移是默認啟用。它可以通過設置禁用spark.databricks.redshift.pushdown來假。即使殘疾,火花仍然推過濾器和執行列消除分成紅移。

一般背景紅移和S3屬性

紅移事務擔保一般信息,請參閱管理並發寫操作章的紅移的文檔。簡而言之,紅移可序列化的隔離根據文檔的紅移開始命令:

(雖然)您可以使用任何的四個事務隔離級別,亞馬遜紅移處理所有隔離級別是可序列化的。

根據紅移的文檔:

亞馬遜支持一個默認的紅移自動提交行為,每個separately-executed SQL命令單獨提交。

因此,個人的命令複製和卸載原子和事務,而顯式開始和結束應該隻需要執行多個命令或查詢的原子性。

當讀取或寫入紅移,在S3中讀取和寫入數據的數據源。火花和紅移產生分區的輸出並將其存儲在S3的多個文件。根據Amazon S3數據一致性模型文檔,S3 bucket清單操作最終一致性的,所以必須去特別的文件長度,避免丟失或不完整的數據由於最終一致性的來源。

保證紅移數據源的火花

S3 bucket和紅移集群不同的AWS區域

默認情況下,S3 < - >紅移副本不工作如果S3 bucket和紅移在AWS不同區域集群。

如果你嚐試讀一個紅移表S3 bucket時在不同的地區,你會看到一個錯誤,如:

錯誤:S3ServiceException: S3 bucket解決不同地區的查詢從這個集群。PermanentRedirect地位301年,錯誤。

同樣,試圖編寫使用S3 bucket紅移在不同的地區可能會導致以下錯誤:

錯誤:問題閱讀清單文件——S3ServiceException: S3 bucket解決不同地區的查詢從這個集群。PermanentRedirect地位301年,錯誤

• 寫道:紅移複製命令支持的明確規範S3 bucket地區,所以你可以寫在這些情況下通過添加紅移正常工作地區“the-region-name”到extracopyoptions設置。例如,一桶在美國東部(弗吉尼亞州)地區和Scala API,使用:

  。選項(“extracopyoptions”,“地區us-east-1”)

  或者可以使用awsregion設置:

  。選項(“awsregion”,“us-east-1”)

• 寫著:紅移卸載命令還支持S3 bucket地區的明確規範。你可以讀通過增加該地區的正常工作awsregion設置:

  。選項(“awsregion”,“us-east-1”)

意想不到的S3ServiceException憑證錯誤當你使用S3實例配置文件進行身份驗證

如果您使用的是實例配置文件驗證S3和接收一個意想不到的S3ServiceException錯誤,檢查是否AWS訪問中指定鍵tempdirS3 URI, Hadoop配置,或任何來源檢查DefaultAWSCredentialsProviderChain:那些資源優先於實例配置文件憑證。

錯誤消息,這是一個樣品可以的症狀鑰匙不小心將優先於實例配置文件:

com.amazonaws.services.s3.model。一個mazonS3Exception: The AWS Access Key Id you provided does not exist in our records. (Service: Amazon S3; Status Code: 403; Error Code: InvalidAccessKeyId;

身份驗證錯誤當使用一個密碼與JDBC url中的特殊字符

如果你是提供用戶名和密碼作為JDBC url的一部分和密碼包含特殊字符,如;,嗎?,或&,你可能會看到以下例外:

java.sql。SQLException: [Amazon](500310) Invalid operation: password authentication failed for user 'xyz'

這是由於特殊字符的用戶名或密碼不正確逃脫的JDBC驅動程序。一定要使用相應的DataFrame指定用戶名和密碼的選項用戶和密碼。有關更多信息,請參見參數。

長時間運行的火花查詢掛下去即使相應的紅移操作就完成了

如果你是讀或寫大量的數據從紅移,火花查詢可能無限期掛,即使AWS紅移監測頁麵顯示相應的負載orgydF4y2Ba卸載操作已完成,集群是空閑的。這是由於紅移之間的聯係和引發超時。為了避免這種情況,確保tcpKeepAlive啟用JDBC國旗TCPKeepAliveMinutes被設置為一個較低的值(例如,1)。

有關更多信息,請參見亞馬遜紅移JDBC驅動程序的配置。

時間戳和時區的語義

在讀取數據時,兩個紅移時間戳和TIMESTAMPTZ數據類型映射到火花TimestampType,和一個值轉化為協調世界時(UTC)和存儲為UTC時間戳。對於一個紅移時間戳假設,當地時區值沒有任何時區信息。寫數據到一個紅移表時,火花TimestampType映射到紅移時間戳數據類型。