使用AWS Glue Data Catalog作為metastore (legacy)

需求

• 您必須具有對部署Databricks的AWS帳戶和包含Glue數據目錄的AWS帳戶中的IAM角色和策略的AWS管理員訪問權限。

• 如果Glue數據目錄位於與Databricks部署位置不同的AWS帳戶中跨帳戶訪問策略必須允許從部署Databricks的AWS帳戶訪問目錄。請注意，我們隻支持使用Glue的資源策略授予跨帳戶訪問權限。

• 內置模式需要Databricks Runtime 8.4或以上版本，或Databricks Runtime 7.3 LTS。

將Glue Data Catalog配置為metastore

要啟用Glue Catalog集成，請設置AWS的配置spark.databricks.hive.metastore.glueCatalog.enabled真正的。默認情況下，禁用此配置。也就是說，默認是使用Databricks托管的Hive metastore，或者其他一些外部metastore(如果配置的話)。

對於交互式集群或作業集群，請在集群配置中設置配置之前集群啟動。

運行時spark-submit設置此配置選項spark-submit參數使用——設計spark.databricks.hive.metastore.glueCatalog.enabled = true或者用代碼設置之前創建SparkSession或SparkContext。例如:

從pyspark.sql進口SparkSession在這裏直接設置Glue的conf，而不是在spark-submit中使用——conf選項火花=SparkSession。構建器。＼瀏覽器名稱（“ExamplePySparkSubmitTask”）。＼配置（“spark.databricks.hive.metastore.glueCatalog.enabled”，“真正的”）。＼enableHiveSupport（)。＼getOrCreate（)打印（火花。sparkContext。getConf（)。得到（“spark.databricks.hive.metastore.glueCatalog.enabled”)）火花。sql（“顯示數據庫”）。顯示（)火花。停止（)

如何配置Glue Catalog訪問取決於Databricks和Glue Catalog是在相同的AWS帳戶和區域中，還是在不同的帳戶中，或者在不同的區域中。遵循本文其餘部分的相應步驟:

• 相同的AWS帳戶和區域遵循步驟1，然後是步驟3-5。

• Cross-account執行步驟1-6。

• 區域遵循步驟1，然後是步驟3-6。

步驟1:創建一個實例概要文件來訪問Glue Data Catalog

1. 在AWS控製台中，進入IAM服務。

2. 單擊側欄中的Roles選項卡。

3. 點擊創建角色。

   1. 在“選擇受信任實體類型”下，選擇AWS服務。

   2. 單擊EC2服務。

   3. 在Select your use case下，單擊EC2。

      

   4. 點擊下一個:權限並點擊下一個:審查。

   5. 在“角色名稱”字段中，鍵入角色名稱。

   6. 點擊創建角色。顯示角色列表。

4. 在角色列表中，單擊角色。

5. 向Glue Catalog添加一個內聯策略。

   1. 在“權限”頁簽中，單擊。

   2. 單擊JSON選項卡。

   3. 將此策略複製並粘貼到選項卡中。

      {“版本”：“2012-10-17”，“聲明”：［{“席德”：“GrantCatalogAccessToGlue”，“效應”：“允許”，“行動”：［“膠:BatchCreatePartition”，“膠:BatchDeletePartition”，“膠:BatchGetPartition”，“膠:CreateDatabase”，“膠:不知道”，“膠:CreateUserDefinedFunction”，“膠:DeleteDatabase”，“膠:DeletePartition”，“膠:DeleteTable”，“膠:DeleteUserDefinedFunction”，“膠:GetDatabase”，“膠:getdatabase”，“膠:GetPartition”，“膠:GetPartitions”，“膠:可以獲得的”，“膠:可以獲得的”，“膠:GetUserDefinedFunction”，“膠:GetUserDefinedFunctions”，“膠:UpdateDatabase”，“膠:UpdatePartition”，“膠:UpdateTable”，“膠:UpdateUserDefinedFunction”]，“資源”：［“*”］}］}

有關允許的資源(目錄、數據庫、表、userDefinedFunction)的細粒度配置，請參見指定AWS Glue資源ARNs。

如果上述策略中允許的操作列表不足，請與您的Databricks代表聯係並提供錯誤信息。最簡單的解決方法是使用一個允許Glue完全訪問的策略:

{“版本”：“2012-10-17”，“聲明”：［{“席德”：“GrantFullAccessToGlue”，“效應”：“允許”，“行動”：［“膠:*”]，“資源”：“*”}］}

步驟2:為目標Glue Catalog創建策略

隻有在目標膠水目錄中才執行此步驟不同的AWS賬戶比Databricks部署時使用的要多。

1. 登錄目標Glue Catalog的AWS賬戶，進入Glue Console。

2. 在“設置”中，將以下策略粘貼到“權限”框中。集< aws-account-id-databricks >，< iam-role-for-glue-access >從步驟1，< aws-region-target-glue-catalog >，< aws-account-id-target-glue-catalog >相應地,。

   {“版本”：“2012-10-17”，“聲明”：［{“席德”：“許可”，“效應”：“允許”，“校長”：{“AWS”：“攻擊:aws:我::< aws-account-id-databricks >:角色/ < iam-role-for-glue-access >”}，“行動”：［“膠:BatchCreatePartition”，“膠:BatchDeletePartition”，“膠:BatchGetPartition”，“膠:CreateDatabase”，“膠:不知道”，“膠:CreateUserDefinedFunction”，“膠:DeleteDatabase”，“膠:DeletePartition”，“膠:DeleteTable”，“膠:DeleteUserDefinedFunction”，“膠:GetDatabase”，“膠:getdatabase”，“膠:GetPartition”，“膠:GetPartitions”，“膠:可以獲得的”，“膠:可以獲得的”，“膠:GetUserDefinedFunction”，“膠:GetUserDefinedFunctions”，“膠:UpdateDatabase”，“膠:UpdatePartition”，“膠:UpdateTable”，“膠:UpdateUserDefinedFunction”]，“資源”：“攻擊:aws:膠:< aws-region-target-glue-catalog >: < aws-account-id-target-glue-catalog >: *”}］}

步驟3:查找用於創建Databricks部署的IAM角色

此IAM角色是您在設置Databricks帳戶時使用的角色。

的帳戶的以下步驟有所不同E2版本的平台Beplay体育安卓版本所有新的Databricks帳戶和大多數現有帳戶現在都是E2。Beplay体育安卓版本如果您不確定您擁有的是哪種帳戶類型，請聯係您的Databricks代表。

如果你在E2帳戶：

1. 以帳號所有者或admin帳號登錄賬戶控製台。

2. 去工作區然後單擊您的工作區名稱。

3. 在憑證框中，請注意角色ARN末尾的角色名稱。

   例如在角色ARN中攻擊:aws:我::123456789123:/ finance-prod角色其中，finance-prod是角色名。

如果您不是E2帳戶:

1. 以帳號所有者身份登錄賬戶控製台。

2. 單擊AWS帳戶選項卡。

3. 注意角色ARN末尾的角色名testco-role。

   

步驟4:將Glue Catalog實例概要文件添加到EC2策略

1. 在AWS控製台中，進入IAM服務。

2. 單擊角色選項卡。

3. 單擊您在步驟3中記錄的角色。

4. 在“權限”選項卡上，單擊策略。

5. 點擊編輯政策。

6. 修改策略以允許Databricks將您在步驟1中創建的實例配置文件傳遞給Spark集群的EC2實例。下麵是新政策應該是什麼樣的一個例子。取代< iam-role-for-glue-access >使用您在步驟1中創建的角色。

   • 對於帳戶E2版本的平台Beplay体育安卓版本：

     {“版本”：“2012-10-17”，“聲明”：［{“席德”：“Stmt1403287045000”，“效應”：“允許”，“行動”：［“ec2: AssociateDhcpOptions”，“ec2: AssociateIamInstanceProfile”，“ec2: AssociateRouteTable”，“ec2: AttachInternetGateway”，“ec2: AttachVolume”，“ec2: AuthorizeSecurityGroupEgress”，“ec2: AuthorizeSecurityGroupIngress”，“ec2: CancelSpotInstanceRequests”，“ec2: CreateDhcpOptions”，“ec2: CreateInternetGateway”，“ec2: CreatePlacementGroup”，“ec2: CreateRoute”，“ec2: CreateSecurityGroup”，“ec2: CreateSubnet”，“ec2: CreateTags”，“ec2: CreateVolume”，“ec2: CreateVpc”，“ec2: CreateVpcPeeringConnection”，“ec2: DeleteInternetGateway”，“ec2: DeletePlacementGroup”，“ec2: DeleteRoute”，“ec2: DeleteRouteTable”，“ec2: DeleteSecurityGroup”，“ec2: DeleteSubnet”，“ec2: DeleteTags”，“ec2: DeleteVolume”，“ec2: DeleteVpc”，“ec2: DescribeAvailabilityZones”，“ec2: DescribeIamInstanceProfileAssociations”，“ec2: DescribeInstanceStatus”，“ec2: DescribeInstances”，“ec2: DescribePlacementGroups”，“ec2: DescribePrefixLists”，“ec2: DescribeReservedInstancesOfferings”，“ec2: DescribeRouteTables”，“ec2: DescribeSecurityGroups”，“ec2: DescribeSpotInstanceRequests”，“ec2: DescribeSpotPriceHistory”，“ec2: DescribeSubnets”，“ec2: DescribeVolumes”，“ec2: DescribeVpcs”，“ec2: DetachInternetGateway”，“ec2: DisassociateIamInstanceProfile”，“ec2: ModifyVpcAttribute”，“ec2: ReplaceIamInstanceProfileAssociation”，“ec2: RequestSpotInstances”，“ec2: RevokeSecurityGroupEgress”，“ec2: RevokeSecurityGroupIngress”，“ec2: RunInstances”，“ec2: TerminateInstances”]，“資源”：［“*”］}，{“效應”：“允許”，“行動”：“我:PassRole”，“資源”：“攻擊:aws:我::< aws-account-id-databricks >:角色/ < iam-role-for-glue-access >”}］}

     • 對於平台上其他版本的帳戶:Beplay体育安卓版本

       {“版本”：“2012-10-17”，“聲明”：［{“席德”：“Stmt1403287045000”，“效應”：“允許”，“行動”：［“ec2: AssociateDhcpOptions”，“ec2: AssociateIamInstanceProfile”，“ec2: AssociateRouteTable”，“ec2: AttachInternetGateway”，“ec2: AttachVolume”，“ec2: AuthorizeSecurityGroupEgress”，“ec2: AuthorizeSecurityGroupIngress”，“ec2: CancelSpotInstanceRequests”，“ec2: CreateDhcpOptions”，“ec2: CreateInternetGateway”，“ec2: CreateKeyPair”，“ec2: CreateRoute”，“ec2: CreateSecurityGroup”，“ec2: CreateSubnet”，“ec2: CreateTags”，“ec2: CreateVolume”，“ec2: CreateVpc”，“ec2: CreateVpcPeeringConnection”，“ec2: DeleteInternetGateway”，“ec2: DeleteKeyPair”，“ec2: DeleteRoute”，“ec2: DeleteRouteTable”，“ec2: DeleteSecurityGroup”，“ec2: DeleteSubnet”，“ec2: DeleteTags”，“ec2: DeleteVolume”，“ec2: DeleteVpc”，“ec2: DescribeAvailabilityZones”，“ec2: DescribeIamInstanceProfileAssociations”，“ec2: DescribeInstanceStatus”，“ec2: DescribeInstances”，“ec2: DescribePrefixLists”，“ec2: DescribeReservedInstancesOfferings”，“ec2: DescribeRouteTables”，“ec2: DescribeSecurityGroups”，“ec2: DescribeSpotInstanceRequests”，“ec2: DescribeSpotPriceHistory”，“ec2: DescribeSubnets”，“ec2: DescribeVolumes”，“ec2: DescribeVpcs”，“ec2: DetachInternetGateway”，“ec2: DisassociateIamInstanceProfile”，“ec2: ModifyVpcAttribute”，“ec2: ReplaceIamInstanceProfileAssociation”，“ec2: RequestSpotInstances”，“ec2: RevokeSecurityGroupEgress”，“ec2: RevokeSecurityGroupIngress”，“ec2: RunInstances”，“ec2: TerminateInstances”]，“資源”：［“*”］}，{“效應”：“允許”，“行動”：“我:PassRole”，“資源”：“攻擊:aws:我::< aws-account-id-databricks >:角色/ < iam-role-for-glue-access >”}］}

7. 點擊審查政策。

8. 點擊保存更改。

步驟5:將Glue Catalog實例概要文件添加到Databricks工作區

1. 進入管理設置頁麵。

2. 單擊實例配置文件選項卡。

3. 單擊添加實例配置文件按鈕。出現一個對話框。

4. 粘貼步驟1中的實例配置文件ARN。

   

   Databricks驗證實例配置文件ARN在語法和語義上都是正確的。為了驗證語義正確性，Databricks通過使用此實例配置文件啟動集群來進行演練。此試運行中的任何失敗都會在UI中產生驗證錯誤。

   請注意

   如果實例概要文件包含標記強製策略，則它的驗證可能會失敗，從而阻止您添加合法的實例概要文件。如果驗證失敗，並且您仍然希望將實例概要文件添加到Databricks，請使用instance Profiles API並指定skip_validation。

5. 點擊添加。

6. 可選地指定可以使用實例概要文件啟動集群的用戶。

   

步驟6:使用Glue Catalog實例概要文件啟動集群

1. 創建集群

2. 單擊實例選項卡。

3. 在實例配置文件下拉列表中，選擇實例配置文件。

   

4. 驗證您可以訪問Glue Catalog，在筆記本中使用以下命令:

   顯示數據庫；

   如果命令成功，說明該Databricks Runtime集群配置為使用Glue。根據您的AWS帳戶和Glue區域，您可能需要執行兩個額外步驟:

   • 如果Databricks部署的AWS帳戶與Glue Data Catalog的AWS帳戶不同，則需要進行額外的跨帳戶設置。

     集spark.hadoop.hive.metastore.glue.catalogid< aws-account-id-for-glue-catalog >在AWS的配置。

   • 如果目標Glue Catalog位於與Databricks部署不同的區域，也要指定spark.hadoop.aws.region< aws-region-for-glue-catalog >。

   提示

   提醒一下，spark.databrick .hive.metastore. glueccatalog .enabled true是連接到AWS Glue所需的配置。

5. Spark包含對Hive的內置支持，但是否使用該功能取決於Databricks Runtime版本。

   • 隔離模式:關閉對Hive的內置支持。Hive 1.2.1的庫。從Spark2加載/磚/膠水/。在Databricks Runtime 8.3中，隔離模式已啟用且無法禁用。在Databricks Runtime 7.3 LTS和Databricks Runtime 8.4及更高版本中，隔離模式是默認的，但可以禁用。

   • 內置模式:內置支持Hive, Hive版本以Spark版本為準。在Databricks Runtime 7.3 LTS和Databricks Runtime 8.4及以上版本中，您可以通過設置啟用內置模式spark.databricks.hive.metastore.glueCatalog.isolation.enabled假在集群上。

6. 若要啟用憑據直通，請設置spark.databricks.passthrough.enabled真正的。這需要Databricks Runtime 7.3 LTS或Databricks Runtime 8.4或更高版本。在Databricks Runtime 7.3 LTS和Databricks Runtime 8.4及以上版本中，此設置還會自動啟用內置模式。

限製

• 使用AWS Glue Data Catalog作為Databricks中的metastore可能比默認的Hive metastore有更高的延遲。有關更多信息，請參見使用Glue Catalog比使用Databricks Hive metastore遇到更高的延遲請參見故障排除部分。

• 屬性創建默認數據庫，並將位置設置為URIdbfs:(Databricks File System)方案。此位置不能從Databricks以外的AWS應用程序(如AWS EMR或AWS Athena)訪問。作為一種變通方法，使用位置子句指定存儲桶位置，例如s3: / / mybucket當你打來電話創建表格。或者，在默認數據庫以外的數據庫中創建表，並設置位置將該數據庫轉移到S3位置。

• 不能在Glue Catalog和Hive metastore之間動態切換。新的Spark配置需要重啟集群才能生效。

• 僅在Databricks Runtime 8.4及以上版本中支持憑據直通。

• 不支持以下特性:

  • 磚連接

  • 跨係統交互，跨多個係統共享相同的元數據目錄或實際表數據。

故障排除

spark.hadoop.aws.glue.cache.table.enable真實spark.hadoop.aws.glue.cache.table.size 1000spark.hadoop.aws.glue.cache.table。ttl-mins 30

spark.hadoop.aws.glue.cache.db.enable真實spark.hadoop.aws.glue.cache.db.size 1000spark.hadoop.aws.glue.cache.db。ttl-mins 30

[EnvironmentVariableCredentialsProvider:無法從環境變量(AWS_ACCESS_KEY_ID(或AWS_ACCESS_KEY)和AWS_SECRET_KEY(或AWS_SECRET_ACCESS_KEY))中加載AWS憑據，SystemPropertiesCredentialsProvider:無法從Java係統屬性(AWS_ACCESS_KEY)中加載AWS憑據。accessKeyId和aws.secretKey)， com.amazonaws.auth.profile。ProfileCredentialsProvider@2245a35d: profile文件不能為空，com. amazon.com .auth。EC2ContainerCredentialsProviderWrapper@52be6b57: The requested metadata is not found at https://169.254.169.254/latest/meta-data/iam/security-credentials/];

org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: MetaException(消息:無法驗證默認數據庫的存在:com.amazonaws.services.glue.model.AccessDeniedException: User: arn:aws:sts:::假設-角色//…沒有被授權對資源執行:glue: GetDatabase: arn:aws:glue:::catalog (Service: AWSGlue;狀態碼:400;錯誤碼:AccessDeniedException;請求ID: < Request - ID >));

選擇＊從拚花。｀路徑-來-數據｀

SQL語句出現錯誤:AnalysisException…沒有被授權對資源執行:glue:GetDatabase: :database/parquet

org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: MetaException(消息:無法驗證默認數據庫的存在:com.amazonaws.services.glue.model.AccessDeniedException: User:攻擊:aws: sts:: < aws-account-id >:自選角色/ < role-id > /……沒有被授權對資源執行:glue: GetDatabase: arn:aws:glue:::catalog (Service: AWSGlue;狀態碼:400;錯誤碼:AccessDeniedException;請求ID: < Request - ID >));

無法驗證默認數據庫的存在:accessdeniedexception:請遷移您的目錄以啟用對該數據庫的訪問(Service: AWSGlue;狀態碼:400;錯誤碼:AccessDeniedException;請求ID: < Request - ID >)

不能從空字符串創建路徑

不能從空字符串創建路徑