什麼是自動加載文件通知模式?

Auto Loader文件通知方式使用的雲資源

當你設置這個選項時，Auto Loader可以自動為你設置文件通知cloudFiles.useNotifications來真正的並提供創建雲資源所需的權限。此外，您可能需要提供附加選項授予自動加載器創建這些資源的授權。

下表總結了由Auto Loader創建的資源。

* Auto Loader以此前綴命名資源。

**可以啟動多少個並發文件通知管道

如果您需要為給定的存儲帳戶運行超過有限數量的文件通知管道，您可以:

• 考慮重新架構文件的上傳方式，以利用目錄列表模式增量清單而不是文件通知。

• 利用AWS Lambda、Azure Functions或穀歌Cloud Functions等服務，將通知從偵聽整個容器或桶的單個隊列扇形展開到特定於目錄的隊列。

為ADLS Gen2和Azure Blob存儲配置文件通知所需的權限

您必須對輸入目錄具有讀權限。看到Azure Blob存儲．

要使用文件通知模式，必須提供用於設置和訪問事件通知服務的身份驗證憑據。在Databricks Runtime 8.1及以上版本中，您隻需要一個服務主體進行身份驗證。對於Databricks Runtime 8.0及以下版本，必須同時提供服務主體和連接字符串。

• 服務主體——使用Azure內置角色

  創建Azure活動目錄應用程序和服務主體客戶端ID和客戶端秘密的形式。

  將以下角色分配給輸入路徑所在的存儲帳戶:

  • 貢獻者:設置存儲帳戶中的資源，如隊列、事件訂閱等。

  • 存儲隊列數據貢獻者:用於隊列操作，如從隊列中提取消息、刪除消息等。在Databricks Runtime 8.1及以上版本中，僅當提供無連接字符串的服務主體時需要此角色。

  為該應用分配如下角色到相關的資源組中:

  • EventGrid事件訂閱貢獻者:該角色用於執行事件網格訂閱操作，例如創建或列出事件訂閱。

  有關更多信息，請參見使用Azure門戶分配Azure角色．

• 服務主體——使用自定義角色

  如果您擔心上述角色需要過多的權限，您可以創建一個自定義角色至少擁有以下權限，以Azure角色JSON格式列出:

  “權限”：［｛“行動”：［“微軟。EventGrid/eventSubscriptions/write"，“微軟。EventGrid/eventSubscriptions/read"，“微軟。EventGrid/eventSubscriptions/delete"，“微軟。EventGrid/locations/eventSubscriptions/read"，“微軟。存儲/storageAccounts/read"，“微軟。存儲/storageAccounts/write"，“微軟。存儲/storageAccounts/queueServices/read"，“微軟。存儲/storageAccounts/queueServices/write"，“微軟。存儲/storageAccounts/queueServices/queues/write"，“微軟。存儲/storageAccounts/queueServices/queues/read"，“微軟。存儲/storageAccounts/queueServices/queues/delete"]，“notActions”：[],“dataActions”：［“微軟。存儲/storageAccounts/queueServices/queues/messages/delete"，“微軟。存儲/storageAccounts/queueServices/queues/messages/read"，“微軟。存儲/storageAccounts/queueServices/queues/messages/write"，“微軟。存儲/storageAccounts/queueServices/queues/messages/process/action"]，“notDataActions”：［］｝］

  然後，你可以將這個自定義角色分配給你的應用程序。

  有關更多信息，請參見使用Azure門戶分配Azure角色．

• 連接字符串

  自動加載器需要一個連接字符串為Azure隊列存儲操作進行身份驗證，例如創建隊列以及從隊列中讀取和刪除消息。隊列是在輸入目錄路徑所在的存儲帳戶中創建的。您可以在您的賬戶關鍵或共享訪問簽名(SAS)．

  如果您使用的是Databricks Runtime 8.1或以上版本，則不需要連接字符串。

  如果您使用的是Databricks Runtime 8.0或以下版本，則必須提供一個連接字符串為Azure隊列存儲操作進行身份驗證，例如創建隊列以及從隊列中檢索和刪除消息。隊列是在輸入路徑所在的存儲帳戶中創建的。您可以在您的賬戶關鍵或共享訪問簽名(SAS)．配置SAS token時，需要提供以下權限:

java．朗．RuntimeException：失敗的來創建事件網格訂閱．

403被禁止的.．.做不有授權來執行行動“微軟。EventGrid/eventSubscriptions/[read|write]'在範圍.．.

配置AWS S3文件通知所需權限

您必須對輸入目錄具有讀權限。看到S3連接詳細信息欲知詳情。

若要使用文件通知模式，請將以下JSON策略文檔附加到您的IAM用戶或角色．

｛“版本”：“2012-10-17”，“聲明”：［｛“席德”：“DatabricksAutoLoaderSetup”，“效應”：“允許”，“行動”：［“s3: GetBucketNotification”，“s3: PutBucketNotification”，“sns: ListSubscriptionsByTopic”，“sns: GetTopicAttributes”，“sns: SetTopicAttributes”，“sns: CreateTopic”，“sns: TagResource”，“sns:發布”，“sns:訂閱”，“sqs: CreateQueue”，“sqs: DeleteMessage”，“sqs: DeleteMessageBatch”，“sqs: ReceiveMessage”，“sqs: SendMessage”，“sqs: GetQueueUrl”，“sqs: GetQueueAttributes”，“sqs: SetQueueAttributes”，“sqs: TagQueue”，“sqs: ChangeMessageVisibility”，“sqs: ChangeMessageVisibilityBatch”]，“資源”：［“攻擊:aws: s3::: < bucket名>”，“攻擊:aws: sqs: <地區>:<帳號>:databricks-auto-ingest - *”，“攻擊:aws: sns: <地區>:<帳號>:databricks-auto-ingest - *”］}，｛“席德”：“DatabricksAutoLoaderList”，“效應”：“允許”，“行動”：［“sqs: ListQueues”，“sqs: ListQueueTags”，“sns: ListTopics”]，“資源”：“*”}，｛“席德”：“DatabricksAutoLoaderTeardown”，“效應”：“允許”，“行動”：［“sns:退訂”，“sns: DeleteTopic”，“sqs: DeleteQueue”]，“資源”：［“攻擊:aws: sqs: <地區>:<帳號>:databricks-auto-ingest - *”，“攻擊:aws: sns: <地區>:<帳號>:databricks-auto-ingest - *”］｝］｝

地點:

• < bucket名>: S3桶名，流將在其中讀取文件，例如:自動對數．你可以使用＊例如，作為通配符，磚- *日誌．要找出DBFS路徑的底層S3存儲桶，可以運行以下命令在筆記本中列出所有DBFS掛載點% fs掛載．

• <地區>: S3桶所在的AWS區域，例如:us-west-2．如果不想指定區域，請使用＊．

• <帳號>: S3桶所屬的AWS帳號。123456789012．如果不想指定帳號，請使用＊．

的字符串databricks-auto-ingest - *在SQS和SNS ARN規範中的名稱前綴cloudFilessource在創建SQS和SNS服務時使用。由於Databricks在流的初始運行中設置了通知服務，您可以在初始運行後使用權限減少的策略(例如，停止流，然後重新啟動它)。

• s3: ListBucket

• s3: GetObject

｛“版本”：“2012-10-17”，“聲明”：［｛“席德”：“DatabricksAutoLoaderUse”，“效應”：“允許”，“行動”：［“s3: GetBucketNotification”，“sns: ListSubscriptionsByTopic”，“sns: GetTopicAttributes”，“sns: TagResource”，“sns:發布”，“sqs: DeleteMessage”，“sqs: DeleteMessageBatch”，“sqs: ReceiveMessage”，“sqs: SendMessage”，“sqs: GetQueueUrl”，“sqs: GetQueueAttributes”，“sqs: TagQueue”，“sqs: ChangeMessageVisibility”，“sqs: ChangeMessageVisibilityBatch”]，“資源”：［“攻擊:aws: sqs: <地區>:<帳號>:<隊列名稱>”，“攻擊:aws: sns: <地區>:<帳號>:<主題名稱>”，“攻擊:aws: s3::: < bucket名>”］}，｛“效應”：“允許”，“行動”：［“s3: GetBucketLocation”，“s3: ListBucket”]，“資源”：［“攻擊:aws: s3::: < bucket名>”］}，｛“效應”：“允許”，“行動”：［“s3: propertynames”，“s3: PutObjectAcl”，“s3: GetObject”，“s3: DeleteObject”]，“資源”：［“攻擊:aws: s3::: < bucket名> / *”］}，｛“席德”：“DatabricksAutoLoaderListTopics”，“效應”：“允許”，“行動”：［“sqs: ListQueues”，“sqs: ListQueueTags”，“sns: ListTopics”]，“資源”：“攻擊:aws: sns: <地區>:<帳號>:*”｝］｝

配置GCS文件通知所需權限

你一定有列表而且得到你的GCS桶和所有對象的權限。具體操作請參見穀歌的文檔我的權限．

使用文件通知方式時，需要為GCS服務帳戶訪問穀歌雲發布/訂閱資源的帳號。

添加發布/訂閱出版商角色切換到GCS服務帳戶。這允許帳戶從您的GCS桶發布事件通知消息到穀歌雲發布/訂閱。

對於穀歌雲發布/訂閱資源使用的業務帳號，需要添加以下權限:

pubsub．訂閱．消費pubsub．訂閱．創建pubsub．訂閱．刪除pubsub．訂閱．得到pubsub．訂閱．列表pubsub．訂閱．更新pubsub．主題．attachSubscriptionpubsub．主題．創建pubsub．主題．刪除pubsub．主題．得到pubsub．主題．列表pubsub．主題．更新

要做到這一點，你可以選擇創建IAM自定義角色使用這些權限或分配預先存在的GCP角色來覆蓋這些權限。

///////////////////////////////////////在AWS中創建ResourceManager/////////////////////////////////////進口com．磚．sql．CloudFilesAWSResourceManager瓦爾經理＝CloudFilesAWSResourceManager．新任．選項（“cloudFiles.region”，<地區>）//可選，將默認使用EC2實例的區域．選項（“路徑”，<路徑-來-具體的-桶-而且-文件夾>）//隻需要setUpNotificationServices．創建（）/////////////////////////////////////////在Azure中創建ResourceManager///////////////////////////////////////進口com．磚．sql．CloudFilesAzureResourceManager瓦爾經理＝CloudFilesAzureResourceManager．新任．選項（“cloudFiles.connectionString”，<連接-字符串>）．選項（“cloudFiles.resourceGroup”，<資源-集團>）．選項（“cloudFiles.subscriptionId”，<訂閱-id>）．選項（“cloudFiles.tenantId”，<租戶-id>）．選項（“cloudFiles.clientId”，<服務-主要-客戶端-id>）．選項（“cloudFiles.clientSecret”，<服務-主要-客戶端-秘密>）．選項（“路徑”，<路徑-來-具體的-容器-而且-文件夾>）//隻需要setUpNotificationServices．創建（）/////////////////////////////////////////在GCP中創建ResourceManager///////////////////////////////////////進口com．磚．sql．CloudFilesGCPResourceManager瓦爾經理＝CloudFilesGCPResourceManager．新任．選項（“路徑”，<路徑-來-具體的-桶-而且-文件夾>）//隻有setUpNotificationServices才需要。．創建（）//設置隊列和主題訂閱到管理器中提供的路徑。經理．setUpNotificationServices（<資源-後綴>）//列出 .創建的通知服務瓦爾df＝經理．listNotificationServices（）//刪除為特定流ID創建的通知服務//流ID是一個GUID字符串，可以在上麵的列表結果中找到。經理．tearDownNotificationServices（<流-id>）