自動加載程序文件通知模式是什麼?

雲資源用於自動加載程序文件通知模式

自動加載程序可以設置文件的通知你時自動設置選項cloudFiles.useNotifications來真正的和提供必要的權限來創建雲資源。此外,您可能需要提供附加選項授予自動加載程序授權創建這些資源。

下麵的表總結了哪些資源是由自動加載程序。

*自動加載程序的名字和這個前綴的資源。

* *有多少並發文件通知管道可以啟動

如果您需要運行超過有限數量的文件通知管道對於一個給定的存儲賬戶,您可以:

• 考慮重構文件上傳到如何利用目錄清單模式增量清單而不是文件通知。

• 利用服務如AWSλ,Azure函數,或穀歌雲函數從一個隊列,扇出通知聽整個容器或桶到目錄中特定的隊列。

所需的權限配置文件通知ADLS Gen2和Azure Blob存儲

你必須讀輸入目錄的權限。看到Azure Blob存儲。

要使用文件通知模式,您必須提供身份驗證憑證設置和訪問事件通知服務。在磚運行時8.1及以上的,你隻需要一個服務主體進行身份驗證。磚運行時的8.0及以下,您必須提供一個服務主體和一個連接字符串。

• 服務主體——使用Azure內置的角色

  創建一個Active Directory Azure應用和服務主體客戶機ID的形式和客戶的秘密。

  這個應用以下角色分配給存儲賬戶輸入路徑所在:

  • 貢獻者:這個角色是建立資源存儲賬戶,如隊列和事件訂閱。

  • 存儲隊列數據來源:這個角色是執行隊列操作,比如檢索和刪除消息的隊列。這個角色需要在磚運行時8.1及以上的隻有當你提供一個服務主體沒有連接字符串。

  將這個應用以下的角色分配給相關的資源組:

  • EventGrid EventSubscription貢獻者:這個角色是執行事件網格訂閱操作,如創建或清單事件訂閱。

  有關更多信息,請參見分配Azure角色使用Azure門戶。

• 服務主體——使用自定義的角色

  如果你關心execessive前麵的角色所需的權限,您可以創建一個自定義角色至少有以下權限,下麵列出在Azure角色JSON格式:

  “權限”:({“行動”:(“Microsoft.EventGrid / eventSubscriptions /寫”,“Microsoft.EventGrid / eventSubscriptions /讀”,“Microsoft.EventGrid / eventSubscriptions /刪除”,“Microsoft.EventGrid /地點/ eventSubscriptions /閱讀”,“Microsoft.Storage / storageAccounts /讀”,“Microsoft.Storage / storageAccounts /寫”,“Microsoft.Storage / storageAccounts / queueServices /閱讀”,“Microsoft.Storage / storageAccounts / queueServices /寫”,“Microsoft.Storage / storageAccounts / queueServices /隊列/寫”,“Microsoft.Storage / storageAccounts / queueServices /隊列/閱讀”,“Microsoft.Storage / storageAccounts / queueServices /隊列/刪除”),“notActions”:[],“dataActions”:(“Microsoft.Storage / storageAccounts / queueServices /隊列/信息/刪除”,“Microsoft.Storage / storageAccounts / queueServices /隊列/信息/讀”,“Microsoft.Storage / storageAccounts / queueServices /隊列/信息/寫”,“Microsoft.Storage / storageAccounts / queueServices /隊列/信息/過程/行動”),“notDataActions”:[]}]

  然後,您可以將這個自定義角色分配給應用程序。

  有關更多信息,請參見分配Azure角色使用Azure門戶。

• 連接字符串

  自動加載程序需要一個連接字符串驗證為Azure隊列存儲操作,如創建一個隊列,並閱讀和從隊列中刪除消息。創建隊列在同一個存儲賬戶輸入目錄路徑所在。你可以找到你的連接字符串賬戶關鍵或共享訪問簽名(SAS)。

  如果您使用的是磚運行時8.1或以上,你不需要一個連接字符串。

  如果您使用的是磚或低於8.0運行時,你必須提供一個連接字符串驗證為Azure隊列存儲操作,如創建一個隊列和檢索和從隊列中刪除消息。創建隊列在同一個存儲賬戶輸入路徑所在。你可以找到你的連接字符串賬戶關鍵或共享訪問簽名(SAS)。配置一個SAS令牌時,必須提供以下權限:

java。朗。RuntimeException:失敗的來創建事件網格訂閱。

403年被禁止的…做不有授權來執行行動“Microsoft.EventGrid / eventSubscriptions /(讀|寫)在範圍…

所需的權限配置文件通知AWS S3

你必須讀輸入目錄的權限。看到S3連接細節為更多的細節。

使用文件通知模式,附上以下JSON政策文件給你我的用戶或角色。

{“版本”:“2012-10-17”,“聲明”:({“席德”:“DatabricksAutoLoaderSetup”,“效應”:“允許”,“行動”:(“s3: GetBucketNotification”,“s3: PutBucketNotification”,“sns: ListSubscriptionsByTopic”,“sns: GetTopicAttributes”,“sns: SetTopicAttributes”,“sns: CreateTopic”,“sns: TagResource”,“sns:發布”,“sns:訂閱”,“sqs: CreateQueue”,“sqs: DeleteMessage”,“sqs: DeleteMessageBatch”,“sqs: ReceiveMessage”,“sqs: SendMessage”,“sqs: GetQueueUrl”,“sqs: GetQueueAttributes”,“sqs: SetQueueAttributes”,“sqs: TagQueue”,“sqs: ChangeMessageVisibility”,“sqs: ChangeMessageVisibilityBatch”),“資源”:(“攻擊:aws: s3::: < bucket名>”,“攻擊:aws: sqs: <地區>:<帳號>:databricks-auto-ingest - *”,“攻擊:aws: sns: <地區>:<帳號>:databricks-auto-ingest - *”]},{“席德”:“DatabricksAutoLoaderList”,“效應”:“允許”,“行動”:(“sqs: ListQueues”,“sqs: ListQueueTags”,“sns: ListTopics”),“資源”:“*”},{“席德”:“DatabricksAutoLoaderTeardown”,“效應”:“允許”,“行動”:(“sns:退訂”,“sns: DeleteTopic”,“sqs: DeleteQueue”),“資源”:(“攻擊:aws: sqs: <地區>:<帳號>:databricks-auto-ingest - *”,“攻擊:aws: sns: <地區>:<帳號>:databricks-auto-ingest - *”]}]}

地點:

• < bucket名>:S3 bucket名稱流將讀取文件的地方,例如,自動對數。您可以使用*例如,作為一個通配符磚- *日誌。找出潛在的S3 bucket DBFS路徑,你可以列出所有的筆記本通過運行DBFS掛載點% fs掛載。

• <地區>:AWS S3 bucket所在地區,例如,us-west-2。如果你不想指定區域,使用*。

• <帳號>:擁有S3 bucket的AWS帳號,例如,123456789012。如果不想指定帳號,使用*。

的字符串databricks-auto-ingest - *SQS和SNS是規範的名稱前綴cloudFiles源使用在創建SQS和SNS服務。因為磚設置通知服務在最初運行的流,您可以使用一個政策,減少權限在最初運行(例如,停止流,然後重新啟動它)。

• s3: ListBucket

• s3: GetObject

{“版本”:“2012-10-17”,“聲明”:({“席德”:“DatabricksAutoLoaderUse”,“效應”:“允許”,“行動”:(“s3: GetBucketNotification”,“sns: ListSubscriptionsByTopic”,“sns: GetTopicAttributes”,“sns: TagResource”,“sns:發布”,“sqs: DeleteMessage”,“sqs: DeleteMessageBatch”,“sqs: ReceiveMessage”,“sqs: SendMessage”,“sqs: GetQueueUrl”,“sqs: GetQueueAttributes”,“sqs: TagQueue”,“sqs: ChangeMessageVisibility”,“sqs: ChangeMessageVisibilityBatch”),“資源”:(“攻擊:aws: sqs: <地區>:<帳號>:<隊列名稱>”,“攻擊:aws: sns: <地區>:<帳號>:<主題名稱>”,“攻擊:aws: s3::: < bucket名>”]},{“效應”:“允許”,“行動”:(“s3: GetBucketLocation”,“s3: ListBucket”),“資源”:(“攻擊:aws: s3::: < bucket名>”]},{“效應”:“允許”,“行動”:(“s3: propertynames”,“s3: PutObjectAcl”,“s3: GetObject”,“s3: DeleteObject”),“資源”:(“攻擊:aws: s3::: < bucket名> / *”]},{“席德”:“DatabricksAutoLoaderListTopics”,“效應”:“允許”,“行動”:(“sqs: ListQueues”,“sqs: ListQueueTags”,“sns: ListTopics”),“資源”:“攻擊:aws: sns: <地區>:<帳號>:*”}]}

需要為GCS權限配置文件通知

你必須有列表和得到權限GCS桶上的所有對象。,穀歌文檔我的權限。

使用文件通知模式,你需要添加的權限GCS服務帳戶和賬戶用於訪問穀歌雲Pub / Sub資源。

添加發布/訂閱出版商GCS服務帳戶的作用。這允許賬戶發布事件通知消息從你的GCS桶穀歌雲Pub / Sub。

至於服務帳戶用於穀歌雲Pub / Sub資源,您需要添加以下權限:

pubsub。訂閱。消費pubsub。訂閱。創建pubsub。訂閱。刪除pubsub。訂閱。得到pubsub。訂閱。列表pubsub。訂閱。更新pubsub。主題。attachSubscriptionpubsub。主題。創建pubsub。主題。刪除pubsub。主題。得到pubsub。主題。列表pubsub。主題。更新

要做到這一點,你可以創建一個我自定義的角色這些權限或分配預先存在的GCP的角色這些權限。

/ / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / // /創建一個ResourceManager AWS/ / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / /進口com。磚。sql。CloudFilesAWSResourceManager瓦爾經理=CloudFilesAWSResourceManager。新任。選項(“cloudFiles.region”,<地區>)/ /可選的,將使用默認的區域EC2實例。選項(“路徑”,<路徑- - - - - -來- - - - - -具體的- - - - - -桶- - - - - -和- - - - - -文件夾>)/ /隻需要setUpNotificationServices。創建()/ / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / // /創建一個ResourceManager Azure/ / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / /進口com。磚。sql。CloudFilesAzureResourceManager瓦爾經理=CloudFilesAzureResourceManager。新任。選項(“cloudFiles.connectionString”,<連接- - - - - -字符串>)。選項(“cloudFiles.resourceGroup”,<資源- - - - - -集團>)。選項(“cloudFiles.subscriptionId”,<訂閱- - - - - -id>)。選項(“cloudFiles.tenantId”,<租戶- - - - - -id>)。選項(“cloudFiles.clientId”,<服務- - - - - -主要- - - - - -客戶端- - - - - -id>)。選項(“cloudFiles.clientSecret”,<服務- - - - - -主要- - - - - -客戶端- - - - - -秘密>)。選項(“路徑”,<路徑- - - - - -來- - - - - -具體的- - - - - -容器- - - - - -和- - - - - -文件夾>)/ /隻需要setUpNotificationServices。創建()/ / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / // /創建一個ResourceManager GCP/ / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / / /進口com。磚。sql。CloudFilesGCPResourceManager瓦爾經理=CloudFilesGCPResourceManager。新任。選項(“路徑”,<路徑- - - - - -來- - - - - -具體的- - - - - -桶- - - - - -和- - - - - -文件夾>)/ /隻需要setUpNotificationServices。。創建()/ /設置隊列和主題的訂閱中提供的路徑管理器。經理。setUpNotificationServices(<資源- - - - - -後綴>)/ /通知服務列表由< AL >瓦爾df=經理。listNotificationServices()/ /拆除通知服務創建為一個特定的ID。/ /流ID是一個GUID的字符串列表中,您可以找到結果。經理。tearDownNotificationServices(<流- - - - - -id>)