SSO服務器原始URL重定向到,不要虛榮磚URL

問題當你登錄到磚使用一個虛榮的URL(例如mycompany.cloud.m.eheci.com),你被重定向到一個單點登錄(SSO)服務器進行身份驗證。當服務器將您重定向回磚網站,虛榮的URL更改URL到原始部署的URL(例如dbc-XXXX.cloud.m.eheci.com)。這可以…

與PingFederate SSO SAML驗證錯誤

問題在使用PingFederate與磚通過SSO連接進行身份驗證,重定向失敗有以下錯誤:19/12/21 01:27:01錯誤SamlAuthenticator[根= ServiceMain-6c710d1c1fca0002父母= ServiceMain-6c710d1c1fca0002 op = HttpServer-6c710d1c1fdf2812]: SAML登錄失敗的意外. lang。IllegalArgumentException: com ....

如何發現刪除集群在Azure門戶

如果一個集群在工作區中已經消失或被刪除,您可以確定哪些用戶刪除它通過運行一個查詢日誌分析工作區在Azure門戶服務。注意如果你沒有一個分析工作區設置,您必須配置診斷在Azure磚繼續之前的日誌。加載日誌分析工作區……

如何發現刪除工作區在Azure門戶

如果工作區已經消失或被刪除,您可以識別用戶刪除它通過檢查的活動日誌Azure門戶。Azure門戶的活動日誌。擴大時間關注在工作區中刪除。過濾日誌記錄的具體事件。單擊事件顯示的信息…

找到你的工作區ID

你做的每件事都在磚發生在一個工作區。當你使用web UI交互與集群和筆記本在工作區中。當您運行自動工作或連接到您的工作區以外的web UI可能需要知道您的工作區ID。本文將介紹兩種不同的方式輕鬆地找到您的工作區ID。Instructio……

AWS服務失敗,沒有地區提供錯誤

問題你的代碼片段使用AWS服務失敗. lang。IllegalArgumentException:沒有在磚運行時7.0及以上的地區提供錯誤。相同的代碼在磚6.6運行時,下麵的工作。您可以驗證這個問題通過運行示例代碼片段在一個筆記本上。在磚運行時的7.0及以上,它將返回前女友……

故障排除亞馬遜紅移的連接問題

問題您創建了一個VPC對等連接和配置一個Amazon紅移集群在對等網絡。當您試圖訪問集群紅移,你會獲得如下錯誤:錯誤信息:OperationalError:無法連接到服務器:連接超時導致這個問題可能發生如果:VPC凝視是配置錯誤。相應的p…

漏洞掃描顯示漏洞在磚EC2實例

企業信息安全問題(CIS)脆弱性管理團隊識別漏洞在AWS實例追溯到EC2實例由磚(工人AMI)。導致磚安全團隊地址的所有關鍵的漏洞和更新核心和工人定期ami。然而,如果有long-r……

配置自定義使用dnsmasq DNS設置

dnsmasq是安裝和配置DNS的工具為集群節點路由規則。您可以使用它來設置路由磚之間的環境和你的本地網絡。警告如果你使用自己的DNS服務器下降,你將會停機,並且將無法創建集群。使用以下集群級init年代……

無法加載AWS憑證

AWS資源的問題當你試圖訪問S3, SQS或紅移,操作失敗,錯誤:com.amazonaws。SdkClientException:無法加載AWS憑證鏈中的任何提供者:[BasicAWSCredentialsProvider:訪問密鑰或密鑰為空,com.amazonaws.auth。InstanceProfileCredentialsProvider@a590007a:請求的metad…

編寫日誌時拒絕訪問S3 bucket

問題,當你試著寫日誌文件到一個S3 bucket,你得到的錯誤:com.amazonaws.services.s3.model。AmazonS3Exception:拒絕訪問(服務:Amazon S3;狀態碼:403;錯誤代碼:AccessDenied;請求ID: 2 f8d8a07cd8817ea), S3擴展請求ID:導致DBFS山是S3存儲桶中假定的角色和使用sse-kms加密。Th……

S3零件號必須在1到10000之間包容

問題,當你將一個大文件從本地文件係統複製到DBFS S3,以下異常可能發生:Amazon.S3。亞馬遜S3Exception: Part number must be an integer between 1 and 10000, inclusive Cause This is an S3 limit on segment count. Part files can only be numbered from 1 to 10000, inclusive. Solution To prevent this exception from occu...

如何分析用戶界麵性能問題

問題似乎磚用戶界麵運行緩慢。導致用戶界麵的性能問題通常發生由於網絡延遲或數據庫查詢比預期更多的時間。為了解決這種類型的問題,您需要收集網絡日誌和分析他們看到網絡流量的影響。在大多數情況下,…

不能掛載Azure存儲Gen1湖帳戶數據

問題當你試圖安裝一個湖Azure數據存儲(ADLS) Gen1帳戶磚,它失敗的錯誤:com.microsoft.azure.datalake.store。ADLException:創建目錄/錯誤錯誤獲取訪問令牌io操作零失敗的異常。IOException:服務器返回的HTTP響應代碼:401的URL: https://login.windows...。

配置辛巴與代理在Windows ODBC驅動程序

在本文中,您將了解如何配置磚ODBC驅動程序,當您的本地Windows機器的背後是一個代理服務器。下載Windows的辛巴司機下載並安裝最新版本的磚為Windows ODBC驅動程序。代理設置添加到Windows注冊表打開Windows注冊表和代理設置添加到…

故障排除JDBC、ODBC連接

DBR版本:<列出所有適用的DBR版本>雲版本:AWS, Azure, GCP作者:<磚的電子郵件的作者>擁有團隊:<地區+平台/火花>票務URL: <鏈接到原始Salesforce或Jira票>最後審核日期:2021年5月05,本文提供了信息,以幫助您排除之間的聯係……Beplay体育安卓版本

使OpenJSSE和TLS 1.3

查詢和轉換是加密之前發送給您的集群。默認情況下,勞動者在一個集群節點之間的數據交換是不加密的。如果您需要這些數據是加密的,您可以使用AES加密流量集群工作節點之間128通過TLS 1.2連接。在某些情況下,您可能希望使用TLS 1.3我…

如何計算集群中核心的數量

您可以查看在工作區中磚集群的核心UI使用指標選項卡在集群上的細節頁麵。注意Azure磚集群節點必須安裝一個標準的服務。如果司機和執行人是相同的節點類型,您還可以確定集群中的可用內核的數量以編程方式,使用Sca……

安裝一個私人PyPI回購

某些用例需要您安裝庫從私人PyPI存儲庫。如果你從一個公共庫安裝,你應該檢查庫文檔。本文向您展示如何配置一個PyPI init腳本驗證和下載例子從一個私人庫庫。創建初始化腳本創建(或版本……

INVALID_STATE IP訪問列表更新的回報

問題你想要更新一個IP訪問列表,你得到一個INVALID_STATE錯誤消息。{“error_code”:“INVALID_STATE”、“消息”:“你目前的IP 3.3.3.3不允許訪問工作區在當前配置”}導致IP訪問列表更新你想提交不包括當前的公共IP地址。如果你……

發射失敗Client.InternalError

問題你部署一個新的E2工作區,但集群Client.InternalError發射失敗的消息。因為你有加密的EBS卷在AWS帳戶級別或您正在使用一個自定義公裏EBS加密的關鍵。其中一個場景可以導致一個客戶。InternalError當你試圖創建一個集群在E2的工作……

不能應用集群政策更新

問題您正試圖更新現有的集群政策,然而更新並不適用於相關的集群政策。如果您試圖編輯一個集群管理的政策,不應用或保存的更改。因為這是一個已知的問題被解決。解決方案可以使用解決方案,直到永久修複……

集群配置Apache火花不會應用

問題您的集群的火花不應用配置值。因為這發生在當火花配置集群配置中聲明值以及一個init腳本。當火花配置值位於多個地方,init腳本中配置優先和集群忽略了配置設置…

集群未能啟動

本文描述了幾個場景集群未能啟動,並提供故障排除步驟為每個場景基於錯誤消息日誌中找到。集群超時錯誤消息:司機未能及時開始INTERNAL_ERROR:火花司機未能開始300秒內集群在200秒內未能健康標出……

定製需要根碼頭工人形象

問題你想啟動與一個定製的碼頭工人的磚集群的容器,但集群創建失敗的錯誤。{"原因":{“代碼”:“CONTAINER_LAUNCH_FAILURE”、“類型”:“SERVICE_FAULT”,“參數”:{“即instance_id”:“i-xxxxxxx”,“databricks_error_message”:“我便未能推出火花容器實例。例外:不可能…

工作失敗由於集群管理器核心實例請求限製

問題一個磚筆記本或工作API返回下列錯誤:意想不到的失敗在創建集群。導致REQUEST_LIMIT_EXCEEDED:由於API速率限製你的請求被拒絕了。請重新嚐試後,或選擇一個更大的節點類型。導致錯誤表明服務核心集群管理器實例requ……

管理員用戶不能重新啟動集群運行工作

問題,當一個用戶許可開始一個集群,如磚管理員用戶,提交的工作屬於一個不同的用戶,使用以下信息:工作失敗信息:運行現有集群上執行ID <集群ID >失敗由於權限不足。從集群管理器接收到的錯誤是:“你不…

集群未能從虛擬開始不存在錯誤

問題你想開始一個集群,但這無法開始。你會得到一個Apache引發錯誤消息。內部錯誤消息:引發錯誤:司機下來你檢查集群的司機和工人包含java日誌和看到一條錯誤消息。FileNotFoundException:文件文件:/磚/司機/假的不存在。21/07/14 21:44:06錯誤DriverDaemon美元:X…

集群經濟放緩由於Ganglia指標填充根分區

注意這篇文章適用於磚運行時7.3 LTS下麵。問題集群開始放緩,可能顯示的結合以下症狀:不健康的集群事件報道:請求超時。司機暫時不可用。Metastore下降。DBFS下降。你看不到任何高GC事件或相關的內存利用率w……

未能創建集群與無效的標記值

問題你想創建一個集群,但它沒有一個無效的標記值錯誤消息。係統。例外:內容= {" error_code”:“INVALID_PARAMETER_VALUE”,“消息”:“\ nInvalid標簽值(< < < <標簽值> > > >),長度不能超過256 \ nUnicode字符的utf - 8。\ n”}造成限製標簽鍵和值基於“增大化現實”技術的…

未能擴大EBS卷

磚工作失敗的問題,由於缺乏空間在磁盤上,即使存儲啟用自動伸縮。當你回顧集群事件日誌,您將看到一條消息,指出實例未能擴大磁盤由於授權錯誤。實例i-xxxxxxxxx未能擴大磁盤,因為:你未被授權執行該操作。恩……

EBS卷泄露

問題在AWS集群是終止之後,一些EBS卷不會自動地刪除。這些流浪,未婚EBS卷通常被稱為“泄露”卷。導致磚總是集DeletionOnTermination = true EBS卷時創建啟動集群。因此,無論何時終止集群實例,AWS應該……

日誌與AssumeRole交付失敗

問題您正在使用AssumeRole將集群日誌發送到S3 bucket在另一個賬戶,你會得到一個拒絕訪問錯誤。因為AssumeRole不允許你將集群日誌發送到S3 bucket在另一個帳戶。這是因為日誌守護進程在主機上運行。它不運行在容器中。隻有項目運行在容器……

多部分上傳失敗

問題你觀察工作失敗除了:com.amazonaws。SdkClientException:無法完成多部分上傳。個人部分上傳失敗:無法執行HTTP請求:org.apache.http.conn超時等待連接池。ConnectionPoolTimeoutException:超時等待連接池……com.amazonaws.http.Ama……

Apache火花CSV指標保存到DBFS位置

引發了一個可配置的指標係統,支持下沉,包括CSV文件。在本文中,我們將向您展示如何配置一個磚集群使用CSV水槽和堅持這些指標DBFS位置。創建一個init腳本的所有配置在一個init腳本完成。init腳本做了以下3個…

重播Apache引發事件在一個集群中

火花UI是常用的作為火花的調試工具的工作。如果火花UI不可訪問,你可以加載另一個集群的事件日誌和使用事件日誌重播筆記本重播引發事件。警告集群日誌交付在默認情況下不啟用。您必須啟用集群日誌開始您的集群前交貨,否則……

S3連接失敗“沒有指定角色和角色可用”

問題您正在使用磚公用事業(dbutils)訪問S3 bucket,但不能沒有指定角色和角色提供錯誤。你已經證實與集群相關的實例配置文件所需的權限訪問S3 bucket。無法加載AWS憑證鏈中的任何提供者:[com.databricks.bac……

設置Apache Hadoop核心位點。xml屬性

你有一個場景,需要設置Apache Hadoop屬性。你在核心位點通常會這樣做。xml文件。在本文中,我們解釋了如何設置核心位點。xml在一個集群中。創建核心位點。xml文件DBFS你需要創建一個核心位點。xml文件並將其保存到DBFS集群。一個簡單的方法來創建這個文件是通過…

設置執行器日誌級別

警告本文描述的步驟與客戶使用Log4j 1。x在磚集群。Log4j 1。x是不再維護和有三個已知的cf (cve cve - 2021 - 4104 - 2020 - 9488,和cve - 2019 - 17571)。如果你的代碼使用一個類(JMSAppender或SocketServer)的影響,你的使用可能會影響這些vulnerabilitie……

與集群政策instance_profile_arn設置為可選的

在本文中,我們審查的步驟創建一個集群策略AWS屬性instance_profile_arn和它定義為可選的。這允許您啟動一個集群與特定的AWS實例配置文件。你也可以開始一個集群沒有實例配置文件。請注意你必須管理員用戶為了管理集群政策。創建一個新的clust……

Apache火花不開始工作

問題無火花工作開始,司機日誌包含以下錯誤:初始工作沒有接受任何資源;檢查集群的UI,以確保工人注冊和有足夠的資源導致這個錯誤可以發生在執行程序內存和火花的遺囑執行人核顯式地設置配置選項卡。這是一個桑普……

禁用自動終止集群在開始工作

集群問題你想開始一份工作,但這份工作創建失敗,並顯示一條錯誤消息。創建集群autotermination目前殘疾人工作錯誤。導致工作集群自動終止,一旦工作完成。結果,他們不支持顯式autotermination政策。如果你在集群包括autotermination_minutes波裏……

意想不到的集群終止

有時一個集群是意外終止,而不是由於手動終止或配置自動終止。一個集群可以終止的原因很多。一些終端是由磚和其他由雲提供商。本文描述了終止的原因和補救措施。磚ini……

如何配置單核執行人JNI庫運行嗎

當您創建一個集群,人均磚發射一個Apache火花executor實例的節點,和執行程序使用的所有核心節點。在某些情況下,例如,如果你想運行非線程安全的JNI庫,您可能需要一個執行者,隻有一個核心或任務槽,和不會嚐試運行並發任務。在這個c…

如何在磚上覆蓋log4j配置集群

警告本文描述的步驟與客戶使用Log4j 1。x在磚集群。Log4j 1。x是不再維護和有三個已知的cf (cve cve - 2021 - 4104 - 2020 - 9488,和cve - 2019 - 17571)。如果你的代碼使用一個類(JMSAppender或SocketServer)的影響,你的使用可能會影響這些vulnerabilitie……

Apache火花執行人內存分配

默認情況下,可用內存的數量為每個執行者Java虛擬機(JVM)中的分配內存堆。這是由spark.executor控製。記憶的財產。然而,一些意想不到的行為觀察實例分配大量的內存。jvm內存大小,規模問題與垃圾collecto…

Apache火花UI顯示小於總節點內存

問題引發的執行人選項卡界麵顯示更少的內存比實際上是可用的節點上:AWS m4。超大實例(16 GB的ram, 4核心)司機節點,顯示了執行人4.5 GB內存選項卡。m4。大型實例(8 GB ram, 2芯)對於司機節點,顯示執行人選項卡上的710 MB內存:Azure f8實例(16 GB, 4核心)f……

配置一個集群使用一個自定義的國家結核控製規劃服務器

在默認情況下磚國家結核控製規劃服務器集群使用公共的。這是足夠的對於大多數用例,但是您可以配置一個集群使用一個自定義的國家結核控製規劃服務器。這並不需要一個公共服務器國家結核控製規劃。它可以是一個私人國家結核控製規劃服務器在你的控製之下的。一個常見的用例是為了盡量減少您的集群的網絡流量。更新新台幣……

使GCM密碼套件

磚集群沒有GCM(伽羅瓦/計數器模式)密碼套件默認啟用。您必須啟用GCM密碼套件集群連接到外部服務器上,需要GCM密碼套件。驗證所需的密碼套件使用nmap工具來驗證密碼組合所需的外部服務器。% sh nmap,腳本ssl-enu……

在init腳本中啟用重試

Init腳本通常用於配置數據磚集群。有些情況你可能想在一個init腳本實現重試。init腳本這個示例init腳本例子向您展示了如何實現一個基本的複製操作重試。您可以使用該示例代碼為基礎實現重試的init腳本。% scala…

無法讀取審計日誌由於重複的列

問題你想讀udit日誌和得到一個AnalysisException:發現重複的列(s)錯誤。spark.read.format (json) .load (“dbfs: / / mnt / logs / < path-to-logs > /日期= 2021-12-07 ")/ / AnalysisException:發現重複的列數據模式(s): < some_column >的原因從2021年11月到2021年12月,數量有限的數據…

不能設置一個自定義PYTHONPATH環境

問題當你試圖設置一個自定義到PYTHONPATH環境變量在一個集群級init腳本,但值覆蓋在司機啟動。導致一個init腳本設置一個自定義的PYTHONPATH不工作,不支持。另外,你不能設置一個自定義的PYTHONPATH當使用磚容器服務。解你…

使用iptables訪問EC2元數據服務器

問題你想訪問您的EC2實例的元數據服務器但不能連接。因為這是預期的,違約行為。它是功能設計。解決方案使用init腳本應用定製iptables磚集群配置使訪問元數據服務器。定義一個位置來存儲init sc……

您的集群上運行自定義數據磚運行時

大多數磚客戶使用生產磚的運行時版本(AWS | Azubeplay体育app下载地址re | GCP)集群。然而,可能有某些時候你被要求提出一個支持後運行一個定製的磚運行時的票。警告定製磚運行時圖像創建特定的,短期的修複和邊界情況。如果一個cust……

附加到一個DataFrame

附加到一個DataFrame,使用歐盟方法。% scala val firstDF = spark.range (3) .toDF (“myCol”) val啟動= Seq (20) val附加= firstDF.union (newRow.toDF())顯示(附加)% python firstDF = spark.range (3) .toDF (“myCol”)啟動= spark.createDataFrame([[20]])附加= firstDF.union(啟動)顯示(附加)…

如何提高性能與用桶裝嗎

用桶裝在Apache火花SQL是一種優化技術。數據分配在指定數量的桶中,根據來自一個或多個用桶裝列值。用桶裝,從而改進了性能洗牌和排序數據表連接等下遊業務之前。是初始的權衡開銷洗牌和s…

如何處理blob數據包含在一個XML文件嗎

如果你日誌事件的XML格式,那麼每個XML事件記錄為base64字符串。為了運行使用Apache火花,對這些數據的分析需要使用spark_xml庫和BASE64DECODER API將數據進行分析。問題需要分析base64編碼字符串使用火花從xml格式的日誌文件。例如……

簡化鏈接轉換

有時你可能需要執行多個轉換DataFrame: % scala org.apache.spark.sql.functions進口。_進口org.apache.spark.sql。DataFrame val testDf = (1 - 10) .toDF (col) def func0 (Int x: = > Int y: Int) (: DataFrame): DataFrame = {。過濾器(' > x (y))} def func1上校(x: Int) (: DataFrame): DataFrame = {in.sele……

如何在CSV轉儲表、JSON、XML、文本或HTML格式

您想要發送你的磚磚以外的計算結果。您可以使用BI工具連接到您的集群通過JDBC和出口BI工具的結果,或保存您的表在DBFS或blob存儲和複製數據通過REST API。本文介紹JSpark,一個簡單的控製台工具執行SQL查詢使用JDBC火花…

獲取和設置Apache火花在筆記本配置屬性

在大多數情況下,您將火花配置集群級別(AWS | Azure)。然而,可能存在這樣的情況:您需要檢查(或一組)特定的火花配置屬性的值在一個筆記本上。本文向您展示了如何顯示火花配置屬性的當前值在一個筆記本上。它還向您展示了如何設置一個新的v…

蜂巢udf

本文將展示如何創建一個蜂巢UDF,注冊在火花,火花SQL查詢並使用它。這裏有一個蜂巢UDF將長作為參數,並返回它的十六進製表示。% scala org.apache.hadoop.hive.ql.exec進口。進口org.apache.hadoop.io UDF。LongWritable / /這個UDF需要很長整數,並將其轉換為十六進製…

當加入兩個DataFrames防止複製列

如果你執行加入火花和不正確地指定您加入你會得到重複的列名。這使它更難選擇列。本文和筆記本演示如何執行一個連接,這樣你就不會有重複的列。加入如果你加入列列上,得到複製列。Scala % Scala val llist……

撤銷所有用戶權限

當用戶權限明確授予單獨的表和視圖,選中的用戶可以訪問這些表和視圖,即使他們沒有權限訪問底層數據庫。如果你想撤銷用戶的訪問,可以使用撤銷命令。然而,撤銷命令顯式,並嚴格限製的ob…

如何在磚和刪除文件列表更快

場景假設您需要刪除一個表分區的年,月,日,區域,和服務。然而,桌子上是巨大的,每個分區將會有大約1000的部分文件。你能列出在每個分區的所有文件,然後刪除它們使用Apache火花工作。例如,假設您有一個表分區的,b,…

如何處理損壞的鑲花的文件不同的模式嗎

假設你有一個大問題本質上是獨立的鑲花文件列表,與各種不同的模式。你要讀的隻有那些文件匹配一個特定的模式和跳過不匹配的文件。一個解決方案可以按順序讀取文件,識別模式和聯盟DataFrames在一起。然而,這種方法…

沒有使用權限的數據庫

問題您正在使用一個集群運行磚運行時7.3 LTS及以上。你表啟用訪問控製您的工作區(AWS | Azure | GCP)作為管理用戶,並授予SELECT權限標準的次用戶組需要訪問的表。一個用戶試圖訪問一個對象數據庫中,拋出SecurityException錯誤我……

null和空字符串在分區列保存為null

問題如果你保存數據包含空字符串和null值在表的一列是分區的,後兩個值成為零寫作和閱讀。為了說明這一點,創建一個簡單的DataFrame: % scala org.apache.spark.sql.types進口。_進口org.apache.spark.sql.catalyst.encoders。RowEncoder val data = Seq(行(" ")……

randomSplit方法的行為

當使用randomSplit DataFrame,你可能會觀察到不一致的行為。這裏有一個例子:% python df = spark.read.format (inconsistent_data_source) .load () a, b = df.randomSplit ([0.5, 0.5]) a.join(廣播(b),在=“id”,如何=“內在”).count()通常這個查詢返回0。然而,根據基礎數據源或輸入…

工作失敗當使用Spark-Avro十進製值寫入AWS紅移

問題5磚運行時版本。x和,當亞馬遜寫小數紅移使用Spark-Avro作為默認臨時文件格式,要麼寫操作失敗的例外:錯誤(代碼1207),數據加載到紅移:“無效的數字,值”,Pos 0,類型:小數”或寫操作寫null的……

從用例類生成模式

火花提供了一種簡便的方法來生成一個模式從一個Scala類。case類,使用方法ScalaReflection.schemaFor[一].dataType.asInstanceOf [StructType]。例如:% scala org.apache.spark.sql.types進口。StructType org.apache.spark.sql.catalyst進口。ScalaReflection case類(關鍵:字符串,時間:java.sql。時間戳,日期:java ....

如何指定斜在數據集和DataFrame-based加入命令提示嗎

當您執行一個連接命令DataFrame或數據集對象,如果你發現困在查詢完成少量的任務由於數據傾斜,您可以指定的斜提示提示(斜)方法:df.hint(“斜”)。傾斜連接優化(AWS | Azure | GCP)上執行指定的DataFrame斜提示。在…

如何更新嵌套列

火花不支持添加新的列或刪除現有列嵌套結構。特別是,withColumn放數據集類的方法不允許您指定一個列名不同於任何頂級列。例如,假設您有一個數據集與以下模式:% scala val模式=(新StructType)。…

不兼容的模式在一些文件

問題引發的工作失敗讀取拚花時異常如下文件:在SQL語句錯誤:SparkException:工作階段失敗而終止:任務20階段11227.0失敗了4次,最近的失敗:在舞台上失去了任務20.3 11227.0 (TID 868031、10.111.245.219執行人31):. lang。UnsupportedOperationException:方式org.a……

拒絕訪問當編寫一個使用抽樣S3 bucket

問題寫一個S3 bucket使用抽樣失敗。司機節點可以寫,但工人(執行者)節點返回一個拒絕訪問錯誤。寫作與DataFrame API,但是效果很好。例如,假設你運行以下代碼:% scala . io .進口java文件導入。進口org.apache.spark可序列化的。{SparkConf, SparkContext}小鬼……

無效的數據加載到亞馬遜紅移時的時間戳

問題當你使用spark-redshift寫操作時間戳數據保存到亞馬遜紅移,就可能發生以下錯誤,如果時間戳數據包括時區信息。錯誤(代碼1206),數據加載到紅移:“無效的時間戳格式或價值(YYYY-MM-DD HH24: MI: SSOF]”導致紅移表是使用飛機時間戳數據…

在JSON數據集創建表

在本文中,我們介紹如何創建一個表在使用SerDe JSON數據集。下載JSON SerDe罐子打開hive-json-serde 1.3.8下載頁麵。單擊json-serde-1.3.8-jar-with-dependencies。jar json-serde-1.3.8-jar-with-dependencies.jar下載文件。信息可以查看Hive-JSON-Serde GitHub回購有關JAR的更多信息…

刪除表底層S3 bucket時刪除

問題表你想放棄或改變當你得到一個錯誤。錯誤的SQL語句:IOException: Bucket_name…不存在你可以複製錯誤刪除表或ALTER TABLE命令。% sql DROP TABLE < database-name.table-name >;% sql ALTER TABLE <數據庫名稱。表名稱>設置位置“<文件係統的位置>”;…

當安裝或訪問Azure Blob存儲失敗

問題當你試圖訪問一個已經創建掛載點或創建一個新的掛載點,它失敗的錯誤:. lang WASB:失敗。NullPointerException造成這個錯誤可以發生在根山路徑(/ mnt /等)也安裝blob存儲。運行以下命令檢查如果根路徑也安裝:% python dbutils.f…

無法讀取文件和目錄列表WASB文件係統

問題,當你試著讀一個文件在WASB火花,得到以下例外:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段1.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 1.0 (10.139.64.5 TID 19日,執行人0):shaded.databricks.org.apache.hadoop.fs.azure.AzureException: com.microsoft.a…

優化從JDBC數據源讀取性能

問題從外部JDBC數據庫讀取數據是緩慢的。我該怎樣才能提高讀取性能?解決方案見磚文檔中詳細討論如何優化性能時讀取數據(AWS | Azure | GCP)從外部JDBC數據庫....

故障排除JDBC / ODBC訪問Azure數據存儲Gen2湖

問題信息在一般情況下,您應該使用磚運行時5.2及以上,其中包括一個內置的Azure Blob文件係統(沛富)司機,當你想訪問Azure數據存儲Gen2湖(ADLS Gen2)。本文適用於用戶訪問ADLS Gen2存儲使用JDBC / ODBC。當您運行一個SQL查詢從JDBC、ODBC客戶端交流……

CosmosDB-Spark連接器圖書館衝突

這篇文章解釋了如何解決一個問題運行應用程序,使用磚CosmosDB-Spark連接器的環境。問題通常如果你添加一個Maven依賴火花集群,應用程序應該能夠使用所需的連接器庫。但目前,如果你簡單地指定CosmosDB-Spark連接器的Maven co-ord……

故障檢測在JSON編碼

問題引發工作不包含消息的一個例外:無效的utf - 32字符0 x1414141 char # 1(以上10飛行符),在org.apache.spark.sql.catalyst.json.JacksonParser字節# 7)。解析導致JSON數據源讀者能夠自動檢測輸入使用BOM JSON文件的編碼文件的開始。然而,BOM並不是……

不一致的時間戳與JDBC應用程序結果

問題與磚在使用JDBC應用程序集群java.sql不一致。時間戳的結果之間切換時的標準時間和夏令時。默認情況下導致磚集群使用UTC。java.sql。時間戳使用JVM的本地時區。如果一個磚集群作為字符串返回2021-07-12 21:43:08,JVM解析我…

卡夫卡與OffsetOutOfRangeException客戶終止

問題一個Apache火花應用程序試圖獲取信息從一個Apache卡夫卡源時終止kafkashaded.org.apache.kafka.clients.consumer.OffsetOutOfRangeException錯誤消息。引起火花應用程序從卡夫卡試圖獲取過期數據偏移量。我們通常看到在這兩個場景:Sc……

Apache火花JDBC數據源查詢選項並不為Oracle數據庫工作

問題當你使用Apache火花JDBC數據源的查詢選擇連接Oracle數據庫,它失敗與錯誤:java.sql。SQLSyntaxErrorException: ora - 00911:無效的字符為例,如果你運行下麵的JDBC連接:% scala val df =火花。讀.format (jdbc) .option (“url”,“< url >”) .option (…

訪問紅移與NullPointerException失敗

問題有時當你讀一個紅移表:% scala val original_df = spark.read。格式(“com.databricks.spark.redshift”)。選項(“url”, url)。用戶選項(“用戶”)。選項(“密碼”,密碼)。選項(“查詢”,查詢)。選項(“forward_spark_s3_credentials”,真正的)。選項(“tempdir”、“路徑”)。load ()……

紅移JDBC驅動程序的衝突問題

問題如果您附加多個紅移JDBC驅動程序到一個集群,並使用紅移連接器,筆記本REPL SQLDriverWrapper錯誤消息可能會掛起或崩潰。19/11/14 01:01:44錯誤SQLDriverWrapper:致命的非用戶錯誤扔進ReplId-9d455-9b970-b2042 . lang。NoSuchFieldError: PG_SUBPROTOCOL_NAMES com.amazon.redshi……

沛富客戶端掛如果使用不正確的客戶機ID或錯誤的路徑

問題您正在使用Azure數據存儲(ADLS)代湖。當你試圖訪問一個Azure Blob集群文件係統(沛富)路徑從一個磚,命令掛起。啟用調試日誌,你可以看到以下的堆棧跟蹤司機日誌:造成的:. io .IOException:服務器返回的HTTP響應代碼:400的URL: https://login.microso..。

不能從外部訪問對象由磚磚

問題當您試圖訪問一個對象在一個S3位置由磚使用AWS CLI,以下錯誤發生:ubuntu@0213 - 174944 - clean111 - 10 - 93 - 15 - 150: ~ $ AWS S3 cp S3: / / <桶> / <位置> / 0 /δ/沙盒/ deileringDemo__m2 / _delta_log / 00000000000000000000。json。致命錯誤:發生錯誤(403)當調用H……

不能讀取數據磚對象存儲在DBFS根目錄

問題一個拒絕訪問錯誤回報當你試圖閱讀磚對象存儲在DBFS在blob存儲根目錄外磚集群。因為這是正常的行為DBFS根目錄。磚家的對象庫和其他臨時DBFS係統文件的根目錄。磚是唯一的……

如何計算磚文件係統(DBFS) S3 API調用成本

DBFS S3 bucket的成本主要是由API調用的數量,其次,存儲的成本。您可以使用AWS CloudTrail日誌創建一個表,計算API調用的數量,從而計算出準確的成本API請求。獲得以下信息。您可能需要聯係您的AWS管理員獲得…

如何指定DBFS路徑

當使用磚你有時會需要訪問的數據磚文件係統(DBFS)。訪問DBFS是用標準的文件係統上的文件命令,然而語法變化取決於所使用的語言或工具。例如,采取以下DBFS路徑:DBFS: / mnt / test_folder / test_folder1 / Apache火花引發下,你應該規範……

在附加操作不支持

問題要追加數據到一個文件保存在外部存儲掛載點,並得到一個錯誤信息:OSError: [Errno 95]操作不受支持的。試圖添加一個文件時發生錯誤從Python和r造成不支持直接附加和隨機寫熔絲v2,可用在磚矮子…

並行化文件係統操作

DBR版本:<列出所有適用的DBR版本>雲版本:AWS, Azure作者:sandeep.chandran@m.eheci.com擁有團隊:<地區+平台/火花>票務URL: <鏈接到原始Salesforce或Jira票>最後審核日期:7月21日2021 -阿施施辛格當Beplay体育安卓版本你需要加快複製和移動業務,它們並行是……

S3連接重置錯誤

問題您的Apache火花工作失敗當試圖S3操作。造成的錯誤消息:java.net.SocketException:連接重置出現在堆棧跟蹤。堆棧跟蹤例子從一個S3讀操作:由:javax.net.ssl.SSLException:連接重置;請求ID: XXXXX,擴展請求ID: XXXXX,雲提供商:AWS實例,我…

上傳大文件使用DBFS API 2.0和PowerShell

使用磚REST API以編程方式與集群交互可以是一個偉大的方式來簡化工作流程和腳本。API可以調用各種工具,包括PowerShell。在本文中,我們將看看一個例子DBFS把使用curl命令,然後向您展示如何使用PowerShe執行相同的命令……

Null列值顯示為南

你的表有問題在一些列null值。當你查詢的表在磚使用select語句,null值顯示為null。當你查詢的表使用相同的磚的SQL select語句,null值表現為南。%的sql select * from違約。<表名稱>,<列名>是零Databric……

檢索查詢屬於殘疾用戶

當磚SQL的用戶從一個組織,查詢用戶所擁有的依然存在,但他們隻看到那些已經擁有權限訪問它們。磚的SQL管理可以將所有權轉讓給其他用戶,以及刪除警報,指示板和查詢屬於禁用用戶帳戶。克隆一個查詢磚……

Apache在DBConnect引發會話是null

問題你想使用磚連接運行您的代碼(AWS | Azure | GCP)當你得到一個sparkSession零錯誤消息。. lang。AssertionError:斷言失敗:sparkSession零而試圖executeCollectResult scala.Predef . assert (Predef.scala: 170)美元org.apache.spark.sql.execution.SparkPlan.executeCollectResult (…

磚與磚版本錯誤報告運行時連接6.4

問題你和磚使用磚連接的客戶端運行時6.4和收到一條錯誤消息,指出客戶端不支持集群。引起的:. lang。IllegalArgumentException:集群運行服務器版本dbr - 6.4,但這個客戶隻支持組(dbr - 5.5)。你可以找到一個客戶列表在ht釋放…

未能創建過程與磚CLI在Windows的錯誤

問題而試圖訪問磚CLI (AWS | Azure | GCP)在Windows中,你會得到一個未能創建過程錯誤消息。因為這可能發生:如果磚CLI的多個實例上安裝係統。如果Python路徑在你的Windows係統包括一個空間。信息中有一個已知問題pip導致pip安裝的年代……

GeoSpark未定義的函數與DBConnect錯誤

問題你想使用GeoSpark函數st_geofromwkt DBConnect (AWS | Azure | GCP)得到一個Apache引發錯誤消息。錯誤:org.apache.spark.sql。AnalysisException:未定義的功能:“st_geomfromwkt”。這個函數既不是注冊臨時函數也不是一個永久的函數注冊數據庫中的“默認”。T…

Apache配置在DBConnect火花

你可以隨時查看火花配置(AWS | Azure | GCP)審查您的集群的集群在工作區中細節。如果您使用的是DBConnect (AWS | Azure | GCP)你可能想要快速回顧當前的火花配置細節沒有切換到工作區UI。這個示例代碼顯示了如何獲取當前的火花……

如何排序S3文件修改時間在磚筆記本嗎

問題當你使用S3 dbutils工具列出文件位置,S3文件列表以隨機的順序。然而,dbutils沒有提供任何方法根據文件修改時間排序。dbutils不列表修改時間。解決方案使用Hadoop文件係統API S3文件,如下所示:% scala進口org ....

無效的錯誤與氣流運行作業時訪問令牌

運行計劃時氣流磚的工作問題,你得到這個錯誤:無效的訪問令牌:403年禁止運行錯誤原因通過氣流或安排磚工作,您需要配置使用氣流web UI磚的連接。下列不正確的設置會導致錯誤:設置主機字段數據磚我們…

在DBConnect ProtoSerializer棧溢出錯誤

問題您正在使用DBConnect (AWS | Azure | GCP)運行一個PySpark變換與超過100列DataFrame當你得到一個堆棧溢出錯誤。py4j.protocol。Py4JJavaError:調用o945.count時發生一個錯誤。:. lang。在java.lang.Clas StackOverflowError java.lang.Class.getEnclosingMethodInfo (Class.java: 1072)……

使用tcpdump創建pcap文件

如果你想分析節點之間的網絡流量在一個特定的集群,您可以在集群上安裝tcpdump和用它來pcap文件轉儲網絡包的細節。pcap文件可以下載到本地機器上進行分析。創建tcpdump init腳本運行這個示例腳本在一個筆記本在集群上創建ini……

事務日誌中引用一個文件無法找到

問題你的工作失敗,並顯示一條消息:一個事務日誌中引用文件無法找到。堆棧跟蹤例子:錯誤的SQL語句:SparkException:工作階段失敗而終止:任務0階段6.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 6.0 (TID 106 XXX.XXX.XXX。XXX,遺囑執行人0):com.databricks.sql.io.FileRe…

不能刪除數據在Eclipse中使用JDBC

問題你不能刪除數據從三角洲表從你當地的Eclipse環境中使用JDBC。相同的刪除操作在一個筆記本運行時工作。你可以連接到磚從當地的環境。一個select查詢工作。整型數= namedlocalJdbcTemplate。queryForObject (“SELECT COUNT(*)從<表名稱>”,新的MapSqlParamete…

比較兩個版本的δ表

三角洲湖支持時間旅行,你可以查詢舊三角洲表的快照。一個常見的用例是比較兩個版本的三角洲表,以確定哪些改變。有關時間旅行的更多詳細信息,請查看三角洲湖時間旅行文檔(AWS | Azure | GCP)。識別所有的差異可以使用SQL SELEC……

轉換從鋪到三角洲湖失敗

問題要拚花文件轉換為三角洲湖文件。包含鑲花的目錄文件包含一個或更多的子目錄。轉換失敗,錯誤信息:預計0分區列(s):[],但發現1分區列(s): [< column_name >]從解析文件名稱:< path_to_the_file_location >…

達美航空合並不能解決嵌套的領域

問題你嚐試三角洲與自動模式演化合並,但它與達美航空合並失敗:無法解決“字段”由於數據類型不匹配的錯誤消息。因為這可能發生,如果你對嵌套列字段的更改。例如,假設我們有一個專欄叫地址字段streetName houseNumber,城市不…

刪除你流查詢檢查點和重啟

問題你的工作失敗<價值>δ表不存在。請刪除你的流媒體查詢檢查點和重啟。錯誤消息。導致兩種不同的流媒體資源配置使用相同的檢查點目錄。這是不受支持的。例如,假設流查詢流數據從三角洲表,並使用導演……

δ緩存集群行為的自動定量多少

這篇文章是關於三角洲緩存(AWS | Azure | GCP)伸縮集群行為,根據需要添加或刪除的節點。當一個集群縮減規模和終止節點:三角洲緩存行為以同樣的方式作為一個抽樣緩存。當一個節點出現故障,所有緩存數據的特定節點。三角洲緩存數據不是搬fr…

如何提高性能的三角洲湖並入查詢使用分區修剪

這篇文章解釋了如何觸發分區修剪在三角洲湖並入(GCP) AWS | Azure |查詢從磚。分區修剪是一種優化技術來限製分區的數量所檢查的一個查詢。討論合並成與三角洲表使用時是一項昂貴的操作。如果你不分區底層…

最佳實踐管理三角洲湖表

無論你如何刪除管理表,它可以花大量的時間,這取決於數據大小。三角洲湖管理表中特定的元數據包含許多事務日誌的形式,和它們可以包含重複數據文件。如果一個增量表已經使用了很長時間,這可以積累大量的數據…

在雅典娜HIVE_CURSOR_ERROR當讀表

問題你在雅典娜和集成創建外部表使用說明與三角洲湖在轉眼間,雅典娜三角洲湖集成文檔。雅典娜的外部表中定義Apache蜂巢metastore。你運行一個select查詢外部表從雅典娜查詢編輯器,它返回一個HIVE_CURSOR_ERROR。HIVE_C……

編寫三角洲湖表時拒絕訪問S3

問題寫DataFrame三角洲湖格式的內容到一個S3位置會導致一個錯誤:com.amazonaws.services.s3.model。AmazonS3Exception:禁止(服務:Amazon S3;狀態碼:403;錯誤代碼:403禁止;請求ID: C827672D85516BA9;S3擴展請求ID:導致寫操作涉及三角洲湖格式需要權限……

三角洲湖寫工作與java.lang.UnsupportedOperationException失敗

問題三角洲湖寫工作有時失敗有以下例外:. lang。UnsupportedOperationException:方式com.databricks.backend.daemon.data.client.DBFSV1。putIfAbsent(路徑:路徑、內容:InputStream)。DBFS v1不支持事務從多個集群寫道。請升級到DBFS v2。或者你可以禁用多集群寫道……

如何填充或更新現有的三角洲表中列

現有的差值表的問題,有一些空的列。你需要用數據填充或更新這些列原始文件拚花。解決方案在這個例子中,有一個客戶表,這是一個現有的差值表。beplay体育app下载地址它有一個地址列用缺失值。更新後的數據存在於鋪格式。創建一個從th DataFrame…

識別重複的數據添加操作

一個常見的問題在執行添加操作三角洲表重複數據。例如,假設用戶1執行寫操作在δ表a。與此同時,用戶2三角洲上執行一個附加操作表答:這可能會導致重複的記錄的表。在本文中,我們審查的基本故障排除步驟,您可以使用……

對象鎖錯誤在編寫三角洲湖表S3

問題你想執行一個三角洲寫操作S3 bucket和得到一個錯誤消息。com.amazonaws.services.s3.model。亞馬遜S3Exception: Content-MD5 HTTP header is required for Put Part requests with Object Lock parameters Cause Delta Lake does not support S3 buckets with object lock enabled. Solution You should use an S3 bucket that do...

優化三角洲沉在一個結構化的流媒體應用程序

您使用的是δ表作為結構化的流媒體應用程序的水槽和你想優化三角洲表以便提高查詢的速度。如果您的結構化的流媒體應用程序有一個非常頻繁觸發間隔,它也不會帶來足夠的文件在每個microbatch資格獲得壓實。autoOptimize操作compac……

三角洲湖更新查詢失敗IllegalState例外

問題當你執行一個三角洲湖更新、刪除,或合並查詢使用Python udf的任何轉換,不能用以下例外:AWS . lang。UnsupportedOperationException:方式錯誤的SQL語句:IllegalStateException:文件(s3a: / / xxx / table1)中被重寫未找到候選人文件:s3a: / / xxx /表/部分- 000…

無法把字符串varchar

問題你想把一個字符串類型列varchar但它不工作。信息varchar數據類型(AWS | Azure | GCP)可在磚運行時8.0及以上。創建一個簡單的三角洲表,與一列類型字符串。% sql創建或替換表delta_table1使用δ(“col1”字符串);使用顯示表上新創建的助教……

真空零保留導致數據丟失

問題你添加數據到三角洲表,但沒有預警數據消失。沒有明顯的錯誤消息。因為這可能發生當spark.databricks.delta.retentionDurationCheck.enabled設置為false,真空配置為保持0小時。% sql真空< name-of-delta-table >保留0小時或% sql真空delta. ' < delta_table_pa…

z值將是無效的,而不是收集統計數據

問題你想優化δz值表,收到一個錯誤不收集統計數據的列。AnalysisException: z值在[col1, col2]將是無效的,因為我們目前不為這些列收集統計數據。信息請查看z值(多維聚簇)(AWS | Azure GCP) |更多有限公司…

改變集群配置為三角洲住表管道

問題你用δ生活表和想要改變集群配置。你創建一個管道,但隻有選項來啟用或禁用光子並選擇工人的數量。導致創建一個三角洲住表管道時,大多數參數配置了默認值。這些值不能被配置在管道我…

不同與相同的數據表用於相同查詢時產生不同的計劃

問題,假設您有兩個三角洲表test_table_1 test_table_2。兩個表有相同的模式,同樣的數據量,相同的分區,並包含相同數量的文件。你在做一個連接轉換與另一個δ表,test_table_join,一百萬條記錄。當您運行下麵的連接查詢使用test_table_1和test_……

允許空格和特殊字符與三角洲表嵌套列名稱

問題是很常見的JSON文件包含嵌套的結構體列。嵌套列名在JSON文件中可以有空間之間的名字。當你使用Apache火花讀或寫JSON文件嵌套列名稱中使用空格,你得到一個AnalysisException錯誤消息。例如,如果您試圖讀取JSON文件,評估DataFrame,…

區分活躍和死的工作

問題有太多的集群並行工作,你經常看到一些工作停留在火花UI沒有任何進展。這複雜識別活動工作/階段與死者的工作階段。導致每當有太多並發工作一個集群上運行,有可能引發內部eventListenerBus…

火花與司機工作失敗是暫時不可用

問題一個磚筆記本返回下列錯誤:司機暫時不可用這個問題可以間歇性的或不是。一個相關的錯誤消息是:失去了連接到集群。筆記本可能是分離的。引起此錯誤的一個常見原因是,司機正在內存瓶頸。當這種情況發生時,司機安全原料……

使用REST API如何刪除所有工作

運行以下命令來刪除所有工作在一個磚工作區。識別工作列表刪除和他們在一個文本文件:% sh curl - x - u得到“無記名:<標記>”https:// < databricks-instance > / api / 2.0 /工作/列表| grep - o - p”job_id。{0,6}“| awk - f”:“{打印$ 2}> > job_id。三種運行一個循環中的curlcommand刪除identif……

確定不使用工作

工作區有限製的數量可以在UI中顯示的工作。目前的工作極限是1000。如果你超過工作極限,你收到QUOTA_EXCEEDED錯誤消息。“error_code”:“QUOTA_EXCEEDED”、“消息”:“配額的數量的工作。當前的限額是1000。這個配額隻應用於崗位通過…

工作筆記本集群限製輸出

問題是工作的集群上運行一個筆記本,你得到一個錯誤消息,表明輸出太大。筆記本太大的輸出。原因:rpc響應(20975548字節)超過20971520字節的限製導致這個錯誤消息可能發生在集群工作隻要筆記本輸出大於20 MB。如果你是你…

工作失敗,但是Apache火花任務完成

問題你磚的工作報告失敗的狀態,但所有火花已經成功完成工作和任務。因為你有明確叫spark.stop()或system . exit(0)在您的代碼。如果這些被稱為,火花上下文是停止,但優雅的關閉和握手與磚的工作服務不會發生。解決方案做……

由於工作速率限製工作失敗

問題磚筆記本或工作的API請求返回下列錯誤:錯誤:{“error_code”:“INVALID_STATE”、“消息”:“已經有1000個工作崗位創造了在過去的3600秒,超過速度限製:每3600秒創造1000個工作崗位。”}造成這個錯誤是因為就業人數每小時超過1000的極限建立了噠……

在覆蓋模式下創建表失敗時中斷

問題當你嚐試重新運行Apache火花寫操作被取消當前運行工作,以下錯誤:錯誤:org.apache.spark.sql。AnalysisException:無法創建管理表(“testdb”。testtable”)。相關的位置(“dbfs: / user /蜂巢/倉庫/ testdb。db / metastore_cache_ testtable)已經存在。;因為……

Apache火花工作掛由於不確定的自定義UDF

問題有時Apache火花崗位掛無限期的不確定性行為引發用戶定義函數(UDF)。下麵是這個函數的一個例子:% scala val convertorUDF = (commentCol: String) = > {# UDF定義}val translateColumn = UDF (convertorUDF)如果你調用這個UDF使用withColumn ()…

Apache火花工作失敗未能解析字節字符串

問題Spark-submit工作未能解析字節字符串失敗:1錯誤消息。java . util . concurrent。ExecutionException: . lang。NumberFormatException:大小必須指定為字節(b), kibibytes (k),對齊mebibyte (m), gibibyte (g), tebibytes (t)或pebibytes (p)。如50 b、100 k或250米。未能解析字節字符串:1在java.util.concurre…

Apache火花UI顯示錯誤的就業人數

問題你是審查活動Apache火花工作一個集群的數量在火花UI,但太高,數量是準確的。如果你重新啟動集群,喬布斯火花UI中顯示的數量是正確的,但隨著時間的推移,它變得異常高。引起火花UI並不總是準確的為大,或長時間運行,集群由於……

Apache火花工作與連接池關閉失敗錯誤

問題引發的工作失敗與錯誤消息. lang。IllegalStateException:連接池關閉當試圖寫入數據到一個δ表S3。導致火花工作寫S3最大並發連接數是有限的。. lang。IllegalStateException:連接池時關閉這個連接池……

工作失敗典型錯誤消息

問題你的工作運行失敗與壓製由於觀察典型錯誤錯誤消息。集群成為遙不可及的在運行原因:xxx-xxxxxx-xxxxxxx壓製是由於觀察典型錯誤導致工作在這個集群有過多大的結果返回到Apache火花司機節點。結果,司機服務耗盡m…

Apache火花工作失敗maxResultSize例外

maxResultSize異常問題引發工作失敗:org.apache.spark。SparkException:工作階段失敗而終止:XXXX任務的序列化結果的總大小(X.0 GB)比spark.driver大。maxResultSize (X.0 GB)導致這個錯誤是因為配置的大小限製是超過。大小限製適用於總連載……

磚的工作失敗因為庫沒有安裝

問題磚工作失敗,因為工作需要一個庫,還沒有安裝,導致導入錯誤。導致錯誤發生,因為工作需要庫安裝前開始運行。如果你在集群上運行工作在以下的情況下,集群可以體驗推遲安裝庫:當你開始一個……

工作失敗由於數據湖Azure存儲(ADLS)創建的限製

問題當您運行在Azure的工作涉及創建文件數據存儲(ADLS)湖,Gen1或者代,發生下列異常:由於:. io .IOException:創建失敗與錯誤0 x83090c25(文件和文件夾被創建的速度過高)。[745 c5836 - 264 - e - 470 - c - 9人私下偷偷收藏盒式c605f1c100f5]失敗與錯誤0 x83090c25(文件和fo…

工作失敗,無效的訪問令牌

長時間運行的工作問題,如流媒體工作,失敗後48小時內當使用dbutils.secrets.get () (AWS | Azure | GCP)。例如:% python streamingInputDF1 =(火花.readStream .format .table(“δ”)(“default.delta_sorce”)) def writeIntodelta (batchDF batchId): table_name = dbutil……

如何確保冪等性工作

當你提交工作通過磚工作REST API,冪等性是沒有保證的。如果客戶機請求超時和客戶重新提交相同的請求,你可能最終得到重複的工作運行。確保工作冪等性當你提交工作通過API,您可以使用一個冪等性標記來定義一個獨特的價值specif……

監控運行作業工作運行指示板

工作運行指示板是一個筆記本顯示所有正在運行的工作信息在你的工作區。配置儀表板,您必須允許把一個筆記本一個通用集群在工作區中您希望監視。如果不存在一個通用的集群,您必須創建一個許可。一旦d…

流工作性能退化

問題你有流的工作有其性能降低。你開始一個新的流媒體工作相同的配置和相同的源,其性能優於現有的工作。原因與舊的檢查點可以導致性能下降問題長期運行流工作。這可能發生,如果工作是間歇性哈…

任務反序列化時間很高

問題你的任務正在運行慢於預期。你審查階段細節引發UI集群,看到任務反序列化時間高。導致Cluster-installed庫(AWS | Azure GCP) |隻安裝在司機在集群啟動時。這些庫隻安裝在執行器當第一個任務……

傳遞參數到一個筆記本作為一個列表

沒有直接的方式傳遞參數到一個筆記本作為字典或列表。你可以繞過這個限製通過序列化為JSON文件列表,然後將其作為一個參數。JSON文件傳遞給筆記本之後,您可以解析它json.loads ()。指令定義參數列表和將其轉換為一個JSON文件。首先……

增加每階段的任務

當使用spark-xml包,您可以增加任務的數量每階段spark.hadoop.mapred.max.split通過更改配置設置。集群中的大小到一個較低的值的火花配置(AWS | Azure)。這個配置設置控製輸入塊大小。當數據從DBFS讀取,它分為輸入模塊,然後……

最大執行上下文或筆記本連接限製

問題的筆記本或作業執行停止並返回下列錯誤:運行結果不可用:作業失敗與錯誤消息上下文ExecutionContextId(1731742567765160237)斷開連接。不能把這個筆記本因為集群已達到連接筆記本的極限。分離一個筆記本並重試。因為當你把一個noteboo…

序列化任務太大

如果你看到下錯誤消息,你可以修複這個錯誤通過改變引發配置(AWS | Azure)當你開始集群。序列化任務XXX: XXX是XXX字節,超過最大允許:spark.rpc.message。最大尺寸(XXX字節)。考慮增加spark.rpc.message。最大尺寸或使用廣播變量為大值。改變……

不能在卵子庫導入模塊

問題你想安裝一個雞蛋圖書館集群和它失敗的消息,一個模塊在圖書館不能進口。即使是一個簡單的導入失敗。進口sys egg_path = ' / dbfs / < path-to-egg-file > / < egg-file >。蛋sys.path.append (egg_path)進口shap_master導致這個錯誤消息發生由於圖書館是pac的方式……

不能從AutoGluon進口TabularPrediction

問題你想從AutoGluon進口TabularPrediction,但得到一個錯誤消息。ImportError:不能導入名稱“TabularPrediction”從“autogluon”(未知位置)當autogluon安裝通過筆記本或作為cluster-installed庫(AWS | Azure | GCP)。你可以複製錯誤通過運行導入c…

最新PyStan不能安裝在磚6.4運行時

問題你想安裝PyStan PyPi上包磚6.4運行時擴展支持集群和ManagedLibraryInstallFailed錯誤消息。. lang。RuntimeException: ManagedLibraryInstallFailed: org.apache.spark。SparkException:進程列表(/磚/ python / bin /皮普,安裝,pystan,——disable-pip-version-check)退出智慧……

庫不可用導致工作失敗

問題你正在啟動工作,導入外部庫,導入錯誤。工作原因節點重新啟動時,工作失敗,並顯示以下錯誤消息:ImportError:沒有模塊名為XXX導致集群管理器是磚的一部分服務管理客戶Apache火花集群。它發送命令來安裝Python和R……

如何正確更新Maven庫在磚嗎

問題你讓一個小更新庫存儲庫中,但是你不想改變版本號為測試目的,因為它是一個小變化。當你把圖書館集群,您的代碼變化不包括在圖書館。造成磚的一個優勢是能夠安裝第三方或自定義天秤座……

Init腳本未能下載Maven JAR

問題你有一個init腳本試圖安裝一個通過Maven庫,但它失敗當試圖下載JAR。https://repo1.maven.org/maven2/com/nvidia/rapids-4-spark_2.12/0.4.1/rapids-4-spark_2.12-0.4.1.jar%0D解決repo1.maven.org (repo1.maven.org)……151.101.248.209連接到repo1.maven.org (repo1.maven.org) | 151.101.248 ....

安裝包使用前凹口快照

問題你想安裝一個庫包通過凹口,並得到一個圖書館安裝失敗的圖書館由於下文故障錯誤消息。庫庫安裝失敗,因為下文錯一些(凹口{包:“< name-of-package >})。錯誤消息:. lang。RuntimeException:安裝失敗,信息:埃羅……

安裝PyGraphViz

PyGraphViz Python庫用於情節因果推理網絡。如果你試圖安裝PyGraphViz標準庫,不能由於依賴錯誤。PyGraphViz有以下依賴關係:python3-dev graphviz libgraphviz-dev pkg-config安裝通過筆記本安裝apt-get的依賴關係。% sh使用sudo apt-get安裝- y python3-de…

安裝Turbodbc通過init腳本

Turbodbc Python模塊,使用ODBC接口來訪問關係數據庫。它依賴libboost-all-dev、unixodbc-dev python-dev包,需要安裝。你可以手動安裝這些,或者您可以使用一個init腳本自動化安裝。創建init腳本運行這個示例腳本在noteboo……

不能卸載從UI庫

問題通常,圖書館可以卸載集群UI。如果禁用複選框選擇庫,那麼就無法卸載從UI庫。因為如果你使用REST API創建一個庫1.2版本,如果啟用了auto-attach,圖書館所有集群上安裝。在這個場景中,集群UI複選框……

在一個集群上安裝Cartopy時錯誤

問題你想安裝Cartopy集群上,你收到ManagedLibraryInstallFailed錯誤消息。. lang。RuntimeException: ManagedLibraryInstallFailed: org.apache.spark。SparkException:進程列表(/磚/ python / bin /皮普,安裝,cartopy = = 0.17.0——disable-pip-version-check)退出代碼1。錯誤:命令錯誤了…

在一個集群上安裝pyodbc時錯誤

問題的錯誤發生在您使用pip安裝pyodbc庫。. lang。RuntimeException:安裝失敗,信息:收集pyodbc”庫安裝失敗是因為缺少的依賴關係。sasl和thrift_sasl是可選依賴sasl或Kerberos支持”導致盡管sasl和thrift_sasl啊……

圖書館除了依賴失敗

問題一個Python函數定義在一個定製的雞蛋或輪文件和也依賴另一個滿意的客戶包安裝在集群。當你調用這個函數,它返回一個錯誤,說不能滿足要求。org.apache.spark。SparkException:進程列表(/ local_disk0 / pythonVirtualEnv……

由於瞬態Maven庫失敗的問題

工作失敗因為庫無法安裝問題。圖書館決議失敗了。原因:. lang。RuntimeException:無法下載一些圖書館由於瞬態Maven的問題。請稍後再試導致磚升級後,您的集群試圖從Maven下載所需的庫。下載後,庫存儲……

新工作失敗當添加一個圖書館DBFS或S3

問題您創建一個新工作,試圖從DBFS或S3存儲添加一個圖書館。工作區UI返回一個錯誤。錯誤:未捕獲TypeError:無法讀取屬性定義的concat重新加載頁麵並再試一次。如果錯誤仍然存在,請聯係支持。點擊重新加載頁麵並沒有解決錯誤消息。因為這是一個已知的問題。修複……

閱讀與xlrd .xlsx文件失敗

問題你有xlrd安裝在集群和正試圖讀取Excel .xlsx格式的文件,當你得到一個錯誤。XLRDError: Excel xlsx文件;不支持原因xlrd 2.0.0以上隻能讀取xls文件。支持.xlsx文件被撤xlrd由於一個潛在的安全漏洞。解決方案使用openpyxl打開.xl……

刪除Log4j 1。x JMSAppender SocketServer類從類路徑中

磚最近發表的博客在Log4j 2脆弱性(cve - 2021 - 44228)的研究和評估。磚不直接使用Log4j版本已知受此影響的脆弱性在磚平台在某種程度上我們理解可能是脆弱的。Beplay体育安卓版本磚也不影響使用Log4j 1類。x與已知vul……

替換默認庫jar

磚包含一個默認的Java和Scala庫的數量。可以替換任何這些庫的另一個版本使用集群級init腳本刪除默認庫jar,然後安裝你需要的版本。警告刪除默認庫和安裝新版本可能會導致不穩定或完全打破你的D…

與AssertionError Python命令失敗:錯誤的顏色格式

問題您運行Python筆記本和失敗AssertionError之外:顏色格式錯誤消息。一個堆棧跟蹤例子:文件“/ local_disk0 / tmp / 1599775649524 - 0 / PythonShell。py”, 39歲,從IPython.nbconvert.filters <模塊>。ansi ansi2html文件導入“< importlib凍結。_bootstrap >”,第983行_find_and_load文件”<…

PyPMML失敗找不到py4j jar錯誤

PyPMML問題是一個Python PMML得分圖書館。在安裝PyPMML在磚集群中,不能Py4JError:找不到py4j jar錯誤。%從pypmml python導入模型modelb = Model.fromFile (/ dbfs / shyam / DecisionTreeIris.pmml)錯誤:Py4JError:找不到py4j jar導致這個錯誤發生由於依賴defa……

TensorFlow無法導入

問題TensorFlow安裝在您的集群。當你試圖導入TensorFlow,它與無效語法或導入失敗錯誤。導致集群上安裝版本的protobuf TensorFlow不兼容的版本。解決方案使用一個集群級init腳本安裝TensorFlow匹配版本的NumPy和原型……

驗證集群的Log4j版本

磚最近發表的博客在Log4j 2脆弱性(cve - 2021 - 44228)的研究和評估。磚不直接使用Log4j版本已知受此影響的脆弱性在磚平台在某種程度上我們理解可能是脆弱的。Beplay体育安卓版本如果您正在使用Log4j集群內(例如,如果您正在處理…

Apache火花工作失敗與環境目錄沒有發現錯誤

問題在你安裝一個Python庫(通過集群UI或通過使用pip),您的Apache火花工作失敗的環境目錄未找到錯誤消息。org.apache.spark。SparkException:環境/ local_disk0 /目錄未找到。ephemeral_nfs cluster_libraries / python引起庫安裝在一個網絡文件係統(NFS) th…

使用磚回購的碼頭工人容器服務

介紹根據您的用例中,您可能想要使用這兩個碼頭工人容器服務(DCS)和磚回購(AWS | Azure | GCP)在同一時間。DCS不使用默認磚回購的,但是您可以使用一個定製的init腳本使用。如果您還沒有安裝一個init腳本配置DCS與磚回購的可能…

Conda未能從蟒蛇下載包

問題要從蟒蛇下載包存儲庫和PackagesNotFoundError錯誤消息。這個錯誤可能發生在使用% conda,或% sh conda筆記本,當使用conda init腳本。導致蟒蛇inc .)更新為repo.anaconda.com和anaconda.org/anaconda服務條款。基於水蟒……

從MLflow下載工件

默認情況下,MLflow客戶節省工件工件存儲URI在一個實驗。工件存儲URI / dbfs /磚/類似mlflow-tracking / < experiment-id > / / <運行id > /工件。這個工件商店MLflow管理的位置,所以你不能直接下載工件。您必須使用客戶端。download_artifacts的……

如何提取特征信息基於樹的Apache SparkML管道模型

當你安裝一個基於樹模型,如決策樹,隨機森林,或梯度提高了樹,是很有幫助的,可以複習功能重要性水平隨著功能的名字。通常模型在SparkML符合管道的最後階段。從管道中提取相關特征信息樹莫…

安裝一個Apache SparkML模型拋出錯誤

問題磚時拋出一個錯誤的配件SparkML模型或管道:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段162.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 162.0 (TID 168、10.205.250.130執行人1):org.apache.spark。SparkException:未能執行用戶定義函數($ anonfu……

H2O。人工智能集群不可到達的蘇打水

問題你想要初始化水。艾未未的蘇打水上麵的磚7.0運行時,當你得到一個H2OClusterNotReachableException錯誤消息。python導入ai.h2o.sparkling %。ai.h2o.sparkling.backend.exceptions _ val h2oContext = H2OContext.getOrCreate ()。集群X.X.X. H2OClusterNotReachableException:水X: 54321 - sparkling-water-ro……

如何執行組K-fold交叉驗證與Apache火花

交叉驗證隨機分割訓練數據到指定數量的折疊。為了防止數據泄漏,相同的數據出現在多個折疊可以使用組。scikit-learn支持組K-fold交叉驗證來確保折疊是獨特的和非重疊。火花spark-sklearn庫可以使用,分發……

誤差在導入OneHotEncoderEstimator

問題從磚遷移了一本筆記本運行時對機器學習或低於6.4磚7.3運行時機器學習或以上。您正試圖導入OneHotEncoderEstimator得到導入錯誤。ImportError:不能導入名稱從“pyspark.ml OneHotEncoderEstimator。功能的(/磚/火花/ python / pyspark / m…

MLflow項目無法訪問Apache蜂巢表

問題你有MLflow項目無法訪問一個蜂巢表並返回一個表或視圖沒有發現錯誤。pyspark.sql.utils。AnalysisException:“表或視圖不發現:“違約”。“tab1”;1號線pos 21; \ n 'Aggregate [unresolvedalias(計數(1),沒有一個)]\ n +——“UnresolvedRelation“違約”。tab1 \ n”mlflow xxxxx錯誤。cli: = = = (ID“xxxxx”)運行失敗……

如何加快交叉驗證

Hyperparameter調優的Apache SparkML模型需要很長時間,這取決於網格的尺寸參數。你可以提高性能的交叉驗證步驟SparkML加快速度:緩存數據在運行任何功能轉換或建模步驟之前,包括交叉驗證。過程指的是數據多…

與maxNumConcurrentTasks Hyperopt失敗錯誤

機器學習問題你是調優參數使用Hyperopt py4j當你的工作失敗。Py4JException:方法maxNumConcurrentTasks([])不存在錯誤。您正在使用的磚運行時機器學習(磚運行時的ML)集群。導致磚運行時毫升的兼容版本Hyperopt預裝(AWS Azure | |…

使用文檔作為輸入時不正確的結果

問題你有ML模型,文檔作為輸入,具體地說,一個字符串數組。你使用TfidfVectorizer等特征提取器將文檔轉換為一個字符串數組,數組中攝取到的模型。模型訓練,預測發生在筆記本,但是模型服務不返回JS的預期結果……

錯誤當訪問MLflow工件不使用MLflow客戶機

MLflow實驗權限(AWS | Azure)正在執行工件MLflow跟蹤,使您能夠輕鬆地控製訪問您的數據,模型,和其他文件。無效的山異常問題當試圖訪問一個MLflow運行工件使用磚文件係統(DBFS)命令,比如dbutils。fs,得到以下錯誤:com ....

實驗中使用自定義構件存儲位置時發出警告

問題,當你創建一個MLflow嚐試自定義工件位置,得到以下警告:引起MLflow實驗權限(AWS | Azure | GCP)執行構件在MLflow跟蹤,使您能夠輕鬆地控製訪問數據,模型,和其他文件。MLflow不能保證實施訪問控製的基於“增大化現實”技術的…

實驗使用遺留工件存儲位置時發出警告

問題一個新的圖標出現在MLflow實驗頁麵下麵的開放獲取警告:引起MLflow實驗權限(AWS | Azure | GCP)執行在MLflow跟蹤工件,使您能夠輕鬆地控製訪問數據,模型,和其他文件。在MLflow 1.11及以上,新實驗構件存儲在一個MLflow-mana…

然而使用pyfunc返回ModuleNotFoundError或FileNotFoundError模型

問題您已經創建了一個使用KNeighborsClassifier Sklearn模型,使用pyfunc運行一個預測。例如:python導入mlflow %。pyfunc pyfunc_udf = mlflow.pyfunc。spark_udf(火花,model_uri = model_uri result_type = '字符串')predicted_df =合並。withColumn(“預測”,pyfunc_udf (* merge.columns [1:])) predicted_df.collect()預測……

OSError當訪問MLflow實驗工件

問題你得到一個OSError:沒有這樣的文件或目錄錯誤消息當試圖下載或日誌構件使用下列之一:MlflowClient.download_artifacts () mlflow。(味道).log_model () mlflow。(味道).load_model () mlflow.log_artifacts () OSError:沒有這樣的文件或目錄:/ dbfs /磚/ mlflow-tracking / < experiment-id > / <運行-…

PERMISSION_DENIED錯誤當訪問MLflow實驗工件

問題你得到一個PERMISSION_DENIED錯誤當試圖訪問一個MLflow工件使用MLflow客戶端。RestException: PERMISSION_DENIED:用戶> <用戶沒有權限視圖的id < experiment-id >或RestException實驗:PERMISSION_DENIED:用戶> <用戶沒有權限編輯的實驗id <前女友…

在機器學習Python命令失敗集群

問題您正在使用一個磚集群運行時對機器學習和Python的筆記本是失敗的。你日誌中發現一個無效的語法錯誤。SyntaxError:無效語法文件“/ local_disk0 / tmp / 1593092990800 - 0 / PythonShell。py”,第363行def __init__(自我,* args, condaMagicHandler = None, * * kwargs):導致/etc/environmen鍵值……

運行不嵌套在Hyperopt啟用SparkTrials時

Hyperopt SparkTrials問題是一個擴展,它允許運行分布式引發工人。當你開始一個MLflow運行工人函數嵌套= True,結果應該是嵌套的父母下運行。有時候結果不正確嵌套在父母來看,即使你跑SparkTrials與嵌套= True…

MLflow無效訪問令牌的錯誤

問題在你的筆記本長期MLflow任務或工作任務沒有完成。相反,他們返回一個錯誤消息(403)無效的訪問令牌。錯誤堆棧跟蹤:MlflowException: API請求的端點/ API / 2.0 / mlflow /運行/創建失敗,錯誤代碼403 ! = 200。身體反應:“< html > <頭> < meta data-fr-htt……

自動定量與外部metastore緩慢

問題外部metastore集群配置和啟用自動定量,但集群不是有效的自動定量。因為你將metastore jar複製到每一個執行者,當他們隻需要在司機。需要時間來初始化和運行jar每次新遺囑執行人旋轉起來。因此,添加更多的前女友……

數據太長列的錯誤

問題你想插入一個表結構,但你會得到一個java.sql。SQLException異常:數據太長列的錯誤。引起的:java.sql。SQLException異常:數據太長列“TYPE_NAME”在第一行查詢的方法是:插入COLUMNS_V2 (CD_ID,評論,“COLUMN_NAME”、TYPE_NAME INTEGER_IDX)值(?,?,?,?,?),參數(103182年,《零》,地址…

減少數據庫沒有刪除

默認情況下,刪除數據庫(GCP) AWS Azure | |命令滴與數據庫相關的數據庫和刪除目錄的文件係統。有時你可能想把數據庫,但保持底層數據庫目錄的完整。示例代碼可以使用這個示例代碼將數據庫而不刪除底層大…

如何創建表ddl導入外部metastore嗎

磚支持使用外部metastores而不是默認的蜂巢metastore。您可以導出所有表元數據從外部metastore蜂巢。使用Apache目錄火花API列表中包含的數據庫中的表metastore。使用顯示創建TABLE語句生成ddl並將它們存儲在一個文件中。使用文件……

從metastore下降與損壞的元數據表

問題有時你不能刪除一個表的數據磚UI。使用% sql或火花。sql drop table不起作用。使元數據(表模式)存儲在metastore損壞。運行Drop table命令時,火花檢查表是否存在或不刪除表之前。從表的元數據損壞火花c…

與外部蜂巢metastore錯誤創建表

問題你是連接到一個外部MySQL metastore和試圖創建一個表,當你得到一個錯誤。AnalysisException: org.apache.hadoop.hive.ql.metadata。HiveException: MetaException(信息:是拋出一個異常時添加/驗證類(es):(康涅狄格州= 21)列長度太大列“PARAM_VALUE”(max = 16383);使用BLOB或TE……

AnalysisException當刪除表Azure-backed metastore

問題當你試圖在一個外部表蜂巢2.0或2.1版本metastore部署到Azure SQL數據庫,數據磚扔以下例外:com.databricks.backend.common.rpc.DatabricksExceptions SQLExecutionException美元:org.apache.spark.sql。AnalysisException: org.apache.hadoop.hive.ql.metadata。HiveException: MetaException (…

如何解決幾個Apache蜂巢metastore問題

問題1:外部metastore表沒有檢查司機的日誌時,你看到一個堆棧跟蹤,包括所需的錯誤表缺失:警告查詢:查詢org.apache.hadoop.hive.metastore.model的候選人。MDatabase和子類導致不需要可能的候選人表缺失:“星展”目錄”“模式”。DataNu……

清單表名

問題獲取的所有表名metastore您可以使用spark.catalog.listTables()或% sql顯示表。如果你觀察期間獲取的細節你可以看到spark.catalog.listTables()通常花費的時間超過% sql顯示表。導致spark.catalog.listTables()試圖獲取每個表的元數據,然後顯示reque……

如何設置嵌入式Apache蜂巢metastore嗎

您可以設置一個磚使用嵌入式metastore集群。您可以使用一個嵌入式metastore當你隻需要保留在集群的生命表的元數據。如果重新啟動集群,元數據丟失。如果你需要持久存儲表的元數據或其他數據在集群啟動之後,那麼你應該使用默認metastore啊……

日本在外部metastore字符支持

問題你想在你的表中使用日文字符,但越來越錯誤。創建一個表的選項關鍵字選項提供了額外的元數據表。你試著創建表選項和utf8mb4指定字符集。% sql創建表默認。JPN_COLUMN_NAMES(“作成年月”字符串,“計上年月”字符串,“所屬コード”字符串,“生保代理店コード_8……

拚花時間戳需要蜂巢metastore 1.2或以上

問題你想創建一個拚花表使用時間戳,但你得到一個錯誤消息。執行的SQL語句的錯誤:QueryExecutionException:失敗:錯誤,返回代碼從org.apache.hadoop.hive.ql.exec.DDLTask 1。. lang。UnsupportedOperationException:方式拚花不支持時間戳。看到蜂巢- 6384示例代碼% sql創建走讀生…

如何探索Apache火花引發聽眾指標

Apache火花提供了一些有用的內部聽眾跟蹤指標任務和工作。在開發周期中,例如,這些指標可以幫助你理解何時和為什麼需要很長時間才能完成的任務。當然,你可以利用火花或曆史UI中看到的信息為每個任務和階段,但也有一些道……

如何使用Apache火花指標嗎

本文給出一個示例如何監視Apache使用火花引發組件可配置的指標體係。具體地說,它顯示了如何設置一個新的源和使一個水槽。火花的詳細信息組件可用於度量收集,包括水槽開箱即用的支持,遵循上麵的文檔鏈接。正……

訪問S3提供臨時會話憑證

您可以使用我會話令牌使用Hadoop配置支持訪問S3存儲數據磚運行時8.3及以上。信息不能掛載S3路徑DBFS山當使用會話憑證。您必須使用S3A URI。從集群中提取會話憑證從集群中提取會話的憑證。你需要實例…

不能使用我的角色與表ACL

問題你想用我的角色當表啟用了acl,但你得到一個錯誤憑證說不能。NoCredentialsError:無法找到憑證導致當一個表啟用了ACL, EC2實例元數據服務的訪問。這是一個安全措施,防止用戶獲取我訪問憑證。索爾……

使生成的筆記本

生成客戶端庫,允許您執行所有AWS S3操作從任何機器。生成並不是默認安裝在磚集群。你必須安裝它通過集群級init腳本可以使用之前。信息示例init腳本存儲路徑環境變量的一個秘密。你應該以這種方式存儲秘密……

如何檢查如果火花屬性修改的筆記本嗎

您可以調整應用程序通過設置不同的配置問題。某些配置必須設置集群級別,而一些設置在筆記本或應用程序。解決方案,以檢查是否一個特定的火花配置可以設置在一個筆記本,筆記本電池運行以下命令:% scala spark.conf.isModifiable (“spark.databrick…

JSON讀者解析值為零

問題你是試圖讀取JSON文件。你知道文件數據,但是Apache火花JSON讀者返回一個null值。示例代碼可以使用這個示例代碼來重現該問題。創建一個測試在DBFS JSON文件。% python dbutils.fs.rm (“dbfs: / tmp / json / parse_test.txt”) dbutils.fs.put (“dbfs: / tmp / json / parse_test。txt”、“”“{…

常見的錯誤在筆記本

有一些使用筆記本電腦時出現的常見問題。本節概述了一些常見問題和最佳實踐,您應該遵循。. lang火花工作失敗。NoClassDefFoundError有時候你可能會遇到一個錯誤:% scala . lang。行..... NoClassDefFoundError:無法初始化類讀這個c美元……

顯示()沒有顯示正確微秒

問題你想顯示一個時間戳值以微秒級精度,但是當你使用顯示()它不顯示值過去毫秒。例如,Apache火花SQL顯示()命令:% SQL顯示(火花。sql(“選擇演員(2021 - 08 - 10 t09:08:56.740436的時間戳)作為測試”))返回一個截斷值:2021 - 08 - 10 - t09:08:56.740 + 0000因為……

錯誤:收到命令對象id p0 c

進口Python庫的問題,但是當你試圖執行Python代碼在一個筆記本你重複信息作為輸出。信息:py4j。java_gateway:收到命令c對象id p0信息:py4j。java_gateway:收到命令c對象id p0信息:py4j。java_gateway:收到命令c對象id p0信息:py4j。java_gateway:收到命令……

當訪問或安裝存儲失敗

問題你想訪問現有的掛載點,或創建一個新的掛載點,它失敗,並顯示一條錯誤消息。無效的山例外:後端無法獲得路徑/ mnt的令牌。導致根山路徑(/ mnt)也安裝一個存儲位置。你可以確認安裝的根路徑列出所有掛載點……

項目太大出口

問題你想出口筆記本電腦使用工作區UI和得到一個錯誤消息。這個項目太大出口。嚐試出口較小或更少的物品。導致筆記本大於10 MB的文件大小。解決問題最簡單的解決方案就是限製大小的筆記本或文件夾,你想下載10 MB或…

訪問所擁有的筆記本用戶刪除

當你刪除一個用戶(AWS | Azure)從磚,在工作區中創建一個特殊的備份文件夾。這個備份文件夾中包含的所有用戶的內容刪除。備份文件夾出現在工作區中刪除<用戶名> - Backup—#。信息隻有管理員用戶可以訪問一個備份文件夾。訪問一個備份文件夾:登錄磚作為一個…

由於文件大小限製筆記本自動保存失敗

問題筆記本自動保存失敗,並顯示以下錯誤消息:未能保存修訂:筆記本大小超過限製。這是最常見的引起的細胞與大的結果。刪除一些細胞或把筆記本。導致最大筆記本大小允許自動保存8 MB。先解決方案,使用你的br檢查你的筆記本大小的文件……

如何發送電子郵件或短信從磚筆記本

你可能需要發送一個通知從磚一組接收者筆記本。例如,您可能想要發送電子郵件匹配基於業務規則或基於命令的成功或失敗。本文描述了兩種方法來發送電子郵件或短信從一個筆記本。這兩個示例使用Python筆記本:發送電子郵件或短信重新…

取消後不能運行筆記本命令流細胞

問題在你取消流式細胞在一個筆記本上運行磚5.0集群運行時,你不能在筆記本上運行任何後續命令。剩下的命令在“等待”狀態,你必須明確的筆記本的狀態或分離,再植集群才能成功地在筆記本上運行命令....

故障排除反應遲鈍的Python筆記本或取消命令

本文概述了故障排除步驟可以采取一個筆記本是反應遲鈍或取消命令。檢查metastore連接性問題簡單的命令在新附加筆記本失敗,但成功的筆記本電腦連接到相同的集群。故障排除步驟檢查metastore連接。無法……

更新工作為多個用戶權限

當你運行作業時,您可能想要更新多個用戶的用戶權限。為此,您可以使用磚工作權限的API (AWS | Azure | GCP)和Python代碼。指令示例代碼複製到一個筆記本。進入<作業id >(或多個作業ids)[]的arr數組。輸入載荷{}。在這種服務……

服務主體不能創建訪問令牌

問題你想創建一個令牌代表一個服務主體,使用/ 2.0 /令牌管理/代表/令牌在REST API,但越來越PERMISSION_DENIED錯誤。{“error_code”:“PERMISSION_DENIED”、“消息”:“用戶xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx沒有權限使用令牌。”} Cause This happens when the servic...

生成瀏覽器HAR文件

當故障診斷界麵問題,有時需要獲得額外的信息在您的瀏覽器中生成的網絡請求。如果這是必要的,我們的支持團隊將讓你生成一個哈爾文件。本文描述了如何生成一個哈爾文件,每個主要的web瀏覽器。警告HAR d文件包含敏感……

恢複刪除垃圾筆記本

DBR版:這適用於工作區UI,因此分開DBR版本。類別:筆記本電腦二級類別:<二級類別列表,如果適用>雲版本:AWS, Azure, GCP作者:vivian.wilfred@m.eheci.com擁有團隊:<印度+平台>票務URL: <鏈接到原始Salesforce或Jira票>最後裏維…Beplay体育安卓版本

得到工作空間配置細節

本文解釋了如何顯示完整的磚工作空間的配置細節。這可能是有用的,如果你想查看配置設置和服務使您的工作區中。例如,您可以使用工作空間配置細節很快看到如果統一目錄或聯合身份驗證上啟用了y……

遍曆所有工作在工作區中使用工作2.1 API

在磚工作API 2.0 (GCP) AWS | Azure |列表返回一個無限數量的職位描述。在喬布斯API 2.1 (AWS | Azure | GCP),這種行為已經發生了改變。現在命令返回一個列表最多25個工作,從最新到最古老的,。在本文中,我們向您展示如何手動工作區中的遍曆所有的工作……

禁止當訪問S3數據時發生錯誤

問題而試圖訪問S3數據中直接使用DBFS山或火花api,異常類似如下的命令失敗:com.amazonaws.services.s3.model。AmazonS3Exception:禁止;請求ID: XXXXXXXXXXXXX,擴展請求ID: XXXXXXXXXXXXXXXXXXX,雲提供商:AWS實例ID: XXXXXXXXXX(服務:Amazon S3;地位有限公司…

表創建失敗與安全例外

問題您試圖使用一個集群創建一個表,表啟用了acl,但出現以下錯誤:錯誤的SQL語句:SecurityException:允許用戶沒有選擇任何文件。造成這個錯誤發生在一個表ACL-enabled集群如果你不是管理員,您沒有足夠的權限來創建一個助教……

解決關鍵庫訪問問題

你想訪問的秘密,當你得到一個錯誤消息。com.m.eheci.common.client.DatabricksServiceException: INVALID_STATE: keyvault磚不能訪問:https://xxxxxxx.vault.azure.net/。這不是一個單一的根本原因錯誤消息,那麼你將不得不做一些故障排除。確認權限設置正確……

不支持添加輸出沒有水印

問題您正在執行一個聚合使用append模式和異常返回錯誤消息。添加輸出模式不支持當流聚合流DataFrames /數據集沒有水印導致您不能使用Append模式聚合DataFrame沒有水印。這是通過設計。解決方案必須施加一個……

不支持Apache DStream火花

問題你正試圖用一個火花離散流(DStream)磚流的工作,但是工作是失敗的。導致DStreams由磚和DStream API不支持。解決方案而不是使用火花DStream,你應該遷移到結構化流。檢查生產的磚結構的流(AWS | Azure |…

流與文件水槽:複蘇的問題如果你改變檢查點或輸出目錄

當你流數據到一個文件中,你應該總是一起改變檢查點和輸出目錄。否則,你可以得到故障或意外的輸出。Apache火花輸出目錄內創建一個文件夾命名為_spark_metadata。這個文件夾包含寫前每批次運行日誌。這就是火花就隻有一次guarant……

得到文件的路徑被自動加載程序

當你處理流媒體文件自動加載程序(AWS | Azure | GCP),事件記錄基於底層存儲中創建的文件。本文向您展示如何添加每個文件名的文件路徑的新列DataFrame輸出。一個用例是審計。當文件被吸收到分區的文件夾結構我…

如何設置Apache卡夫卡磚嗎

本文解釋了如何設置Apache卡夫卡在AWS EC2機器上並連接磚。以下是所需的高水平的步驟創建一個卡夫卡集群,從磚筆記本連接。步驟1:創建一個新的VPC在AWS當創建新的VPC,設置新的VPC CIDR範圍不同的磚VPC CIDR範圍……

處理分區列值時使用一個SQS隊列作為流源

問題如果在S3中存儲的數據分區,分區列值用於源目錄結構中的文件夾名稱。然而,如果您使用一個SQS隊列作為流媒體來源,S3-SQS源不能檢測到分區列值。例如,如果您在JSON格式保存以下DataFrame S3: % scala val df = spark.range (1…

如何啟動一個結構化流查詢從去年寫抵消嗎

場景中你有一個流,運行窗口的聚合查詢,讀來自Apache卡夫卡和寫文件追加模式。你想升級的應用程序並重新啟動查詢抵消等於最後寫抵消。你想丟棄所有狀態信息還沒有被寫入水槽,從最早開始處理…

如何切換SNS流工作提升到一個新的SQS隊列

問題你有結構化流工作運行通過S3-SQS連接器。假設您想重現源SQS, SNS的支持數據,你想進行一個新的隊列處理同樣的工作,在同一輸出目錄。解決方案使用以下程序:創建新的SQS隊列和訂閱s3-events(從SNS)。在…

卡夫卡的錯誤:沒有引導url解析

問題你想讀或寫數據到卡夫卡流,當你得到一個錯誤消息。kafkashaded.org.apache.kafka.common.KafkaException:未能構建卡夫卡消費造成的:kafkashaded.org.apache.kafka.common.config.ConfigException:沒有可解析引導url在引導。服務器,如果您正在運行一個筆記本,錯誤我……

readStream()不是白名單查詢運行時錯誤

問題表訪問控製(AWS | Azure | GCP)上啟用您的集群。你試圖運行一個結構化流查詢和獲取和錯誤消息。py4j.security。公共org.apache.spark.sql.streaming Py4JSecurityException:方法。DataStreamReader org.apache.spark.sql.SQLContext.readStream()不是白名單類類org.apache.s……

檢查點文件不刪除當使用顯示()

問題你有使用顯示()來顯示DataFrames流工作。% scala val streamingDF = spark.readStream.schema(模式).parquet (< input_path >)顯示(streamingDF)檢查點文件被創建,但並沒有被刪除。您可以驗證問題,方法是導航到根目錄並查看/ local_disk0 / tmp /文件夾。Ch……

檢查點文件不刪除當使用foreachBatch ()

問題你有流工作使用foreachBatch DataFrames()的過程。% scala streamingDF.writeStream.outputMode(“追加”)。foreachBatch {(batchDF: DataFrame batchId:長)= > batchDF.write.format .mode(“鋪”)(“覆蓋”).save (output_directory)} .start()被創建檢查點文件,但未被刪除。您可以驗證th……

衝突的目錄結構錯誤

問題一個Apache火花工作沒有與Java . lang斷言錯誤。AssertionError:斷言失敗:檢測到衝突的目錄結構。堆棧跟蹤造成的例子:org.apache.spark.sql.streaming。流媒體QueryException: There was an error when trying to infer the partition schema of the current batch of files. Plea...

RocksDB未能獲得一個鎖

問題你想使用RocksDB作為結構化的流媒體應用程序的存儲狀態,當你得到一個錯誤消息說實例不能被收購。引起的:. lang。IllegalStateException: RocksDB實例不能被[ThreadId: 742,任務:140.3在3152年階段,TID 553193]不是[ThreadI公布的…

流的XML文件使用一個裝載器

Apache火花不包括一個流API為XML文件。然而,您可以把自動裝載器的特征OSS的火花批API庫,Spark-XML流的XML文件。在本文中,我們提出一個基於Scala解析XML數據使用一個裝載器的解決方案。安裝Spark-XML庫必須安裝Spark-XML OSS庫……

流工作使用動作連接失敗

問題你有流工作寫入動作水槽,並沒有與內存不足錯誤消息。. lang。OutOfMemoryError: GC開銷限製超過. lang。OutOfMemoryError: Java堆空間。症狀包括:Ganglia顯示逐步增加JVM內存使用。Microbatch分析顯示輸入和處理速率consisten……

流工作卡住寫作檢查點

問題你是監測流工作,注意,它似乎被困在處理數據。檢查日誌時,發現工作卡住當寫入數據到一個檢查站。信息HDFSBackedStateStoreProvider:刪除文件對於381160歲以上的HDFSStateStoreProvider [id = (op = 0 = 89), dir = dbfs: / FileStore R_CHECKPOINT5 /聖……

顯式路徑自動加載程序所需數據定義或模式

本文信息適用於磚運行時9.1 LTS及以上。問題你是對你的英語教學使用自動加載程序來攝取數據管道,當你得到一個IllegalArgumentException:請提供源目錄路徑和選擇“路徑”的錯誤消息。你得到這個錯誤當你開始一個汽車裝載機工作,如果路徑數據或數據……

優化與.trigger流交易

結構化的流媒體應用程序運行時使用雲存儲桶(ADLS Gen2 S3,等等)很容易造成過度交易你訪問的存儲桶。未能指定.trigger選項在流代碼中一個常見的原因是大量的存儲事務。當沒有指定.trigger選項,停下來……

結構化流工作減緩每十日批

問題您正在運行的一係列結構化流工作和寫入文件。每10日似乎跑慢於前麵的工作。導致文件水槽創建一個_spark_metadata文件夾目標路徑。這個元數據文件夾存儲每一批信息,包括哪些文件批處理的一部分。這是所需的箴言…

如何保存繪圖文件從DBFS和顯示嗎

你可以節省一個圖表生成與情節司機節點jpg和png文件。然後,您可以顯示在一個筆記本使用displayHTML()方法。默認情況下,您保存繪製圖表/磚/司機司機在集群節點/目錄。使用以下過程來顯示圖表在稍後的時間。生成一個樣本…

AttributeError:函數的對象沒有屬性

問題你選擇從DataFrame列,你得到一個錯誤消息。錯誤:AttributeError:“函數”對象在工作導致沒有屬性的_get_object_id DataFrame API包含少量的保護關鍵字。如果一列DataFrame使用受保護的關鍵字作為列名稱,你將得到一個錯誤消息。例如……

Python datetime對象轉換為字符串

有多種方法來顯示日期和時間值與Python,然而並不是所有的都容易閱讀。例如,當你收集的時間戳列DataFrame並保存它作為一個Python變量,該值存儲為一個datetime對象。如果你不熟悉datetime對象格式,它不是一樣容易閱讀常見Y……

用Conda創建一個集群

Conda是一個很受歡迎的開放源代碼蟒蛇回購的包管理係統。磚運行時對機器學習(磚運行時的ML)使用Conda管理Python庫依賴關係。如果你想使用Conda,您應該使用磚運行時毫升。試圖安裝蟒蛇或Conda使用磚不支持運行時。符合……

顯示文件和目錄的時間戳的細節

在本文中,我們向您展示如何顯示詳細的時間戳,包括日期和時間,當一個文件被創建或修改。使用ls命令顯示文件時間戳的最簡單方法是使用ls lt <路徑>命令在bash shell。例如,這個示例命令顯示文件和目錄的基本時間戳的/ dbfs / folde……

安裝和編譯Cython

本文解釋了如何運行火花代碼編譯Cython代碼。的步驟如下:創建一個示例Cython DBFS (AWS | Azure)模塊。將文件添加到火花會話。創建一個包裝器方法來加載模塊的執行人。樣本數據集的映射器運行。產生更大的數據集,比較性能與nat…

閱讀大型DBFS-mounted文件使用Python api

本文解釋了如何解決一個錯誤發生在你讀大DBFS-mounted文件使用本地Python api。問題如果你掛載一個文件夾dbfs: / /和讀取一個文件大於2 gb在Python API和熊貓一樣,您將看到以下錯誤:/磚/ Python /地方/ lib / python2.7 /網站/熊貓/解析器。所以在pandas.parser.TextRead……

在Python中使用HDFS API來讀取文件

有些時候你想直接讀文件不使用第三方庫。這可以用於閱讀小文件當你定期存儲blob和桶不能作為當地DBFS坐騎。AWS為S3 bucket存儲使用以下示例代碼。% python URI = = sc._gateway.jvm.org.apa sc._gateway.jvm.java.net.URI路徑…

如何導入一個定製的CA證書嗎

使用Python時,您可能想要導入一個定製的CA證書,以避免端點連接錯誤。ConnectionError: HTTPSConnectionPool(主機= my_server_endpoint,端口= 443):馬克斯重試超過url: /端點(NewConnectionError (“< urllib3.connection所致。VerifiedHTTPSConnection對象在0 x7fb73dc3b3d0 >: t失敗…

工作開始前仍然閑置

問題一個Apache火花工作正確觸發,但仍然閑置很長一段時間之前開始。你有火花的工作,跑一段時間,但閑置很長一段時間恢複。症狀包括:集群縮減規模在空閑時間工作節點的最小數量。司機日誌不表現出任何火花工作在idl中……

列出所有工作區對象

您可以使用磚工作區API (AWS | Azure | GCP)遞歸地列出所有工作區對象在給定的路徑。常見用例包括:索引所有筆記本的工作區中所有用戶的名稱和類型。使用輸出,結合其他API調用,刪除未使用的工作區或管理筆記本。動態地得到t…

負載與Spark-XML特殊字符

特殊字符的問題在你的源文件和使用圖書館Spark-XML OSS。特殊字符不正確呈現。例如,“CLU®”呈現“CLU�”。導致Spark-XML默認支持utf - 8字符集。你是在XML文件中使用不同的字符集。解決方案必須指定字符本身……

Python命令失敗在高並發集群

問題你正試圖運行Python命令在高並發集群。所有Python命令失敗的警告錯誤消息。警告PythonDriverWrapper:未能開始repl replid - 61 -性能- 9 - fc33 1 - f8f6 - 2 ExitCodeException exitCode = 1:喬恩:無效的用戶:“火花- 9 - fcdf4d2 - 045 d - 4 - f3b - 9293 - 0 - f '因為兩spark.databricks.pyspark.enableProcessIsolation…

集群取消Python命令執行後安裝散景

問題在Python筆記本集群返回取消。檢查驅動程序(std.err)登錄集群配置頁麵一個堆棧跟蹤和錯誤消息類似如下:log4j:警告沒有輸出源可以發現記錄器(com.databricks.conf.trusted.ProjectConf $)。log4j:警告請初始化log4j係統正常。log4j:警告年代…

由於圖書館集群取消Python命令執行衝突

問題在Python筆記本集群返回取消。筆記本電腦在所有其他語言相同的集群上執行成功。原因當你安裝一個衝突版本的庫,比如ipython, ipywidgets, numpy, scipy,或者熊貓到PYTHONPATH, Python REPL可以打破,使所有命令返回取消後30秒……

與AttributeError Python命令執行失敗

這篇文章可以幫助您解決場景AttributeError Python命令執行失敗。問題:“元組對象沒有屬性“類型”當您運行一個筆記本,Python命令執行失敗,並顯示以下錯誤和堆棧跟蹤:AttributeError: tuple的對象沒有屬性“類型”回溯(最近的電話最後):文件“/…

Python REPL未能在碼頭工人

問題當你使用一個碼頭工人的容器,包括預先構建的Python庫,Python命令失敗並不是創建虛擬環境。下麵的錯誤消息是可見的在司機日誌。20/02/29 16:38:35警告PythonDriverWrapper:未能開始repl replid - 5 - b591 - 0 - ce42 - 78 - ef3 - 7 . io .IOException:不能運行程序”/ local_disk0 /…

如何從Python腳本運行SQL查詢

你可能想要訪問你的表外的磚筆記本。除了通過JDBC連接BI工具(AWS | Azure),您還可以通過使用Python腳本訪問表。你可以通過JDBC連接到一個火花集群使用PyHive然後運行一個腳本。你應該PyHive安裝在機器上運行的Python腳本。信息Pytho……

在Python中c++代碼運行

從Python示例運行c++筆記本複習的c++運行Python筆記本學習如何編譯c++代碼和運行在集群....

Python 2日落狀態

Python.org正式Python 2進入生物(臨終)狀態1月1日,2020年。這對你來說意味著什麼呢?磚6.0運行時,以上數據磚6.0運行時,隻支持Python 3。你不能用Python 2使用這些運行時創建一個集群。這些運行時創建的任何集群使用Python 3被定義。磚俄文的……

更改版本的R (r-base)

這些指令描述如何安裝一個不同版本的R (r-base)集群。您可以檢查默認r-base版本,每個磚運行時版本安裝在每個磚運行時版本的係統環境部分注意(AWS | Azure | GCP)。列表可用r-base-core版本r-base-co的版本……

修複R包的版本

當你使用install.packages()函數來安裝凹口包,你不能指定包的版本,因為預計你會安裝最新版本的包,它應該兼容最新版本的依賴關係。如果你安裝了一個過時的依賴,它將被更新。Som……

如何並行化和新聞出版總署R代碼嗎

並行R的代碼是很困難的,因為代碼運行在司機和R data.frames沒有分布。通常,有現有的R是本地運行的代碼轉換為運行在Apache火花。在其他情況下,一些SparkR函數用於先進的統計分析和機器學習技術可能不支持分布式com……

如何並行化和spark.lapply R代碼嗎

並行R的代碼是很困難的,因為代碼運行在司機和R data.frames沒有分布。通常,有現有的R是本地運行的代碼轉換為運行在Apache火花。在其他情況下,一些SparkR函數用於先進的統計分析和機器學習技術可能不支持分布式com……

在RStudio如何保存和共享代碼嗎

問題與磚的筆記本內置的,版本控製,開發的代碼在RStudio丟失高並發性集群托管RStudio關閉。解決持續RStudio共享代碼,做以下之一:從RStudio,將代碼保存到一個文件夾可以從磚筆記本和RStudi DBFS……

安裝rJava和RJDBC庫

本文解釋如何安裝rJava和RJBDC庫。問題當你安裝rJava和RJDBC庫在筆記本電池使用下麵的命令:% r安裝。包(c (“rJava”、“RJDBC”))你看到以下錯誤:錯誤:配置失敗包rJava導致rJava和RJDBC包檢查Java依賴和…

呈現一個R減價文件包含sparklyr代碼失敗

問題在你安裝和配置RStudio在磚環境中,當您啟動RStudio並單擊針織按鈕針織減價文件包含代碼來初始化一個sparklyr上下文,渲染失敗有以下錯誤:沒有開始sparklyr端:對象“DATABRICKS_GUID”沒有找到電話:<匿名>…tryCatch……

解決方案或命名空間加載錯誤

本文解釋如何解決一個包或命名空間加載錯誤。問題當你安裝和加載一些圖書館在筆記本電池,如:% r圖書館(BreakoutDetection)你可能得到一個包或命名空間的錯誤:加載所需的包:BreakoutDetection:錯誤:包或名稱空間加載失敗“BreakoutDetection”loadNamespace(我,…

RStudio服務器後端連接錯誤

問題你得到一個後端連接錯誤當使用RStudio服務器。係統誤差。setenv (EXISTING_SPARKR_BACKEND_PORT =係統(paste0 (“wget問:——“http://localhost: 6061 / ? type = \“com.databricks.backend.common.rpc.DriverMessages StartRStudioSparkRBackend美元\”- post數據= ' {\“@class \”, \“com.databricks.backend.common.rpc.DriverMessages StartRStudioSparkRB美元…

通過init腳本驗證R包安裝

當你通過一個init腳本配置R包安裝,有可能一個包安裝失敗如果依賴不安裝。你可以使用一個筆記本中的R命令檢查正確安裝的所有包。本文信息需要您提供一個檢查包的列表。名單做一個安裝包…

Apache火花UI並不是與工作同步

問題引發的狀態工作不正確引發UI中顯示(AWS | Azure | GCP)。有些工作是確認在完成狀態顯示為主動/運行在UI的火花。在某些情況下,火花UI可能出現空白。當你回顧司機日誌,你看到一個AsyncEventQueue警告。日誌= = = = = 20/12/23 21:20:26……

Apache火花工作失敗,鑲花的列不能轉換錯誤

問題你在拚花讀取數據格式和寫作δ表當你得到一個拚花列不能轉換錯誤消息。集群運行磚運行時7.3 LTS或以上。org.apache.spark。SparkException:任務失敗而寫的行。引起的:com.databricks.sql.io。s3 FileReadException:當閱讀文件時發生錯誤:/ / buc……

緩存的最佳實踐(),count (), ()

緩存()是一個Apache火花DataFrame轉換,可以使用,數據集或抽樣當您想要執行多個操作。緩存()緩存指定的DataFrame,內存的數據集或抽樣集群的工人。由於緩存()是一個變換,緩存操作發生隻有當火花行動(例如,count (),…

不能導入timestamp_millis或unix_millis

問題你想timestamp_millis或unix_millis導入Scala的筆記本,但得到一個錯誤消息。% scala org.apache.spark.sql.functions進口。{timestamp_millis, unix_millis}錯誤:價值timestamp_millis org.apache.spark.sql不是一個成員對象。功能導入org.apache.spark.sql.functions。{timestamp_millis, unix_millis}標出……

不能修改Apache配置火花的價值

問題你想設置值的火花配置在筆記本裏,並得到一個不能修改的價值火花配置錯誤。例如:sql設置spark.serializer = org.apache.spark.serializer %。KryoSerializer錯誤的SQL語句:AnalysisException:不能修改引發的價值配置:spark.serializer;因為一組命令不會磨破…

嵌套夷為平地DataFrame轉換為JSON

本文解釋了如何將一個扁平的DataFrame嵌套結構,通過嵌套類在另一個案件類。您可以使用這種技術來構建一個JSON文件,然後可以發送到外部API。我們首先定義嵌套模式DataFrame夷為平地。使用這個例子DataFrame,我們定義一個自定義的嵌套模式usi……

嵌套的JSON轉換為DataFrame夷為平地

本文向您展示如何平嵌套的JSON,隻使用$”列。*”和爆炸的方法。示例JSON文件示例JSON字符串傳遞給讀者。% scala val json = " " {" id ": " 0001 ",“類型”:“甜甜圈”、“名稱”:“蛋糕”、“ppu”: 0.55,“人次”:{“糊”:……

從一個JSON字符串創建一個DataFrame或Python字典

在本文中,我們將回顧如何從一個變量創建一個Apache火花DataFrame包含一個JSON字符串或一個Python字典。從一個JSON字符串創建一個火花DataFrame JSON內容變量添加到一個列表。% scala scala.collection.mutable進口。ListBuffer val json_content1 = " {“json_col1”:“你好”,“json_col2”: 32…

十進製美元DecimalIsFractional斷言錯誤

問題你是磚運行時上運行工作7。x或以上當你得到一個. lang。AssertionError:斷言失敗:小數$ DecimalIsFractional錯誤消息。堆棧跟蹤例子:. lang。AssertionError:斷言失敗:小數DecimalIsFractional美元,編譯:<筆記本>階段:globalPhase =終端,enteringPhase = j……

在Apache 3.0火花from_json返回null

問題from_json函數是用來解析JSON字符串並返回一個值的結構。例如,如果你有JSON字符串({" id ": " 001 ", "名稱":“彼得”}),你可以通過它來from_json模式,解析結構值作為回報。%從pyspark.sql python。功能導入坳,from_json顯示(df.select(坳(“價值”),from_json (c…

當啟用AQE斷斷續續的NullPointerException

問題得到一個間歇NullPointerException錯誤當保存您的數據。Py4JJavaError:調用o2892.save時發生一個錯誤。:. lang。在org.apache.spark.sql.execution.adaptive.OptimizeSkewedJoin NullPointerException。anonfun getMapSizesForReduceId美元1美元(OptimizeSkewedJoin.scala: 167) org.apache.spark.sql.execution.adaptive ....

管理三角洲表的大小

δ表比傳統的表有什麼不同。三角洲表包括ACID事務和時間旅行的特性,這意味著他們維護事務日誌和陳舊的數據文件。這些附加功能需要存儲空間。在本文中,我們討論的建議可以幫助你管理三角洲表的大小。使文件係統已經……

麻煩閱讀外部JDBC 5.5表從磚改造後運行時

問題試圖讀取外部表通過JDBC 5.5磚上運行時沒問題,但相同的表上麵的磚6.0運行時,讀取失敗。你看到一個錯誤類似如下:com.databricks.backend.common.rpc.DatabricksExceptions SQLExecutionException美元:java . util . concurrent。ExecutionException: org.apache.spark.sql.AnalysisExc…

運行Scala中的c++代碼

c++從Scala筆記本複習跑c++從Scala筆記本....

選擇文件使用模式匹配

在選擇文件,一個共同的要求是隻從一個文件夾讀取特定的文件。例如,如果您正在處理日誌,你可能想要從一個特定的月讀文件。列舉每個文件和文件夾找到所需的文件,您可以使用一個水珠模式匹配多個文件用一個表達式。本文使用進行了…

Apache引發多個並發運行時JAR工作失敗

問題如果你運行多個Apache火花JAR同時工作,一些運行可能會失敗的錯誤:org.apache.spark.sql。AnalysisException:表或視圖不發現:xxxxxxx;1號線pos 48由於一個錯誤引起這個錯誤發生在Scala中。當一個對象擴展應用,其val領域不再是不可變的,他們可以改變主相遇時……

寫一個DataFrame與失蹤的紅移表列

問題編寫紅移表時,如果目標表列比源Apache火花DataFrame你可能得到一個複製錯誤。複製失敗與錯誤(亞馬遜):(亞馬遜紅移)(1203)錯誤發生在試圖執行一個查詢:錯誤:加載到表的表名失敗了。檢查“stl_load_errors”係統表的詳細信息。“12…

廣播加入超過閾值,返回內存錯誤

問題你正試圖加入兩個大表,將所選列從第一個表和第二個表的所有列。盡管總大小超過spark.sql設定的限製。autoBroadcastJoinThreshold, BroadcastHashJoin和Apache返回一個火花OutOfMemorySparkException錯誤。org.apache.spark.sql.execution.OutO……

不能種植BufferHolder;超過大小限製

問題您的Apache火花工作卻是IllegalArgumentException失敗:無法成長BufferHolder錯誤。. lang。IllegalArgumentException:不能長按大小BufferHolder XXXXXXXXX因為規模增長超過大小限製2147483632後導致BufferHolder最大大小為2147483632字節(大約2 GB)。如果一個列值超過……

日期函數隻接受int值在Apache 3.0火花

問題您正試圖使用date_add()或date_sub()函數在火花3.0中,但它們在SQL語句返回一個錯誤:AnalysisException錯誤消息。在火花2.4和下麵兩個函數都會正常工作。% sql select date_add (cast(“1964-05-23”日期),“12.34”)因為你試圖使用一個部分或字符串值作為…

禁用當查詢計劃BroadcastNestedLoopJoin播出

這篇文章解釋了如何禁用廣播當查詢計劃BroadcastNestedLoopJoin物理計劃。你禁用後預計播放停止廣播閾值,通過設置spark.sql。autoBroadcastJoinThreshold 1,但是Apache火花試圖與廣播廣播大表和失敗錯誤。這種行為是……

複製列元數據錯誤

問題您的Apache火花工作時處理一個三角洲表工作失敗,並顯示一條錯誤消息。org.apache.spark.sql。AnalysisException:發現重複的列(s)的元數據更新:col1, col2……導致三角洲表中有重複的列名。列名隻有通過不同情況下被認為是重複的。三角洲湖是案例提出…

生成惟一增加數值

本文向您展示如何使用Apache火花函數來生成惟一增加一列的數值。我們審查三個不同的方法使用。你應該選擇最有效的方法與你的用例。使用zipWithIndex()在彈性分布式數據集(抽樣)zipWithIndex()函數隻能在抽樣。你不能…

在SQL語句錯誤:AnalysisException:表或視圖不發現

問題當你試圖查詢一個表或視圖,你得到這個錯誤:AnalysisException:表或視圖不發現當試圖查詢全球臨時視圖讓你通常創建全球臨時視圖,這樣他們可以訪問不同的會話和保留,直到程序結束。你可以用下麵的語句創建一個全球臨時視圖:% s…

錯誤當下載完整的結果後加入

問題正在與兩個表在一個筆記本上。你執行連結。你可以預覽輸出,但是當你試圖下載全部結果你得到一個錯誤。錯誤的SQL語句:AnalysisException:發現重複的列(s)當插入dbfs:創建兩個表/ databricks-results /複製錯誤。%從pyspark.sql python。功能不…

MSCK修理表並行運行時錯誤

問題你想運行MSCK修理表<表名稱>命令相同的表並行和越來越java.net.SocketTimeoutException:讀超時或內存不足錯誤消息。原因當你試圖添加大量的新的並行與MSCK分區表修複,蜂巢metastore成為限製因素,…

找到一個表的大小

本文解釋如何找到一個表的大小。取決於使用的命令,如果你試圖找到一個增量的大小表或non-delta表。三角洲大小表找到δ的大小表,您可以使用Apache引發SQL命令。% scala com.databricks.sql.transaction.tahoe進口。_ val deltaLog = deltaLog。forTable(火花,“dbf……

內連接滴記錄結果

問題你執行一個內連接,但是結果加入表丟失數據。例如,假設您有兩個表,訂單和模型。% python df_orders =火花。createDataFrame(((“日產”,Altima,雙門車2.5年代車),(“日產”,Altima, 4-door 3.5 SE轎車),(“日產”,Altima,”)(“日產”,Altima, None)],[“公司”,“模型”,“信息”)……

當從雪花讀取數據是不正確的

問題你有一份工作,是使用Apache火花從雪花讀表,但Dataframe出現的時間數據是不正確的。如果你直接運行相同查詢雪花,正確的時間返回數據。導致時區值不正確設置。不匹配的時區值磚集群和Snowf……

JDBC編寫與PrimaryKeyViolation失敗錯誤

問題你使用JDBC編寫SQL表主鍵約束,並用PrimaryKeyViolation工作失敗錯誤。或者,你使用JDBC編寫SQL表沒有主鍵約束,和寫你最近看到重複的條目在表。導致當Apache火花執行JDBC編寫,一個標準……

外部表查詢不跳過標題行

問題你試圖查詢外部蜂巢表,但它一直未能跳過標題行,即使TBLPROPERTIES (' skip.header.line.count ' = ' 1 ') HiveContext設置。你可以複製這個問題用這個樣本代碼通過創建一個表。% sql創建外部表school_test_score('學校' varchar (254),“student_id”varc……

顯示數據庫命令返回意想不到的列名

問題你使用顯示數據庫命令,它返回一個意想不到的列名。導致返回的列名稱顯示數據庫命令改變磚7.0運行時。磚6.4運行時擴展支持下麵:顯示數據庫返回名稱空間作為列名稱。磚運行時7.0及以上:顯示數據庫返回dat……

不能查看表SerDe屬性

問題你想查看SerDe Apache蜂巢上的屬性表,但顯示Apache火花DDL創建表返回。它不顯示SerDe屬性。例如,鑒於此示例代碼:% sql顯示創建表<表標誌>你會得到一個結果,沒有顯示SerDe屬性:因為您使用磚矮子…

解析下午時間(PM) to_timestamp()返回null

問題你試圖解析12小時(AM / PM)時間值與to_timestamp(),而是返回一個24小時的時間價值則返回null。例如,這個樣本代碼:% sql SELECT to_timestamp(“2016-12-31 10:12:00點”,“yyyy-MM-dd HH: mm: ss”);返回null運行時:引起to_timestamp()需要小時格式是小寫的。如果哦…

to_json()導致不能使用null作為地圖關鍵錯誤

問題您正在使用to_json()來將數據轉換為JSON和你不能使用null作為地圖關鍵錯誤:RuntimeException:不能使用null作為地圖的關鍵。導致to_json()函數不支持使用null值作為輸入地圖鍵。這個示例代碼會導致不能使用null作為地圖關鍵運行時錯誤,因為空值作為地圖的關鍵…

設置nullability當使用SaveAsTable與δ表

當創建一個增量表與saveAsTable nullability列的默認值為true(列可以包含null值)。這是預期行為。在某些情況下,您可能想要創建一個增量表的nullability列設置為false(列不能包含空值)。指令使用CREATE TABLE命令創建表的…

3.0確保一致性在統計函數之間的火花,火花3.1及以上

covar_samp問題統計功能,峰度、偏態性病,stddev, stddev_samp,方差,var_samp,返回NaN除以零發生時在磚運行時的7.3 LTS表達式求值。相同的函數返回null磚運行時9.1 LTS以上,以及磚SQL端點除以零發生時……

使用在火花datetime值3.0及以上

問題你從支持集群運行數據磚運行時遷移工作6.6和Apache火花2.4.5低於低於磚集群運行當前版本的運行時。如果你的工作和/或筆記本電腦日期轉換過程,他們可能會失敗SparkUpgradeException錯誤消息後運行在集群升級……

ANSI兼容小數精度和等級

問題你想給一個或更多的價值作為一個小數精度和等級使用相同值。返回一個null值的期望值。這個示例代碼:% sql SELECT鑄造(5.345小數(20、20))的回報:導致十進製類型(AWS | Azure | GCP)被聲明為十進製(精度、規模),在精度和年代……

失敗的憑證驗證檢查錯誤起程拓殖

起程拓殖部署問題您正在使用一個工作區在AWS和得到一個失敗的憑證驗證檢查錯誤消息。│錯誤:MALFORMED_REQUEST:憑證驗證檢查失敗:請用一個有效的帳戶我的角色和權限設置正確││databricks_mws_credentials。這一點,在cross-account-role│。第29行特遣部隊,在……

起程拓殖注冊中心沒有提供錯誤

問題你是安裝磚起程拓殖的提供者(AWS | Azure | GCP)和得到一個磚提供者注冊表錯誤。錯誤而安裝hashicorp /磚:registry.terraform提供者注冊中心。io命名registry.terraform沒有提供者。io / hashicorp /磚造成的這個錯誤發生在required_providers塊不是……

部署中定義的名字前綴不是起程拓殖

起程拓殖部署問題您正在使用AWS工作區,你會得到一個部署名稱不能使用,直到部署名稱前綴定義。錯誤消息。│錯誤:MALFORMED_REQUEST:失敗的參數驗證檢查:部署名稱不能使用,直到部署名稱前綴定義。請聯係您的磚代表││……

誤差在創建用戶、組或與起程拓殖帳戶級別的服務主體

問題統一目錄使用磚帳戶的身份來解決用戶、服務主體,組織,執行權限。這些身份可以管理使用起程拓殖。您正試圖創建用戶、服務主體或組賬戶層麵起程拓殖代碼失敗時使用一組“主機”屬性的錯誤消息。2022 - 10 - 06 - t…

不支持成員SCIM配置失敗

問題你的磚使用SCIM提供新用戶工作區當你得到一個成員屬性不支持當前工作區錯誤。StatusCode: BadRequest信息:處理HTTP請求導致異常。請參閱“響應”屬性返回的HTTP響應這個異常的細節。網絡反應:……