我想遷移到統一目錄但我的一些數據攝入筆記本扔拋出securityexception /白名單錯誤為許多火花。功能
有一些配置設置我需要啟用白名單的火花。*方法/函數?
我知道它,因為我使用的共享訪問模式。我一直沒有隔離共享集群運行之前,當使用hive metastore與外部表
我使用外部管理表和使用火花。目錄,檢查是否存在一個表在我創建它。這與白名單沒有錯誤。我可以重構,檢查使用information_schema列我猜嗎?
但任何如何重構呢?
我有多個tsv自由文本評論頂部的文件。我需要跳過n線和過程
row_rdd =火花。sparkContext \ .textFile (sourceFilePath) \ .zipWithIndex () \ .filter(λ行:行[1]> = n_skip_rows) \ . map(λ行:行[0])df = spark.read.csv (row_rdd, 9 = \ t,頭= " true ", inferSchema = " true ")
我還需要處理vcf使用發光庫——這並不奏效
有什麼文檔在單用戶訪問模式到底是什麼?它和它的運行使用某人的憑證作為服務帳戶嗎?其他用戶可以連接到它使用odbc / jdbc和一個訪問令牌?還是個人計算,隻允許一個連接?
