grid_slice % > %
sdf_copy_to (
sc = sc,
name = " grid_slice ",
覆蓋= TRUE
)% > %
sdf_repartition (
分區= min (n_executors * 3, NROW (grid_slice)),
partition_by = "變量"
)% > %
spark_apply (
f = slice_data_wrapper,
列= c (
變量= "性格",
max_slice =“整數”,
n_slices =“整數”
),
上下文=列表(
元數據=元數據,
s3_params = s3_params,
子文件夾= " target_data /源自”
)
)% > %
計算()% > %
收集()
我有以下附加問題當我試圖執行上麵的代碼。grid_slice是一個寵物貓。
嚐試過不同版本的箭頭(1。x 4。6. x, x)但沒有工作。
錯誤sparklyr: RScript(1243)終止意外:不能叫r___RBuffer__initialize ()。看到https://arrow.apache.org/docs/r/articles/install.html幫忙安裝箭頭c++庫。
