我得到以下錯誤一些時間運行磚從ADF的筆記本,
如果執行器節點是一個然後它工作正常,如果它增加2個或更多一些相同的數據乘以它的失敗。
集群細節:Standard_F4s_v2·工人:Standard_F4s_v2··11.2 1 - 8工人(包括Apache火花3.3.0,Scala 2.12)
文件“/磚/ python / lib / python3.9 /網站/ Levenshtein / __init__。py”在操作碼,343行
文件“/磚/ python / lib / python3.9 /網站/ fuzzywuzzy /StringMatcher.py”,在get_opcodes線45
文件“/磚/ python / lib / python3.9 /網站/ fuzzywuzzy /StringMatcher.py”,在get_matching_blocks第58行
文件“/磚/ python / lib / python3.9 /網站/ fuzzywuzzy /fuzz.py”,在partial_ratio線47
文件“/磚/ python / lib / python3.9 /網站/ fuzzywuzzy /utils.py”,在裝飾線47
文件“/磚/ python / lib / python3.9 /網站/ fuzzywuzzy /utils.py”,在裝飾線29
文件“/磚/ python / lib / python3.9 /網站/ fuzzywuzzy /utils.py”,38線裝飾
文件“/磚/ python / lib / python3.9 /網站/ my_package / my_function。py”,在scrap_url 30行
文件“/磚/ python / lib / python3.9 /網站/ my_package / my_function。py my_function”, 124行
文件“命令- 1514877556254536 > <”,在my_function第20行
文件“命令- 1514877556254534 > <”,在my_function_01第7行
文件“/磚/ / python / pyspark /火花util.py在包裝器”,84行
文件“/磚/ / python / pyspark /火花worker.py”,130行<λ>
文件“/磚/ / python / pyspark /火花worker.py”,591行映射器
文件“/磚/火花/ python / pyspark / sql /熊貓/serializers.py”,在init_stream_yield_batches 384行
文件“/磚/火花/ python / pyspark / sql /熊貓/serializers.py”,在dump_stream 91行
文件“/磚/火花/ python / pyspark / sql /熊貓/serializers.py”,在dump_stream 391行
文件“/磚/ / python / pyspark /火花worker.py”,885行過程
文件“/磚/ / python / pyspark /火花worker.py”,在主要的第893行
文件“/磚/ / python / pyspark /火花daemon.py在工人”,79行
文件“/磚/ / python / pyspark /火花daemon.py”,204行經理
文件“/磚/ / python / pyspark /火花daemon.py”,229行<模塊>
文件“/ usr / lib / python3.9 /runpy.py”,在_run_code 87行
文件“/ usr / lib / python3.9 /runpy.py”,在_run_module_as_main 197行
請幫我在這。和一個任務是,時間滯後問題嗎?
有時工作,有時不。
如果沒有添加包“Levenshtein”3任務2 h來完成。
