我建議創建一個超級jar或下載jar離線使用它在集群maven又變得健康:
1。安裝MVN CLI工具在您的本地麥克:
釀造安裝mvnvm
2。下載工件與所有依賴關係:
mvn依賴性:-DrepoUrl = http://packages.confluent。io / maven / -DgroupId =表示。卡夫卡-DartifactId = kafka_2.11 -Dversion = 0.10.0.0-cp1
mvn依賴性:-DrepoUrl = http://packages.confluent。io / maven / -DgroupId =表示。卡夫卡-DartifactId = kafka_2.11 -Dversion = 0.10.0.0-cp1
3所示。更改目錄到maven存儲庫下載的路徑,找到下載的本地路徑存儲庫:
cd $ HOME / .m2
找到/ - name kafka-clients-0.10.0.0-cp1 *
4所示。jar和依賴項複製到/用戶/ user-gbth / mvn-lib-kafka /位置
mkdir /用戶/ user-gbth / mvn-lib-kafka /
cp /用戶/ user-gbth /org/apache/kafka/kafka-clients/0.10.0.0-cp1/kafka-clients-0.10.0.0-cp1 .m2 /存儲庫。jar /用戶/ gobinath / mvn-lib-kafka /
mvn依賴性:copy-dependencies - f /用戶/ user-gbth /org/apache/kafka/kafka-clients/0.10.0.0-cp1/kafka-clients-0.10.0.0-cp1 .m2 /存儲庫。pom -DoutputDirectory = /用戶/ user-gbth / mvn-lib-kafka /
mvn依賴性:copy-dependencies - f /用戶/ user-gbth /org/apache/kafka/kafka-clients/0.10.0.0-cp1/kafka-clients-0.10.0.0-cp1 .m2 /存儲庫。pom -DoutputDirectory = /用戶/ user-gbth / mvn-lib-kafka /
5。Zip文件並將Zip文件導入數據磚。
zip - r kafka-clients-0.10.0.0-cp1。zip /用戶/ gobinath / mvn-lib-kafka /
你可以通過用戶界麵或上傳上傳到s3 bucket和負載成磚。
6)加載jar磚:
一)提取zip /磚/ jar位置使用磚init腳本:
# !/ kafka-clients-0.10.0.0-cp1 /bin/bash解壓/ dbfs /路徑。zip - d /磚/罐/
b)或把它作為超級jar和附著在圖書館集群的依賴列表。
https://maven.apache.org/plugins/maven-shade-plugin/examples/includes-excludes.html
