ในบล็อกนี้ให้เราดูวิธีสร้าง Spark สำหรับ Hadoop เวอร์ชันเฉพาะ
นอกจากนี้เรายังจะได้เรียนรู้วิธีสร้าง Spark ด้วย HIVE และ YARN
โปรแกรม java เพื่อตรวจสอบ palindrome
พิจารณาว่าคุณมี Hadoop, jdk, mvn และ ไป ติดตั้งล่วงหน้าและกำหนดค่าไว้ล่วงหน้าในระบบของคุณ
เปิด เบราว์เซอร์ Mozilla และดาวน์โหลด จุดประกาย โดยใช้ลิงค์ด้านล่าง
https://edureka.wistia.com/medias/k14eamzaza/
เปิดเทอร์มินัล
คำสั่ง: tar -xvf Downloads / spark-1.1.1.tgz
คำสั่ง: ls
เปิดไดเร็กทอรี spark-1.1.1
คุณสามารถเปิด pom.xml ไฟล์. ไฟล์นี้ให้ข้อมูลเกี่ยวกับไฟล์ การพึ่งพา คุณต้องการ.
อย่าแก้ไขเพื่อไม่ให้เกิดปัญหา
คำสั่ง: cd spark-1.1.1 /
คำสั่ง: sudo gedit sbt / sbt-launch-lib.bash
แก้ไขไฟล์ดังภาพด้านล่างบันทึกและปิด
เรากำลังลดหน่วยความจำเพื่อหลีกเลี่ยงปัญหาพื้นที่ฮีปวัตถุดังที่กล่าวไว้ในภาพรวมด้านล่าง
ตอนนี้เรียกใช้คำสั่งด้านล่างในเทอร์มินัลเพื่อสร้างจุดประกายสำหรับ Hadoop 2.2.0 ด้วย HIVE และ YARN
คำสั่ง: ./sbt/sbt -P เส้นด้าย - ป รัง -Phadoop-2.2 -D hadoop.version = 2.2.0 -D ข้ามการทดสอบ การชุมนุม
หมายเหตุ: เวอร์ชัน Hadoop ของฉันคือ 2.2.0 คุณสามารถเปลี่ยนได้ตามเวอร์ชัน Hadoop ของคุณ
สำหรับ Hadoop เวอร์ชันอื่น ๆ
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
จะต้องใช้เวลาในการรวบรวมและบรรจุหีบห่อโปรดรอจนกว่าจะเสร็จสมบูรณ์
สองขวด จุดประกายประกอบ -1.1.1-hadoop2.2.0.jar และ จุดประกายตัวอย่าง -1.1.1-hadoop2.2.0.jar ถูกสร้างขึ้น
เส้นทางของ จุดประกายประกอบ -1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
เส้นทางของ จุดประกายตัวอย่าง -1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
ขอแสดงความยินดีคุณสร้าง Spark for Hive & Yarn สำเร็จแล้ว
มีคำถามสำหรับเรา? โปรดระบุไว้ในส่วนความคิดเห็นแล้วเราจะติดต่อกลับไป
กระทู้ที่เกี่ยวข้อง:
Apache Spark พร้อม Hadoop - ทำไมถึงมีความสำคัญ?