ตัวอย่างรังและเส้นด้ายบน Spark

เราได้เรียนรู้วิธีการ สร้างรังและเส้นด้ายบนประกายไฟ . ตอนนี้ให้เราลองตัวอย่าง Hive and Yarn ใน Spark

ตัวอย่าง Hive บน Spark

เราจะเรียกใช้ตัวอย่างของ Hive บน Spark เราจะสร้างตารางโหลดข้อมูลในตารางนั้นและดำเนินการสืบค้นง่ายๆ เมื่อทำงานกับ Hive เราต้องสร้างไฟล์ HiveContext ซึ่งสืบทอดมาจาก SQLC บริบท .

คำสั่ง: ซีดีประกาย -1.1.1

คำสั่ง: ./bin/spark-shell

สร้างไฟล์อินพุต 'ตัวอย่าง' ในโฮมไดเร็กทอรีของคุณดังภาพด้านล่าง (แยกแท็บ)

คำสั่ง: val sqlContext = org.apache.spark.sql.hive.HiveContext (sc) ใหม่

สิ่งที่ไม่แน่นอนใน java

คำสั่ง: sqlContext.sql (“ สร้างตารางถ้าไม่มีการทดสอบ (ชื่อ STRING อันดับ INT) ROW FORMAT DELIMITED FIELDS TERMINATED โดย '' LINES TERMINATED BY '
‘”)

คำสั่ง: sqlContext.sql (“ LOAD DATA LOCAL INPATH ‘/ home / edureka / sample’ INTO TABLE test”)

คำสั่ง: sqlContext.sql (“ SELECT * FROM test WHERE rank<5”).collect().foreach(println)

ตัวอย่างเส้นด้ายบน Spark

เราจะเรียกใช้ตัวอย่าง SparkPi บน Yarn เราสามารถปรับใช้ Yarn บน Spark ได้ในสองโหมด: โหมดคลัสเตอร์และโหมดไคลเอนต์ ในโหมดคลัสเตอร์เส้นด้ายโปรแกรมควบคุม Spark จะทำงานภายในกระบวนการหลักของแอปพลิเคชันซึ่งจัดการโดย Yarn บนคลัสเตอร์และไคลเอ็นต์สามารถหายไปได้หลังจากเริ่มต้นแอปพลิเคชัน ในโหมดเส้นด้ายไคลเอ็นต์ไดรเวอร์จะรันในกระบวนการไคลเอ็นต์และแอ็พพลิเคชันมาสเตอร์ใช้สำหรับการร้องขอทรัพยากรจาก Yarn เท่านั้น

คำสั่ง: ซีดีประกาย -1.1.1

คำสั่ง: SPARK_JAR =. / assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit --master yarn –deploy-mode cluster –class org.apache.spark.examples SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 ตัวอย่าง / target / scala-2.10 / spark-samples-1.1.1-hadoop2.2.0.jar

หลังจากที่คุณดำเนินการคำสั่งดังกล่าวแล้วโปรดรอสักครู่จนกว่าคุณจะได้รับ ที่ประสบความสำเร็จ ข้อความ.

เรียกดู localhost: 8088 / คลัสเตอร์ และคลิกที่แอปพลิเคชัน Spark

คลิกที่ บันทึก .

คลิกที่ stdout เพื่อตรวจสอบผลลัพธ์

สำหรับการปรับใช้ Yarn บน Spark ในโหมดไคลเอนต์ให้ทำ - ปรับใช้โหมด เช่น “ ลูกค้า” ตอนนี้คุณรู้วิธีสร้าง Hive and Yarn บน Spark แล้ว เรายังได้ปฏิบัติจริงกับพวกเขา

มีคำถามสำหรับเรา? โปรดระบุไว้ในส่วนความคิดเห็นแล้วเราจะติดต่อกลับไป

กระทู้ที่เกี่ยวข้อง

Apache Spark พร้อม Hadoop - ทำไมถึงมีความสำคัญ?

Hive & Yarn ได้รับไฟฟ้าจาก Spark