ในโพสต์นี้ผมจะพูดถึง การติดตั้ง Apache Pig บน Linux . เริ่มต้นด้วยคำจำกัดความพื้นฐานของ Apache Pig และ Pig Latin
หมูอาปาเช่ เป็นเครื่องมือ / แพลตฟอร์มสำหรับสร้างและรันโปรแกรม Map Reduce ที่ใช้กับ Hadoop เป็นเครื่องมือ / แพลตฟอร์มสำหรับวิเคราะห์ข้อมูลชุดใหญ่ คุณสามารถพูดได้ว่า Apache Pig เป็นนามธรรมเหนือ MapReduce โปรแกรมเมอร์ที่ไม่เก่ง Java เคยต่อสู้กับ Hadoop ส่วนใหญ่ในขณะที่เขียนงาน MapReduceดังนั้นจึงเป็นหัวข้อสำคัญที่ต้องเรียนรู้และเชี่ยวชาญ .Apache Pig มีภาษาของตัวเอง หมูละติน ซึ่งเป็นประโยชน์สำหรับโปรแกรมเมอร์ที่ไม่ดี
คำแนะนำเบื้องต้นเกี่ยวกับ Pig Latin จะช่วยให้คุณเข้าใจได้ดีขึ้น:
ภาษาขั้นตอนระดับสูงที่ใช้ในแพลตฟอร์ม Apache Pig เรียกว่า หมูละติน . Apache Pig มีคำว่า 'Pig Latin' ซึ่งเป็นภาษาที่ค่อนข้างง่ายกว่าซึ่งสามารถทำงานบนชุดข้อมูลแบบกระจายบน Hadoop File System (HDFS) ใน Apache Pig คุณต้องเขียนสคริปต์ Pig โดยใช้ภาษา Pig Latin ซึ่งจะถูกแปลงเป็นงาน MapReduce เมื่อคุณเรียกใช้สคริปต์ Pig. Apache Pig มีตัวดำเนินการต่างๆที่ใช้ในการทำงานเช่นการอ่านการเขียนการประมวลผลข้อมูล หากต้องการเรียนรู้เกี่ยวกับตัวดำเนินการ Apache Pig โปรดไปที่บล็อกของเรา ' ตัวดำเนินการใน Apache Pig: ตอนที่ 1- ตัวดำเนินการเชิงสัมพันธ์ ”.
ตอนนี้คุณมีความเข้าใจพื้นฐานเกี่ยวกับ Apache Pig แล้วให้เราเริ่มด้วย Apache Pig Installation บน Linux
การติดตั้ง Apache Pig บน Linux:
ด้านล่างนี้เป็นขั้นตอนสำหรับการติดตั้ง Apache Pig บน Linux (ubuntu / centos / windows โดยใช้ Linux VM) ฉันใช้ Ubuntu 16.04 ในการตั้งค่าด้านล่าง
ขั้นตอนที่ 1: ดาวน์โหลด หมู น้ำมันดิน ไฟล์.
คำสั่ง: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
ขั้นตอนที่ 2: แตกไฟล์ น้ำมันดิน ไฟล์โดยใช้คำสั่ง tar ในคำสั่ง tar ด้านล่าง x หมายถึงแตกไฟล์เก็บถาวร ด้วย หมายถึงกรองไฟล์เก็บถาวรผ่าน gzip ฉ หมายถึงชื่อไฟล์ของไฟล์เก็บถาวร
คำสั่ง: tar -xzf หมู -0.16.0.tar.gz
คำสั่ง: ls
ขั้นตอนที่ 3: แก้ไข ' .bashrc ” เพื่ออัพเดตตัวแปรสภาพแวดล้อมของ Apache Pig เรากำลังตั้งค่าเพื่อให้เราสามารถเข้าถึงหมูจากไดเร็กทอรีใด ๆ เราไม่จำเป็นต้องไปที่ไดเร็กทอรีหมูเพื่อดำเนินการคำสั่งหมู นอกจากนี้หากแอปพลิเคชั่นอื่น ๆ กำลังมองหา Pig ก็จะได้รู้จักเส้นทางของ Apache Pig จากไฟล์นี้
คำสั่ง: sudo gedit .bashrc
เพิ่มสิ่งต่อไปนี้ที่ท้ายไฟล์:
# ตั้ง PIG_HOME
ส่งออก PIG_HOME = / home / edureka / pig-0.16.0
ส่งออก PATH = $ PATH: /home/edureka/pig-0.16.0/bin
ส่งออก PIG_CLASSPATH = $ HADOOP_CONF_DIR
ตรวจสอบให้แน่ใจว่าได้ตั้งค่าเส้นทาง hadoop ไว้ด้วย
เรียกใช้คำสั่งด้านล่างเพื่อทำการเปลี่ยนแปลงได้รับการอัปเดตในเทอร์มินัลเดียวกัน
คำสั่ง: ที่มา. bashrc
ขั้นตอนที่ 4: ตรวจสอบเวอร์ชั่นหมู นี่เป็นการทดสอบว่า Apache Pig ได้รับการติดตั้งอย่างถูกต้อง ในกรณีที่คุณไม่ได้รับเวอร์ชัน Apache Pig คุณต้องตรวจสอบว่าคุณได้ทำตามขั้นตอนข้างต้นอย่างถูกต้องหรือไม่
คำสั่ง: หมู - รุ่น
ขั้นตอนที่ 5 :ตรวจสอบความช่วยเหลือของหมูเพื่อดูตัวเลือกคำสั่งหมูทั้งหมด
คำสั่ง: หมู - ช่วย
ขั้นตอนที่ 6 :เรียกใช้ Pig เพื่อเริ่มเชลล์ฮึดฮัด Grunt shell ใช้เพื่อรันสคริปต์ Pig Latin
java วิธีการใช้งาน
คำสั่ง: หมู
หากคุณดูภาพด้านบนอย่างถูกต้อง Apache Pig มีสองโหมดที่สามารถทำงานได้โดยค่าเริ่มต้นจะเลือกโหมด MapReduce โหมดอื่นที่คุณสามารถเรียกใช้ Pig คือโหมด Local ให้ฉันบอกคุณเพิ่มเติมเกี่ยวกับเรื่องนี้
โหมดการดำเนินการใน Apache Pig:
- โหมด MapReduce - นี่คือโหมดเริ่มต้นซึ่งต้องการการเข้าถึงคลัสเตอร์ Hadoop และการติดตั้ง HDFS เนื่องจากนี่เป็นโหมดเริ่มต้นจึงไม่จำเป็นต้องระบุแฟล็ก -x (คุณสามารถดำเนินการได้ หมู หรือ หมู -x mapreduce ). อินพุตและเอาต์พุตในโหมดนี้มีอยู่บน HDFS
- โหมดท้องถิ่น - ด้วยการเข้าถึงเครื่องเดียวไฟล์ทั้งหมดจะได้รับการติดตั้งและเรียกใช้โดยใช้โฮสต์ท้องถิ่นและระบบไฟล์ ที่นี่ระบุโหมดโลคัลโดยใช้ '-x flag' ( หมู -x ท้องถิ่น ). อินพุตและเอาต์พุตในโหมดนี้มีอยู่ในระบบไฟล์โลคัล
คำสั่ง: หมู -x ท้องถิ่น
คุณสามารถดูวิดีโอด้านล่างเพื่อรับชมการติดตั้ง Apache Pig บน Linux:
การติดตั้ง Apache Pig | การติดตั้ง Pig บน Linux | Edureka
ตอนนี้คุณได้ติดตั้ง Apache Pig บน Linux เสร็จแล้วขั้นตอนต่อไปคือการลองใช้ตัวดำเนินการเชิงสัมพันธ์ Pig บน Pig Grunt shell ดังนั้นบล็อกถัดไป“ ตัวดำเนินการใน Apache Pig: ตอนที่ 1- ตัวดำเนินการเชิงสัมพันธ์ ” จะช่วยให้คุณควบคุมผู้ประกอบการ Pig
ตอนนี้คุณได้ติดตั้ง Apache Pig บน Linux แล้วให้ตรวจสอบไฟล์ โดย Edureka บริษัท การเรียนรู้ออนไลน์ที่เชื่อถือได้ซึ่งมีเครือข่ายผู้เรียนที่พึงพอใจมากกว่า 250,000 คนกระจายอยู่ทั่วโลก หลักสูตรการฝึกอบรม Edureka Big Data Hadoop Certification ช่วยให้ผู้เรียนมีความเชี่ยวชาญใน HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume และ Sqoop โดยใช้กรณีการใช้งานแบบเรียลไทม์ในโดเมนการค้าปลีกโซเชียลมีเดียการบินการท่องเที่ยวการเงิน
มีคำถามสำหรับเรา? โปรดระบุไว้ในส่วนความคิดเห็นแล้วเราจะติดต่อกลับไป