Apache Falcon: แพลตฟอร์มการจัดการข้อมูลใหม่สำหรับระบบนิเวศ Hadoop



Apache Falcon เป็นแพลตฟอร์มการจัดการข้อมูลใหม่สำหรับระบบนิเวศ Hadoop ที่ช่วยลดความยุ่งยากในการประมวลผลฟีดและการจัดการฟีดบนคลัสเตอร์ Hadoop เรียนรู้วิธีการตั้งค่า

Apache Falcon เป็นกรอบสำหรับจัดการวงจรชีวิตของข้อมูลในคลัสเตอร์ Hadoop สร้างความสัมพันธ์ระหว่างข้อมูลและองค์ประกอบการประมวลผลต่างๆบนสภาพแวดล้อม Hadoop และยังให้บริการจัดการฟีดเช่นการเก็บรักษาฟีดการจำลองแบบข้ามคลัสเตอร์การเก็บถาวรเป็นต้น





ก่อนอื่นให้เราพูดถึงวิธีการตั้งค่า Apache Falcon เรียกใช้คำสั่งด้านล่างเพื่อดาวน์โหลดที่เก็บ git ของ Falcon:

คำสั่ง: git clone https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

ในการวิ่งเหยี่ยวคุณต้องสร้างมันก่อน

คำสั่ง: cd เหยี่ยว



คำสั่ง: ส่งออก MAVEN_OPTS =” - Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn clean install -DskipTests

คำสั่ง: mvn clean assembly: แอสเซมบลี -DskipTests -DskipITs

เมื่อคุณสร้างเหยี่ยวแล้วคุณจะพบแพ็คเกจเหยี่ยวภายในไดเร็กทอรี / falcon / distro / target /

การผสมข้อมูลบนโต๊ะไม่ทำงาน

คำสั่งในการสร้างเหยี่ยวดูง่ายมาก แต่คุณจะประสบปัญหามากมายก่อนที่คุณจะเห็นข้อความสร้างความสำเร็จ ฉันประสบปัญหามากมายในขณะที่สร้างมันสำหรับ Hadoop-2.2.0

ดังนั้นเพื่อข้ามความเจ็บปวดจากการสร้าง Falcon ฉันขอมอบแพ็คเกจเหยี่ยวที่สร้างขึ้นสำเร็จให้คุณซึ่งคุณสามารถดาวน์โหลดได้โดยใช้ลิงค์ด้านล่าง

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

แตกไฟล์เพื่อรับไดเร็กทอรี falcon-0.10

คำสั่ง: เปิดเครื่องรูดฟอลคอน-0.10-SNAPSHOT.zip

ตั้งค่าตัวแปรสภาพแวดล้อม flacon ในไฟล์. bashrc

คำสั่ง: sudo gedit .bashrc

คำสั่ง: ที่มา. bashrc

คุณสามารถไปที่ไดเร็กทอรี falcon และดูไฟล์และไดเร็กทอรีที่อยู่ภายใน

คำสั่ง: ซีดีเหยี่ยว -0.10-SNAPSHOT /

คำสั่ง: ls

คุณสามารถค้นหาสคริปต์เหยี่ยวในไดเร็กทอรี bin

เรียกใช้คำสั่งด้านล่างเพื่อเริ่ม Falcon

คำสั่ง: ./bin/falcon-start

คุณจะเห็น daemon FalconServer ใหม่กำลังทำงานอยู่

คำสั่ง: jps

คำสั่ง: ./bin/falcon admin -version

เปิดเบราว์เซอร์ของคุณแล้วไปที่ localhost: 15000 . คุณสามารถดู ui เว็บ Falcon

มีคำถามสำหรับเรา? พูดถึงพวกเขาในส่วนความคิดเห็นแล้วเราจะติดต่อกลับไป

กระทู้ที่เกี่ยวข้อง:

เจาะลึก Apache Drill