การว่าจ้างและการรื้อถอนโหนดในคลัสเตอร์ Hadoop



คุณรู้วิธีเพิ่มหรือลบโหนดใน Hadoop Cluster หรือไม่? นี่คือบล็อกโพสต์ให้คุณทำ - การว่าจ้างและการรื้อถอนโหนดในคลัสเตอร์ Hadoop

หนึ่งในคุณสมบัติที่น่าสนใจที่สุดของ Hadoop framework คือ การใช้ฮาร์ดแวร์สินค้า . อย่างไรก็ตามสิ่งนี้ทำให้ DataNode ล่มบ่อยในคลัสเตอร์ Hadoop คุณสมบัติที่โดดเด่นอีกประการของ Hadoop Framework คือ ความสะดวกในการปรับขนาดตามการเติบโตอย่างรวดเร็วของปริมาณข้อมูล . ด้วยเหตุผลสองประการนี้งานทั่วไปอย่างหนึ่งของผู้ดูแลระบบ Hadoop คือการทำ ค่าคอมมิชชั่น (เพิ่ม) และ การปลดประจำการ (ลบ) โหนดข้อมูลในคลัสเตอร์ Hadoop

การว่าจ้างและการรื้อถอนโหนดในคลัสเตอร์ Hadoop:

การรื้อ (การลบ) โหนดข้อมูลในคลัสเตอร์ Hadoop





แผนภาพด้านบนแสดงกระบวนการทีละขั้นตอนในการเลิกใช้ DataNode ในคลัสเตอร์

งานแรกคือการอัปเดต ' ไม่รวม 'ไฟล์สำหรับทั้ง HDFS (hdfs-site.xml) และ MapReduce (mapred-site.xml)



ไฟล์ 'ไม่รวม':

จัดเรียงอาร์เรย์ c ++
  • สำหรับผู้ติดตามงาน มีรายชื่อโฮสต์ที่ผู้ติดตามงานควรยกเว้น หากค่าว่างเปล่าจะไม่มีการยกเว้นโฮสต์
  • สำหรับ Namenode มีรายชื่อโฮสต์ที่ไม่ได้รับอนุญาตให้เชื่อมต่อกับ Namenode

นี่คือตัวอย่างการกำหนดค่าสำหรับไฟล์ที่ไม่รวมใน hdfs-site.xml และ mapred-site.xml:

hdfs-site.xml




dfs.hosts.exclude
/ home / hadoop / ไม่รวม
จริง

mapred-site.xml


mapred.hosts.exclude
/ home / hadoop / ไม่รวม
จริง

บันทึก: ต้องระบุชื่อพา ธ แบบเต็มของไฟล์

ในทำนองเดียวกันเรามีไฟล์ 'รวม':

  • สำหรับผู้ติดตามงาน มีรายการโหนดที่อาจเชื่อมต่อกับ JobTracker หากค่าว่างเปล่าโฮสต์ทั้งหมดจะได้รับอนุญาต
  • สำหรับ Namenode มีรายชื่อโฮสต์ที่ได้รับอนุญาตให้เชื่อมต่อกับ Namenode หากค่าว่างเปล่าโฮสต์ทั้งหมดจะได้รับอนุญาต

ส่วน ‘ dfsadmin ’และ‘ mradmin คำสั่งรีเฟรชการกำหนดค่าพร้อมกับการเปลี่ยนแปลงเพื่อให้พวกเขาทราบถึงโหนดใหม่

ส่วน ‘ ทาส ไฟล์ ’บนเซิร์ฟเวอร์หลักมีรายการโหนดข้อมูลทั้งหมด สิ่งนี้ต้องได้รับการอัพเดตเพื่อให้แน่ใจว่าปัญหาใด ๆ ในการเริ่ม / หยุด hadoop daemon ในอนาคต

การซิงโครไนซ์ใน java คืออะไร

ขั้นตอนที่สำคัญในกระบวนการคอมมิชชันโหนดข้อมูลคือการรัน Cluster Balancer

> hadoop balancer - เกณฑ์ 40

บาลานเซอร์ พยายามสร้างสมดุลให้กับเกณฑ์ที่กำหนดระหว่างโหนดข้อมูลโดยการคัดลอกข้อมูลบล็อกจากโหนดเก่าไปยังโหนดที่ได้รับการว่าจ้างใหม่

นี่คือวิธีที่คุณทำได้ - การว่าจ้าง และ การรื้อถอน โหนดในคลัสเตอร์ Hadoop

มีคำถามสำหรับเรา? โปรดระบุไว้ในส่วนความคิดเห็นแล้วเราจะติดต่อกลับไป

ความแตกต่างระหว่างไม่แน่นอนและไม่เปลี่ยนรูป

ลิ้งค์ที่มีความเกี่ยวข้อง: