หนึ่งในคุณสมบัติที่น่าสนใจที่สุดของ Hadoop framework คือ การใช้ฮาร์ดแวร์สินค้า . อย่างไรก็ตามสิ่งนี้ทำให้ DataNode ล่มบ่อยในคลัสเตอร์ Hadoop คุณสมบัติที่โดดเด่นอีกประการของ Hadoop Framework คือ ความสะดวกในการปรับขนาดตามการเติบโตอย่างรวดเร็วของปริมาณข้อมูล . ด้วยเหตุผลสองประการนี้งานทั่วไปอย่างหนึ่งของผู้ดูแลระบบ Hadoop คือการทำ ค่าคอมมิชชั่น (เพิ่ม) และ การปลดประจำการ (ลบ) โหนดข้อมูลในคลัสเตอร์ Hadoop
การว่าจ้างและการรื้อถอนโหนดในคลัสเตอร์ Hadoop:
แผนภาพด้านบนแสดงกระบวนการทีละขั้นตอนในการเลิกใช้ DataNode ในคลัสเตอร์
งานแรกคือการอัปเดต ' ไม่รวม 'ไฟล์สำหรับทั้ง HDFS (hdfs-site.xml) และ MapReduce (mapred-site.xml)
ไฟล์ 'ไม่รวม':
จัดเรียงอาร์เรย์ c ++
- สำหรับผู้ติดตามงาน มีรายชื่อโฮสต์ที่ผู้ติดตามงานควรยกเว้น หากค่าว่างเปล่าจะไม่มีการยกเว้นโฮสต์
- สำหรับ Namenode มีรายชื่อโฮสต์ที่ไม่ได้รับอนุญาตให้เชื่อมต่อกับ Namenode
นี่คือตัวอย่างการกำหนดค่าสำหรับไฟล์ที่ไม่รวมใน hdfs-site.xml และ mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / ไม่รวม
จริง
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / ไม่รวม
จริง
บันทึก: ต้องระบุชื่อพา ธ แบบเต็มของไฟล์
ในทำนองเดียวกันเรามีไฟล์ 'รวม':
- สำหรับผู้ติดตามงาน มีรายการโหนดที่อาจเชื่อมต่อกับ JobTracker หากค่าว่างเปล่าโฮสต์ทั้งหมดจะได้รับอนุญาต
- สำหรับ Namenode มีรายชื่อโฮสต์ที่ได้รับอนุญาตให้เชื่อมต่อกับ Namenode หากค่าว่างเปล่าโฮสต์ทั้งหมดจะได้รับอนุญาต
ส่วน ‘ dfsadmin ’และ‘ mradmin คำสั่งรีเฟรชการกำหนดค่าพร้อมกับการเปลี่ยนแปลงเพื่อให้พวกเขาทราบถึงโหนดใหม่
ส่วน ‘ ทาส ไฟล์ ’บนเซิร์ฟเวอร์หลักมีรายการโหนดข้อมูลทั้งหมด สิ่งนี้ต้องได้รับการอัพเดตเพื่อให้แน่ใจว่าปัญหาใด ๆ ในการเริ่ม / หยุด hadoop daemon ในอนาคต
การซิงโครไนซ์ใน java คืออะไร
ขั้นตอนที่สำคัญในกระบวนการคอมมิชชันโหนดข้อมูลคือการรัน Cluster Balancer
> hadoop balancer - เกณฑ์ 40
บาลานเซอร์ พยายามสร้างสมดุลให้กับเกณฑ์ที่กำหนดระหว่างโหนดข้อมูลโดยการคัดลอกข้อมูลบล็อกจากโหนดเก่าไปยังโหนดที่ได้รับการว่าจ้างใหม่
นี่คือวิธีที่คุณทำได้ - การว่าจ้าง และ การรื้อถอน โหนดในคลัสเตอร์ Hadoop
มีคำถามสำหรับเรา? โปรดระบุไว้ในส่วนความคิดเห็นแล้วเราจะติดต่อกลับไป
ความแตกต่างระหว่างไม่แน่นอนและไม่เปลี่ยนรูป
ลิ้งค์ที่มีความเกี่ยวข้อง: