Hadoop อย่างที่เรารู้ ๆ กันว่าเป็นโปสเตอร์ของ Big Data ในฐานะที่เป็นเฟรมเวิร์กซอฟต์แวร์ที่สามารถประมวลผลข้อมูลตามสัดส่วนของช้าง Hadoop ได้ก้าวขึ้นสู่อันดับต้น ๆ ของรายการ CIO buzzwords
วิธีการแปลงสตริงเป็นวันที่
อย่างไรก็ตามการเพิ่มขึ้นอย่างไม่เคยปรากฏมาก่อนของสแต็กในหน่วยความจำทำให้ระบบนิเวศข้อมูลขนาดใหญ่เป็นทางเลือกใหม่สำหรับการวิเคราะห์ วิธีการวิเคราะห์ MapReduce จะถูกแทนที่ด้วยแนวทางใหม่ซึ่งช่วยให้การวิเคราะห์ทั้งภายในกรอบงาน Hadoop และภายนอก Apache Spark คือโฉมหน้าใหม่ของการวิเคราะห์ข้อมูลขนาดใหญ่
ผู้ที่ชื่นชอบข้อมูลขนาดใหญ่ได้รับรองให้ Apache Spark เป็นเครื่องมือประมวลผลข้อมูลที่ร้อนแรงที่สุดสำหรับข้อมูลขนาดใหญ่ในโลก กำลังขับ MapReduce และ Java ออกจากตำแหน่งงานอย่างรวดเร็วและแนวโน้มงานกำลังสะท้อนถึงการเปลี่ยนแปลง จากการสำรวจของ TypeSafe พบว่า 71% ของนักพัฒนา Java ทั่วโลกกำลังประเมินหรือค้นคว้าเกี่ยวกับ Spark และ 35% ของพวกเขาได้เริ่มใช้งานแล้ว ขณะนี้ผู้เชี่ยวชาญของ Spark กำลังเป็นที่ต้องการและในอีกไม่กี่สัปดาห์ข้างหน้าจำนวนโอกาสในการทำงานที่เกี่ยวข้องกับ Spark คาดว่าจะผ่านหลังคาเท่านั้น
Apache Spark คืออะไรที่ทำให้ปรากฏอยู่เหนือรายการสิ่งที่ต้องทำของ CIO ทั้งหมด?
นี่คือคุณสมบัติที่น่าสนใจบางส่วนของ Apache Spark:
java วิธีออกจากโปรแกรม
- การรวม Hadoop - Spark สามารถทำงานกับไฟล์ที่จัดเก็บใน HDFS
- Spark’s Interactive Shell - Spark เขียนด้วยภาษา Scala และมีล่าม Scala ในเวอร์ชันของตัวเอง
- Spark’s Analytic Suite - Spark มาพร้อมกับเครื่องมือสำหรับการวิเคราะห์แบบสอบถามเชิงโต้ตอบการประมวลผลและวิเคราะห์กราฟขนาดใหญ่และการวิเคราะห์แบบเรียลไทม์
- ชุดข้อมูลแบบกระจายที่ยืดหยุ่น (RDDs) - RDD เป็นอ็อบเจ็กต์แบบกระจายที่สามารถแคชไว้ในหน่วยความจำข้ามคลัสเตอร์ของโหนดคอมพิวท์ เป็นวัตถุข้อมูลหลักที่ใช้ใน Spark
- ตัวดำเนินการแบบกระจาย - นอกจาก MapReduce แล้วยังมีโอเปอเรเตอร์อื่น ๆ อีกมากมายที่สามารถใช้กับ RDD ได้
องค์กรเช่น NASA, Yahoo และ Adobe ได้ให้คำมั่นสัญญากับ Spark นี่คือสิ่งที่ John Tripier หัวหน้าฝ่ายพันธมิตรและระบบนิเวศของ Databricks กล่าวว่า“ การนำ Apache Spark มาใช้โดยธุรกิจขนาดใหญ่และขนาดเล็กกำลังเติบโตในอัตราที่เหลือเชื่อในหลากหลายอุตสาหกรรมและความต้องการนักพัฒนาที่มีความเชี่ยวชาญที่ผ่านการรับรองก็รวดเร็ว ดังต่อไปนี้”. ไม่เคยมีเวลาไหนดีไปกว่าการเรียนรู้ Spark ถ้าคุณมีพื้นฐานใน Hadoop
Edureka ได้จัดทำหลักสูตรพิเศษเกี่ยวกับ Apache Spark & Scala ซึ่งร่วมสร้างโดยผู้ปฏิบัติงานในอุตสาหกรรมในชีวิตจริง สำหรับประสบการณ์ e-learning สดที่แตกต่างไปพร้อมกับโครงการที่เกี่ยวข้องกับอุตสาหกรรมโปรดดูหลักสูตรของเรา ชุดใหม่กำลังจะเริ่มในเร็ว ๆ นี้โปรดดูหลักสูตรที่นี่: .
มีคำถามสำหรับเรา? โปรดระบุไว้ในส่วนความคิดเห็นแล้วเราจะติดต่อกลับไป
กระทู้ที่เกี่ยวข้อง:
วิธีใช้ python ใน anaconda