Perbedaan yang menonjol antara HDFS dan MapReduce adalah HDFS adalah sistem file terdistribusi yang menyediakan akses throughput tinggi ke data aplikasi sementara MapReduce adalah kerangka kerja perangkat lunak yang memproses data besar pada kluster besar dengan andal.
Big data adalah kumpulan dari kumpulan data yang besar. Ini memiliki tiga sifat utama: volume, kecepatan, dan variasi. Hadoop adalah perangkat lunak yang memungkinkan penyimpanan dan pengelolaan data besar. Ini adalah kerangka kerja open source yang ditulis dalam Java . Selain itu, mendukung pemrosesan terdistribusi dari kumpulan data besar di seluruh kelompok komputer. HDFS dan MapReduce adalah dua modul dalam arsitektur Hadoop.
Topik bahasan kami tentang:
- Apa itu HDFS – Definisi, Fungsi 2. Apa itu MapReduce – Definisi, Fungsi 3. Apa Perbedaan Antara HDFS dan MapReduce – Perbandingan Perbedaan Kunci
Istilah Utama
Data Besar, HDFS, Pengurangan Peta
Yang perlu anda ketahui tentang HDFS
HDFS adalah singkatan dari Hadoop Distributed File System . Ini adalah sistem file terdistribusi dari Hadoop untuk berjalan di cluster besar dengan andal dan efisien. Juga, ini didasarkan pada Sistem File Google (GFS). Selain itu, ia juga memiliki daftar perintah untuk berinteraksi dengan sistem file.
Selanjutnya, HDFS bekerja sesuai dengan master, arsitektur slave. Node master atau node nama mengelola metadata sistem file sementara node slave atau catatan data menyimpan data aktual.
Gambar 1: Arsitektur HDFS
Selain itu, file dalam namespace HDFS dibagi menjadi beberapa blok. Node data menyimpan blok ini. Dan, node nama memetakan blok ke node data, yang menangani operasi membaca dan menulis dengan sistem file. Selanjutnya, mereka melakukan tugas-tugas seperti pembuatan blok, penghapusan dll seperti yang diperintahkan oleh node nama.
Yang perlu anda ketahui tentang MapReduce?
MapReduce adalah kerangka kerja perangkat lunak yang memungkinkan penulisan aplikasi untuk memproses data besar secara bersamaan pada kelompok besar perangkat keras komoditas. Kerangka kerja ini terdiri dari satu pelacak pekerjaan master dan satu pelacak tugas budak per node cluster. Master melakukan manajemen sumber daya, menjadwalkan pekerjaan pada budak, memantau dan menjalankan kembali tugas yang gagal. Di sisi lain, pelacak tugas budak menjalankan tugas yang diinstruksikan oleh master dan mengirimkan informasi status tugas kembali ke mater secara konstan.
Gambar 2: Ikhtisar MapReduce
Juga, ada dua tugas yang terkait dengan MapReduce. Mereka adalah tugas peta dan tugas pengurangan. Tugas peta mengambil data input dan membaginya menjadi tupel kunci, pasangan nilai sementara tugas Reduce mengambil output dari tugas peta sebagai input dan menghubungkan tupel data tersebut menjadi tupel yang lebih kecil. Selanjutnya, tugas peta dilakukan sebelum tugas pengurangan.
Perbedaan Antara HDFS dan MapReduce
Definisi
HDFS adalah Sistem File Terdistribusi yang andal menyimpan file besar di seluruh mesin dalam cluster besar. Sebaliknya, MapReduce adalah kerangka kerja perangkat lunak untuk dengan mudah menulis aplikasi yang memproses sejumlah besar data secara paralel pada kelompok besar perangkat keras komoditas dengan cara yang andal dan toleran terhadap kesalahan. Definisi ini menjelaskan Perbedaan yang menonjol antara HDFS dan MapReduce.
Fungsi Utama
Perbedaan lain antara HDFS dan MapReduce adalah HDFS menyediakan akses kinerja tinggi ke data di seluruh cluster Hadoop yang sangat skalabel sementara MapReduce melakukan pemrosesan data besar.
Kata terakhir
Singkatnya, HDFS dan MapReduce adalah dua modul dalam arsitektur Hadoop. Perbedaan yang menonjol antara HDFS dan MapReduce adalah HDFS adalah sistem file terdistribusi yang menyediakan akses throughput tinggi ke data aplikasi sementara MapReduce adalah kerangka kerja perangkat lunak yang memproses data besar pada kluster besar dengan andal.
Sumber bacaan:
- “Panduan Arsitektur HDFS”, Apache Hadoop, Tersedia di sini . 2. “Tutorial MapReduce”, Apache Hadoop, Tersedia di sini . 3. “Apa itu Sistem File Terdistribusi Hadoop (HDFS)? – Definisi dari WhatIs.com.” SearchDataManagement, Tersedia di sini .
Sumber gambar:
- “Arsitektur Hdf” Oleh Magnai17 – Karya sendiri (CC BY-SA 4.0) melalui Commons Wikimedia 2. “Ikhtisar Mapreduce” Oleh Poposhka – SVG-Edit (CC BY-SA 3.0) melalui Commons Wikimedia
