Як працює MapReduce
- Карта. Вхідні дані спочатку розбиваються на менші блоки. …
- Зменшити. Після того, як усі картографи завершать обробку, фреймворк перемішує та сортує результати перед передачею їх редукторам. …
- Комбінувати та розділяти. …
- Приклад використання. …
- Карта. …
- Комбінуйте. …
- Перегородка. …
- Зменшити.
MapReduce є парадигма програмування, яка забезпечує масову масштабованість серед сотень або тисяч серверів у кластері Hadoop. Як компонент обробки, MapReduce є серцем Apache Hadoop.
Крок 1: Скопіюйте код до свого eclipse та експортуйте jar.
- Тепер, щоб експортувати частину jar, ви повинні зробити це:
- Тепер перейдіть до місця, де ви хочете зберегти файл jar. …
- Крок 4. Виконайте код MapReduce: …
- Крок 8. Перевірте вихідний каталог для вашого виведення.
У той час як початкова адаптація Hadoop Map Reduce була витіснена кращими підходами, шаблон обробки Map Reduce ще не мертвий.
Найпоширенішим прикладом mapreduce є for підрахунок кількості слів, які зустрічаються в корпусі. Припустімо, у вас є копія Інтернету (мені пощастило працювати в такій ситуації), і ви хочете отримати список кожного слова в Інтернеті, а також скільки разів воно зустрічалося.