Об'єктом дослідження являється проблема обробки великої кількості даних, зберігання великих масивів даних в розподілених кластерних системах. Дана робота присвячена дослідженню існуючих способів обробки даних за допомогою хмарних обчислень, об'єднання принципів їх роботи, виявлення їх недоліків, та розробка власного сервісу, котрий частково покриє данні недоліки та вирішить такі завдання, як зміна та розподіл даних між процесорами, балансування навантаження, обробка відмов, збір і агрегація проміжних результатів. Також метою є розробка консольної програми, яка буде показувати роботу сервісу в прикладному вигляді. Методи розробки базуються на основі алгоритмів обробки даних MapReduce. Використані технології: Amazon Web Services, MapReduce, Apache Hadoop. У результаті роботи здійснено широкий огляд способів обробки даних за допомогою хмарних обчислень, та створено власний сервіс для обробки даних. Роботу сервісу показано консольною програмою, де вказано як саме користуватися програмним сервісом. INSTANCE, APACHE HADOOP, AMAZON WEB SERVICES, MAP REDUCE, AWS. Объектом исследования является проблема обработки большого количества данных, хранения больших массивов данных в распределенных кластерных системах. Данная работа посвящена исследованию существующих способов обработки данных с помощью облачных вычислений, объединения принципов их работы, выявления их недостатков, и разработка собственного сервиса, который частично покроет данные недостатки и решит такие задачи, как изменение и распределение данных между процессорами, балансировки нагрузки, обработка отказов, сбор и агрегация промежуточных результатов. Также целью является разработка консольной программы, которая будет показывать работу сервиса в прикладном виде. Методы разработки базируются на основе алгоритмов обработки данных MapReduce. Используемые технологии: Amazon Web Services, MapReduce, Apache Hadoop. В результате работы осуществлен широкий обзор способов обработки данных с помощью облачных вычислений, и создан собственный сервис для обработки данных. Работу сервиса показано консольной программой, где указано как пользоваться программным сервисом. INSTANCE, APACHE HADOOP, AMAZON WEB SERVICES, MAP REDUCE, AWS. The object of research is the problem of processing large amounts of data, storage of large amounts of data in distributed cluster systems. This paper investigates the existing methods of data processing with the help of cloud computing, combining the principles of their work, identify their weaknesses and develop their own service, which partially cover the data gaps and solve such tasks as changing and sharing of data between processors, load balancing, treatment failures, the collection and aggregation of intermediate results. There goal is to develop a console application that will display the work of service in the application form. Development Methods based on algorithms of data processing MapReduce. Technologies: Amazon Web Services, MapReduce, Apache Hadoop. As a result of extensive review by way of data processing by means of Cloudy calculations and create your own service for processing. The work shows the service console program, indicating how to use the software service. INSTANCE, APACHE HADOOP, AMAZON WEB SERVICES, MAP REDUCE, AWS.
