Описана система распределенных вычислений Google

Сотрудники компании Google Джеффри Дин (Jeffrey Dean) и Санья Гемават (Sanjay Ghemawat) описали систему распределенных вычислений MapReduce в статье "MapReduce: simplified data processing on large clusters". Статья опубликована в издании Communications of the ACM.

Система MapReduce используется Google для обработки входящих данных (компания обрабатывает более 20 петабайт информации в день). Суть MapReduce заключается в комбинации функций map и reduce, определяемых запросом пользователя. Первая функция - map - преобразует входные данные в наборы пар "ключ и значение", а вторая - reduce - группирует полученные результаты. Функции независимы друг от друга и поэтому позволяют запускать их на разных компьютерах.

По оценке авторов, технология MapReduce является эффективной и простой, и подходит для обработки больших объемов данных, требующих параллельных вычислений.