Google 开源 MapReduce 可运行原生代码

Sharing knowledge to enhance japan database performance and growth.
Post Reply
jobaidur228
Posts: 3
Joined: Sat Dec 21, 2024 7:20 am

Google 开源 MapReduce 可运行原生代码

Post by jobaidur228 »

根据公告,Google 已经开源了以前用原生Java编写的Map-Reduce 框架,以允许用户在 Hadoop 平台上运行其原生代码。

Hadoop面临的问题:

1)性能低下

2)可扩展性问题



由于面临所有这些问题,谷歌推出了“MR4C”(以前称为 Map Reduce for C),由Skybox Imaging 开发,用于处理大规模卫星图像和地理空间数据。

由于其作业跟踪和集群管理功能 葡属帝汶电邮列表 谷歌认为它是处理可扩展数据的强大解决方案,但与此相反,它还希望在用 C 和 C++ 编写的强大图像处理库中保持影响力。



尽管各公司已经建立了自己的专属系统来实现这一目标,但 MR4C 提供了更广泛的解决方案,让您在处理更大空间的数据集时节省大量时间。

理解 MR4C 执行的概念



Image




此处的算法存储在本机共享对象内,可以从本地文件系统或任何统一资源标识符(URI)访问您的数据。

输入/输出数据集、运行时参数或任何类型的外部库都使用Json 文件(JavaScript 对象符号)进行配置。

可以使用Hadoop YARN 工具或在 Mrv1 集群级别轻松配置分割映射器和资源分配。

可以使用自动生成的配置将多个算法工作流程链接在一起。

有 Hadoop Job Tracker Interface 可让您查看回调和各种进度报告。

您还可以使用与目标集群相同的界面在本地机器上构建和测试您的工作流程。




在企业级使用 Hadoop MapReduce:



下图将让你了解企业级 Map Reduce Work 的工作原理








现在,有趣的是,MR4C 并不是 Google 第一次精心挑选使用 Hadoop 的原生 C++ 代码。作为 HDFS 的替代品的 Quantcast 文件系统也是使用 C++ 语言编写的,考虑到它的性能优势。

Facebook在其HipHop 系统中也采用了同样的理念,将数据从 SQL 转换为 C++,这样做的原因是为了性能上的优势。

MR4C 测试

MR4C 的测试已在以下地点进行:

Ubuntu 12.04

CentOS 6.5 Linux 操作系统



Cloudera CDH Apache Hadoop 发行版





最近备受关注的一个重要八卦是,Apache Spark 是比 Map Reduce 更快的框架,最近备受关注,但拒绝支持 C/C++ 作为本机代码。但它支持 Python、Java、Scale。现在,让我们看看 C 语言版 Map Reduce 或 MR4C 受到多少关注,以及由谁来关注,这对 印度的应用开发来说可能是一件大事。
现在,您几乎已经了解了遇到的所有谣言。想象一下,您在任何平台上开发大量应用程序,比如 Android、iOS 或 Windows,您确实链接到了适当的服务,但是当涉及到存储跨平台应用程序的大量数据集时该怎么办?不要担心 Hyperlink Infosystem,顶级 应用程序开发公司之一 将为您处理此事。成为 Hyperlink Infosystem 的一部分,为您的应用程序实施 MR4C 和 Apache。联系我们获取免费报价,以增强您的数据集存储。
Post Reply