Bigflow 是百度的一套计算框架， 它致力于提供一套简单易用的接口来描述用户的计算任务，并使同一套代码可以运行在不同的执行引擎之上。
它的设计中有许多思想借鉴自 Google FlumeJava以及 Google Cloud Dataflow，另有部分接口设计借鉴自 Apache Spark。
用户基本可以不去关心 Bigflow 的计算真正运行在哪里，可以像写一个单机的程序一样写出自己的逻辑， Bigflow 会将这些计算分发到相应的执行引擎之上执行。
Bigflow 的目标是: 使分布式程序写起来更简单，测起来更方便，跑起来更高效，维护起来更容易，迁移起来成本更小。
目前 Bigflow 在百度公司内部对接了公司内部的批量计算引擎 DCE（与社区 Tez 比较类似），迭代引擎 Spark，以及公司内部的流式计算引擎 Gemini。
在开源版本中，目前仅开放了Bigflow on Spark。
为什么要使用 Bigflow?
-
高性能 Bigflow 的接口设计使得 Bigflow 可以感知更多的用户需求的细节属性，并且 Bigflow 会根据计算的属性进行作业的优化；另其执行层使用 C++ 实现，用户的一些代码逻辑会被翻译为 C++ 执行，有较大的性能提升。 在公司内部的实际业务测试来看，其性能远高于用户手写的作业。根据一些从现有业务改写过来的作业平均来看，其性能都比原用户代码提升了 100%+。开源版本的 benchmark 正在准备中。
-
简单易用 Bigflow 的接口表面看起来很像 Spark，但实际实用之后会发现 Bigflow 使用一些独特的设计使得 Bigflow 的代码更像是单机程序，例如，屏蔽了 partitioner 的概念，支持嵌套的分布式数据集等，使得其接口更加易于理解，并且拥有更强的代码可复用性。 特别的，在许多需要优化的场景中，因为 Bigflow 可以进行自动的性能以及内存占用优化，所以用户可以避免许多因 OOM 或性能不足而必须进行的优化工作，降低用户的使用成本。
-
在这里，Python 是一等公民 我们目前原生支持的语言是 Python。 使用 PySpark 时，有不少用户都困扰于 PySpark 的低效，或困扰于其不支持某些 CPython 库，或困扰于一些仅功能仅仅在 Scala 和 Java 中可用，在 PySpark 中暂时处于不可用状态。 而在 Bigflow 中，Python 是一等公民（毕竟当前我们仅仅支持 Python），以上问题在 Bigflow 中都不是问题，性能、功能、易用性都对 Python 用户比较友好。
-
一、MapReduce概述 Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据集。 MapReduce 作业通过将输入的数据集拆分为独立的块，这些块由 map 以并行的方式处理，框架对 map 的输出进行排序，然后输入到 reduce 中。MapReduce 框架专门用于 <key，value> 键值
-
类型 实现框架 应用场景 批处理 MapReduce 微批处理 Spark Streaming 实时流计算 Storm
-
其于职业介绍所、工头、工人、工作模型的分布式计算框架。 职业介绍所有两种，一种是本地职业介绍所，一种是远程职业介绍所。顾名思义，本地职业介绍所就是在当前计算机上的，远程职业介绍所用于连接到远程职业介绍所的。 工人、工头都可以加入到职业介绍所，所以加到本地或远程种业介绍所都是可以的。 在同一个职业介绍所中，具有同样类型的工人、工头和工作都存在的时候，工作就可以被安排下去执行。当然，有两种安排方式，一
-
本章将重点介绍如何开始使用分布式TensorFlow。目的是帮助开发人员了解重复出现的基本分布式TF概念，例如TF服务器。我们将使用Jupyter Notebook来评估分布式TensorFlow。使用TensorFlow实现分布式计算如下所述 - 第1步 - 为分布式计算导入必需的模块 - 第2步 - 使用一个节点创建TensorFlow集群。让这个节点负责一个名称为“worker”的作业，并在
-
在介绍GraphX之前，我们需要先了解分布式图计算框架。简言之，分布式图框架就是将大型图的各种操作封装成接口，让分布式存储、并行计算等复杂问题对上层透明，从而使工程师将焦点放在图相关的模型设计和使用上，而不用关心底层的实现细节。 分布式图框架的实现需要考虑两个问题，第一是怎样切分图以更好的计算和保存；第二是采用什么图计算模型。下面分别介绍这两个问题。 1 图切分方式 图的切分总体上说有点切分和边切
-
主要内容：1.RPC流水线工程,2.RPC 技术选型,3.如何设计 RPC1.RPC流水线工程 ① Client以本地调用的方式调用服务 ② Client Stub接收到调用后，把服务调用相关信息组装成需要网络传输的消息体，并找到服务地址（host:port），对消息进行编码后交给Connector进行发送 ③ Connector通过网络通道发送消息给Acceptor ④ Acceptor接收到消息后交给Server Stub ⑤ Server Stub对消息进行解码，
-
主要内容：一、从一个新闻门户网站案例引入,二、推算一下你需要分析多少条数据？,三、黄金搭档：分布式存储+分布式计算这篇文章聊一个话题：什么是分布式计算系统？ 一、从一个新闻门户网站案例引入 现在很多同学经常会看到一些名词，比如分布式服务框架，分布式系统，分布式存储系统，分布式消息系统。 但是有些经验尚浅的同学，可能都很容易被这些名词给搞晕。所以这篇文章就对“分布式计算系统”这个概念做一个科普类的分析。 如果你要理解啥是分布式计算，就必须先得理解啥是分布式存储，现在我们从一个小例子来引入。 比如说
-
如何计算大的皮尔逊互相关矩阵( 更新：我读了阿帕奇火花的实现 但对我来说，看起来所有的计算都发生在一个节点上，而不是真正意义上的分布式。 请在这里放一些光。我还尝试在3节点火花群集上执行它，下面是屏幕截图： 正如您从第二张图中看到的，数据在一个节点上被拉起，然后进行计算。我在这里对吗？