GFS的产生背景GFS是Google针对其数据访问量和应用场景而设计的分布式存储系统，其特点： 数据量大：海量数据，大文件为主，每个文件有几百MB，甚至几GB大小。系统支持小文件，但不需要针对小文件做专门的优化。 数据访问的特点是做数据分析：因此，顺序访问比较多，需要顺序遍历数据文件，大规模的流式读取数据。 写操作以高效且原子性的追加写操作，文件多用于生产者-消费者模型，或多路归并操作。数...

CAP一致性：在同一时刻副本一致，所有节点读到修改后的最新数据 - 强一致性、单调一致性、最终一致性可用性：每次请求都能获取非错的响应，尽量低延迟，不保证节点数据最新分区容忍性：出现网络分区时（节点间通信中断），系统仍能对外提供服务 BASEBasically Available（基本可用）：分布式系统在出现不可预知故障的时候，允许损失部分可用性Soft state（软状态）：软状态也...

摘要MapReduce既是一种编程模型，也是一种与之关联的、用于处理和产生大数据集的实现。用户要特化一个map程序去处理key/value对，并产生中间key/value对的集合，以及一个reduce程序去合并有着相同key的所有中间key/value对。许多实际的任务都可以用这种模型来表示 用这种函数式风格写出的程序自动就拥有了在一个大的PC机集群上并行执行的...

ZooKeeper 由 Yahoo 开发，后来捐赠给了 Apache ，现已成为 Apache 顶级项目。ZooKeeper 是一个开源的分布式应用程序协调服务器，其为分布式系统提供一致性服务。其一致性是通过基于 Paxos 算法的 ZAB 协议完成的。其主要功能包括：配置维护、分布式同步、集群管理、分布式事务等。 ZABZookeeper 架构作为一个优秀高效且可靠的分布式协调框架，Zoo...