资源搜

资源名称：Spark大数据实例开发教程 资源截图：

资源名称：使用Hadoop构建云计算平台 内容简介： • 核心框架： HDFS和MapReduce • MapReduce — 任务的分解与结果的汇总 • HDFS — Hadoop Distributed File System • — 分布式计算的基石 Hadoop是一个Apache的开源项目;一个能够对大量数据进行分布式处理的软件架构;假设计算元素和存储会失败，因此维护多个工作;数据副本，确保数据在线迁移; 在很多场合得到应用：Amazon;Yahoo;Facebook。 资源截图：

资源名称：大数据：互联网大规模数据挖掘与分布式处理 内容简介： 本书源自作者在斯坦福大学教授多年的“Web挖掘”课程材料，主要关注大数据环境下数据挖掘的实际算法。书中分析了海量数据集数据挖掘常用的算法，介绍了目前Web应用的许多重要话题。主要内容包括： 　　□ 分布式文件系统以及Map-Reduce工具； 　　□ 相似性搜索； 　　□ 数据流处理以及针对易丢失数据等特殊情况的专用处理算法； 　　□ 搜索引擎技术，如谷歌的PageRank； 　　□ 频繁项集挖掘； 　　□ 大规模高维数据集的聚类算法； 　　□ Web应用中的关键问题：广告管理和推荐系统。 资源目录： 第1章　 数据挖掘基本概念　　 1.1　 数据挖掘的定义　　 1.1.1　 统计建模　　 1.1.2　 机器学习　　 1.1.3　 建模的计算方法　　 1.1.4　 数据汇总　　 1.1.5　 特征抽取　　 1.2　 数据挖掘的统计限制　　 1.2.1　 整体情报预警　　 1.2.2　 邦弗朗尼原理　　 1.2.3　 邦弗朗尼原理的一个例子　　 1.2.4　 习题　　 1.3　 相关知识　　 1.3.1　 词语在文档中的重要性　　 1.3.2　 哈希函数　　 1.3.3　 索引　　 1.3.4　 二级存储器　　 1.3.5　 自然对数的底e　　 1.3.6　 幂定律　　 1.3.7　 习题　　 1.4　 本书概要　　 1.5　 小结　　 1.6　 参考文献　　 第2章　 大规模文件系统及Map-Reduce　　 2.1　 分布式文件系统　　 2.1.1　 计算节点的物理结构　　 2.1.2　 大规模文件系统的结构　　 2.2　 Map-Reduce　　 2.2.1　 Map任务　　 2.2.2　 分组和聚合　　 2.2.3　 Reduce任务　　 2.2.4　 组合器　　 2.2.5　 Map-Reduce的执行细节　　 2.2.6　 节点失效的处理　　 2.3　 使用Map-Reduce的算法　　 2.3.1　 基于Map-Reduce的矩阵—向量乘法实现　　 2.3.2　 向量v无法放入内存时的处理　　 2.3.3　 关系代数运算　　 2.3.4　 基于Map-Reduce的选择运算　　 2.3.5　 基于Map-Reduce的投影运算　　 2.3.6　 基于Map-Reduce的并、交和差运算　　 2.3.7　 基于Map-Reduce的自然连接运算　　 2.3.8　 一般性的连接算法　　 2.3.9　 基于Map-Reduce的分组和聚合运算　　 2.3.10　 矩阵乘法　　 2.3.11　 基于单步Map-Reduce的矩阵乘法　　 2.3.12　 习题　　 2.4　 Map-Reduce的扩展　　 2.4.1　 工作流系统　　 2.4.2　 Map-Reduce的递归扩展版本　　 2.4.3　 Pregel系统　　 2.4.4　 习题　　 2.5　 集群计算算法的效率问题　　 2.5.1　 集群计算的通信开销模型　　 2.5.2　 实耗通信开销　　 2.5.3　 多路连接　　 2.5.4　 习题　　 2.6　 小结　　 2.7　 参考文献　　 第3章　 相似项发现　　 3.1　 近邻搜索的应用　　 3.1.1　 集合的Jaccard相似度　　 3.1.2　 文档的相似度　　 3.1.3　 协同过滤——一个集合相似问题　　 3.1.4　 习题　　 3.2　 文档的Shingling　　 3.2.1　 k-Shingle　　 3.2.2　 shingle大小的选择　　 3.2.3　 对shingle进行哈希　　 3.2.4　 基于词的shingle　　 3.2.5　 习题　　 3.3　 保持相似度的集合摘要表示　　 3.3.1　 集合的矩阵表示　　 3.3.2　 最小哈希　　 3.3.3　 最小哈希及Jaccard相似度　　 3.3.4　 最小哈希签名　　 3.3.5　 最小哈希签名的计算　　 3.3.6　 习题　　 3.4　 文档的局部敏感哈希算法　　 3.4.1　 面向最小哈希签名的LSH　　 3.4.2　 行条化策略的分析　　 3.4.3　 上述技术的综合　　 3.4.4　 习题　　 3.5　 距离测度　　 3.5.1　 距离测度的定义　　 3.5.2　 欧氏距离　　 3.5.3　 Jaccard距离　　 3.5.4　 余弦距离　　 3.5.5　 编辑距离　　 3.5.6　 海明距离　　 3.5.7　 习题　　 3.6　 局部敏感函数理论　　 3.6.1　 局部敏感函数　　 3.6.2　 面向Jaccard距离的局部敏感函数族　　 3.6.3　 局部敏感函数族的放大处理　　 3.6.4　 习题　　 3.7　 面向其他距离测度的LSH函数族　　 3.7.1　 面向海明距离的LSH函数族　　 3.7.2　 随机超平面和余弦距离　　 3.7.3　 梗概　　 3.7.4　 面向欧氏距离的LSH函数族　　 3.7.5　 面向欧氏空间的更多LSH函数族　　 3.7.6　 习题　　 3.8　 LSH函数的应用　　 3.8.1　 实体关联　　 3.8.2　 一个实体关联的例子　　 3.8.3　 记录匹配的验证　　 3.8.4　 指纹匹配　　 3.8.5　 适用于指纹匹配的LSH函数族　　 3.8.6　 相似新闻报道检测　　 3.8.7　 习题　　 3.9　 面向高相似度的方法　　 3.9.1　 相等项发现　　 3.9.2　 集合的字符串表示方法　　 3.9.3　 基于长度的过滤　　 3.9.4　 前缀索引　　 3.9.5　 位置信息的使用　　 3.9.6　 使用位置和长度信息的索引　　 3.9.7　 习题　　 3.10　 小结　　 3.11　 参考文献　　 第4章　 数据流挖掘　　　 第5章　 链接分析　　 第6章　 频繁项集　　 第7章　 聚类　　　 第8章　 Web广告　　　　 第9章　 推荐系统　　　 索引 资源截图：

资源名称：赤裸裸的未来 : 大数据时代:如何预见未来的生活和自己（带目录） 内容简介： 全书主题聚焦于未知与未来，但论述绝非建立在想象之上的空中楼阁，其间穿插着大量事例，或基于客观现实，或依据科学推测，生动有趣。 塔克尔通过大量的访谈和调查，约见各领域的权威人士，积累了极为丰富的素材，提取了他们有关现实的观点和对未来的预期，为我们展开了有关未来社会各领域的翔实可信的图景，讲述的虽是前沿科技主题，内容却平实亲和。就个人而言，我们生活在一个“超级透明”的世界，我们泄露出去的海量信息无处不在。若将这些信息收集起来，加以分析，就能勾勒出每一个人的真实性格、内心偏好，乃至可以预测每个人的命运。就时代而言，作者大胆预言：“大数据时代”只不过是一朵小浪花，终将会被更新、更前沿的“物联网时代”取代，并以灾难预测、流行病预防、犯罪防治、潜能开发、情绪管理、恋爱情感、个性化学习、娱乐私人定制等领域为例，描绘了一个富有激情的美好未来。案例大多发生在海外，但在国内各领域中都能找到其缩影或前兆，物联网、遥感等高尖信息化的潮流终将席卷全球。本书具有先锋意义。 作者简介：帕特里克•塔克尔（Patrick Tucker），美国《未来主义者》（The Futurist）杂志副主编，世界未来主义大会（World Future Society）负责人，世界著名未来学学者、小说家，曾获“巴里•汉纳短篇小说奖”和“尤金•沃尔特小说奖”。 资源目录： 中文版序言导言 大数据只不过是一朵小浪花/ 帕特里克•塔克尔第 1 章 大灾难之前“撼地神鲇”失灵一种全球神经系统的出现物联网，三个小插曲捷足先登预见火灾的发生一旦登录，iPhone 将了解你的每个动向遥感、模拟和贝叶斯公式众里寻“你” 第 2 章 强信号：因隐秘而伟大富兰克林的美德困境一位未来学家的审慎生活医生网络 第 3 章 帮你找到最可能会爱上的人神秘主义信仰者“房间里最漂亮的女孩”综合征脸谱网很快将能预测你会喜欢谁东京爱情“事故”亲密关系中的诚实信号伴侣关系 APP透明人的爱情 第 4 章 聪明的犯罪失效的“破窗理论”你所不知道的纽约警务犯罪红点犯罪具有传染性轻而易举监视暴乱 第 5 章 犯罪前就制止！将“山羊”和“绵羊”分离“内部”异常“守护者”的悖论寻找恐怖分子APP 帮助你免遭行凶抢劫 第 6 章 预测大师：赌场、沃尔玛、广告业与脸谱网“盛世长城”的衰落拉斯维加斯的场景将处处再现“小熊难题”弱关系法则第 7 章 做个“超级学习明星”个性化学习计划老师是超级明星 / 176沃尔玛、广告业与脸谱网“墙上的洞”与教学的终结 / 185 第 8 章 躲开一切流行病约什病毒超级地图找到你的流感三角流感的隐喻 第 9 章 天气的烦恼“特洛伊木马”诺曼底登陆与气象情报气候保险推销员 第 10 章 为什么喜欢“它”？区分好电影和垃圾电影畅销影视的大数据秘密“当蜘蛛侠遇上超人”结语 预见未来的超能力附录 预见未来致谢译后记 资源截图：

资源名称：实战大数据 内容简介： “数据是重要资产”已成为大家的共识，众多公司都在争相分析、挖掘大数据背后的信息资源。本书在此背景下，对目前大数据及其相关技术的发展进行总结，理论联系实践，既不缺乏理论深度又具有实用价值。 本书共12章，内容包括大数据的概念、特点、发展历史，数据获取与存储，数据抽取和清洗，数据集成，数据的查询、分析与建模，异构数据采集，文档的存储与检索，异种数据的统一访问与转换，基于微博的股票市场预测系统实例，海量视频检索系统实例，HDFS云文件系统实例。 本书适合大数据技术初学者、大数据从业人员和研究人员，也可以作为高等院校相关专业师生的教学参考书。 资源目录： 第一篇 大数据基础篇 第1章 大数据介绍 1.1 大数据相关概念 1.1.1 大数据的历史 1.1.2 大数据的定义 1.2 大数据研究内容 1.3 大数据研究现状 1.3.1 学术界现状 1.3.2 产业界现状 1.3.3 政府机构现状 1.4 大数据的应用领域 1.4.1 大数据在制造业的应用 1.4.2 大数据在服务业的应用 1.4.3 大数据在交通行业的应用 1.4.4 大数据在医疗行业的应用 1.5 本章小结 第2章 数据存储技术 2.1 数据存储技术介绍 2.2 数据采集与存储技术研究现状 2.2.1 传统关系型数据库 2.2.2 新兴数据存储系统 2.3 海量数据存储的关键技术分析 2.3.1 数据划分 2.3.2 数据一致性与可用性 2.3.3 负载均衡 2.3.4 容错机制 2.3.5 海量数据存储的硬件支持 2.4 数据存储技术的实现与工具 2.4.1 集中式数据存储管理系统Bigtable 2.4.2 非集中式的大规模数据管理系统Dynamo 2.4.3 BigTable的开源实现HBase 2.4.4 MongoDB 2.4.5 CouchDB 2.4.6 Redis 2.4.7 Hypertable 2.4.8 其他开源NoSQL数据库 2.5 本章小结 第3章 数据抽取和清洗 3.1 数据抽取和清洗技术介绍 3.1.1 数据抽取简介 3.1.2 数据清洗简介 3.2 数据抽取和清洗研究现状 3.3 数据抽取技术的实现 3.3.1 Web数据抽取 3.3.2 非结构化数据抽取 3.3.3 基于云计算的海量数据分析 3.4 数据清洗技术的实现 3.4.1 数据清洗流程 3.4.2 数据清洗框架 3.4.3 数据清洗相关技术 3.4.4 基于Hadoop的数据清洗方案 3.5 ETL现状与发展 3.5.1 数据ETL简介 3.5.2 基于MapReduce的ETL框架 3.5.3 ETL工具 3.5.4 ETL展望 3.6 本章小结 第4章 数据集成 4.1 数据集成技术介绍 4.2 数据集成技术研究现状 4.2.1 Information Manifold：具有统一的查询接口 4.2.2 数据集成系统的发展建设 4.2.3 企业信息集成 4.2.4 未来的挑战 4.3 数据集成技术的实现与工具 4.3.1 Oracle Data Integrator（ODI）简介 4.3.2 ODI的特点 4.3.3 Microsoft SQL Server Integration Services（SSIS）简介 4.3.4 SSIS的特点 4.3.5 IBM InfoSphere Information Server简介 4.3.6 Sybase Data Integrator Suite 简介 4.4 本章小结 第5章 数据查询、分析与建模技术 5.1 数据查询、分析与建模技术介绍 5.1.1 数据查询 5.1.2 数据分析 5.1.3 数据建模 5.2 数据查询、分析与建模技术研究现状 5.2.1 并行处理 178 5.2.2 海量数据查询与搜索 5.2.3 数据分析中的OLAP与数据挖掘技术 5.2.4 数据模型与数据建模方法 5.3 数据查询、分析与建模技术的实现与工具 5.3.1 数据查询相关技术实现与工具 5.3.2 数据分析相关技术实现与工具 5.3.3 数据建模相关技术实现与工具 5.4 本章小结 第二篇 大数据深入篇 第6章 采用OSGi框架构建可伸缩的异构数据采集平台 6.1 应用背景 6.2 需求分析与总体设计 6.2.1 功能需求 6.2.2 非功能需求 6.2.3 总体设计 6.3 相关技术介绍 6.3.1 OSGi 框架介绍 6.3.2 多源异构数据的获取 6.4 系统设计与实现 6.4.1 异构数据采集平台的设计 6.4.2 数据采集插件的设计与实现 6.4.3 系统服务框架的设计与实现 6.5 部署与测试 6.5.1 系统部署 6.5.2 系统测试 6.6 本章小结 第7章 采用HBase实现海量小型XML文档的存储与检索 7.1 应用背景 7.2 需求分析与总体设计 7.2.1 需求分析 7.2.2 总体设计 7.3 相关技术介绍 7.3.1 XML相关技术 7.3.2 XQuery语句 7.3.3 XML检索技术 7.3.4 云计算和HBase 7.3.5 JavaCC工具介绍 7.4 详细设计与实现 7.4.1 数据存储模块的详细设计与实现 7.4.2 数据检索模块的详细设计与实现 7.4.3 用户模块的详细设计与实现 7.5 本章小结 第8章 采用Map/Reduce进行大规模社交网络社团发现 8.1 研究背景 8.2 相关理论和技术 8.2.1 社团结构 8.2.2 相关社团发现算法 8.2.3 Hadoop分布计算框架 8.3 RMS算法的并行化实现 8.3.1 RMS算法 8.3.2 RMS算法在MapReduce上的实现 8.4 AP聚类算法的并行化实现 8.4.1 AP聚类算法 8.4.2 AP聚类算法在MapReduce上的实现 8.5 实验与分析 8.5.1 实验环境 8.5.2 实验与结果分析 8.6 本章小结 第9章 数据统一访问与转换平台 9.1 应用背景介绍 9.2 数据统一访问需求分析与总体设计 9.2.1 功能性需求分析 9.2.2 非功能性需求分析 9.2.3 总体设计 9.3 数据统一访问与转换关键技术 9.3.1 SDO编程技术 9.3.2 Hadoop MapReduce框架 9.3.3 HBase数据库技术 9.3.4 模型驱动数据转换技术 9.4 数据统一访问和灵活转换的详细设计与实现 9.4.1 数据分析及预处理 9.4.2 基于DAS的数据源统一访问 9.4.3 映射模式表示与数据存储管理模块 9.4.4 基于MapReduce的数据转换管理模块 9.5 本章小结 第三篇 大数据应用篇 第10章 基于微博的股票市场预测系统 10.1 应用背景介绍 10.2 需求分析与总体设计 10.2.1 需求分析 10.2.2 总体设计 10.3 相关技术介绍 10.3.1 社交网络 10.3.2 社交网络表示方法 10.3.3 信息传播模型 10.4 详细设计与实现 10.4.1 Twitter数据采集模块详细设计 10.4.2 Twitter数据分析模块详细设计 10.4.3 用户行为分析模块详细设计 10.4.4 预测股票价格涨跌模块详细设计 10.4.5 系统实现 10.5 本章小结 第11章 基于内容的海量视频检索系统 11.1 应用背景 11.2 需求分析与总体设计 11.2.1 功能需求 11.2.2 非功能需求 11.2.3 核心业务处理流程 11.2.4 总体设计 11.3 相关技术简介 11.3.1 MPEG-7与OpenCV简介 11.3.2 运动对象提取 11.3.3 星形骨架方法 11.4 详细设计与实现 11.4.1 基于MapReduce的视频预处理 11.4.2 基于HBase的视频数据存储 11.4.3 行为识别与运动规则的组合创建 11.5 系统运行时截图 11.6 本章小结 第12章 基于HDFS的云文件系统 12.1 应用背景介绍 12.2 需求分析与总体设计 12.2.1 需求分析 12.2.2 总体设计 12.3 相关技术介绍 12.3.1 Hadoop HDFS介绍 12.3.2 主控节点和数据节点 12.3.3 页面展现技术 12.3.4 页面控制技术 12.4 详细设计与实现 12.4.1 云文件系统的操作流程 12.4.2 云文件系统的模块设计 12.4.3 云文件系统实现 12.4.4 云文件系统主要功能截图 12.5 本章小结 资源截图：

资源名称：OpenStack云计算平台管理   资源目录： 深入浅出OpenStack云平台管理(nova-computernetwork)1深入浅出OpenStack云平台管理(nova-computernetwork)2深入浅出OpenStack云平台管理(nova-computernetwork)3深入浅出OpenStack云平台管理(nova-computernetwork)4深入浅出OpenStack云平台管理(nova-computernetwork)5深入浅出OpenStack云平台管理(nova-computernetwork)6   资源截图：

资源名称：大数据Spark企业级实战 内容简介： Spark是当今大数据领域最活跃、最热门、高效的大数据通用计算平台，是Apache软件基金会下所有开源项目中三大开源项目之一。 　　在“One Stack to rule them all”理念的指引下，Spark基于RDD成功地构建起了大数据处理的一体化解决方案，将MapReduce、Streaming、SQL、Machine Learning、Graph Processing等大数据计算模型统一到一个技术堆栈中，开发者使用一致的API操作Spark中的所有功能；更为重要的是Spark的Spark SQL、MLLib、GraphX、Spark Streaming等四大子框架之间可以在内存中完美的无缝集成并可以互相操作彼此的数据，这不仅打造了Spark在当今大数据计算领域其他任何计算框架都无可匹敌的优势，更使得Spark正在加速成为大数据处理中心的计算平台。 　　《大数据Spark企业级实战》详细解析了企业级Spark开发所需的几乎所有技术内容，涵盖Spark的架构设计、Spark的集群搭建、Spark内核的解析、Spark SQL、MLLib、GraphX、Spark Streaming、Tachyon、SparkR、Spark多语言编程、Spark常见问题及调优等，并且结合Spark源码细致的解析了Spark内核和四大子框架，最后在附录中提供了的Spark的开发语言Scala快速入门实战内容，学习完此书即可胜任绝大多数的企业级Spark开发需要。 　　《大数据Spark企业级实战》从零起步，完全从企业处理大数据业务场景的角度出发，基于实战代码来组织内容，对于一名大数据爱好者来说，《大数据Spark企业级实战》内容可以帮助您一站式地完成从零起步到进行Spark企业级开发所需要的全部核心内容和实战需要。 资源目录： 第1章　Spark编程模型 1．1 Spark：一体化、多元化的高速 大数据通用计算平台和库 1．1．1 为什么需要使用Spark 1．1．2 Spark技术生态系统简介 1．2 Spark大数据处理框架 1．2．1 Spark速度为何如此之快 1．2．2 RDD：分布式函数式编程 1．3 Spark子框架解析 1．3．1 图计算框架Spark GraphX 1．3．2 实时流处理框架 （Spark Streaming） 1．3．3 交互式SQL处理框架 Spark SQL 1．3．4 机器学习框架 （Spark MLlib） 第2章　构建Spark分布式集群 2．1 搭建Hadoop单机版本和伪 分布式开发环境 2．1．1 开发Hadoop需要的基本 软件 2．1．2 安装每个软件 2．1．3 配置Hadoop单机模式并 运行Wordcount示例 2．1．4 配置Hadoop伪分布模式 并运行Wordcount示例 2．2 搭建 Hadoop分布式集群 2．2．1 在VMWare 中准备第二、 第三台运行Ubuntu系统的 机器 2．2．2 按照配置伪分布式模式 的方式配置新创建运行 Ubuntu系统的机器 2．2．3 配置Hadoop分布式集群 环境 2．2．4 测试Hadoop分布式集群 环境 2．3 Spark集群的动手搭建 2．3．1 Spark集群需要的软件 2．3．2 安装每个软件 2．3．3 启动并查看集群的状况 2．4 构建Hadoop单机版本和伪 分布式环境 2．4．1 通过Spark的shell测试 Spark的工作 2．4．2 使用Spark的cache机制 观察一下效率的提升 第3章　Spark开发环境及其测试 3．1 搭建和设置IDEA开发环境 3．1．1 构建Spark的IDE开发 环境 3．1．2 配置Spark的IDE开发 环境 3．2 测试IDEA环境 3．3 实战：在IDEA中开发代码， 并运行在Spark集群中 第4章　Spark RDD与编程API 实战 4．1 深度解析Spark RDD 4．2 Transformation Operations 动手实战 4．3 Action Operations动手实战 4．4 Spark API综合实战 第5章　Spark运行模式深入解析 5．1 Spark运行模式概述 5．1．1 Spark的运行模式列表 5．1．2 Spark的基本工作流程 5．2 Standalone模式 5．2．1 部署及程序运行 5．2．2 内部实现原理 5．3 Yarn-Cluster模式 5．3．1 部署及程序运行 5．3．2 内部实现原理 5．4 Yarn-Client模式 5．4．1 部署及运行程序 5．4．2 内部实现原理 第6章　Spark内核解析 6．1 Spark内核初探 6．1．1 Spark内核核心术语解析 6．1．2 Spark集群概览 6．1．3 Spark核心组件 6．1．4 Spark任务调度系统初见 6．2 Spark内核核心源码解读 6．2．1 SparkContext核心源码 解析初体验 6．2．2 TaskSceduler启动源码 解析初体验 6．2．3 DAGScheduler源码解读 初体验 6．2．4 Spark的Web监控页面 6．3 以RDD的count操作为例触发 Job全生命周期源码研究 6．4 Akka驱动下的Driver、 Master、Worker 6．4．1 Driver中的AppClient 源码解析 6．4．2 AppClient注册Master 6．4．3 Worker中Executor启动 过程源代码解析 第7章　GraphX大规模图计算与 图挖掘实战 7．1 Spark GraphX概览 7．2 Spark GraphX设计实现的 核心原理 7．3 Table operator和Graph Operator 7．4 Vertices、edges、triplets 7．5 以最原始的方式构建graph 7．6 动手编写第一个Graph代码 实例并进行Vertices、edges、 triplets操作 7．7 在Spark集群上使用文件中 的数据加载成为graph并进 行操作 7．8 在Spark集群上掌握比较重 要的图操作 7．9 Spark GraphX图算法 7．10 淘宝对Spark GraphX的大 规模使用 第8章　Spark SQL原理与实战 8．1 为什么使用Spark SQL 8．1．1 Spark SQL的发展历程 8．1．2 Spark SQL的性能 8．2 Spark SQL运行架构 8．2．1 Tree和Rule 8．2．2 sqlContext的运行过程 8．2．3 hiveContext的运行过程 8．2．4 catalyst优化器 8．3 解析Spark SQL组件 8．3．1 LogicalPlan 8．3．2 SqlParser 8．3．3 Analyzer 8．3．4 Optimizer 8．4 深入了解Spark SQL运行 的计划 8．4．1 hive/console的安装过程 和原理 8．4．2 常用操作 8．4．3 不同数据源的运行计划 8．4．4 不同查询的运行计划 8．4．5 查询的优化 8．5 搭建测试环境 8．5．1 搭建虚拟集群（Hadoop1、 Hadoop2、Hadoop3） 8．5．2 搭建客户端 8．5．3 文件数据的准备工作 8．5．4 Hive数据的准备工作 8．6 Spark SQL之基础应用 8．6．1 sqlContext的基础应用 8．6．2 hiveContext的基础应用 8．6．3 混合使用 8．6．4 缓存的使用 8．6．5 DSL的使用 8．7 ThriftServer和CLI 8．7．1 令人惊讶的CLI 8．7．2 ThriftServer 8．8 Spark SQL之综合应用 8．8．1 店铺分类 8．8．2 PageRank 8．9 Spark SQL之调优 8．9．1 并行性 8．9．2 高效的数据格式 8．9．3 内存的使用 8．9．4 合适的Task 8．9．5 其他的一些建议 第9章　Machine Learning on Spark 9．1 Spark MLlib机器学习 9．1．1 机器学习快速入门 9．1．2 Spark MLlib介绍 9．1．3 Spark MLlib架构解析 9．1．4 Spark Mllib核心解析 9．2 MLlib经典算法解析和案例 实战 9．2．1 Linear Regression解析和 实战 9．2．2 K-Means解析和实战 9．2．3 协同过滤算法分析和案例 实战 9．3 MLLib其他常用算法解析 和代码实战 9．3．1 Basic Statics解析和实战 9．3．2 MLlib朴素贝叶斯解析和 实战 9．3．3 MLlib决策树解析和实战 第10章　Tachyon文件系统 10．1 Tachyon文件系统概述 10．1．1 Tachyon文件系统简介 10．1．2 HDFS与Tachyon 10．1．3 Tachyon设计原理 10．2 Tachyon入门 10．2．1 Tachyon部署 10．2．2 Tachyon API的使用 10．2．3 在MapReduce、Spark 上使用Tachyon 10．3 Tachyon深度解析 10．3．1 Tachyon整体设计概述 10．3．2 Tachyon Master启动流 程分析 10．3．3 Tachyon Worker启动流 程分析 10．3．4 客户端读写文件源码分析 10．4 Tachyon配置参数一览 10．5 小结 第11章　Spark Streaming原理 与实战 11．1 Spark Streaming原理 11．1．1 原理和运行场景 11．1．2 编程模型DStream 11．1．3 持久化、容错和优化 11．2 Spark Streaming实战 11．2．1 源码解析 11．2．2 Spark Streaming实战案例 第12章　Spark多语言编程 12．1 Spark多语言编程的特点 12．2 Spark编程模型 12．3 深入Spark多语言编程 12．4 Spark多语言编程综合实例 第13章　R语言的分布式编程 之SparkR 13．1 R语言快速入门 13．1．1 R语言是什么 13．1．2 R语言的特点 13．1．3 R语言的安装 13．1．4 R的核心概念 13．1．5 R动手实战 13．2 使用SparkR 13．2．1 SparkR的安装 13．2．2 使用SparkR编写 WordCount 13．2．3 使用SparkR的更多 代码示例 第14章　Spark性能调优和 最佳实践 14．1 Spark性能调优 14．1．1 Spark性能优化的12大 问题及其解决方法 14．1．2 Spark内存优化 14．1．3 RDD分区 14．1．4 Spark性能优化实例 14．2 Spark性能调优细节 14．2．1 broadcast和accumulator 14．2．2 reduce 和 reduceByKey 14．2．3 深入reduceByKey 第15章　Spark源码解析 15．1 BlockManager源码解析 15．2 Cache源码解析 15．3 Checkpoint源码解析 附录A　动手实战Scala三部曲 第一部 动手体验Scala 第二部　动手实战Scala面向 对象编程 第三部 动手实战Scala函数式编程 资源截图：

资源名称：Hadoop基础教程 内容简介： 《Hadoop基础教程》包括三个主要部分：第1~5章讲述了Hadoop的核心机制及Hadoop的工作模式；第6~7章涵盖了Hadoop更多可操作的内容；第8~11章介绍了Hadoop与其他产品和技术的组合使用。《Hadoop基础教程》目的在于帮助读者了解什么是Hadoop，Hadoop是如何工作的，以及如何使用Hadoop从数据中提取有价值的信息，并用它解决大数据问题。 　　《Hadoop基础教程》适用于有软件开发经验的技术人员。 资源目录： 第1章　绪论　 1.1　大数据处理　 1.1.1　数据的价值　 1.1.2　受众较少　 1.1.3　一种不同的方法　 1.1.4　Hadoop　 1.2　基于Amazon Web Services的云计算　 1.2.1　云太多了　 1.2.2　第三种方法　 1.2.3　不同类型的成本　 1.2.4　AWS：Amazon的弹性架构　 1.2.5　本书内容　 1.3　小结　 第2章　安装并运行Hadoop　 2.1　基于本地Ubuntu主机的Hadoop系统　 2.2　实践环节：检查是否已安装JDK　 2.3　实践环节：下载Hadoop　 2.4　实践环节：安装SSH　 2.5　实践环节：使用Hadoop计算圆周率　 2.6　实践环节：配置伪分布式模式　 2.7　实践环节：修改HDFS的根目录　 2.8　实践环节：格式化NameNode　 2.9　实践环节：启动Hadoop　 2.10　实践环节：使用HDFS　 2.11　实践环节：MapReduce的经典入门程序——字数统计　 2.12　使用弹性MapReduce　 2.13　实践环节：使用管理控制台在EMR运行WordCount　 2.13.1　使用EMR的其他方式　 2.13.2　AWS生态系统　 2.14　本地Hadoop与EMR Hadoop的对比　 2.15　小结　 第3章　理解MapReduce　 3.1　键值对　 3.1.1　具体含义　 3.1.2　为什么采用键/值数据　 3.1.3　MapReduce作为一系列键/值变换　 3.2　MapReduce的Hadoop Java API　 3.3　编写MapReduce程序　 3.4　实践环节：设置classpath　 3.5　实践环节：实现WordCount　 3.6　实践环节：构建JAR文件　 3.7　实践环节：在本地Hadoop集群运行WordCount　 3.8　实践环节：在EMR上运行WordCount　 3.8.1　0.20之前版本的Java MapReduce API　 3.8.2　Hadoop提供的mapper和reducer实现　 3.9　实践环节：WordCount的简易方法　 3.10　查看WordCount的运行全貌　 3.10.1　启动　 3.10.2　将输入分块　 3.10.3　任务分配　 3.10.4　任务启动　 3.10.5　不断监视JobTracker　 3.10.6　mapper的输入　 3.10.7　mapper的执行　 3.10.8　mapper的输出和reducer的输入　 3.10.9　分块　 3.10.10　可选分块函数　 3.10.11　reducer类的输入　 3.10.12　reducer类的执行　 3.10.13　reducer类的输出　 3.10.14　关机　 3.10.15　这就是MapReduce的全部　 3.10.16　也许缺了combiner　 3.11　实践环节：使用combiner编写WordCount　 3.12　实践环节：更正使用combiner的WordCount　 3.13　Hadoop专有数据类型　 3.13.1　Writable和Writable-Comparable接口　 3.13.2　wrapper类介绍　 3.14　实践环节：使用Writable包装类　 3.15　输入/输出　 3.15.1　文件、split和记录　 3.15.2　InputFormat和RecordReader　 3.15.3　Hadoop提供的InputFormat　 3.15.4　Hadoop提供的RecordReader　 3.15.5　OutputFormat和Record-Writer　 3.15.6　Hadoop提供的OutputFormat　 3.15.7　别忘了Sequence files　 3.16　小结　 第4章　开发MapReduce程序　 4.1　使用非Java语言操作Hadoop　 4.1.1　Hadoop Streaming工作原理　 4.1.2　使用Hadoop Streaming的原因　 4.2　实践环节：使用Streaming实现Word-Count　 4.3　分析大数据集　 4.3.1　获取UFO目击事件数据集　 4.3.2　了解数据集　 4.4　实践环节：统计汇总UFO数据　 4.5　实践环节：统计形状数据　 4.6　实践环节：找出目击事件的持续时间与UFO形状的关系　 4.7　实践环节：在命令行中执行形状/时间分析　 4.8　实践环节：使用ChainMapper进行字段验证/分析　 4.9　实践环节：使用Distributed Cache改进地点输出　 4.10　计数器、状态和其他输出　 4.11　实践环节：创建计数器、任务状态和写入日志　 4.12　小结　 第5章　高级MapReduce技术　 5.1　初级、高级还是中级　 5.2　多数据源联结　 5.2.1　不适合执行联结操作的情况　 5.2.2　map端联结与reduce端联结的对比　 5.2.3　匹配账户与销售信息　 5.3　实践环节：使用MultipleInputs实现reduce端联结　 5.3.1　实现map端联结　 5.3.2　是否进行联结　 5.4　图算法　 5.4.1　Graph 101　 5.4.2　图和MapReduce　 5.4.3　图的表示方法　 5.5　实践环节：图的表示　 5.6　实践环节：创建源代码　 5.7　实践环节：第一次运行作业　 5.8　实践环节：第二次运行作业　 5.9　实践环节：第三次运行作业　 5.10　实践环节：第四次也是最后一次运行作业　 5.10.1　运行多个作业　 5.10.2　关于图的终极思考　 5.11　使用语言无关的数据结构　 5.11.1　候选技术　 5.11.2　Avro简介　 5.12　实践环节：获取并安装Avro　 5.13　实践环节：定义模式　 5.14　实践环节：使用Ruby创建Avro源数据　 5.15　实践环节：使用Java语言编程操作Avro数据　 5.16　实践环节：在MapReduce中统计UFO形状　 5.17　实践环节：使用Ruby检查输出数据　 5.18　实践环节：使用Java检查输出数据　 5.19　小结　 第6章　故障处理　 6.1　故障　 6.1.1　拥抱故障　 6.1.2　至少不怕出现故障　 6.1.3　严禁模仿　 6.1.4　故障类型　 6.1.5　Hadoop节点故障　 6.2　实践环节：杀死DataNode进程　 6.3　实践环节：复制因子的作用　 6.4　实践环节：故意造成数据块丢失　 6.5　实践环节：杀死TaskTracker进程　 6.6　实践环节：杀死JobTracker　 6.7　实践环节：杀死NameNode进程　 6.8　实践环节：引发任务故障　 6.9　数据原因造成的任务故障　 6.10　实践环节：使用skip模式处理异常数据　 6.11　小结　 第7章　系统运行与维护　 7.1　关于EMR的说明　 7.2　Hadoop配置属性　 7.3　实践环节：浏览默认属性　 7.3.1　附加的属性元素　 7.3.2　默认存储位置　 7.3.3　设置Hadoop属性的几种方式　 7.4　集群设置　 7.4.1　为集群配备多少台主机　 7.4.2　特殊节点的需求　 7.4.3　不同类型的存储系统　 7.4.4　Hadoop的网络配置　 7.5　实践环节：查看默认的机柜配置　 7.6　实践环节：报告每台主机所在机柜　 7.7　集群访问控制　 7.8　实践环节：展示Hadoop的默认安全机制　 7.9　管理NameNode　 7.10　实践环节：为fsimage文件新增一个存储路径　 7.11　实践环节：迁移到新的NameNode主机　 7.12　管理HDFS　 7.12.1　数据写入位置　 7.12.2　使用平衡器　 7.13　MapReduce管理　 7.13.1　通过命令行管理作业　 7.13.2　作业优先级和作业调度　 7.14　实践环节：修改作业优先级并结束作业运行　 7.15　扩展集群规模　 7.15.1　提升本地Hadoop集群的计算能力　 7.15.2　提升EMR作业流的计算能力　 7.16　小结　 第8章　Hive：数据的关系视图　 8.1　Hive概述　 8.1.1　为什么使用Hive　 8.1.2　感谢Facebook　 8.2　设置Hive　 8.2.1　准备工作　 8.2.2　下载Hive　 8.3　实践环节：安装Hive　 8.4　使用Hive　 8.5　实践环节：创建UFO数据表　 8.6　实践环节：在表中插入数据　 8.7　实践环节：验证表　 8.8　实践环节：用正确的列分隔符重定义表　 8.9　实践环节：基于现有文件创建表　 8.10　实践环节：执行联结操作　 8.11　实践环节：使用视图　 8.12　实践环节：导出查询结果　 8.13　实践环节：制作UFO目击事件分区表　 8.13.1　分桶、归并和排序　 8.13.2　用户自定义函数　 8.14　实践环节：新增用户自定义函数　 8.14.1　是否进行预处理　 8.14.2　Hive和Pig的对比　 8.14.3　未提到的内容　 8.15　基于Amazon Web Services的Hive　 8.16　实践环节：在EMR上分析UFO数据　 8.16.1　在开发过程中使用交互式作业流　 8.16.2　与其他AWS产品的集成　 8.17　小结　 第9章　与关系数据库协同工作　 9.1　常见数据路径　 9.1.1　Hadoop用于存储档案　 9.1.2　使用Hadoop进行数据预处理　 9.1.3　使用Hadoop作为数据输入工具　 9.1.4　数据循环　 9.2　配置MySQL　 9.3　实践环节：安装并设置MySQL　 9.4　实践环节：配置MySQL允许远程连接　 9.5　实践环节：建立员工数据库　 9.6　把数据导入Hadoop　 9.6.1　使用MySQL工具手工导入　 9.6.2　在mapper中访问数据库　 9.6.3　更好的方法：使用Sqoop　 9.7　实践环节：下载并配置Sqoop　 9.8　实践环节：把MySQL的数据导入HDFS　 9.9　实践环节：把MySQL数据导出到Hive　 9.10　实践环节：有选择性的导入数据　 9.11　实践环节：使用数据类型映射　 9.12　实践环节：通过原始查询导入数据　 9.13　从Hadoop导出数据　 9.13.1　在reducer中把数据写入关系数据库　 9.13.2　利用reducer输出SQL数据文件　 9.13.3　仍是最好的方法　 9.14　实践环节：把Hadoop数据导入MySQL　 9.15　实践环节：把Hive数据导入MySQL　 9.16　实践环节：改进mapper并重新运行数据导出命令　 9.17　在AWS上使用Sqoop　 9.18　小结　 第10章　使用Flume收集数据　 10.1　关于AWS的说明　 10.2　无处不在的数据　 10.2.1　数据类别　 10.2.2　把网络流量导入Hadoop　 10.3　实践环节：把网络服务器数据导入Hadoop　 10.3.1　把文件导入Hadoop　 10.3.2　潜在的问题　 10.4　Apache Flume简介　 10.5　实践环节：安装并配置Flume　 10.6　实践环节：把网络流量存入日志文件　 10.7　实践环节：把日志输出到控制台　 10.8　实践环节：把命令的执行结果写入平面文件　 10.9　实践环节：把远程文件数据写入本地平面文件　 10.9.1　信源、信宿和信道　 10.9.2　Flume配置文件　 10.9.3　一切都以事件为核心　 10.10　实践环节：把网络数据写入HDFS　 10.11　实践环节：加入时间戳　 10.12　实践环节：多层Flume网络　 10.13　实践环节：把事件写入多个信宿　 10.13.1　选择器的类型　 10.13.2　信宿故障处理　 10.13.3　使用简单元件搭建复杂系统　 10.14　更高的视角　 10.14.1　数据的生命周期　 10.14.2　集结数据　 10.14.3　调度　 10.15　小结　 第11章　展望未来　 11.1　全书回顾　 11.2　即将到来的Hadoop变革　 11.3　其他版本的Hadoop软件包　 11.4　其他Apache项目　 11.4.1　HBase　 11.4.2　Oozie　 11.4.3　Whir　 11.4.4　Mahout　 11.4.5　MRUnit　 11.5　其他程序设计模式　 11.5.1　Pig　 11.5.2　Cascading　 11.6　AWS资源　 11.6.1　在EMR上使用HBase　 11.6.2　SimpleDB　 11.6.3　DynamoDB　 11.7　获取信息的渠道　 11.7.1　源代码　 11.7.2　邮件列表和论坛　 11.7.3　LinkedIn群组　 11.7.4　Hadoop用户群　 11.7.5　会议　 11.8　小结　 随堂测验答案　 资源截图：

资源名称：Apache Spark源码剖析 内容简介： 《Apache Spark源码剖析》以Spark 1.02版本源码为切入点，着力于探寻Spark所要解决的主要问题及其解决办法，通过一系列精心设计的小实验来分析每一步背后的处理逻辑。 《Apache Spark源码剖析》第3~5章详细介绍了Spark Core中作业的提交与执行，对容错处理也进行了详细分析，有助读者深刻把握Spark实现机理。第6~9章对Spark Lib库进行了初步的探索。在对源码有了一定的分析之后，读者可尽快掌握Spark技术。 《Apache Spark源码剖析》对于Spark应用开发人员及Spark集群管理人员都有极好的学习价值；对于那些想从源码学习而又不知如何入手的读者，也不失为一种借鉴。 资源目录： 第一部分Spark概述1 第1章初识Spark 3 1.1 大数据和Spark 3 1.1.1 大数据的由来4 1.1.2 大数据的分析4 1.1.3 Hadoop 5 1.1.4 Spark简介6 1.2 与Spark的第一次亲密接触7 1.2.1 环境准备7 1.2.2 下载安装Spark 8 1.2.3 Spark下的WordCount 8 第二部分Spark核心概念13 第2章Spark整体框架 15 2.1 编程模型15 2.1.1 RDD 17 2.1.2 Operation 17 2.2 运行框架18 2.2.1 作业提交18 2.2.2 集群的节点构成18 2.2.3 容错处理19 2.2.4 为什么是Scala 19 2.3 源码阅读环境准备19 2.3.1 源码下载及编译19 2.3.2 源码目录结构21 2.3.3 源码阅读工具21 2.3.4 本章小结22 第3章SparkContext初始化 23 3.1 spark-shell 23 3.2 SparkContext的初始化综述27 3.3 Spark Repl综述30 3.3.1 Scala Repl执行过程31 3.3.2 Spark Repl 32 第4章Spark作业提交 33 4.1 作业提交33 4.2 作业执行38 4.2.1 依赖性分析及Stage划分39 4.2.2 Actor Model和Akka 46 4.2.3 任务的创建和分发47 4.2.4 任务执行53 4.2.5 Checkpoint和Cache 62 4.2.6 WebUI和Metrics 62 4.3 存储机制71 4.3.1 Shuffle结果的写入和读取71 4.3.2 Memory Store 80 4.3.3 存储子模块启动过程分析81 4.3.4 数据写入过程分析82 4.3.5 数据读取过程分析84 4.3.6 TachyonStore 88 第5章部署方式分析 91 5.1 部署模型91 5.2 单机模式local 92 5.3 伪集群部署local-cluster 93 5.4 原生集群Standalone Cluster 95 5.4.1 启动Master 96 5.4.2 启动Worker 97 5.4.3 运行spark-shell 102 5.4.4 容错性分析106 5.5 Spark On YARN 112 5.5.1 YARN的编程模型112 5.5.2 YARN中的作业提交112 5.5.3 Spark On YARN实现详解113 5.5.4 SparkPi on YARN 122 第三部分Spark Lib 129 第6章Spark Streaming 131 6.1 Spark Streaming整体架构131 6.1.1 DStream 132 6.1.2 编程接口133 6.1.3 Streaming WordCount 134 6.2 Spark Streaming执行过程135 6.2.1 StreamingContext初始化过程136 6.2.2 数据接收141 6.2.3 数据处理146 6.2.4 BlockRDD 155 6.3 窗口操作158 6.4 容错性分析159 6.5 Spark Streaming vs. Storm 165 6.5.1 Storm简介165 6.5.2 Storm和Spark Streaming对比168 6.6 应用举例168 6.6.1 搭建Kafka Cluster 168 6.6.2 KafkaWordCount 169 第7章SQL 173 7.1 SQL语句的通用执行过程分析175 7.2 SQL On Spark的实现分析178 7.2.1 SqlParser 178 7.2.2 Analyzer 184 7.2.3 Optimizer 191 7.2.4 SparkPlan 192 7.3 Parquet 文件和JSON数据集196 7.4 Hive简介197 7.4.1 Hive 架构197 7.4.2 HiveQL On MapReduce执行过程分析199 7.5 HiveQL On Spark详解200 7.5.1 Hive On Spark环境搭建206 7.5.2 编译支持Hadoop 2.x的Spark 211 7.5.3 运行Hive On Spark测试用例213 第8章GraphX 215 8.1 GraphX简介215 8.1.1 主要特点216 8.1.2 版本演化216 8.1.3 应用场景217 8.2 分布式图计算处理技术介绍218 8.2.1 属性图218 8.2.2 图数据的存储与分割219 8.3 Pregel计算模型220 8.3.1 BSP 220 8.3.2 像顶点一样思考220 8.4 GraphX图计算框架实现分析223 8.4.1 基本概念223 8.4.2 图的加载与构建226 8.4.3 图数据存储与分割227 8.4.4 操作接口228 8.4.5 Pregel在GraphX中的源码实现230 8.5 PageRank 235 8.5.1 什么是PageRank 235 8.5.2 PageRank核心思想235 第9章MLLib 239 9.1 线性回归239 9.1.1 数据和估计240 9.1.2 线性回归参数求解方法240 9.1.3 正则化245 9.2 线性回归的代码实现246 9.2.1 简单示例246 9.2.2 入口函数train 247 9.2.3 最优化算法optimizer 249 9.2.4 权重更新update 256 9.2.5 结果预测predict 257 9.3 分类算法257 9.3.1 逻辑回归258 9.3.2 支持向量机260 9.4 拟牛顿法261 9.4.1 数学原理261 9.4.2 代码实现265 9.5 MLLib与其他应用模块间的整合268 第四部分附录271 附录A Spark源码调试 273 附录B 源码阅读技巧 283 资源截图：

资源名称：全数据时代的炼金师 内容简介： 从大数据对于现代社会的冲和影响、调查数据在社会决策中的地位演变、大数据崛起的过程以及所带来的社会影响和意义、数据融合的机制和力量、数据融合和共生的意义以及在现实社会中的应用、全数据模式及其社会意义和价值6个方面来行系统性的研究。探讨大数据和调查数据在现实社会中的妙用，便于人们全面认识各种类型数据的基本特征以及数据融合的作用和力量，提高人们对于数据利用的能力。 资源目录： 其他 内容提要 序一 序二 第一章 大数据的冲击 第一节 数据的起源与发展 一、从历史看数据 二、古人的智慧 三、托夫勒的预言 四、社会测量运动 五、人口与普查 六、大数据的啼声 第二节 科技的力量 一、迷人的二进制 二、从水库到数据库 三、互联网为王 第三节 大变革的时代 一、从大数据到大思维 二、获得“满意解” 三、走向平民化 小结 第二章 调查与数据 第一节 人口的学问 一、瘟疫的阴影 二、人口即战略 三、从云端到普及 四、人口与地理 第二节 学术与调查 一、学问的起源 二、争鸣与共享 三、本土化 第三节 商业与调查 一、走出象牙塔 二、洞察力 三、网络的催化 四、后发优势 小结 第三章 大数据与炼金术 第一节 公共大数据 一、一次意外的试验 二、游戏的名字叫数据 三、政府的推动 第二节 大数据与大范式 一、人体的秘密 二、一个乐观年代 三、大数据神话的诞生 第三节 大数据探微 一、因关联而不同 二、“化繁为简”的力量 三、神奇的惊叹号 小结 第四章 数据炼金策略 第一节 三大基本策略 一、新算法策略 二、多元化策略 三、替代化策略 第二节 策略与反应 一、以其矛攻其盾 二、小的也是美的 三、“盲点”的价值 四、华生的洞见 第三节 策略与应用 一、“垃圾进，垃圾出”？ 二、麦克纳马拉的困惑 三、埃德塞尔症 小结 第五章 数据炼金实践 第一节 数据与决策 一、数据超载的困惑 二、数据修炼 三、数据融合 四、数据的辩证法 第二节 数据仪表板 一、航空业的应用 二、数据的可视化 三、数据链管理 第三节 数据生态圈 一、数据共生 二、数据互生 三、数据重生 小结 第六章 全数据时代的炼金配方 第一节 突破“数据孤岛” 一、数据的开放 二、数据的共享 三、数据链接的力量 第二节 全数据模型 一、数据与阴阳 二、小数据的妙用 三、大数据的溢出 第三节 全数据红利 一、数据“烧烤” 二、数据突围 三、全数据中的大潮流 小结 参考文献 后记 资源截图：