资源搜

资源名称：Elasticsearch集成Hadoop最佳实践  资源截图：

资源名称：R语言高级程序设计 资源目录： 前言9 译者简介9 译者序10 中文版版权声明11 第一部分 基础知识12 1 介绍12 1.1 谁应该阅读本书？14 1.2 你在本书中能学到什么？15 1.3 元技术16 1.4 推荐阅读16 1.5 得到帮助17 1.6 鸣谢18 1.7 约定18 1.8 版权声明19 2 数据结构20 2.1 向量21 2.2 属性27 2.3 矩阵和数组33 2.4数据框 37 2.5答案 .41 取子集操作 43 3.1数据类型 .44 3.2取子集操作符 .52 3.3取子集与赋值 .57 3.4应用 .59 3.5答案 .70 词汇表 71 4.1基础 .71 4.2通用数据结构 .74 4.3统计学 75 4.4使用 R 语言工作 .76 4.5输入/输出 .77 编码风格指南 .79 5.1标识符和命名 .79 5.2语法 .81 5.3组织 .85 函R 语言高级程序设计3 6.1 函数的组成部分88 6.2 词法作用域90 6.3 所有的操作都是函数调用97 6.4 函数参数100 6.5 特殊调用110 6.6 返回值114 6.7 小测验答案120 7 面向对象指南121 7.1 基本类型123 7.2 S3124 7.3 S4134 7.4 引用类141 7.5 选择一种系统145 7.6 小测验答案146 8 环境147 8.1 环境基础148 8.2 在环境中进行递归156 8.3 函数环境159 8.4 把名字绑定到值上170数 .86 . . 第二部分 函数式编程 第三部分 编程语言层面的计算 第四部分 性能 . . 资源截图：

资源名称：企业大数据系统构建实战：技术、架构、实施与应用 内容简介： 本书分13章，分别从企业大数据战略定位、企业大数据落地实施和价值评估，以及大数据的变革与挑战这三大方面进行撰写，宏观上涵盖了企业战略决策和定位，微观上涵盖了大数据职能、思路、方法、流程、开发、应用、评估的整个环节。企业大数据的知识完整性也是本书的特色之一。 资源目录： 前言 第1章企业大数据战略定位 1 1.1宏观 1 1.2微观 4 1.2.1资源协同 5 1.2.2战略定位 6 1.2.3启动契机 7 1.2.4大数据历程 9 1.3本章小结 12 第2章企业大数据职能规划 13 2.1大数据组织架构体系 13 2.1.1大数据部门在企业中的角色 13 2.1.2常见的大数据职能及职责 17 2.2大数据职位构建体系 24 2.2.1基础平台类 24 2.2.2数据管理类 26 2.2.3技术研发类 27 2.2.4产品设计类 30 2.2.5数据挖掘类 32 2.2.6数据分析类 33 2.3大数据制度和流程规范 35 2.3.1制度和流程规范意义 35 2.3.2制度和流程规范内容 35 2.3.3制度和流程规范模板 42 2.4本章小结 44 第3章企业大数据解决方案 45 3.1企业大数据解决方案实现方式 45 3.1.1独立研发 45 3.1.2第三方解决方案 46 3.1.3联合开发 57 3.2如何选择解决方案 58 3.2.1外部环境分析 58 3.2.2内部环境分析 59 3.2.3需求规划分析 62 3.2.4解决方案特性分析 63 3.2.5解决方案费用评估 67 3.3本章小结 70 第4章企业大数据自主实施思路 71 4.1制定规划原则 71 4.1.1价值性 71 4.1.2实时性 72 4.1.3高效性 72 4.1.4安全性 72 4.1.5延展性 73 4.1.6全局性 74 4.2制定目标蓝图 75 4.3制定建设目标 76 4.4明确组织规划 78 4.4.1组织结构设计的作用 79 4.4.2组织结构设立的导向 79 4.4.3组织结构的最终设立 81 4.5设计技术方案 85 4.5.1大数据系统建设方案 85 4.5.2大数据系统与传统BI的融合方案 91 4.6制定人才规划 94 4.6.1指导思想 94 4.6.2规划原则 94 4.6.3核心内容 95 4.7投入产出评估 97 4.7.1数据投入与产出的内涵 97 4.7.2数据投入与产出的特征 98 4.7.3数据投入与产出的管理 99 4.8数据风险管理 105 4.8.1数据风险管理的概念 105 4.8.2数据风险管理的类型 106 4.8.3数据风险管理的原则 109 4.8.4数据风险管理与控制 110 4.9本章小结 114 第5章大数据技术介绍 115 5.1核心技术 115 5.1.1Hadoop生态 115 5.1.2NoSQL 142 5.1.3实时计算 150 5.1.4全文检索 160 5.2相关技术 204 5.2.1数据可视化 204 5.2.2数据缓存 220 5.2.3中间件 227 5.2.4关系型数据库 236 5.2.5数据ETL 245 5.3大数据算法库 250 5.4本章小结 276 第6章大数据架构设计 277 6.1大数据架构设计原则 277 6.2大数据核心架构要素 279 6.3大数据架构设计模式 284 6.4本章小结 289 第7章大数据技术开发 290 7.1数据采集 290 7.1.1批量采集 291 7.1.2增量采集 292 7.2数据存储 293 7.2.1HDFS文件存储引擎 294 7.2.2Hive数据存储引擎 295 7.2.3HBase列式存储引擎 295 7.2.4MySQL关系型数据存储引擎 296 7.3多维计算 296 7.4功能服务 299 7.5平台管理 301 7.5.1监控管理 301 7.5.2调度管理 302 7.5.3权限管理 304 7.6应用域 307 7.7本章小结 308 第8章大数据工作流 309 8.1数据源 310 8.1.1日志/文件 310 8.1.2数据库 310 8.1.3网络爬虫 311 8.1.4第三方API/合作 311 8.2数据处理 312 8.2.1数据质量校验 312 8.2.2清洗转换 316 8.2.3质量提升 320 8.2.4数据脱敏 321 8.2.5集成整合 323 8.3数据存储 324 8.3.1关系型数据库 324 8.3.2分布式文件系统 325 8.4数据计算 325 8.4.1三种数据计算时效性 325 8.4.2结构化数据计算 327 8.4.3半/非结构化数据计算 333 8.4.4深度挖掘学习 360 8.5数据应用 376 8.5.1辅助决策 376 8.5.2数据驱动 377 8.6数据质量管理 379 8.6.1数据质量建设的内涵 379 8.6.2影响数据质量的常见因素 380 8.6.3数据质量建设的框架 381 8.7本章小结 392 第9章企业大数据业务应用 393 9.1大数据应用场景概述 393 9.1.1场景商业目的分析 394 9.1.2场景数据来源分析 394 9.1.3场景数据难易分析 397 9.1.4场景应用举例 397 9.2用户画像 407 9.2.1业务应用背景 407 9.2.2主要实现过程 408 9.2.3关键应用场景 414 9.2.4应用价值提炼 415 9.2.5场景总结回顾 417 9.3个性化营销 419 9.3.1业务应用背景 419 9.3.2主要实现过程 421 9.3.3关键应用场景 424 9.3.4应用价值提炼 425 9.3.5场景总结回顾 426 9.4精准广告 427 9.4.1业务应用背景 427 9.4.2主要实现过程 429 9.4.3关键应用场景 438 9.4.4应用价值提炼 439 9.4.5场景总结回顾 440 9.5征信 441 9.5.1应用场景背景 441 9.5.2主要实现过程 442 9.5.3主要应用场景 447 9.5.4应用价值提炼 449 9.5.5场景总结回顾 449 9.6本章小结 450 第10章　企业大数据价值评估 451 10.1　资产价值 451 10.1.1　数据规模 451 10.1.2　数据价值度 452 10.1.3　数据鲜活性 454 10.1.4　数据关联维度 454 10.1.5　数据粒度 455 10.2　业务价值 455 10.2.1　用户体验提升 455 10.2.2　运营优化 457 10.2.3　销售贡献 460 10.2.4　供应链优化 461 10.3　本章小结 462 第11章　大数据的社会价值 463 11.1　民生价值 463 11.2　政务价值 465 11.3　产业价值 468 11.4　本章小结 470 第12章　大数据当前问题及挑战 471 12.1　数据挑战 471 12.2　安全挑战 472 12.3　价值挑战 474 12.4　认知挑战 475 12.5　技术挑战 478 12.6　人才挑战 480 12.7　本章小结 481 第13章　大数据未来趋势 482 13.1　价值资产化 482 13.2　产业生态化 487 13.3　主体社会化 490 13.4　应用智能化 491 13.5　本章小结 492 资源截图：

资源名称：征信与大数据  移动互联时代如何重塑“信用体系” 内容简介： 本书的主要内容分为征信商业模式和大数据在征信领域的应用两大部分。 随着近年来国内征信相关法规的出台，国内市场化的征信业开始起步，建设热情高涨，社会需求旺盛，资本市场热捧、大量互联网公司涌入。但是由于起步晚，国内金融、经济和法制环境配套并不完善，所以国内征信业发展过程虽然遇到空前的机会，但是目前还存在短时间内难以解决的瓶颈。相比而言，在欧美发达国家，征信有一百多年的历史，随着信息技术的发展，已经到了一定的专业高度。因此针对国内目前刚起步的市场化征信机构所面临的问题和挑战，本书剖析国外成熟的知名征信机构的发展历程，商业模式和未来趋势，提取对中国征信业建设的启示和有益的经验，希望能够给混乱而有蓬勃发展的中国市场化征信提供借鉴。 资源目录： 前言 // IX 绪论 // XI 第一篇 征信机构：市场经济的风险信息服务商 01 美国征信业的前世今生 美国征信业概述 // 005 美国个人征信发展史 // 006 美国个人征信体系的框架 // 010 征信的法律和监管 // 013 个人信用报告 // 015 发展中的美国征信业 // 019 02 益博睿：横跨欧美，全球最大 益博睿的发展历史 // 023 益博睿的商业模式 // 029 数据资源和分析能力 // 035 03 艾克飞：百年老店，技术领先 艾克飞的基本概况 // 039 艾克飞的历史 // 041 艾克飞商业模式分析 // 042 04 环联：家族企业，姗姗上市 环联概况与历史 // 053 环联的商业模式 // 058 环联的未来之路 // 066 05 服务垂直领域的专业性征信机构 专业征信机构概述 // 075 服务于不同的消费生活场景 // 078 代表性的专业征信机构 // 079 传统征信机构和专业征信机构交互 // 087 06 蓬勃发展的新兴征信服务公司 Credit karma 的互联网征信服务 // 095 Credit Karma 的商业模式分析 // 099 Credit Karma 的竞争对手 // 102 对中国个人征信业的启示 // 104 07 企业征信巨头邓白氏：诞生了四位美国总统 企业/ 商业征信 // 109 邓白氏基本概况 // 111 邓白氏发展历程 // 112 邓白氏的商业模式 // 116 邓白氏公司的业务保障——DUNSRight 数据质量管理流程 // 123 邓白氏在国内关于侵犯个人隐私的事件回顾 // 124 第二篇 信用评估：大数据技术的应用场景 08 全球个人征信机构的大数据征信技术 数据处理：匹配连接和下一代技术 // 135 数据挖掘和分析：释放大数据价值 // 137 数据服务：多元化产品与个性化良好体验的服务 // 139 09 信用评分60 年 信用评分：信用报告的数字化解读 // 146 信用评分的历史 // 147 信用评分的应用 // 151 信用评分的类型 // 154 信用评分模型的原理 // 157 信用评分的缺陷 // 159 10 国外信用评分新进展 信用评分最新趋势 // 167 可替代信用评分 // 169 11 一切数据皆信用的ZestFinance 背景知识 // 179 ZestFinance 简介 // 180 传统信用评估方法的缺陷 // 181 ZestFinance 的基本商业理念 // 185 ZestFinance 大数据信用评估的技术分析 // 188 ZestFinance 的最新动态 // 194 对中国征信业的启示 // 195 12 运用大数据做P2P 信用风险评估的Upstart 面向大学毕业生消费者服务的P2P // 201 商业模式：基于未来潜力的大数据信用评估 // 202 智能数据管理和分析技术 // 204 在线信贷的激烈竞争 // 206 对互联网金融的启示 // 207 13 扎根于新兴市场的EFL：看人品，放贷款 利用人品测试放贷款的故事 // 214 来自哈佛的高科技创业公司EFL // 215 EFL 进行信用评估的原理 // 217 对EFL 应用的讨论 // 220 类似的信用评估公司VisualDNA // 221 14 征信大数据对宏观金融决策的支持 宏观经济应用概述 // 227 担保圈风险简介 // 228 引入复杂网络技术分析我国担保圈问题 // 230 担保圈复杂网络技术分析的初步发现 // 233 担保圈风险管理的建议 // 242 征信大数据的进一步应用 // 243 15 电信大数据在征信领域中的应用研究 背景介绍 // 247 电信运营业务中的征信问题 // 248 电信大数据在金融征信中的应用 // 253 国内情况分析和政策建议 // 257 16 生物识别技术在征信领域的应用 基于生物特征的身份验证 // 261 指纹识别：乌干达的征信应用 // 263 声纹验证技术 // 264 声纹验证在征信领域的应用 // 266 声纹验证的机遇和挑战 // 268 第三编 征信模式：互联网时代的信息共享机制 17 全球个人征信业所面临的市场机遇 全球个人征信业的机遇 // 275 国内个人征信业的机遇 // 281 18 全球个人征信机构的挑战 信息安全和数据源 // 287 宏观经济形势和市场竞争 // 293 法律和监管的合规性 // 296 19 互联网时代的征信 征信应用岂止互联网金融 // 305 互联网经济下的征信 // 307 物联网中的征信问题 // 310 征信模式：互联网时代的信息共享机制 // 311 参考文献 // 313 资源截图：

资源名称：Spark核心技术与高级应用 内容简介： 本书共分为四大部分： 基础篇（1～10章）介绍了Spark的用途、扩展、安装、运行模式、程序开发、编程模型、工作原理，以及SparkSQL、SparkStreaming、MLlib、GraphX、Bagel等重要的扩展； 实战篇（11～14）讲解了搜索结果的排序、个性化推荐系统、日志分析系统、自然语言处理、数据挖掘等方面的案例； 高级篇（15～18）则讲解了Spark的调度管理、存储管理、监控管理、性能优化、最佳实践以及重点算法的解读； 扩展篇（19～20）讲解了Sparkjob-server和Tachyon。 资源目录： 前言 基础篇 第1章Spark简介2 第2章Spark部署和运行11 第3章Spark程序开发27 第4章编程模型44 第5章作业执行解析59 第6章SparkSQL与DataFrame73 第7章深入了解SparkStreaming97 第8章SparkMLlib与机器学习116 第9章GraphX图计算框架与应用148 第10章SparkR（RonSpark）167 实战篇 第11章大数据分析系统188 第12章系统资源分析平台200 第13章在Spark上训练LR模型215 第14章获取二级邻居关系图225 高级篇 第15章调度管理238 第16章存储管理254 第17章监控管理264 第18章性能调优273 第19章Spark—jobserver实践282 第20章SparkTachyon实战292 资源截图：

资源名称：图解Spark 核心技术与案例实战 内容简介： 《图解Spark：核心技术与案例实战》以Spark 2.0 版本为基础进行编写，全面介绍了Spark 核心及其生态圈组件技术。主要内容包括Spark 生态圈、实战环境搭建、编程模型和内部重要模块的分析，重点介绍了消息通信框架、作业调度、容错执行、监控管理、存储管理以及运行框架，同时还介绍了Spark 生态圈相关组件，包括Spark SQL 的即席查询、Spark Streaming 的实时流处理应用、MLbase/MLlib 的机器学习、GraphX 的图处理、SparkR 的数学计算和Alluxio 的分布式内存文件系统等。 《图解Spark：核心技术与案例实战》从Spark 核心技术进行深入分析，重要章节会结合源代码解读其实现原理，围绕着技术原理介绍了相关典型实例，读者通过这些实例可以更加深入地理解Spark 的运行机制。另外《图解Spark：核心技术与案例实战》还应用了大量的图表进行说明，让读者能够更加直观地理解Spark 相关原理。通过《图解Spark：核心技术与案例实战》，读者将能够很快地熟悉和掌握Spark 大数据分析计算的利器，在生产中解决实际问题。 资源目录： 第一篇 基础篇 第1章 Spark及其生态圈概述 1.1 Spark简介 1.1.1 什么是Spark 1.1.2 Spark与MapReduce比较 1.1.3 Spark的演进路线图 1.2 Spark生态系统 1.2.1 Spark Core 1.2.2 Spark Streaming 1.2.3 Spark SQL 1.2.4 BlinkDB 1.2.5 MLBase/MLlib 1.2.6 GraphX 1.2.7 SparkR 1.2.8 Alluxio 1.3 小结 第2章 搭建Spark实战环境 2.1 基础环境搭建 2.1.1 搭建集群样板机 2.1.2 配置集群环境 2.2 编译Spark源代码 2.2.1 配置Spark编译环境 2.2.2 使用Maven编译Spark 2.2.3 使用SBT编译Spark 2.2.4 生成Spark部署包 2.3 搭建Spark运行集群 2.3.1 修改配置文件 2.3.2 启动Spark 2.3.3 验证启动 2.3.4 第一个实例 2.4 搭建Spark实战开发环境 2.4.1 CentOS中部署IDEA 2.4.2 使用IDEA开发程序 2.4.3 使用IDEA阅读源代码 2.5 小结 第二篇 核心篇 第3章 Spark编程模型 3.1 RDD概述 3.1.1 背景 3.1.2 RDD简介 3.1.3 RDD的类型 3.2 RDD的实现 3.2.1 作业调度 3.2.2 解析器集成 3.2.3 内存管理 3.2.4 检查点支持 3.2.5 多用户管理 3.3 编程接口 3.3.1 RDD分区（Partitions） 3.3.2 RDD首选位置（PreferredLocations） 3.3.3 RDD依赖关系（Dependencies） 3.3.4 RDD分区计算（Iterator） 3.3.5 RDD分区函数（Partitioner） 3.4 创建操作 3.4.1 并行化集合创建操作 3.4.2 外部存储创建操作 3.5 转换操作 3.5.1 基础转换操作 3.5.2 键值转换操作 3.6 控制操作 3.7 行动操作 3.7.1 集合标量行动操作 3.7.2 存储行动操作 3.8 小结 第4章 Spark核心原理 4.1 消息通信原理 4.1.1 Spark消息通信架构 4.1.2 Spark启动消息通信 4.1.3 Spark运行时消息通信 4.2 作业执行原理 4.2.1 概述 4.2.2 提交作业 4.2.3 划分调度阶段 4.2.4 提交调度阶段 4.2.5 提交任务 4.2.6 执行任务 4.2.7 获取执行结果 4.3 调度算法 4.3.1 应用程序之间 4.3.2 作业及调度阶段之间 4.3.3 任务之间 4.4 容错及HA 4.4.1 Executor异常 4.4.2 Worker异常 4.4.3 Master异常 4.5 监控管理 4.5.1 UI监控 4.5.2 Metrics 4.5.3 REST 4.6 实例演示 4.6.1 计算年降水实例 4.6.2 HA配置实例 4.7 小结 第5章 Spark存储原理 5.1 存储分析 5.1.1 整体架构 5.1.2 存储级别 5.1.3 RDD存储调用 5.1.4 读数据过程 5.1.5 写数据过程 5.2 Shuffle分析 5.2.1 Shuffle简介 5.2.2 Shuffle的写操作 5.2.3 Shuffle的读操作 5.3 序列化和压缩 5.3.1 序列化 5.3.2 压缩 5.4 共享变量 5.4.1 广播变量 5.4.2 累加器 5.5 实例演示 5.6 小结 第6章 Spark运行架构 6.1 运行架构总体介绍 6.1.1 总体介绍 6.1.2 重要类介绍 6.2 本地（Local）运行模式 6.2.1 运行模式介绍 6.2.2 实现原理 6.3 伪分布（Local-Cluster）运行模式 6.3.1 运行模式介绍 6.3.2 实现原理 6.4 独立（Standalone）运行模式 6.4.1 运行模式介绍 6.4.2 实现原理 6.5 YARN运行模式 6.5.1 YARN运行框架 6.5.2 YARN-Client运行模式介绍 6.5.3 YARN-Client 运行模式实现原理 6.5.4 YARN-Cluster运行模式介绍 6.5.5 YARN-Cluster 运行模式实现原理 6.5.6 YARN-Client与YARN-Cluster对比 6.6 Mesos运行模式 6.6.1 Mesos介绍 6.6.2 粗粒度运行模式介绍 6.6.3 粗粒度实现原理 6.6.4 细粒度运行模式介绍 6.6.5 细粒度实现原理 6.6.6 Mesos粗粒度和Mesos细粒度对比 6.7 实例演示 6.7.1 独立运行模式实例 6.7.2 YARN-Client实例 6.7.3 YARN-Cluster实例 6.8 小结 第三篇 组件篇 第7章 Spark SQL 7.1 Spark SQL简介 7.1.1 Spark SQL发展历史 7.1.2 DataFrame/Dataset介绍 7.2 Spark SQL运行原理 7.2.1 通用SQL执行原理 7.2.2 SparkSQL运行架构 7.2.3 SQLContext运行原理分析 7.2.4 HiveContext介绍 7.3 使用Hive-Console 7.3.1 编译Hive-Console 7.3.2 查看执行计划 7.3.3 应用Hive-Console 7.4 使用SQLConsole 7.4.1 启动HDFS和Spark Shell 7.4.2 与RDD交互操作 7.4.3 读取JSON格式数据 7.4.4 读取Parquet格式数据 7.4.5 缓存演示 7.4.6 DSL演示 7.5 使用Spark SQL CLI 7.5.1 配置并启动Spark SQL CLI 7.5.2 实战Spark SQL CLI 7.6 使用Thrift Server 7.6.1 配置并启动Thrift Server 7.6.2 基本操作 7.6.3 交易数据实例 7.6.4 使用IDEA开发实例 7.7 实例演示 7.7.1 销售数据分类实例 7.7.2 网店销售数据统计 7.8 小结 第8章 Spark Streaming 8.1 Spark Streaming简介 8.1.1 术语定义 8.1.2 Spark Streaming特点 8.2 Spark Streaming编程模型 8.2.1 DStream的输入源 8.2.2 DStream的操作 8.3 Spark Streaming运行架构 8.3.1 运行架构 8.3.2 消息通信 8.3.3 Receiver分发 8.3.4 容错性 8.4 Spark Streaming运行原理 8.4.1 启动流处理引擎 8.4.2 接收及存储流数据 8.4.3 数据处理 8.5 实例演示 8.5.1 流数据模拟器 8.5.2 销售数据统计实例 8.5.3 Spark Streaming+Kafka实例 8.6 小结 第9章 Spark MLlib 9.1 Spark MLlib简介 9.1.1 Spark MLlib介绍 9.1.2 Spark MLlib数据类型 9.1.3 Spark MLlib基本统计方法 9.1.4 预言模型标记语言 9.2 线性模型 9.2.1 数学公式 9.2.2 线性回归 9.2.3 线性支持向量机 9.2.4 逻辑回归 9.2.5 线性最小二乘法、Lasso和岭回归 9.2.6 流式线性回归 9.3 决策树 9.4 决策模型组合 9.4.1 随机森林 9.4.2 梯度提升决策树 9.5 朴素贝叶斯 9.6 协同过滤 9.7 聚类 9.7.1 K-means 9.7.2 高斯混合 9.7.3 快速迭代聚类 9.7.4 LDA 9.7.5 二分K-means 9.7.6 流式K-means 9.8 降维 9.8.1 奇异值分解降维 9.8.2 主成分分析降维 9.9 特征提取和变换 9.9.1 词频—逆文档频率 9.9.2 词向量化工具 9.9.3 标准化 9.9.4 范数化 9.10 频繁模式挖掘 9.10.1 频繁模式增长 9.10.2 关联规则挖掘 9.10.3 PrefixSpan 9.11 实例演示 9.11.1 K-means聚类算法实例 9.11.2 手机短信分类实例 9.12 小结 第10章 Spark GraphX 10.1 GraphX介绍 10.1.1 图计算 10.1.2 GraphX介绍 10.1.3 发展历程 10.2 GraphX实现分析 10.2.1 GraphX图数据模型 10.2.2 GraphX图数据存储 10.2.3 GraphX图切分策略 10.2.4 GraphX图操作 10.3 实例演示 10.3.1 图例演示 10.3.2 社区发现演示 10.4 小结 第11章 SparkR 11.1 概述 11.1.1 R语言介绍 11.1.2 SparkR介绍 11.2 SparkR与DataFrame 11.2.1 DataFrames介绍 11.2.2 与DataFrame的相关操作 11.3 编译安装SparkR 11.3.1 编译安装R语言 11.3.2 安装SparkR运行环境 11.3.3 安装SparkR 11.3.4 启动并验证安装 11.4 实例演示 11.5 小结 第12章 Alluxio 12.1 Alluxio简介 12.1.1 Alluxio介绍 12.1.2 Alluxio系统架构 12.1.3 HDFS与Alluxio 12.2 Alluxio编译部署 12.2.1 编译Alluxio 12.2.2 单机部署Alluxio 12.2.3 集群模式部署Alluxio 12.3 Alluxio命令行使用 12.3.1 接口说明 12.3.2 接口操作示例 12.4 实例演示 12.4.1 启动环境 12.4.2 Alluxio上运行Spark 12.4.3 Alluxio上运行MapReduce 12.5 小结 资源截图：

资源名称：深度剖析Hadoop HDFS 内容简介： 《深度剖析Hadoop HDFS》基于Hadoop 2.7.1版本进行分析，全面描述了HDFS 2.X的核心技术与解决方案，书中描述了HDFS内存存储、异构存储等几大核心设计，包括源码细节层面的分析，对于HDFS中比较特殊的几个场景过程也做了细粒度的分析。还分享了作者在实际应用中的解决方案及扩展思路。阅读《深度剖析Hadoop HDFS》可以帮助读者从架构设计与功能实现角度了解HDFS 2.X，同时还能学习HDFS 2.X框架中优秀的设计思想、设计模式、Java语言技巧等。这些对于读者全面提高自己分布式技术水平有很大的帮助。《深度剖析Hadoop HDFS》分为三大部分：核心设计篇、细节实现篇、解决方案篇，“核心设计篇”包括HDFS的数据存储原理、HDFS的数据管理与策略选择机制、HDFS的新颖功能特性；“细节实现篇”包括HDFS的块处理、流量处理等细节，以及部分结构分析；“解决方案篇”包括HDFS的数据管理、HDFS的数据读写、HDFS的异常场景等。 资源目录： 前言 第一部分 核心设计篇 第1章 HDFS的数据存储2 1.1 HDFS内存存储2 1.1.1 HDFS内存存储原理2 1.1.2 Linux 虚拟内存盘4 1.1.3 HDFS的内存存储流程分析4 1.1.4 LAZY_PERSIST内存存储的使用14 1.2 HDFS异构存储15 1.2.1 异构存储类型16 1.2.2 异构存储原理17 1.2.3 块存储类型选择策略22 1.2.4 块存储策略集合24 1.2.5 块存储策略的调用27 1.2.6 HDFS异构存储策略的不足之处28 1.2.7 HDFS存储策略的使用30 1.3 小结31 第2章 HDFS的数据管理与策略选择32 2.1 HDFS缓存与缓存块32 2.1.1 HDFS物理层面缓存块33 2.1.2 缓存块的生命周期状态34 2.1.3 CacheBlock、UnCacheBlock场景触发36 2.1.4 CacheBlock、UnCacheBlock缓存块的确定38 2.1.5 系统持有的缓存块列表如何更新39 2.1.6 缓存块的使用40 2.1.7 HDFS缓存相关配置40 2.2 HDFS中心缓存管理42 2.2.1 HDFS缓存适用场景43 2.2.2 HDFS缓存的结构设计43 2.2.3 HDFS缓存管理机制分析45 2.2.4 HDFS中心缓存疑问点55 2.2.5 HDFS CacheAdmin命令使用56 2.3 HDFS快照管理58 2.3.1 快照概念59 2.3.2 HDFS中的快照相关命令59 2.3.3 HDFS内部的快照管理机制60 2.3.4 HDFS的快照使用71 2.4 HDFS副本放置策略72 2.4.1 副本放置策略概念与方法72 2.4.2 副本放置策略的有效前提73 2.4.3 默认副本放置策略的分析73 2.4.4 目标存储好坏的判断82 2.4.5 chooseTargets的调用83 2.4.6 BlockPlacementPolicyWithNodeGroup继承类84 2.4.7 副本放置策略的结果验证85 2.5 HDFS内部的认证机制85 2.5.1 BlockToken认证85 2.5.2 HDFS的Sasl认证91 2.5.3 BlockToken认证与HDFS的Sasl认证对比97 2.6 HDFS内部的磁盘目录服务98 2.6.1 HDFS的三大磁盘目录检测扫描服务98 2.6.2 DiskChecker：坏盘检测服务99 2.6.3 DirectoryScanner：目录扫描服务104 2.6.4 VolumeScanner：磁盘目录扫描服务110 2.7 小结116 第3章 HDFS的新颖功能特性117 3.1 HDFS视图文件系统：ViewFileSystem117 3.1.1 ViewFileSystem： 视图文件系统118 3.1.2 ViewFileSystem内部实现原理119 3.1.3 ViewFileSystem的使用125 3.2 HDFS的Web文件系统：WebHdfsFileSystem126 3.2.1 WebHdfsFileSystem的REST API操作127 3.2.2 WebHdfsFileSystem的流程调用129 3.2.3 WebHdfsFileSystem执行器调用130 3.2.4 WebHDFS的OAuth2认证133 3.2.5 WebHDFS的使用135 3.3 HDFS数据加密空间：Encryption zone136 3.3.1 Encryption zone原理介绍136 3.3.2 Encryption zone源码实现136 3.3.3 Encryption zone的使用144 3.4 HDFS纠删码技术145 3.4.1 纠删码概念145 3.4.2 纠删码技术的优劣势146 3.4.3 Hadoop纠删码概述147 3.4.4 纠删码技术在Hadoop中的实现148 3.5 HDFS对象存储：Ozone152 3.5.1 Ozone介绍153 3.5.2 Ozone的高层级设计154 3.5.3 Ozone的实现细节157 3.5.4 Ozone的使用157 3.6 小结158 第二部分 细节实现篇 第4章 HDFS的块处理160 4.1 HDFS块检查命令fsck160 4.1.1 fsck参数使用160 4.1.2 fsck过程调用161 4.1.3 fsck原理分析162 4.1.4 fsck使用场景171 4.2 HDFS如何检测并删除多余副本块171 4.2.1 多余副本块以及发生的场景172 4.2.2 OverReplication多余副本块处理172 4.2.3 多余副本块清除的场景调用177 4.3 HDFS数据块的汇报与处理179 4.3.1 块处理的五大类型179 4.3.2 toAdd：新添加的块181 4.3.3 toRemove：待移除的块184 4.3.4 toInvalidate：无效的块186 4.3.5 toCorrupt：损坏的块189 4.3.6 toUC：正在构建中的块191 4.4 小结193 第5章 HDFS的流量处理194 5.1 HDFS的内部限流194 5.1.1 数据的限流194 5.1.2 DataTransferThrottler限流原理196 5.1.3 数据流限流在Hadoop中的使用198 5.1.4 Hadoop限流优化点202 5.2 数据平衡204 5.2.1 Balancer和Dispatcher204 5.2.2 数据不平衡现象207 5.2.3 Balancer性能优化207 5.3 HDFS节点内数据平衡210 5.3.1 磁盘间数据不平衡现象及问题211 5.3.2 传统的磁盘间数据不平衡解决方案211 5.3.3 社区解决方案：DiskBalancer212 5.4 小结216 第6章 HDFS的部分结构分析217 6.1 HDFS镜像文件的解析与反解析217 6.1.1 HDFS的FsImage镜像文件218 6.1.2 FsImage的解析218 6.1.3 FsImage的反解析221 6.1.4 HDFS镜像文件的解析与反解析命令226 6.2 DataNode数据处理中心DataXceiver227 6.2.1 DataXceiver的定义和结构228 6.2.2 DataXceiver下游处理方法232 6.2.3 ShortCircuit232 6.2.4 DataXceiver的上游调用233 6.2.5 DataXceiver与DataXceiverServer234 6.3 HDFS邻近信息块：BlockInfoContiguous235 6.3.1 triplets对象数组236 6.3.2 BlockInfoContiguous的链表操作239 6.3.3 块迭代器BlockIterator244 6.4 小结246 第三部分 解决方案篇 第7章 HDFS的数据管理248 7.1 HDFS的读写限流方案248 7.1.1 限流方案实现要点以及可能造成的影响248 7.1.2 限流方案实现249 7.1.3 限流测试结果250 7.2 HDFS数据资源使用量分析以及趋势预测250 7.2.1 要获取哪些数据251 7.2.2 如何获取这些数据251 7.2.3 怎么用这些数据254 7.3 HDFS数据迁移解决方案257 7.3.1 数据迁移使用场景257 7.3.2 数据迁移要素考量258 7.3.3 HDFS数据迁移解决方案：DistCp259 7.3.4 DistCp优势特性260 7.3.5 Hadoop DistCp命令264 7.3.6 DistCp解决集群间数据迁移实例265 7.4 DataNode迁移方案265 7.4.1 迁移方案的目标266 7.4.2 DataNode更换主机名、ip地址时的迁移方案267 7.5 HDFS集群重命名方案268 7.6 HDFS的配置管理方案271 7.6.1 HDFS配置管理的问题271 7.6.2 现有配置管理工具272 7.6.3 运用Git来做配置管理272 7.7 小结273 第8章 HDFS的数据读写274 8.1 DataNode引用计数磁盘选择策略274 8.1.1 HDFS现有磁盘选择策略274 8.1.2 自定义磁盘选择策略279 8.2 Hadoop节点“慢磁盘”监控282 8.2.1 慢磁盘的定义以及如何发现282 8.2.2 慢磁盘监控284 8.3 小结287 第9章 HDFS的异常场景288 9.1 DataNode慢启动问题288 9.1.1 DataNode慢启动现象288 9.1.2 代码追踪分析290 9.1.3 参数可配置化改造293 9.2 Hadoop中止下线操作后大量剩余复制块问题295 9.2.1 节点下线操作的含义及问题295 9.2.2 死节点“复活”297 9.2.3 Decommission下线操作如何运作299 9.2.4 中止下线操作后移除残余副本块解决方案303 9.3 DFSOutputStream的DataStreamer线程泄漏问题306 9.3.1 DFSOutputStream写数据过程及周边相关类、变量306 9.3.2 DataStreamer数据流对象307 9.3.3 ResponseProcessor回复获取类311 9.3.4 DataStreamer与DFSOutputStream的关系313 9.3.5 Streamer线程泄漏问题316 9.4 小结319 附录 如何向开源社区提交自己的代码320 资源截图：

资源名称：大数据存储MongoDB实战指南 内容简介： MongoDB是一种面向文档的分布式数据库，可扩展，表结构自由，并且支持丰富的查询语句和数据类型。时至今日，MongoDB以其灵活的数据存储方式逐渐成为IT行业非常流行的一种非关系型数据库（NoSql）。 《大数据存储MongoDB实战指南》从学习与实践者的视角出发，本着通俗精简、注重实践、突出精髓的原则，精准剖析了MongoDB的诸多概念和要点。全书共分4个部分，分别从基础知识、深入理解MongoDB、监控与管理MongoDB和应用实践几个维度详细地介绍了MongoDB的特点及应用实例。 《大数据存储MongoDB实战指南》适合有海量数据存储需求的人员、数据库管理开发人员、数据挖掘与分析人员以及各类基于数据库的应用开发人员。读者将从书中获得诸多实用的知识和开发技巧。 资源目录： 第一部分基础知识 第1章大数据与云计算 1．1什么是大数据 1．2什么是云计算 1．3大数据与云计算 1．4什么是MongoDB 1．5大数据与MongoDB 1．6MongoDB特点 1．7安装MongoDB 1．8几个重要的进程介绍 1．8．1mongod进程 1．8．2mongo进程 1．8．3其他进程 1．9适合哪些业务 1．10小结 第2章查询语言系统 2．1查询选择器 2．2查询投射 2．3数组操作 2．4小结 第3章索引与查询优化 3．1索引 3．1．1单字段索引 3．1．2复合索引 3．1．3数组的多键索引 3．1．4索引管理 3．2查询优化 3．3小结 第4章增改删操作 4．1插入语句 4．2修改语句 4．3删除语句 4．4小结 第二部分深入理解MongoDB 第5章Journaling日志功能 5．1两个重要的存储视图 5．2Journaling工作原理 5．3小结 第6章聚集分析 6．1管道模式进行聚集 6．2MapReduce模式聚集 6．3简单聚集函数 6．4小结 第7章复制集 7．1复制集概述 7．2复制集工作机制 7．2．1数据同步 7．2．2故障转移 7．2．3写关注 7．2．4读参考 7．3小结 第8章分片集群 8．1分片部署架构 8．2分片工作机制 8．2．1使集合分片 8．2．2集群平衡器 8．2．3集群的写与读 8．2．4片键选择策略 8．3小结 第9章分布式文件存储系统 9．1小文件存储 9．2GridFS文件存储 9．3小结 第三部分监控与管理MongoDB 第10章管理与监控 10．1数据的导入导出 10．2备份与恢复 10．2．1单节点dump备份与恢复 10．2．2集群dump备份恢复策略 10．3监控 10．3．1数据库角度监控命令 10．3．2操作系统角度监控命令 10．3．3Web控制台监控 10．4小结 第11章权限控制 11．1权限控制API 11．1．1针对所有数据库的角色 11．1．2针对单个数据库的角色 11．2复制集与集群的权限控制 11．3小结 第四部分应用实践 第12章PHP驱动接口 12．1开发环境安装 12．2驱动介绍 12．3单实例上的增删改查 12．4几个重要的类、方法与参数 12．5复制集上的操作 12．6分片集群上的操作 12．7分布式小文件存取操作 12．8分布式大文件存取操作 12．9小结 第13章案例：高度可定制化的电商平台 13．1功能需求 13．2数据库表设计 13．3编写MongoDB_driver类 13．4CodeIgniter框架 13．4．1基本介绍 13．4．2下载与安装 13．4．3执行原理 13．4．4代码示范 13．5Bootstrap框架 13．6前台界面原型图 附录常见问题 资源截图：

资源名称：Spark MLlib机器学习:算法、源码及实战详解  内容简介： 《Spark MLlib机器学习：算法、源码及实战详解》以Spark 1.4.1版本源码为切入点，全面并且深入地解析Spark MLlib模块，着力于探索分布式机器学习的底层实现。 《Spark MLlib机器学习：算法、源码及实战详解》中本着循序渐进的原则，首先解析MLlib的底层实现基础：数据操作及矩阵向量计算操作，该部分是MLlib实现的基础；接着对各个机器学习算法的理论知识进行讲解，并且解析机器学习算法如何在MLlib中实现分布式计算；然后对MLlib源码进行详细的讲解；最后进行MLlib实例的讲解。相信通过《Spark MLlib机器学习：算法、源码及实战详解》的学习，读者可全面掌握Spark MLlib机器学习，能够进行MLlib实战、MLlib定制开发等。 《Spark MLlib机器学习：算法、源码及实战详解》适合大数据、Spark、数据挖掘领域的从业人员阅读，同时也为Spark开发者和大数据爱好者展现了分布式机器学习的原理和实现细节。 资源目录： 第一部分　Spark MLlib基础 第1章　Spark机器学习简介 2 1.1　机器学习介绍 2 1.2　Spark介绍 3 1.3　Spark MLlib介绍 4 第2章　Spark数据操作 6 2.1　Spark RDD操作 6 2.1.1　Spark RDD创建操作 6 2.1.2　Spark RDD转换操作 7 2.1.3　Spark RDD行动操作 14 2.2　MLlib Statistics统计操作 15 2.2.1　列统计汇总 15 2.2.2　相关系数 16 2.2.3　假设检验 18 2.3　MLlib数据格式 18 2.3.1　数据处理 18 2.3.2　生成样本 22 第3章　Spark MLlib矩阵向量 26 3.1　Breeze介绍 26 3.1.1　Breeze创建函数 27 3.1.2　Breeze元素访问及操作函数 29 3.1.3　Breeze数值计算函数 34 3.1.4　Breeze求和函数 35 3.1.5　Breeze布尔函数 36 3.1.6　Breeze线性代数函数 37 3.1.7　Breeze取整函数 39 3.1.8　Breeze常量函数 40 3.1.9　Breeze复数函数 40 3.1.10　Breeze三角函数 40 3.1.11　Breeze对数和指数函数 40 3.2　BLAS介绍 41 3.2.1　BLAS向量-向量运算 42 3.2.2　BLAS矩阵-向量运算 42 3.2.3　BLAS矩阵-矩阵运算 43 3.3　MLlib向量 43 3.3.1　MLlib向量介绍 43 3.3.2　MLlib Vector接口 44 3.3.3　MLlib DenseVector类 46 3.3.4　MLlib SparseVector类 49 3.3.5　MLlib Vectors伴生对象 50 3.4　MLlib矩阵 57 3.4.1　MLlib矩阵介绍 57 3.4.2　MLlib Matrix接口 57 3.4.3　MLlib DenseMatrix类 59 3.4.4　MLlib SparseMatrix类 64 3.4.5　MLlib Matrix伴生对象 71 3.5　MLlib BLAS 77 3.6　MLlib分布式矩阵 93 3.6.1　MLlib分布式矩阵介绍 93 3.6.2　行矩阵（RowMatrix） 94 3.6.3　行索引矩阵（IndexedRowMatrix） 96 3.6.4　坐标矩阵（CoordinateMatrix） 97 3.6.5　分块矩阵（BlockMatrix） 98 第二部分　Spark MLlib回归算法 第4章　Spark MLlib线性回归算法 102 4.1　线性回归算法 102 4.1.1　数学模型 102 4.1.2　最小二乘法 105 4.1.3　梯度下降算法 105 4.2　源码分析 106 4.2.1　建立线性回归 108 4.2.2　模型训练run方法 111 4.2.3　权重优化计算 114 4.2.4　线性回归模型 121 4.3　实例 123 4.3.1　训练数据 123 4.3.2　实例代码 123 第5章　Spark MLlib逻辑回归算法 126 5.1　逻辑回归算法 126 5.1.1　数学模型 126 5.1.2 梯度下降算法 128 5.1.3　正则化 129 5.2　源码分析 132 5.2.1　建立逻辑回归 134 5.2.2　模型训练run方法 137 5.2.3　权重优化计算 137 5.2.4　逻辑回归模型 144 5.3　实例 148 5.3.1　训练数据 148 5.3.2　实例代码 148 第6章　Spark MLlib保序回归算法 151 6.1　保序回归算法 151 6.1.1　数学模型 151 6.1.2　L2保序回归算法 153 6.2　源码分析 153 6.2.1　建立保序回归 154 6.2.2　模型训练run方法 156 6.2.3　并行PAV计算 156 6.2.4　PAV计算 157 6.2.5　保序回归模型 159 6.3　实例 164 6.3.1　训练数据 164 6.3.2　实例代码 164 第三部分　Spark MLlib分类算法 第7章　Spark MLlib贝叶斯分类算法 170 7.1　贝叶斯分类算法 170 7.1.1　贝叶斯定理 170 7.1.2　朴素贝叶斯分类 171 7.2　源码分析 173 7.2.1　建立贝叶斯分类 173 7.2.2　模型训练run方法 176 7.2.3　贝叶斯分类模型 179 7.3　实例 181 7.3.1　训练数据 181 7.3.2　实例代码 182 第8章　Spark MLlib SVM支持向量机算法 184 8.1　SVM支持向量机算法 184 8.1.1　数学模型 184 8.1.2　拉格朗日 186 8.2　源码分析 189 8.2.1　建立线性SVM分类 191 8.2.2　模型训练run方法 194 8.2.3　权重优化计算 194 8.2.4　线性SVM分类模型 196 8.3　实例 199 8.3.1　训练数据 199 8.3.2　实例代码 199 第9章　Spark MLlib决策树算法 202 9.1　决策树算法 202 9.1.1　决策树 202 9.1.2　特征选择 203 9.1.3　决策树生成 205 9.1.4　决策树生成实例 206 9.1.5　决策树的剪枝 208 9.2　源码分析 209 9.2.1　建立决策树 211 9.2.2　建立随机森林 216 9.2.3　建立元数据 220 9.2.4　查找特征的分裂及划分 223 9.2.5　查找最好的分裂顺序 228 9.2.6　决策树模型 231 9.3　实例 234 9.3.1　训练数据 234 9.3.2　实例代码 234 第四部分　Spark MLlib聚类算法 第10章　Spark MLlib KMeans聚类算法 238 10.1　KMeans聚类算法 238 10.1.1　KMeans算法 238 10.1.2　演示KMeans算法 239 10.1.3　初始化聚类中心点 239 10.2　源码分析 240 10.2.1　建立KMeans聚类 242 10.2.2　模型训练run方法 247 10.2.3　聚类中心点计算 248 10.2.4　中心点初始化 251 10.2.5　快速距离计算 254 10.2.6　KMeans聚类模型 255 10.3　实例 258 10.3.1　训练数据 258 10.3.2　实例代码 259 第11章　Spark MLlib LDA主题模型算法 261 11.1　LDA主题模型算法 261 11.1.1　LDA概述 261 11.1.2　LDA概率统计基础 262 11.1.3　LDA数学模型 264 11.2　GraphX基础 267 11.3　源码分析 270 11.3.1　建立LDA主题模型 272 11.3.2　优化计算 279 11.3.3　LDA模型 283 11.4　实例 288 11.4.1　训练数据 288 11.4.2　实例代码 288 第五部分　Spark MLlib关联规则挖掘算法 第12章　Spark MLlib FPGrowth关联规则算法 292 12.1　FPGrowth关联规则算法 292 12.1.1　基本概念 292 12.1.2　FPGrowth算法 293 12.1.3　演示FP树构建 294 12.1.4　演示FP树挖掘 296 12.2　源码分析 298 12.2.1　FPGrowth类 298 12.2.2　关联规则挖掘 300 12.2.3　FPTree类 303 12.2.4　FPGrowthModel类 306 12.3　实例 306 12.3.1　训练数据 306 12.3.2　实例代码 306 第六部分　Spark MLlib推荐算法 第13章　Spark MLlib ALS交替最小二乘算法 310 13.1　ALS交替最小二乘算法 310 13.2　源码分析 312 13.2.1　建立ALS 314 13.2.2　矩阵分解计算 322 13.2.3　ALS模型 329 13.3　实例 334 13.3.1　训练数据 334 13.3.2　实例代码 334 第14章　Spark MLlib协同过滤推荐算法 337 14.1　协同过滤推荐算法 337 14.1.1　协同过滤推荐概述 337 14.1.2　用户评分 338 14.1.3　相似度计算 338 14.1.4　推荐计算 340 14.2　协同推荐算法实现 341 14.2.1　相似度计算 344 14.2.2　协同推荐计算 348 14.3　实例 350 14.3.1　训练数据 350 14.3.2　实例代码 350 第七部分　Spark MLlib神经网络算法 第15章　Spark MLlib神经网络算法综述 354 15.1　人工神经网络算法 354 15.1.1　神经元 354 15.1.2　神经网络模型 355 15.1.3 信号前向传播 356 15.1.4　误差反向传播 357 15.1.5　其他参数 360 15.2　神经网络算法实现 361 15.2.1　神经网络类 363 15.2.2　训练准备 370 15.2.3　前向传播 375 15.2.4　误差反向传播 377 15.2.5　权重更新 381 15.2.6　ANN模型 382 15.3　实例 384 15.3.1　测试数据 384 15.3.2　测试函数代码 387 15.3.3　实例代码 388 资源截图：

资源名称：大数据分析：方法与应用 内容简介： 本书介绍数据挖掘、统计学习和模式识别中与大数据分析相关的理论、方法及工具。理论学习的目标是使学生掌握复杂数据的分析与建模；方法学习的目标是使学生能够按照实证研究的规范和数据挖掘的步骤进行大数据研发，工具学习的目标是使学生熟练掌握一种数据分析的语言。本书内容由 10章构成：大数据分析概述，数据挖掘流程，有指导的学习，无指导的学习，贝叶斯分类和因果学习，高维回归及变量选择，图模型，客户关系管理、社会网络分析、自然语言模型和文本挖掘。 本书可用做统计学、管理学、计算机科学等专业进行数据挖掘、机器学习、人工智能等相关课程的本科高年级、研究生教材或教学参考书。 资源截图：