资源搜

资源名称：Hadoop集群与安全 内容简介： Hadoop自动化安装和配置的问题在于隐藏了许多Hadoop组件协同工作的重要细节，本书介绍如何手动安装和配置主要的Hadoop组件，以便高效使用Hadoop平台。通过设置一个完全可运行的集群，可对Hadoop内部的运行机制产生更深入的了解，并且有助于你调试任何可能发生的问题。本书还介绍了保障基于Hadoop的大数据平台安全的实现方案和最佳实践，覆盖Kerberos安全协议和Hadoop安全机制的设计，并包括在企业内部来确保Hadoop及其生态系统相关组件安全的详细方案。 资源目录： 第1章 导言 1.1 研究日本大众传播学发展脉络的现实背景 1.2 本书的写作视角 1.3 学界对日本大众传播学研究的现状分析 1.4 日本大众传播学研究发展脉络的研究方法 第2章 社会因素对大众传播学研究体系的影响 2.1 思想层面的要因 2.2 日本民族特征对学术研究的影响 第3章 日本大众传播学研究的发展历程 3.1 前大众传播学研究时期的新闻学研究（1929~1948） 3.2 大众传播研究时期（1949~1990） 3.3 社会信息学研究时期（1991~2003） 3.4 信息研究的学科融合时期（2004至今） 第4章 日本大众传播学理论研究的特征 4.1 日本大众传播学研究的理论源流 4.2 社会心理学取向的研究 4.3 大众社会论取向的研究 4.4 马克思主义取向的研究 第5章 扎根于日本社会的大众传播学研究——以灾害信息学研究为例 5.1 灾害信息学研究的开端 5.2 日本灾害信息学研究的历史脉络 5.3 日本灾害信息学研究的主要课题 5.4 灾害信息学的研究现状 第6章 日本大众传播学研究的特征及其存在问题 6.1 日本大众传播学研究的特征 6.2 日本大众传播学研究的问题 第7章 日本大众传播学研究给中国的启示 7.1 中国传播学研究中的问题 7.2 日本对中国传播学研究的启迪 7.3 结语 参考文献 后记 资源截图：

资源名称：Spark内核设计的艺术架构设计与实现 内容简介： 本书赞誉 前言 第1章　环境准备 ········································1 1.1　运行环境准备 ···········································2 1.1.1　安装JDK ·········································2 1.1.2　安装Scala ········································2 1.1.3　安装Spark ·······································3 1.2　Spark初体验 ···································4 1.2.1　运行spark-shell ·······························4 1.2.2　执行word count ······························5 1.2.3　剖析spark-shell ·······························9 1.3　阅读环境准备 ·········································14 1.3.1　安装SBT ·······································15 1.3.2　安装Git ·········································15 1.3.3　安装Eclipse Scala IDE插件 ········15 1.4　Spark源码编译与调试 ·························17 1.5　小结 ···························23 第2章　设计理念与基本架构 ···············24 2.1　初识Spark ··································25 2.1.1　Hadoop MRv1的局限···················25 2.1.2　Spark的特点 ·································26 2.1.3 Spark使用场景 ·····························28 2.2　Spark基础知识 ······································29 2.3　Spark基本设计思想 ·····························31 2.3.1　Spark模块设计 ·····························32 2.3.2　Spark模型设计 ·····························34 2.4　Spark基本架构 ···································36 2.5　小结 ·································38 第3章　Spark基础设施 ·························39 3.1　Spark配置 ········································40 3.1.1　系统属性中的配置 ·······················40 3.1.2　使用SparkConf配置的API ·········41 3.1.3　克隆SparkConf配置 ····················42 3.2　Spark内置RPC框架 ····························42 3.2.1　RPC配置TransportConf ··············45 3.2.2　RPC客户端工厂Transport- ClientFactory ·······················47 3.2.3　RPC服务端TransportServer ········53 3.2.4　管道初始化 ···································56 3.2.5　TransportChannelHandler详解 ·····57 3.2.6　服务端RpcHandler详解 ··············63 3.2.7　服务端引导程序Transport-ServerBootstrap ·····················68 3.2.8　客户端TransportClient详解 ········71 3.3　事件总线 ····································78 3.3.1　ListenerBus的继承体系 ···············79 3.3.2　SparkListenerBus详解 ··················80 3.3.3　LiveListenerBus详解 ····················83 3.4　度量系统 ···········································87 3.4.1　Source继承体系 ···························87 3.4.2　Sink继承体系 ·······························89 3.5　小结 ·········································92 第4章　SparkContext的初始化 ·········93 4.1　SparkContext概述 ·································94 4.2　创建Spark环境 ·····································97 4.3　SparkUI的实现 ····································100 4.3.1　SparkUI概述 ·······························100 4.3.2　WebUI框架体系 ·························102 4.3.3　创建SparkUI ·······························107 4.4　创建心跳接收器 ··································111 4.5　创建和启动调度系统··························112 4.6　初始化块管理器BlockManager ·······114 4.7　启动度量系统 ·······························114 4.8　创建事件日志监听器··························115 4.9　创建和启动ExecutorAllocation-Manager ··························116 4.10　ContextCleaner的创建与启动 ········120 4.10.1　创建ContextCleaner ·················120 4.10.2　启动ContextCleaner ·················120 4.11　额外的SparkListener与启动事件总线 ··························122 4.12　Spark环境更新 ··································123 4.13　SparkContext初始化的收尾 ···········127 4.14　SparkContext提供的常用方法 ·······128 4.15　SparkContext的伴生对象················130 4.16　小结 ····································131 第5章　Spark执行环境 ························132 5.1　SparkEnv概述 ·································133 5.2　安全管理器SecurityManager ············133 5.3　RPC环境 ·········································135 5.3.1　RPC端点RpcEndpoint ···············136 5.3.2　RPC端点引用RpcEndpointRef ···139 5.3.3　创建传输上下文TransportConf ···142 5.3.4　消息调度器Dispatcher ···············142 5.3.5　创建传输上下文Transport-Context ·························154 5.3.6　创建传输客户端工厂Transport-ClientFactory ····················159 5.3.7　创建TransportServer ···················160 5.3.8　客户端请求发送 ·························162 5.3.9　NettyRpcEnv中的常用方法 ·······173 5.4　序列化管理器SerializerManager ·····175 5.5　广播管理器BroadcastManager ·········178 5.6　map任务输出跟踪器 ··························185 5.6.1　MapOutputTracker的实现 ··········187 5.6.2　MapOutputTrackerMaster的实现原理 ·······················191 5.7　构建存储体系 ·······································199 5.8　创建度量系统 ·······································201 5.8.1　MetricsCon?g详解 ·····················203 5.8.2　MetricsSystem中的常用方法 ····207 5.8.3　启动MetricsSystem ····················209 5.9　输出提交协调器 ··································211 5.9.1　OutputCommitCoordinator-Endpoint的实现 ··················211 5.9.2　OutputCommitCoordinator的实现 ··························212 5.9.3　OutputCommitCoordinator的工作原理 ························216 5.10　创建SparkEnv ····································217 5.11　小结 ·····································217 第6章　存储体系 ·····································219 6.1　存储体系概述 ·······································220 6.1.1　存储体系架构 ·····························220 6.1.2　基本概念 ·····································222 6.2　Block信息管理器 ································227 6.2.1　Block锁的基本概念 ···················227 6.2.2　Block锁的实现 ···························229 6.3　磁盘Block管理器 ······························234 6.3.1　本地目录结构 ·····························234 6.3.2　DiskBlockManager提供的方法 ···························236 6.4　磁盘存储DiskStore ·····························239 6.5　内存管理器 ·····································242 6.5.1　内存池模型 ·································243 6.5.2　StorageMemoryPool详解 ···········244 6.5.3　MemoryManager模型 ················247 6.5.4　Uni?edMemoryManager详解 ····250 6.6　内存存储MemoryStore ······················252 6.6.1　MemoryStore的内存模型 ··········253 6.6.2　MemoryStore提供的方法 ··········255 6.7　块管理器BlockManager ····················265 6.7.1　BlockManager的初始化 ·············265 6.7.2　BlockManager提供的方法 ·········266 6.8　BlockManagerMaster对Block-Manager的管理 ·················285 6.8.1　BlockManagerMaster的职责 ······285 6.8.2　BlockManagerMasterEndpoint详解 ·································286 6.8.3　BlockManagerSlaveEndpoint详解 ·····························289 6.9　Block传输服务 ····································290 6.9.1　初始化NettyBlockTransfer-Service ···························291 6.9.2　NettyBlockRpcServer详解 ·········292 6.9.3　Shuf?e客户端 ·····························296 6.10　DiskBlockObjectWriter详解 ···········305 6.11　小结 ·······································308 第7章　调度系统 ·····································309 7.1　调度系统概述 ·······································310 7.2　RDD详解 ·····································312 7.2.1　为什么需要RDD ························312 7.2.2　RDD实现的初次分析 ················313 7.2.3　RDD依赖 ····································316 7.2.4　分区计算器Partitioner················318 7.2.5　RDDInfo ······································320 7.3　Stage详解 ········································321 7.3.1　ResultStage的实现 ·····················322 7.3.2　Shuf?eMapStage的实现 ·············323 7.3.3　StageInfo ······································324 7.4　面向DAG的调度器DAGScheduler ···326 7.4.1　JobListener与JobWaiter ·············326 7.4.2　ActiveJob详解 ····························328 7.4.3　DAGSchedulerEventProcessLoop的简要介绍 ·······················328 7.4.4　DAGScheduler的组成 ················329 7.4.5　DAGScheduler提供的常用方法 ···330 7.4.6　DAGScheduler与Job的提交 ····334 7.4.7　构建Stage····································337 7.4.8　提交ResultStage ························341 7.4.9　提交还未计算的Task ·················343 7.4.10　DAGScheduler的调度流程 ······347 7.4.11　Task执行结果的处理 ··············348 7.5　调度池Pool ······································351 7.5.1　调度算法 ·······························352 7.5.2　Pool的实现 ·································354 7.5.3　调度池构建器 ·····························357 7.6　任务集合管理器TaskSetManager ···363 7.6.1　Task集合 ·····································363 7.6.2　TaskSetManager的成员属性 ······364 7.6.3　调度池与推断执行 ·····················366 7.6.4　Task本地性 ·································370 7.6.5　TaskSetManager的常用方法 ······373 7.7　运行器后端接口LauncherBackend ···383 7.7.1　BackendConnection的实现 ········384 7.7.2　LauncherBackend的实现 ···········386 7.8　调度后端接口SchedulerBackend ····389 7.8.1　SchedulerBackend的定义 ··········389 7.8.2　LocalSchedulerBackend的实现分析 ································390 7.9　任务结果获取器TaskResultGetter ···394 7.9.1　处理成功的Task ·························394 7.9.2　处理失败的Task ·························396 7.10　任务调度器TaskScheduler ··············397 7.10.1　TaskSchedulerImpl的属性 ·····397 7.10.2　TaskSchedulerImpl的初始化 ···399 7.10.3　TaskSchedulerImpl的启动 ·····399 7.10.4　TaskSchedulerImpl与Task的提交 ·······················400 7.10.5　TaskSchedulerImpl与资源分配 ···························402 7.10.6　TaskSchedulerImpl的调度流程 ······························405 7.10.7　TaskSchedulerImpl对执行结果的处理 ·····························406 7.10.8　TaskSchedulerImpl的常用方法 ···409 7.11　小结 ·······································412 第8章　计算引擎 ·····································413 第9章　部署模式 ········································520 第10章　Spark API ································647 资源截图：

资源名称：大数据 技术与应用实践指南 第2版 内容简介： 大数据是互联网、移动应用、社交网络和物联网等技术发展的必然趋势，大数据应用成为当前最为热门的信息技术应用领域。《大数据：技术与应用实践指南（第2版）》由浅入深，首先概述性地分析了大数据的发展背景、基本概念，从业务的角度分析了大数据应用的主要业务价值和业务需求，在此基础上介绍大数据的技术架构和关键技术，结合应用实践，详细阐述了传统信息系统与大数据平台的整合策略，大数据应用实践的流程和方法，并介绍了主要的大数据应用产品和解决方案。最后，对大数据面临的挑战和未来的趋势进行了展望。 《大数据：技术与应用实践指南（第2版）》既具有技术深度，又具有很强的可操作性，提供了一个系统性、架构性的大数据应用实践指南，纲要性地指导大数据应用实践，推动大数据技术在各个行业的广泛应用。 资源目录： 第1章 大数据的概念和发展背景 1 1.1 大数据的发展背景 1 1.2 大数据的概念和特征 4 1.2.1 大数据的概念 4 1.2.2 大数据的特征 4 1.3 大数据的产生 5 1.3.1 数据产生由企业内部向企业外部扩展 5 1.3.2 数据产生从Web 1.0向Web 2.0、从互联网向移动互联网扩展 6 1.3.3 数据产生从计算机/互联网（IT）向物联网（IOT）扩展 7 1.4 数据的量级 7 1.4.1 数据大小的量级 7 1.4.2 大数据的量级 8 1.5 大量不同的数据类型 8 1.5.1 按照数据结构分类 9 1.5.2 按照产生主体分类 12 1.5.3 按照数据作用方式分类 13 1.6 大数据的速度 14 1.7 大数据的应用价值 14 1.8 大数据的挑战 15 1.8.1 业务视角不同带来的挑战 15 1.8.2 技术架构不同带来的挑战 15 1.8.3 管理策略不同带来的挑战 16 第2章 大数据应用的业务需求 17 2.1 大数据应用的业务流程 17 2.1.1 产生数据 18 2.1.2 聚集数据 18 2.1.3 分析数据 19 2.1.4 利用数据 19 2.2 大数据应用的业务价值 19 2.2.1 发现大数据的潜在价值 20 2.2.2 发现动态行为数据的价值 20 2.2.3 实现大数据整合创新的价值 20 2.3 各行业大数据应用的个性需求 21 2.3.1 互联网与电子商务行业 21 2.3.2 零售业 26 2.3.3 金融业 28 2.3.4 政府 31 2.3.5 医疗业 34 2.3.6 能源业 35 2.3.7 制造业 37 2.3.8 电信运营业 38 2.3.9 交通业 40 2.4 企业级大数据应用的共性需求 42 2.4.1 客户分析 42 2.4.2 绩效分析 46 2.4.3 欺诈和风险评估 47 2.5 以银行客户分析为例，分析一个大数据的应用场景 48 第3章 大数据应用的总体架构和关键技术 51 3.1 总体架构 51 3.1.1 业务目标 51 3.1.2 架构设计原则 52 3.1.3 总体架构参考模型 55 3.1.4 总体架构的特点 58 3.2 大数据存储和处理技术 59 3.2.1 Hadoop：分布式存储和计算平台 59 3.2.2 HDFS：分布式文件系统 65 3.2.3 MapReduce：分布式计算框架 72 3.2.4 NoSQL：分布式数据库 98 3.2.5 MPP：大规模并行处理系统 113 3.2.6 Spark：轻量级的分布式内存计算系统 117 3.2.7 S4和Storm：流计算框架 126 3.2.8 大数据存储和处理技术的比较分析 132 3.3 大数据查询和分析技术 133 3.3.1 Hive：基本的Hadoop查询和分析 134 3.3.2 Hive 2.0：Hive的优化和升级 144 3.3.3 实时互动的SQL：Impala和drill 147 3.3.4 基于PostgreSQL的SQL on Hadoop 153 3.4 大数据高级分析和可视化技术 154 3.4.1 传统数据仓库与联机分析处理技术 154 3.4.2 大数据对传统分析的挑战 157 3.4.3 大数据挖掘与高级分析 157 3.4.4 大数据挖掘与高级分析库 162 3.4.5 非结构化复杂数据分析 163 3.4.6 实时预测分析 170 3.4.7 开源可视化工具：R语言 177 3.4.8 可视化技术 185 3.5 以银行客户分析为例的大数据应用体系架构 194 第4章 大数据与企业级应用的整合策略 196 4.1 大数据传输、接入、整合和流程管理平台 197 4.1.1 数据传输 197 4.1.2 数据接入 203 4.1.3 数据整合 207 4.1.4 流程管理 208 4.2 大数据与存储架构的整合 212 4.2.1 传统存储架构比较 212 4.2.2 大数据平台的存储架构的选择 214 4.2.3 集群存储的发展 214 4.2.4 基于HDFS的集群存储 216 4.2.5 固态硬盘（SSD）对内存计算的支持 218 4.2.6 软件定义存储（SDS） 218 4.2.7 超融合架构（HCI） 220 4.3 大数据与网络架构的发展 220 4.3.1 统一的以太网结构 222 4.3.2 软件定义网络（SDN） 223 4.3.3 网络功能虚拟化（NFV） 226 4.4 大数据与虚拟化技术的整合 228 4.5 大数据与Docker技术 230 4.5.1 Docker概述 230 4.5.2 Docker原理与总体架构 231 4.5.3 Docker与应用程序开发与管理 237 4.6 大数据与云计算 240 4.7 大数据安全 242 4.8 以银行客户分析为例，分析一个大数据的平台整合 244 第5章 大数据应用的实践方法与案例 246 5.1 实践方法论 246 5.1.1 业务需求定义 247 5.1.2 数据应用现状分析与标杆比较 248 5.1.3 大数据应用架构规划和设计 249 5.1.4 大数据技术切入与实施 250 5.1.5 大数据试用和评估 251 5.1.6 大数据应用推广 252 5.2 技术应用案例 252 5.2.1 Amazon和Google 252 5.2.2 Yahoo 255 5.2.3 Amazon 257 5.2.4 Facebook 259 5.2.5 Twitter 263 5.2.6 淘宝网 264 5.3 以银行客户分析为例的实施案例分析 266 5.3.1 银行基于大数据的客户分析的业务需求 266 5.3.2 银行基于大数据的客户分析的现状与标杆比较 267 5.3.3 银行基于大数据的客户分析的应用架构规划与设计 269 5.3.4 银行基于大数据的数据分析的实施、试点和推广 269 第6章 大数据应用的主流解决方案 270 6.1 产业链 270 6.1.1 国际大数据产业生态 270 6.1.2 国内大数据产业生态 273 6.2 主流厂商解决方案 274 6.2.1 Cloundera 275 6.2.2 Hortonworks 276 6.2.3 MapR 277 6.2.4 IBM 278 6.2.5 Oracle 280 6.2.6 EMC 281 6.2.7 Intel 282 6.2.8 SAP 283 6.2.9 Teradata 285 第7章 大数据应用的未来挑战和趋势 286 7.1 隐私保护 286 7.1.1 法律保护 287 7.1.2 技术保护 289 7.1.3 理念革新 290 7.2 技术标准 291 7.2.1 ISO大数据标准化进展 291 7.2.2 大数据基准和基准测试 293 7.2.3 大数据处理分析标准套件 296 7.3 大数据治理 296 7.3.1 数据治理框架 297 7.3.2 数据质量管理 298 7.3.3 大数据的组织、角色和责任 299 7.4 适应商业社会的未来趋势 300 7.4.1 从产品推销向数据营销的转变 300 7.4.2 从流程驱动到分析驱动的转变 300 7.4.3 从私有资源到公共服务的转变 301 资源截图：

资源名称：R与Hadoop大数据分析实战 内容简介： 本书全面而系统地讲解了如何将R语言与Hadoop技术结合并应用于大数据分析，不仅系统且深入地阐释了R与Hadoop集成技术的工具、方法、原则和最佳实践，而且通过大量实践案例深入剖析各种常见问题，能为用户高效利用R语言与Hadoop技术进行大数据处理提供翔实指导。 全书分为四部分，共7章：第一部分（第1~2章）是基础知识，主要讲解R语言以及Hadoop的安装过程、计算原理和基本概念；第二部分（第3~4章）是初级应用，主要讲解RHIPE、RHadoop和streaming三种实现方案；第三部分（第5~6章）是高级实例，主要以RHadoop为技术背景，讲解多个实际应用案例；第四部分（第7章）介绍数据库连接，主要讲解在RHadoop下如何与各类数据库进行连接。 资源目录： 译者序 前言 审校者简介 致谢 第1章　R和Hadoop入门 1 1.1　安装R 2 1.2　安装RStudio 3 1.3　R语言的功能特征 3 1.3.1　使用R程序包 3 1.3.2　执行数据操作 3 1.3.3　日渐增多的社区支持 4 1.3.4　R语言数据建模 4 1.4　Hadoop的安装 5 1.4.1　不同的Hadoop模式 6 1.4.2　Hadoop的安装步骤 6 1.5　Hadoop的特点 12 1.5.1　HDFS简介 13 1.5.2　MapReduce简介 13 1.6　HDFS和MapReduce架构 14 1.6.1　HDFS架构 14 1.6.2　MapReduce架构 15 1.6.3　通过图示了解HDFS和MapReduce架构 15 1.7　Hadoop的子项目 16 1.8　小结 19 第2章　编写Hadoop MapReduce程序 20 2.1　MapReduce基础概念 20 2.2　Hadoop MapReduce技术简介 22 2.2.1　MapReduce中包含的实体 22 2.2.2　MapReduce中的主要执行进程 23 2.2.3　MapReduce的局限 25 2.2.4　MapReduce 可以解决的问题 26 2.2.5　使用Hadoop编程时用到不同的Java概念 26 2.3　Hadoop MapReduce原理 27 2.3.1　MapReduce对象 27 2.3.2　MapReduce中实现Map阶段的执行单元数目 28 2.3.3　MapReduce中实现Reduce阶段的执行单元数目 28 2.3.4　MapReduce的数据流 28 2.3.5　深入理解HadoopMapReduce 30 2.4　编写Hadoop MapReduce示例程序 32 2.4.1　MapReduce job运行的步骤 33 2.4.2　MapReduce可解决的商业问题 38 2.5　在R环境中编写Hadoop MapReduce程序的方式 39 2.5.1　RHadoop 39 2.5.2　RHIPE 40 2.5.3　Hadoop streaming 40 2.6　小结 40 第3章　集成R和Hadoop 41 3.1　RHIPE 42 3.1.1　安装RHIPE 42 3.1.2　RHIPE架构 44 3.1.3　RHIPE实例 45 3.1.4　RHIPE参考函数 48 3.2　RHadoop 51 3.2.1　RHadoop架构 51 3.2.2　安装RHadoop 52 3.2.3　RHadoop案例 53 3.2.4　RHadoop参考函数 56 3.3　小结 58 第4章　Hadoop Streaming中使用R 59 4.1　Hadoop Streaming基础概念 59 4.2　使用R运行Hadoop streaming 62 4.2.1　MapReduce应用程序基础 63 4.2.2　如何编写MapReduce应用程序 65 4.2.3　如何运行MapReduce应用程序 67 4.2.4　如何浏览MapRecuce应用程序的输出 69 4.2.5　Hadoop MapReduce脚本的基础R函数 70 4.2.6　管理Hadoop MapReduce任务 71 4.3　R语言扩展包HadoopStreaming介绍 72 4.3.1　hsTableReader函数 73 4.3.2　hsKeyValReader函数 75 4.3.3　hasLineReader函数 75 4.3.4　运行Hadoop streaming任务 78 4.3.5　执行Hadoop Streaming任务 79 4.4　小结 79 第5章　利用R和Hadoop学习数据分析 80 5.1　数据分析项目生命周期 80 5.1.1　问题定义 81 5.1.2　设计数据需求 81 5.1.3　数据预处理 81 5.1.4　数据分析 82 5.1.5　数据可视化 82 5.2　数据分析问题 83 5.2.1　展示网页分类 83 5.2.2　计算股市变动频率 92 5.2.3　案例研究：预测推土机售价 98 5.3　小结 107 第6章　应用机器学习做大数据分析 108 6.1　机器学习介绍 108 6.2　有监督机器学习算法 109 6.2.1　线性回归 109 6.2.2　logistic回归 115 6.3　无监督机器学习算法 118 6.4　推荐算法 123 6.4.1　在R中产生推荐商品的步骤 125 6.4.2　使用R和Hadoop产生推荐商品 128 6.5　小结 131 第7章　从各种数据库中导入与导出数据 132 7.1　文件型数据库 134 7.1.1　不同类型的文件 134 7.1.2　安装R包 134 7.1.3　将数据导入R 134 7.1.4　从R导出数据 135 7.2　MySQL 135 7.2.1　安装MySQL 135 7.2.2　安装RMySQL 136 7.2.3　列出数据表及其结构 136 7.2.4　导入数据进R 136 7.2.5　数据操纵 137 7.3　Excel 137 7.3.1　安装Excel 138 7.3.2　导入数据进R 138 7.3.3　R和Excel的数据操纵 138 7.3.4　导出数据到Excel 138 7.4　MongoDB 138 7.4.1　安装MongoDB 139 7.4.2　安装rmongodb 141 7.4.3　导入数据进R 141 7.4.4　数据操纵 142 7.5　SQLite 143 7.5.1　SQLite的特性 143 7.5.2　安装SQLite 144 7.5.3　安装RSQLite 144 7.5.4　将数据导师入R 144 7.5.5　数据操纵 145 7.6　PostgreSQL 145 7.6.1　PostgreSQL的特性 145 7.6.2　安装PostgreSQL 145 7.6.3　安装RPostgreSQL 146 7.6.4　从R导出数据 146 7.7　Hive 147 7.7.1　Hive的特性 147 7.7.2　安装Hive 147 7.7.3　安装RHive 149 7.7.4　RHive操作 149 7.8　HBase 150 7.8.1　HBase的特性 150 7.8.2　安装HBase 151 7.8.3　安装Thrift 152 7.8.4　安装RHBase 153 7.8.5　导入数据进R 153 7.8.6　数据操纵 153 7.9　小结 154 附录　参考资源 155 资源截图：

资源名称：大数据与机器学习：实践方法与行业案例 内容简介： 本书从企业实践出发，内容覆盖数据、平台、分析和应用等企业内数据流转的主要环节。布局上，按照数据与平台篇、分析篇和应用篇分别撰写。数据与平台篇（第1~3章），立足找到数据、整合数据、使用数据三个角度，介绍数据在企业内的分布和处理逻辑，以便快速为分析准备素材。分析篇（第4~11章），选取企业实际案例，介绍常用的数据挖掘与机器学习算法，以业务场景为导向展示数据分析过程和技巧。应用篇（第12~15章），选取当前主流的四个应用场景，介绍如何实现数据驱动，让数据“自动”流转于各个环节。 资源目录： 第1章概述 1.1名词演化 1.2基本内容 1.3数据智慧 第2章线性回归方法 2.1多元线性回归 2.2压缩方法：岭回归与Lasso 2.3*Lasso 模型的求解与理论性质 2.4损失函数加罚的建模框架 2.5上机实践   第3章线性分类方法 3.1分类问题综述与评价准则 3.2Logistic回归 3.3线性判别 3.4上机实践   第4章模型评价与选择 4.1基本概念 4.2*理论方法 4.3数据重利用方法 4.4上机实践   第5章决策树与组合方法 5.1决策树 5.2Bagging 5.3Boosting 5.4随机森林 5.5上机实践   第6章神经网络与深度学习 6.1神经网络 6.2深度学习 6.3上机实践   第7章支持向量机 7.1线性可分支持向量机 7.2软间隔支持向量机 7.3一些拓展 7.4上机实践   第8章聚类分析 8.1基于距离的聚类 8.2基于模型和密度的聚类 8.3稀疏聚类 8.4双向聚类 8.5上机实践 第9章推荐系统 9.1基于邻居的推荐 9.2潜在因子与矩阵分解算法 9.3上机实践   第10章大数据案例分析 10.1智能手机用户监测数据案例分析 10.2美国航空数据案例分析   参考文献 大数据挖掘与统计机器学习 资源截图：

资源名称：一本书读懂大数据（每个人都看得懂的大数据入门书） 内容简介： 进入大数据时代，让数据开口说话将成为司空见惯的事情，本书将从大数据时代的前因后果讲起，全面分析大数据时代的特征、企业实践的案例、大数据的发展方向、未来的机遇和挑战等内容，展现一个客观立体、自由开放的大数据时代。 资源目录： 第一章 身处数据时代，揭开大数据的面纱 大数据到底是什么？ / 002 “大”是重点，还是“数据”是重点？ / 006 与众不同的大数据 / 008 大数据方式下的云计算 / 010 大数据的奥秘 / 013 当下是大数据发展的最佳时机 / 017 第二章 大数据如此重要，引无数英雄竞折腰 多样的非结构性数据 / 020 大数据的价值发掘 / 023 大数据的结构化、非结构化、半结构化及多结构化 / 026 大数据是扩展性的下一代传统数据 / 028 是什么构成了大数据价值链？ / 030 大数据时代真的来了 / 036 第三章 求挖掘与分析，电子商务与大数据 大数据时代中的电子商务 / 040 亚马逊在大数据时代的实践 / 042 小米手机在大数据时代的实践 / 047 小米手机对“米粉”需求的文化挖掘 / 051 阿里巴巴数据化运营的那些“大招” / 054 大数据中的企业价值及客户价值 / 061 第四章 数据和企业管理，高层更看重大数据 沃尔玛如何用数据构建管理模式 / 064 让大数据进入企业管理 / 066 职业乞丐脑袋里的大数据 / 070 职业经理人与大数据 / 073 企业组织管理不介入大数据，就要被淘汰 / 077 第五章 生活无处不数据，大数据真的能算命？ 未来的先兆——大数据 / 084 大数据带来的经营理念的转变 / 088 大数据的舆情服务 / 094 大数据预测你的下一步行动 / 096 数据也会骗人，从人的动作推导数据 / 099 网络数据背后的价值 / 103 第六章 颠覆与重塑思维，大数据与思维革命 大数据时代的综合人才 / 110 飞利浦的大数据营销策略 / 113 阿里小贷的“不可能的任务” / 115 第三方支付业务的另一种思路 / 119 P2P网络借贷动了谁的奶酪 / 121 大数据带来的智能化与柔性化 / 124 生活、工作、思维的颠覆重构 / 128 第七章 得数据者得天下，商业竞争中的大数据 大型公司的垂直一体化趋势 / 136 客户形象的丰富源于对客户的全面理解 / 139 量化奠定了数据化的内核 / 143 文字的数据化进程 / 147 地理位置的数据化构建 / 151 数据化的沟通方式 / 156 企业竞争力的关键——大数据 / 159 第八章　让数据张口说话，管理决策中的大数据 客观数据最具发言权 / 164 挖掘潜力股的数据化进程 / 167 时代因大数据而变革 / 170 大数据时代的风险规避策略 / 174 企业文化的数据化构建 / 177 第九章 更自由，更开放，大数据的机遇和挑战 人机结合的未来发展趋势 / 184 数据时代，引发时代大变革 / 186 数据可以表示世间万物，会带来惊喜 / 191 数据化带来的挑战前所未有 / 194 资源截图：

资源名称：大数据处理系统：Hadoop源代码情景分析 内容简介： Hadoop是目前重要的一种开源的大数据处理平台，读懂Hadoop的源代码，深入理解其各种机理，对于掌握大数据处理的技术有着显而易见的重要性。 本书从大数据处理的原理开始，讲到Hadoop的由来，进而讲述对于代码的研究方法，然后以Hadoop作为样本，较为详尽地逐一分析大数据处理平台各核心组成部分的代码，并从宏观上讲述这些部分的联系和作用。 本书沿用作者独特而广受欢迎的情景分析方法和风格，深入浅出直白易懂，可以作为大数据系统高级课程的教材，也可用作计算机软件专业和其他相关专业大学本科高年级学生和研究生深入学习大数据系统的参考书。同时，还可以作为各行业从事软件开发和数据挖掘的工程师、研究人员以及其他对大数据处理技术感兴趣者的自学教材。 资源目录： 第1章 大数据与Hadoop 1.1 什么是大数据 1.2 大数据的用途 1.3 并行计算 1.4 数据流 1.5 函数式程序设计与Lambda演算 1.6 MapReduce 1.7 大数据处理平台 1.8 Hadoop的由来和发展 1.9 Hadoop的MapReduce计算框架 1.10 Hadoop的分布式容错文件系统HDFS 第2章 研究方法 2.1 摘要卡片 2.2 情景分析 2.3 面向对象的程序设计 2.4 怎样阅读分析Hadoop的代码 第3章 Hadoop集群和YARN 3.1 Hadoop集群 3.2 Hadoop系统的结构 3.3 Hadoop的YARN框架 3.4 状态机 3.5 资源管理器ResourceManager 3.6 资源调度器ResourceScheduler 第4章 Hadoop的RPC机制 4.1 RPC与RMI 4.2 ProtoBuf 4.3 Java的Reflection机制 4.4 RM节点上的RPC服务 4.5 RPC客户端的创建 第5章 Hadoop作业的提交 5.1 从“地方”到“中央” 5.2 示例一：采用老API的ValueAggregatorJob 5.3 示例二：采用新API的WordCount 5.4 示例三：采用ToolRunner的QuasiMonteCarlo 5.5 从Job.submit()开始的第二段流程 5.6 YARNRunner和ResourceMgrDelegate 第6章 作业的调度与指派 6.1 作业的受理 6.2 NM节点的心跳和容器周转 6.3 容器的分配 第7章 NodeManager与任务投运 7.1 AMLauncher与任务投运 7.2 MRAppMaster或AM的创建 7.3 资源本地化 7.4 容器的投运 第8章 MRAppMaster与作业投运 8.1 MRAppMaster 8.2 App资源与容器 8.3 容器的跨节点投送和启动 8.4 目标节点上的容器投运 8.5 Uber模式下的本地容器分配与投运 8.6 任务的启动 8.7 MapTask的运行 8.8 ReduceTask的投运 第9章 YARN子系统的计算框架 9.1 MapReduce框架 9.2 Streaming框架 9.3 Chain框架 9.4 Client与ApplicationMaster 第10章 MapReduce框架中的数据流 10.1 数据流和工作流 10.2 Mapper的输入 10.3 Mapper的输出缓冲区MapOutputBuffer 10.4 作为Collector的MapOutputBuffer 10.5 环形缓冲区kvbuffer 10.6 对MapoutputBuffer的输出 10.7 Sort和Spill 10.8 Map计算的终结与Spill文件的合并 10.9 Reduce阶段 10.10 Merge 10.11 Reduce阶段的输入和输出 第11章 Hadoop的文件系统HDFS 11.1 文件的分布与容错 11.2 目录节点NameNode 11.3 FSNamesystem 11.4 文件系统目录FSDirectory 11.5 文件系统映像FsImage 11.6 文件系统更改记录FSEditLog 11.7 FSEditLog与Journal 11.8 EditLog记录的重演 11.9 版本升级与故障恢复 第12章 HDFS的DataNode 12.1 DataNode 12.2 数据块的存储 12.3 RamDisk复份的持久化存储 12.4 目录扫描线程DirectoryScanner 12.5 数据块扫描线程DataBlockScanner 第13章 DataNode与NameNode的互动 13.1 DataNode与NameNode的互动 13.2 心跳HeartBeat 13.3 BlockReport 第14章 DataNode间的互动 14.1 数据块的接收和存储 14.2 命令DNA_TRANSFER的执行 第15章 HDFS的文件访问 15.1 DistributedFileSystem和DFSClient 15.2 FsShell 15.3 HDFS的打开文件流程 15.4 HDFS的读文件流程 15.5 HDFS的创建文件流程 15.6 文件租约 15.7 HDFS的写文件流程 15.8 实例 第16章 Hadoop的容错机制 16.1 容错与高可用 16.2 HDFS的HA机制 16.3 NameNode的倒换 16.4 Zookeeper与自动倒换 16.5 YARN的HA机制 第17章 Hadoop的安全机制 17.1 大数据集群的安全问题 17.2 UGI、Token和ACL 17.3 UGI的来源和流转 17.4 Token的使用 第18章 Hadoop的人机界面 18.1 Hadoop的命令行界面 18.2 Hadoop的Web界面 18.3 Dependency Inject和Annotation 18.4 对网页的访问 第19章 Hadoop的部署和启动 19.1 Hadoop的运维脚本 19.2 Hadoop的部署与启动 19.3 Hadoop的日常使用 19.4 Hadoop平台的关闭 第20章 Spark的优化与改进 20.1 Spark与Hadoop 20.2 RDD与Stage——概念与思路 20.3 RDD的存储和引用 20.4 DStream 20.5 拓扑的灵活性和多样性 20.6 性能的提升 20.7 使用的方便性 20.8 几个重要的类及其作用 参考资料 资源截图：

资源名称：大话数据挖掘  内容简介： 西安美林电子有限责任公司编写的《大话数据挖掘》以EMBA班的“数据挖掘技术及其应用”教学为场景，带领读者步入数据挖掘的神秘殿堂，领略数据挖掘的神奇魅力。 《大话数据挖掘》共9章。第1章，揭开数据挖掘的面纱，从三个真实而有趣的故事开始，让读者了解数据挖掘的概念、数据挖掘产生与发展、数据挖掘的功能和数据挖掘技术，本章深入浅出地介绍了关联规则、聚类分析、预测(分类和回归)、时间序列等数据挖掘方法及常用算法；第2章简述数据挖掘流程，以某冶金企业生产中遇到的质量控制技术攻关难题的解决过程为线索，活灵活现地展现了一个数据挖掘问题的项目立项及其实施过程；第3章到第9章以典型案例的形式分别介绍了数据挖掘技术在电力行业、交通航空领域、冶金行业、税务与金融行业、故障诊断、电信行业、互联网行业方面的应用。 资源目录： 第1章 揭开数据挖掘的面纱 1.1 历史的使命 1.2 数据挖掘的故事 1.2.1 震撼业界的发现 1.2.2 降低成本的绝活 1.2.3 出奇制胜的小纸条 1.3 什么是数据挖掘？ 1.4 历史的必然 1.5 数据挖掘能干什么？ 1.5.1 关联（ASSOCIATION）规则挖掘 1.5.2 聚类 1.5.3 预测 1.5.4 序列和时间序列 1.6 数据挖掘工具 第2章 数据挖掘流程 2.1 李部长其人 2.2 老革命遇见了新问题 2.3 钓鱼钓来了数据挖掘思路 2.4 数据挖掘项目立项 2.5 数据挖掘项目实施 2.5.1 业务理解阶段（BUSINESS UNDERSTANDING） 2.5.2 数据理解阶段（DATA UNDERSTANDING） 2.5.3 数据准备阶段（DATA PREPARATION） 2.5.4 建模阶段（MODELING） 2.5.5 模型评估阶段（EVALUATION） 2.5.6 部署阶段（DEPLOYMENT） 2.6 李部长的展望 第3章 数据挖掘在电力行业的应用 3.1 应用前景 3.2 电力设备状态检修 3.3 电力系统暂态稳定性评估 3.4 负荷预测 3.5 盗电检测 3.6 电力数据挖掘系统的构建 第4章 数据挖掘在交通航空领域的应用 4.1 铁路票价制定 4.2 高铁轨道检修 4.3 交通流量预测 第5章 数据挖掘在冶金行业的应用 5.1 流程工业这点儿事 5.2 产品质量控制 5.3 高炉炉温预测 5.4 磨矿粒度预测 5.5 炼焦配煤优化 第6章 数据挖掘在税务、金融行业的应用 6.1 税务稽查 6.2 反洗钱 6.3 股票指数追踪 第7章 数据挖掘在故障诊断中的应用 7.1 火箭发动机故障诊断 7.2 机械设备故障诊断 7.3 核动力设备故障诊断 7.4 船舶动力故障诊断 第8章 数据挖掘在电信业中的应用 8.1 市场细分 8.1 市场细分 8.2 精确营销 8.3 业务响应 8.4 客户流失分析 第9章 Web数据挖掘 9.1 Web数据挖掘概述 9.1 Web数据挖掘概述 9.2 垂直搜索引擎中的数据挖掘 9.3 面向电子商务的数据挖掘 9.4 社交网络中的数据挖掘 参考文献 资源截图：

资源名称：Python+Spark 2.0+Hadoop机器学习与大数据实战 内容简介： 本书从浅显易懂的“大数据和机器学习”原理说明入手，讲述大数据和机器学习的基本概念，如分类、分析、训练、建模、预测、机器学习（推荐引擎）、机器学习（二元分类）、机器学习（多元分类）、机器学习（回归分析）和数据可视化应用等。书中不仅加入了新近的大数据技术，还丰富了“机器学习”内容。 为降低读者学习大数据技术的门槛，书中提供了丰富的上机实践操作和范例程序详解，展示了如何在单机Windows系统上通过Virtual Box虚拟机安装多机Linux虚拟机，如何建立Hadoop集群，再建立Spark开发环境。书中介绍搭建的上机实践平台并不限制于单台实体计算机。对于有条件的公司和学校，参照书中介绍的搭建过程，同样可以实现将自己的平台搭建在多台实体计算机上，以便更加接近于大数据和机器学习真实的运行环境。 本书非常适合于学习大数据基础知识的初学者阅读，更适合正在学习大数据理论和技术的人员作为上机实践用的教材。 资源目录： 第1章  Python Spark机器学习与Hadoop大数据      第2章  VirtualBox虚拟机软件的安装         第3章  Ubuntu Linux 操作系统的安装       第4章  Hadoop Single Node Cluster的安装       第5章  Hadoop Multi Node Cluster的安装          第 6 章  Hadoop HDFS命令         第7章  Hadoop MapReduce         第8章  Python Spark的介绍与安装    第9章  在 IPythonNotebook 运行 Python Spark 程序    第10章  Python Spark RDD  第11章  Python Spark的集成开发环境      第12章  Python Spark创建推荐引擎  第13章  Python Spark MLlib决策树二元分类    第14章  Python Spark MLlib 逻辑回归二元分类        第15章  Python Spark MLlib支持向量机SVM二元分类   第16章  Python Spark MLlib朴素贝叶斯二元分类   第17章  Python Spark MLlib决策树多元分类    第18章  Python Spark MLlib决策树回归分析  第19章  Python Spark SQL、DataFrame、RDD数据统计与可视化          第20章  Spark ML Pipeline 机器学习流程二元分类          第21章  Spark ML Pipeline 机器学习流程多元分类          第22章  Spark ML Pipeline 机器学习流程回归分析          附录A  本书范例程序下载与安装说明       资源截图：

资源名称：一本书读懂大数据客户分析 内容简介： 企业的长期生存能力是指通过持续地满足和超越客户的生理和心理需求来吸引顾客。阅读本书，你将学会如何全面改善客户体验，如何收集、测量以及解读客户数据，如何使用数据创建良好的客户关系，如何实现向数据导向的客户体验转变。 资源目录： 前言 关于本书 “可笑的”假设 本书使用的图标 本书之外 本书宗旨 第1部分：客户分析入门 第1章客户分析简介 什么是客户分析？ 客户分析能带给我们什么？ 运用客户分析 汇编大数据与小数据 第2章度量标准的科学与艺术 累加定量数据 离散数据与持续数据 数据级别 变量 量化定性数据 确定所需样本大小 估算置信区间 计算95%置信区间 确定收集哪些数据 使用正确的衡量方法 第3章筹划客户分析计划 客户分析计划概述 定义范围和结果 确定衡量标准、方法和工具 制定预算 确定正确的样本大小 分析与改进 控制结果 第2部分：甄别你的客户 第4章细分客户 为什么细分客户 细分客户的五个“W” Who——细分对象的身份特征 Where——地点 What——内容 When——时间 Why——原因 How——方法 分析数据，细分客户 第一步：数据制表 第二步：制作交叉表 第三步：聚类分析 第四步：估计每个客户细分的大小 第五步：估计每个客户细分的价值 第5章创建客户档案 客户档案的重要性 管理客户档案 利用客户数据建立更多的客户档案 第一步：收集合适的数据 第二步：划分数据 第三步：确定和完善客户档案 利用客户档案解答问题 第6章确定客户终生价值 客户终生价值的重要性 应用客户终生价值 计算终生价值 估算收益 计算客户终生价值 识别黄金客户 向黄金客户营销 第3部分：客户购买历程解析 第7章绘制客户浏览轨迹图 利用传统型营销漏斗 什么是客户浏览轨迹图？ 定义客户浏览轨迹 查找数据 描绘客户浏览轨迹 使客户浏览轨迹图发挥更大作用 第8章确定品牌意识和态度 衡量品牌意识 独立意识 辅助意识 衡量产品或服务知识 衡量品牌态度 识别品牌支柱 检验品牌亲和度 衡量使用情况与使用意向 查明以往的使用情况 衡量未来的使用意向 理解态度的关键动因 构建品牌评估调查 第9章衡量客户态度 测量客户满意度 大体满意度 态度vs满意度 使用系统可用性量表（SUS）和标准化用户体验百分秩问卷（SUS—Q）划分可用性等级 系统可用性量表 标准化用户体验百分秩问卷（SUPR—Q） 使用单一易用性问题（SEQ）测量任务难度 为品牌喜爱度打分 发现客户期待：渴望度与奢侈度 渴望度 奢侈度 测量态度提升度 了解客户偏好 发现客户态度的关键动因 编写有效的客户态度问题 第10章量化考虑阶段和购买阶段 确定考虑的触点 公司驱动触点 客户驱动触点 测量客户驱动触点 测量公司驱动触点的三个R Reach（传递） Resonance（共鸣） Reaction（反应） 衡量共鸣和反应 跟踪转化和购买 跟踪微转化 创造微转化机遇 设置转化跟踪 测量转化率 通过A／B测试测量转变 离线A／B测试 在线A／B测试 测试多个变量 充分利用网站分析数据 第11章跟踪购后行为 处理认知失调 减轻认知失调 从认知失调到心满意足 跟踪退货率 测量购后触点 探究购后触点 评估购后满意度水平 利用“呼叫中心分析”找出问题 使用因果分析图找出根源 创建因果分析图 第12章衡量客户忠实度 衡量客户忠实度 回购率 净推荐值 不良利润 找出忠实度的关键动因 珍惜正面口碑 重视负面口碑 第4部分：用数据分析产品开发 第13章开发客户所需产品 集中投入产品功能 发现客户首要任务 列出任务清单 发现客户 选择五项任务 绘图和分析 采取内部视角看问题 进行差距分析 将企业需求反映到客户需求 确定客户所需 倾听客户的声音 倾听企业的声音 建立客户与企业之间的联系 生成优先事项 审视优先事项 利用卡诺模型测量客户愉悦度 评估功能组合的价值 查明问题产生的原因 第14章通过可用性研究获得卓见 什么是可用性原则 进行可用性测试 确定测试内容 确认目标 概述任务场景 招募用户 测试用户 收集指标 数据编码与分析 汇总与呈现结果 考虑不同类型的可用性测试 查找和报告可用性问题 促进可用性研究 第15章衡量商品搜寻能力与导航功能 确定搜寻能力区域 确定客户所需 搜寻能力测试准备 找到基准线 设计测试 制定测量搜寻能力指标 开展搜寻能力测试 确定样本大小 招募用户 分析结果 提高搜寻能力 交联产品 重组类别 改写任务 修改后再次测试搜寻能力 第16章坚守客户分析的伦理 获得知情许可 Facebook OKCupid Amazon与Orbitz Mint.com 决定实验 第5部分：客户分析4个“十” 第17章需要牢记的十个客户度量标准 第18章改进客户体验的十种方法 第19章十种常见的分析错误 第20章识别客户需求的十种方法 附录：用客户分析进行预测 寻找相似点和关联性 显现关联性 量化关系的强度 二元变量间的关联 确定因果关系 随机进行的实验研究 准实验设计 相关性研究 单一实验对象研究 轶闻 利用回归分析进行预测 利用回归线进行预测 在Excel中创建回归方程 多元回归分析 利用二进制数据进行预测 时间序列分析预测发展趋势 指数（非线性）增长 培训期和验证期 检测差异性 资源截图：