资源搜

资源名称：云计算网络珠玑 内容简介： 《云计算网络珠玑》着眼于讲解云计算网络虚拟化中所用到的网络技术原理，重点展示以太网及TCP/IP网络中各种技术内在的关联脉络，包括从传统的MAC、IP、安全和QoS等到新兴的Trill、LISP、DPI和CDN等技术，从以太网交换机的二层转发、三层路由和Linux的TCP/IP协议栈到MAC-in-MAC、VXLAN和Neutron等新方案，以及从传统的数据中心三层架构到扁平化大二层和SDN/NFV等新架构。另外，本书对一些网络新技术和新方案（如SR-IOV、Openflow、DPDK、Serverswitch等）也进行了阐述，并讨论了在若干技术问题上网络的发展趋势。 《云计算网络珠玑》内容囊括了以太网和TCP/IP网络技术的每个方面，并选择大量的实例进行详细描述，其中每个技术点和实例都是经过精心选择的，既兼顾网络技术发展的顺序，也遵循TCP/IP网络四层从下到上的划分；另外，还从当前的技术热点上选取了SDN、Openflow、VXLAN等新兴技术的发展现状和发展趋势进行详细剖析，便于读者在逻辑思维上顺畅地理解，并向读者提供了一条快速掌握网络技术的学习途径。通览全书后，读者可以尽快建立自己在网络方面的技术知识体系。 资源目录： 第1部分 网络基本原理 第1章 TCP/IP网络技术 3 1.1 信息网络 6 1.2 以太网技术 12 1.3 网络传输设备 15 1.4 MAC和VLAN 18 1.5 MAC-in-MAC 22 1.6 STP和Trill 25 1.7 IP技术 29 1.7.1 IP地址 30 1.7.2 IP报文格式简介 32 1.7.3 TCP和UDP 34 1.7.4 TCP与UDP检验和 39 1.8 DNS和DHCP 39 1.9 ICMP报文 42 1.10 ARP和RARP 43 1.11 路由协议 46 1.11.1 RIP和BGP 47 1.11.2 OSPF协议 49 1.12 NAT技术 56 1.13 隧道技术 58 1.14 MPLS和VPLS 66 1.15 QoS功能 69 1.16 网络安全和监控 73 1.17 LB、CDN和DPI 77 1.18 LISP和LLDP 80 1.19 网络架构 82 第2章以太网交换机 86 2.1 交换机转发流程 87 2.2 交换机端口处理 90 2.3 交换机二层转发 93 2.4 交换机三层转发 100 2.5 交换机ACL和QoS 102 2.5.1 ACL功能 102 2.5.2 QoS功能 104 2.6 交换机的虚拟化支持 113 2.7 交换机的CPU 117 第3章 Linux网络基础 120 3.1 网卡和数据包的收发 121 3.1.1 Linux网卡收包流程 122 3.1.2多网卡Bonding 126 3.1.3 SR-IOV 128 3.1.4 DPDK 129 3.2 TUN/TAP 130 3.3 Linux Bridge和VLAN 131 3.4 TCP/IP协议栈 135 3.5 IPtables 138 3.6 QoS模块 139 3.7 Dnsmasq 141 第4章SDN网络架构 143 4.1 什么是SDN 144 4.2 OpenFlow与OpenvSwitch 149 4.2.1 OpenFlow简介 149 4.2.2 Open vSwitch简介 158 4.3 能为SDN做什么 160 第2部分 云计算及OpenStack的网络 第5章 OpenStack的网络 167 5.1 云计算及OpenStack 168 5.2 OpenStack的网络介绍 173 5.2.1 Nova-Network 175 5.2.2 Neutron网络 179 5.2.3 OpenStack存储网络 186 5.3 Neutron底层网络原理 187 5.3.1 Neutron组件的构成 189 5.3.2 Neutron网络的隔离 192 5.3.3 Neutron网络的互通 196 5.4 Neutron主要功能 200 5.4.1互通与隔离功能 201 5.4.2防火墙与安全组 203 5.4.3 LBaas和VPNaas 204 5.4.4监控安全和数据中心互联 206 5.4.5 Neutron中的QoS功能 207 5.4.6 Neutron部署运维 208 5.5 VXLAN隔离环境通信实例详解 209 5.5.1 VXLAN报文解析 210 5.5.2 VXLAN通信流程 214 5.6 Neutron网络高级话题讨论 219 5.6.1常见Neutron网络问题 220 5.6.2 Neutron网络性能 225 5.6.3 Neutron网络稳定性 229 5.6.4 Neutron在折翼 230 第6章 Neutron网络发展趋势 234 6.1 SDN的结合 235 6.2 硬件网络设备解决性能问题 236 6.3 安全和监控 238 6.4 虚拟网络中的路由协议 239 6.5 IaaS上的商业模式 240 6.6 云计算时代的终结 242 附录 245 附录A Open vSwitch基本命令 245 附录B 深入理解OpenStack 云计算VLANManager网络流的六种场景 247 附录C RDO配置文件网络部分——VLAN隔离 262 附录D VXLAN通信抓包实例 264 参考文献 274 资源截图：

资源名称：OpenStack高可用集群（上册）：原理与架构  内容简介： 本书是一本理论与实战结合，并全面讲解OpenStack相关技术知识点的书籍。书中首先介绍了与OpenStack相关的基础架构软件，同时深入讲解和分析了OpenStack三大核心组件——计算(Nova)、存储(Cinder/Ceph)和网络(Neutron)的架构原理及使用方式。在具备完善的理论知识后，本书又从实战角度讲解了如何对OpenStack的基础架构软件和核心组件项目进行高可用集群部署，并在成功部署OpenStack高可用集群后，介绍了如何在实际应用中对OpenStack高可用集群进行运维分析与故障解决。 资源目录： 序1 序2 序3 序4 前言 架构篇 第1章　云计算架构设计及业务系统高可用2 1.1　企业为何要进行云计算建设2 1.1.1　政策导向与IT发展的必然2 1.1.2　业务导向与IT弹性需求4 1.1.3　技术导向与IT自动化4 1.1.4　成本导向与TCO6 1.2　企业如何决策公有云与私有云8 1.2.1　云计算部署模式对比8 1.2.2　如何决策私有云与公有云10 1.3　云计算架构设计与进阶路线13 1.3.1　云计算生态模型13 1.3.2　云计算架构基本模型15 1.3.3　通用云计算参考架构16 1.3.4　云计算实施进阶路线20 1.4　业务系统高可用性概述22 1.4.1　业务系统高可用性23 1.4.2　业务系统容灾恢复24 1.5　传统IT架构高可用设计26 1.5.1　传统数据中心HADR设计原则26 1.5.2　故障划分与HADR高可用实现27 1.6　云环境下的高可用设计29 1.6.1　云计算HADR架构设计原则30 1.6.2　云计算HADR架构设计实现33 1.7　本章小结36 第2章　OpenStack高可用集群架构概述37 2.1　OpenStack高可用集群功能组件37 2.1.1　集群控制节点38 2.1.2　集群计算节点39 2.1.3　集群存储节点40 2.1.4　集群网络节点41 2.1.5　集群负载均衡器43 2.1.6　集群网络拓扑44 2.2　OpenStack高可用集群服务组件47 2.2.1　认证服务Keystone47 2.2.2　镜像服务Glance50 2.2.3　计算服务Nova52 2.2.4　块存储服务Cinder54 2.2.5　网络服务Neutron57 2.2.6　控制面板Horizon59 2.2.7　其他OpenStack服务60 2.3　Redhat OpenStack高可用部署架构63 2.3.1　Redhat OpenStack高可用集群部署架构63 2.3.2　Redhat OpenStack高可用集群服务规划67 2.4　Mirantis OpenStack高可用部署架构71 2.4.1　Mirantis OpenStack高可用集群部署架构72 2.4.2　Mirantis OpenStack自定义高可用集群架构76 2.5　其他厂商OpenStack高可用部署架构介绍及对比分析79 2.5.1　Juniper Networks OpenStack高可用部署方案80 2.5.2　HPE OpenStack高可用部署方案81 2.5.3　TCP Cloud OpenStack高可用部署方案83 2.5.4　Paypal OpenStack高可用部署方案84 2.5.5　Oracle OpenStack高可用部署方案87 2.5.6　OpenStack高可用部署方案对比分析87 2.6　本章小结89 原理篇 第3章　集群资源管理系统92 3.1　Pacemaker概述93 3.2　Pacemaker集群分类95 3.3　Pacemaker集群架构97 3.4　Pacemaker内部组件98 3.5　Pacemaker集群配置信息管理99 3.5.1　Pacemaker集群状态信息100 3.5.2　Pacemaker集群配置信息101 3.6　Pacemaker集群管理工具PCS108 3.6.1　PCS命令行工具108 3.6.2　PCS用户接口界面110 3.7　Pacemaker集群资源管理113 3.7.1　集群资源代理113 3.7.2　集群资源约束118 3.7.3　集群资源类型120 3.7.4　集群资源规则124 3.8　本章小结126 第4章　集群负载均衡系统127 4.1　Keepalived概述与配置128 4.1.1　Keepalived及LVS概述128 4.1.2　Keepalived工作原理133 4.1.3　Keepalived调度算法136 4.1.4　Keepalived路由方式137 4.1.5　Keepalived配置与使用138 4.2　HAProxy概述与配置144 4.2.1　HAProxy概述144 4.2.2　HAProxy配置146 4.2.3　HAProxy监控页面151 4.2.4　HAProxy配置参考154 4.3　本章小结158 第5章　集群消息队列系统159 5.1　AMQP概述160 5.2　RabbitMQ概述161 5.3　RabbitMQ工作原理167 5.4　RabbitMQ基本配置169 5.5　RabbitMQ集群基础170 5.5.1　RabbitMQ集群概述170 5.5.2　RabbitMQ的集群配置171 5.6　RabbitMQ集群管理174 5.6.1　RabbitMQ集群节点启停174 5.6.2　RabbitMQ的集群节点移除175 5.7　RabbitMQ的集群队列镜像177 5.8　基于Pacemaker的高可用Rabbit-MQ集群181 5.8.1　Active/Passive模式的Rabbit-MQ集群181 5.8.2　Active/Active模式的Rabbit-MQ集群182 5.9　RabbitMQ在OpenStack中的应用分析187 5.10　本章小结192 第6章　集群缓存系统193 6.1　Memcache缓存系统193 6.1.1　Memcache缓存概述193 6.1.2　Memcache的工作原理194 6.1.3　Memcache的功能特点196 6.1.4　Memcache集群概述197 6.1.5　Memcache集群高可用201 6.2　Redis缓存系统204 6.2.1　Redis缓存概述204 6.2.2　Redis数据交换205 6.2.3　Redis数据持久化206 6.2.4　Redis数据高可用207 6.2.5　Redis高可用配置209 6.2.6　Redis集群概述216 6.2.7　Redis在OpenStack中的应用218 6.3　本章小结219 第7章　集群数据库系统221 7.1　关系型数据库—MariaDB221 7.1.1　MySQL概述221 7.1.2　MariaDB概述224 7.1.3　MariaDB安装配置225 7.1.4　MariaDB高可用方案233 7.1.5　MariaDB Galera Cluster概述236 7.1.6　MariaDB Galera Cluster配置239 7.2　非关系型数据库—MongoDB249 7.2.1　NoSQL概述249 7.2.2　MongoDB概述251 7.2.3　MongoDB安装配置254 7.2.4　MongoDB Replica Set概述258 7.2.5　MongoDB Replica Set部署260 7.3　本章小结265 第8章　OpenStack计算服务267 8.1　OpenStack项目概述267 8.1.1　OpenStack项目概要267 8.1.2　OpenStack版 资源截图：

资源名称：数据挖掘技术 资源截图：

资源名称：拥抱大数据新常态下的数据分析典型案例 内容简介： 本书首先介绍了大数据的由来与数据分析师的职业前景，概述了大数据的特点及其分析方法，引发读者对数据分析师的向往。然后介绍了如今最流行的近三十种大数据算法，每种算法都附有一个成功的商业案例，通过案例深入分析每种算法的长处、缺点、适用范围等，使读者不仅知其然，更知其所以然。 该书比介绍大数据类的书籍具有更多的理论知识，比各种算法的教科书含有更多的实际应用，是两者的绝妙过渡，适合对大数据有一定了解的读者，可以帮助读者在短时间内深入学习大数据分析的算法体系，并进一步帮助读者挑选需要精学的、适合自己的算法。 资源目录： 第一章 为什么市场需要数据分析师 1.1 大数据的前世今生 1.2 大数据的具体定义 1.3 数据分析行业现状及巨大缺口 第二章 什么是数据分析师 2.1 明确两个概念 2.2 从四份招聘简历说起 2.2.1 第一份招聘简历要求 2.2.2 第二份招聘简历要求 2.2.3 第三份招聘简历要求 2.2.4 第四份招聘简历要求 2.3 数据分析师常见专业出身 2.3.1 数学与应用数学、统计学专业 2.3.2 经济管理类专业 2.3.3 计算机理论类专业 2.3.4 计算机应用类专业 2.3.5 其他专业 2.4 数据分析师可从事行业 2.4.1 互联网行业 2.4.2 制造行业 2.4.3 投资分析行业 2.4.4 咨询行业 2.4.5 其他类公司综述 第三章 如何成为数据分析师 3.1 数据分析师基础知识储备 3.1.1 基础统计知识 3.1.2 基础的数据库知识 3.1.3 Office办公软件和专业数据分析工具 3.1.4 基础算法编程知识 3.1.5 业务知识 3.1.6 一些数据分析经验 3.1.7 小结 3.2 数据分析师常用工具盘点 3.2.1 Excel 3.2.2 SPSS 3.2.3 STATA 3.2.4 Eviews 3.2.5 SAS 3.2.6 Matlab 3.2.7 R 3.2.8 小结 3.3 数据分析师应该学习的网络课程 3.3.1 M00C类课程 3.3.2 网上学习平台 3.3.3 现场培训班 第四章 描述性统计分析 4.1 频数分布分析：用统计图解决伦敦霍乱 4.1.1 可怕的英国霍乱 4.1.2 约翰医生的实地调查 4.1.3 对伦敦霍乱平息过程的分析 4.1.4 频数分布分析总结 4.2 关注数据代表性：统计学家改良轰炸机 4.2.1 “二战”盟国轰炸德国伤亡惨重 4.2.2 轰炸机的返航率得到提高 4.2.3 对轰炸机改进过程的分析 4.2.4 数据代表性总结 4.3 异常值分析：1号店提升营销精准率 4.3.1 1号店的数据分析案例 4.3.2 1号店数据分析过程 4.3.3 异常值分析总结 4.4 对比分析：刻画豆瓣变现具体压力 4.4.1 豆瓣变现的难题 4.4.2 豆瓣变现的具体压力 4.4.3 对比分析总结 4.5 描述性统计分析概述：淘宝箱店类目分析 4.5.1 淘宝箱店类目背景 4.5.2 箱店类目分析实解 4.5.3 描述性统计分析小结 第五章 相关分析与回归分析 5.1 相关分析与回归分析基础- 5.2 矩阵分解：价值百万美元的Net6lx推荐系统 5.2.1 Netnlx为推荐系统悬赏百万美元 5.2.2 构建一个推荐系统 5.2.3 矩阵分解小结 5.3 一元线性回归：引发金融危机的风险价值模型 5.3.1 广受欢迎的风险价值模型 5.3.2 评估一个理财产品的风险 5.3.3 一元线性回归小结： 5.4 评分系统：星巴克选址借力大数据 5.4.1 越来越难以选择的快餐店地址 5.4.2 多元线性回归与评分系统 5.4.3 评分系统小结- 5.5 相关分析与回归分析概述：奥巴马使用大数据赢得大选 5.5.1 神奇的Survey Manager系统 5.5.2 美国大选详细解读 5.5.3 相关分析与回归分析总结 第六章 关联分析与聚类分析 6.1 关联分析与聚类分析基础 6.2 购物篮分析：啤酒与尿布的经典案例 6.2.1 沃尔玛超市里的啤酒与尿布 6.2.2 购物篮分析案例实解 6.2.3 购物篮分析小结 6.3 序列模式挖掘：Web访问模式帮助电商优化网站 6.3.1 我们为什么需要序列模式挖掘 6.3.2 Web访问模式与优化网站 6.3.3 序列模式挖掘小结 6.4 快速聚类：大数据捧火《纸牌屋》 6.4.1 大数据助Netfilx赌赢《纸牌屋》 6.4.2 透视《纸牌屋》背后的大数据算法 6.4.3 快速聚类小结 6.5 层次聚类：人人网好友推荐的奥秘 6.5.1 无处不在的好友推荐 6.5.2 朴素的人人网好友推荐算法 6.5.3 层次聚类与好友推荐小结 6.6 关联分析与聚类分析综述：加州极客的聚类分析把妹法 6.6.1 使用大数据寻找另一半 6.6.2 分成七类的潜在女朋友 6.6.3 关联分析与聚类分析小结 第七章 决策树与模式识别 7.1 C4.5算法：电信客户流失预测 7.1.1 电信客户的流失与预测 7.1.2 使用信息熵建立决策树模型 7.1.3 为一个决策树剪枝并解释其规则 7.1.4 决策树小结 7.2 RBF神经网络：“房价网”的二手房价格评估 7.2.1 二手房价格评估的局限性 7.2.2 RBF神经网络的构建与解释 7.2.3 RBF神经网络小结 7.3 贝叶斯分析：神奇的谷歌智能翻译 7.3.1 世界第一的谷歌翻译 7.3.2 贝叶斯分析和智能翻译应用 7.3.3 贝叶斯分析小结 7.4 支持向量机：应用广泛的手写识别与语音识别 7.4.1 从阿里巴巴说起的模式识别 7.4.2 解决了高维诅咒的支持向量机 7.4.3 支持向量机小结 7.5 判别分析：肯德基通过客户分类大幅提高营业额 7.5.1 难以复制的肯德基APP营销模式 7.5.2 用于分类的线性判别分析 7.5.3 判别分析小结 7.6 模式识别综述：日趋成熟的信用评分模型 7.6.1 美国为限制信用评分模型立法 7.6.2 用多种算法实现信用评分模型 7.6.3 模式识别小结 第八章 更多的数据挖掘算法 8.1 核密度估计法：警务大数据预测犯罪 8.1.1 《少数派报告》的现实版 8.1.2 核密度估计法和圣克鲁兹市的犯罪地图 8.1.3 核密度估计法小结 8.2 Flu Trends：谷歌流感趋势算法帮助控制疫情 8.2.1 谷歌流感趋势算法的成与败 8.2.2 谷歌流感趋势算法与流感关联词 8.2.3 以F1u Trends为代表的预测算法小结 8.3 Apriori算法：透视美国国会投票模式 8.3.1 以立法者自居的美国国会议员 8.3.2 Apriori算法和关联分析 8.3.3 国会投票模式小结 8.4 SVD简化数据：IBM软件自动生成新菜谱 8.4.1 IBM推出可生成无限食谱的APP 8.4.2 SVD简化数据与综合计算 8.4.3 创新菜谱软件小结 8.5 大数据预测算法盘点：百度预测世界杯成功率81.8％ 8.5.1 群英荟萃的绿茵场 8.5.2 大数据预测算法模型大盘点 8.5.3 大数据预测算法小结 8.6 网络理论分析：西班牙球队的控球哲学 8.6.1 独树一帜的西班牙球队控球哲学 8.6.2 以网络理论分析为基础的聚类分析 8.6.3 网络理论分析小结 资源截图：

资源名称：R与Hadoop大数据分析实战 内容简介： 本书全面而系统地讲解了如何将R语言与Hadoop技术结合并应用于大数据分析，不仅系统且深入地阐释了R与Hadoop集成技术的工具、方法、原则和最佳实践，而且通过大量实践案例深入剖析各种常见问题，能为用户高效利用R语言与Hadoop技术进行大数据处理提供翔实指导。 全书分为四部分，共7章：第一部分（第1~2章）是基础知识，主要讲解R语言以及Hadoop的安装过程、计算原理和基本概念；第二部分（第3~4章）是初级应用，主要讲解RHIPE、RHadoop和streaming三种实现方案；第三部分（第5~6章）是高级实例，主要以RHadoop为技术背景，讲解多个实际应用案例；第四部分（第7章）介绍数据库连接，主要讲解在RHadoop下如何与各类数据库进行连接。 资源目录： 译者序 前言 审校者简介 致谢 第1章　R和Hadoop入门 1 1.1　安装R 2 1.2　安装RStudio 3 1.3　R语言的功能特征 3 1.3.1　使用R程序包 3 1.3.2　执行数据操作 3 1.3.3　日渐增多的社区支持 4 1.3.4　R语言数据建模 4 1.4　Hadoop的安装 5 1.4.1　不同的Hadoop模式 6 1.4.2　Hadoop的安装步骤 6 1.5　Hadoop的特点 12 1.5.1　HDFS简介 13 1.5.2　MapReduce简介 13 1.6　HDFS和MapReduce架构 14 1.6.1　HDFS架构 14 1.6.2　MapReduce架构 15 1.6.3　通过图示了解HDFS和MapReduce架构 15 1.7　Hadoop的子项目 16 1.8　小结 19 第2章　编写Hadoop MapReduce程序 20 2.1　MapReduce基础概念 20 2.2　Hadoop MapReduce技术简介 22 2.2.1　MapReduce中包含的实体 22 2.2.2　MapReduce中的主要执行进程 23 2.2.3　MapReduce的局限 25 2.2.4　MapReduce 可以解决的问题 26 2.2.5　使用Hadoop编程时用到不同的Java概念 26 2.3　Hadoop MapReduce原理 27 2.3.1　MapReduce对象 27 2.3.2　MapReduce中实现Map阶段的执行单元数目 28 2.3.3　MapReduce中实现Reduce阶段的执行单元数目 28 2.3.4　MapReduce的数据流 28 2.3.5　深入理解HadoopMapReduce 30 2.4　编写Hadoop MapReduce示例程序 32 2.4.1　MapReduce job运行的步骤 33 2.4.2　MapReduce可解决的商业问题 38 2.5　在R环境中编写Hadoop MapReduce程序的方式 39 2.5.1　RHadoop 39 2.5.2　RHIPE 40 2.5.3　Hadoop streaming 40 2.6　小结 40 第3章　集成R和Hadoop 41 3.1　RHIPE 42 3.1.1　安装RHIPE 42 3.1.2　RHIPE架构 44 3.1.3　RHIPE实例 45 3.1.4　RHIPE参考函数 48 3.2　RHadoop 51 3.2.1　RHadoop架构 51 3.2.2　安装RHadoop 52 3.2.3　RHadoop案例 53 3.2.4　RHadoop参考函数 56 3.3　小结 58 第4章　Hadoop Streaming中使用R 59 4.1　Hadoop Streaming基础概念 59 4.2　使用R运行Hadoop streaming 62 4.2.1　MapReduce应用程序基础 63 4.2.2　如何编写MapReduce应用程序 65 4.2.3　如何运行MapReduce应用程序 67 4.2.4　如何浏览MapRecuce应用程序的输出 69 4.2.5　Hadoop MapReduce脚本的基础R函数 70 4.2.6　管理Hadoop MapReduce任务 71 4.3　R语言扩展包HadoopStreaming介绍 72 4.3.1　hsTableReader函数 73 4.3.2　hsKeyValReader函数 75 4.3.3　hasLineReader函数 75 4.3.4　运行Hadoop streaming任务 78 4.3.5　执行Hadoop Streaming任务 79 4.4　小结 79 第5章　利用R和Hadoop学习数据分析 80 5.1　数据分析项目生命周期 80 5.1.1　问题定义 81 5.1.2　设计数据需求 81 5.1.3　数据预处理 81 5.1.4　数据分析 82 5.1.5　数据可视化 82 5.2　数据分析问题 83 5.2.1　展示网页分类 83 5.2.2　计算股市变动频率 92 5.2.3　案例研究：预测推土机售价 98 5.3　小结 107 第6章　应用机器学习做大数据分析 108 6.1　机器学习介绍 108 6.2　有监督机器学习算法 109 6.2.1　线性回归 109 6.2.2　logistic回归 115 6.3　无监督机器学习算法 118 6.4　推荐算法 123 6.4.1　在R中产生推荐商品的步骤 125 6.4.2　使用R和Hadoop产生推荐商品 128 6.5　小结 131 第7章　从各种数据库中导入与导出数据 132 7.1　文件型数据库 134 7.1.1　不同类型的文件 134 7.1.2　安装R包 134 7.1.3　将数据导入R 134 7.1.4　从R导出数据 135 7.2　MySQL 135 7.2.1　安装MySQL 135 7.2.2　安装RMySQL 136 7.2.3　列出数据表及其结构 136 7.2.4　导入数据进R 136 7.2.5　数据操纵 137 7.3　Excel 137 7.3.1　安装Excel 138 7.3.2　导入数据进R 138 7.3.3　R和Excel的数据操纵 138 7.3.4　导出数据到Excel 138 7.4　MongoDB 138 7.4.1　安装MongoDB 139 7.4.2　安装rmongodb 141 7.4.3　导入数据进R 141 7.4.4　数据操纵 142 7.5　SQLite 143 7.5.1　SQLite的特性 143 7.5.2　安装SQLite 144 7.5.3　安装RSQLite 144 7.5.4　将数据导师入R 144 7.5.5　数据操纵 145 7.6　PostgreSQL 145 7.6.1　PostgreSQL的特性 145 7.6.2　安装PostgreSQL 145 7.6.3　安装RPostgreSQL 146 7.6.4　从R导出数据 146 7.7　Hive 147 7.7.1　Hive的特性 147 7.7.2　安装Hive 147 7.7.3　安装RHive 149 7.7.4　RHive操作 149 7.8　HBase 150 7.8.1　HBase的特性 150 7.8.2　安装HBase 151 7.8.3　安装Thrift 152 7.8.4　安装RHBase 153 7.8.5　导入数据进R 153 7.8.6　数据操纵 153 7.9　小结 154 附录　参考资源 155 资源截图：

资源名称：大数据概论  内容简介： 本书主要介绍大数据概论，内容包括大数据概述、科学研究第四范式、分布系统设计的CAP理论、NoSQL数据库、复杂网络、MapReduce分布编程模型、大数据存储、大数据分析、大数据挖掘、大数据可视化、大数据安全、大数据机器学习、大数据推荐技术，以及数据科学与数据思维。全书对上述内容概念性地介绍，语言精练、内容全面。 资源截图：

资源名称：大数据处理系统：Hadoop源代码情景分析 内容简介： Hadoop是目前重要的一种开源的大数据处理平台，读懂Hadoop的源代码，深入理解其各种机理，对于掌握大数据处理的技术有着显而易见的重要性。 本书从大数据处理的原理开始，讲到Hadoop的由来，进而讲述对于代码的研究方法，然后以Hadoop作为样本，较为详尽地逐一分析大数据处理平台各核心组成部分的代码，并从宏观上讲述这些部分的联系和作用。 本书沿用作者独特而广受欢迎的情景分析方法和风格，深入浅出直白易懂，可以作为大数据系统高级课程的教材，也可用作计算机软件专业和其他相关专业大学本科高年级学生和研究生深入学习大数据系统的参考书。同时，还可以作为各行业从事软件开发和数据挖掘的工程师、研究人员以及其他对大数据处理技术感兴趣者的自学教材。 资源目录： 第1章 大数据与Hadoop 1.1 什么是大数据 1.2 大数据的用途 1.3 并行计算 1.4 数据流 1.5 函数式程序设计与Lambda演算 1.6 MapReduce 1.7 大数据处理平台 1.8 Hadoop的由来和发展 1.9 Hadoop的MapReduce计算框架 1.10 Hadoop的分布式容错文件系统HDFS 第2章 研究方法 2.1 摘要卡片 2.2 情景分析 2.3 面向对象的程序设计 2.4 怎样阅读分析Hadoop的代码 第3章 Hadoop集群和YARN 3.1 Hadoop集群 3.2 Hadoop系统的结构 3.3 Hadoop的YARN框架 3.4 状态机 3.5 资源管理器ResourceManager 3.6 资源调度器ResourceScheduler 第4章 Hadoop的RPC机制 4.1 RPC与RMI 4.2 ProtoBuf 4.3 Java的Reflection机制 4.4 RM节点上的RPC服务 4.5 RPC客户端的创建 第5章 Hadoop作业的提交 5.1 从“地方”到“中央” 5.2 示例一：采用老API的ValueAggregatorJob 5.3 示例二：采用新API的WordCount 5.4 示例三：采用ToolRunner的QuasiMonteCarlo 5.5 从Job.submit()开始的第二段流程 5.6 YARNRunner和ResourceMgrDelegate 第6章 作业的调度与指派 6.1 作业的受理 6.2 NM节点的心跳和容器周转 6.3 容器的分配 第7章 NodeManager与任务投运 7.1 AMLauncher与任务投运 7.2 MRAppMaster或AM的创建 7.3 资源本地化 7.4 容器的投运 第8章 MRAppMaster与作业投运 8.1 MRAppMaster 8.2 App资源与容器 8.3 容器的跨节点投送和启动 8.4 目标节点上的容器投运 8.5 Uber模式下的本地容器分配与投运 8.6 任务的启动 8.7 MapTask的运行 8.8 ReduceTask的投运 第9章 YARN子系统的计算框架 9.1 MapReduce框架 9.2 Streaming框架 9.3 Chain框架 9.4 Client与ApplicationMaster 第10章 MapReduce框架中的数据流 10.1 数据流和工作流 10.2 Mapper的输入 10.3 Mapper的输出缓冲区MapOutputBuffer 10.4 作为Collector的MapOutputBuffer 10.5 环形缓冲区kvbuffer 10.6 对MapoutputBuffer的输出 10.7 Sort和Spill 10.8 Map计算的终结与Spill文件的合并 10.9 Reduce阶段 10.10 Merge 10.11 Reduce阶段的输入和输出 第11章 Hadoop的文件系统HDFS 11.1 文件的分布与容错 11.2 目录节点NameNode 11.3 FSNamesystem 11.4 文件系统目录FSDirectory 11.5 文件系统映像FsImage 11.6 文件系统更改记录FSEditLog 11.7 FSEditLog与Journal 11.8 EditLog记录的重演 11.9 版本升级与故障恢复 第12章 HDFS的DataNode 12.1 DataNode 12.2 数据块的存储 12.3 RamDisk复份的持久化存储 12.4 目录扫描线程DirectoryScanner 12.5 数据块扫描线程DataBlockScanner 第13章 DataNode与NameNode的互动 13.1 DataNode与NameNode的互动 13.2 心跳HeartBeat 13.3 BlockReport 第14章 DataNode间的互动 14.1 数据块的接收和存储 14.2 命令DNA_TRANSFER的执行 第15章 HDFS的文件访问 15.1 DistributedFileSystem和DFSClient 15.2 FsShell 15.3 HDFS的打开文件流程 15.4 HDFS的读文件流程 15.5 HDFS的创建文件流程 15.6 文件租约 15.7 HDFS的写文件流程 15.8 实例 第16章 Hadoop的容错机制 16.1 容错与高可用 16.2 HDFS的HA机制 16.3 NameNode的倒换 16.4 Zookeeper与自动倒换 16.5 YARN的HA机制 第17章 Hadoop的安全机制 17.1 大数据集群的安全问题 17.2 UGI、Token和ACL 17.3 UGI的来源和流转 17.4 Token的使用 第18章 Hadoop的人机界面 18.1 Hadoop的命令行界面 18.2 Hadoop的Web界面 18.3 Dependency Inject和Annotation 18.4 对网页的访问 第19章 Hadoop的部署和启动 19.1 Hadoop的运维脚本 19.2 Hadoop的部署与启动 19.3 Hadoop的日常使用 19.4 Hadoop平台的关闭 第20章 Spark的优化与改进 20.1 Spark与Hadoop 20.2 RDD与Stage——概念与思路 20.3 RDD的存储和引用 20.4 DStream 20.5 拓扑的灵活性和多样性 20.6 性能的提升 20.7 使用的方便性 20.8 几个重要的类及其作用 参考资料 资源截图：

资源名称：Hadoop构建数据仓库实践 作者简介： 王雪迎，毕业于中国地质大学计算机专业，高级工程师，拥有20年数据库、数据仓库相关技术经验。曾先后供职于北京现代商业信息技术有限公司、北京在线九州信息技术服务有限公司、华北计算技术研究所、北京优贝在线网络科技有限公司，担任DBA、数据架构师等职位。 资源目录： 第1章 数据仓库简介 1.1 什么是数据仓库 1 1.1.1 数据仓库的定义 1 1.1.2 建立数据仓库的原因 3 1.2 操作型系统与分析型系统 5 1.2.1 操作型系统 5 1.2.2 分析型系统 8 1.2.3 操作型系统和分析型系统对比 9 1.3 数据仓库架构 10 1.3.1 基本架构 10 1.3.2 主要数据仓库架构 12 1.3.3 操作数据存储 16 1.4 抽取-转换-装载 17 1.4.1 数据抽取 17 1.4.2 数据转换 19 1.4.3 数据装载 20 1.4.4 开发ETL系统的方法 21 1.4.5 常见ETL工具 21 1.5 数据仓库需求 22 1.5.1 基本需求 22 1.5.2 数据需求 23 1.6 小结 24 第2章 数据仓库设计基础 2.1 关系数据模型 25 2.1.1 关系数据模型中的结构 25 2.1.2 关系完整性 28 2.1.3 规范化 30 2.1.4 关系数据模型与数据仓库 33 2.2 维度数据模型 34 2.2.1 维度数据模型建模过程 35 2.2.2 维度规范化 36 2.2.3 维度数据模型的特点 37 2.2.4 星型模式 38 2.2.5 雪花模式 40 2.3 Data Vault模型 42 2.3.1 Data Vault模型简介 42 2.3.2 Data Vault模型的组成部分 43 2.3.3 Data Vault模型的特点 44 2.3.4 Data Vault模型的构建 44 2.3.5 Data Vault模型实例 46 2.4 数据集市 49 2.4.1 数据集市的概念 50 2.4.2 数据集市与数据仓库的区别 50 2.4.3 数据集市设计 50 2.5 数据仓库实施步骤 51 2.6 小结 54 第3章 Hadoop生态圈与数据仓库 3.1 大数据定义 55 3.2 Hadoop简介 56 3.2.1 Hadoop的构成 57 3.2.2 Hadoop的主要特点 58 3.2.3 Hadoop架构 58 3.3 Hadoop基本组件 59 3.3.1 HDFS 60 3.3.2 MapReduce 65 3.3.3 YARN 72 3.4 Hadoop生态圈的其他组件 77 3.5 Hadoop与数据仓库 81 3.5.1 关系数据库的可扩展性瓶颈 82 3.5.2 CAP理论 84 3.5.3 Hadoop数据仓库工具 85 3.6 小结 88 第4章 安装Hadoop 4.1 Hadoop主要发行版本 89 4.1.1 Cloudera Distribution for Hadoop（CDH） 89 4.1.2 Hortonworks Data Platform（HDP） 90 4.1.3 MapR Hadoop 90 4.2 安装Apache Hadoop 91 4.2.1 安装环境 91 4.2.2 安装前准备 92 4.2.3 安装配置Hadoop 93 4.2.4 安装后配置 97 4.2.5 初始化及运行 97 4.3 配置HDFS Federation 99 4.4 离线安装CDH及其所需的服务 104 4.4.1 CDH安装概述 104 4.4.2 安装环境 106 4.4.3 安装配置 106 4.4.4 Cloudera Manager许可证管理 114 4.5 小结 115 第5章 Kettle与Hadoop 5.1 Kettle概述 117 5.2 Kettle连接Hadoop 119 5.2.1 连接HDFS 119 5.2.2 连接Hive 124 5.3 导出导入Hadoop集群数据 128 5.3.1 把数据从HDFS抽取到RDBMS 128 5.3.2 向Hive表导入数据 132 5.4 执行Hive的HiveQL语句 134 5.5 MapReduce转换示例 135 5.6 Kettle提交Spark作业 143 5.6.1 安装Spark 143 5.6.2 配置Kettle向Spark集群提交作业 146 5.7 小结 149 第6章 建立数据仓库示例模型 6.1 业务场景 150 6.2 Hive相关配置 152 6.2.1 选择文件格式 152 6.2.2 支持行级更新 159 6.2.3 Hive事务支持的限制 164 6.3 Hive表分类 164 6.4 向Hive表装载数据 169 6.5 建立数据库表 174 6.6 装载日期维度数据 179 6.7 小结 180 第7章 数据抽取 7.1 逻辑数据映射 182 7.2 数据抽取方式 185 7.3 导出成文本文件 191 7.4 分布式查询 196 7.5 使用Sqoop抽取数据 200 7.5.1 Sqoop简介 200 7.5.2 CDH 5.7.0中的Sqoop 203 7.5.3 使用Sqoop抽取数据 203 7.5.4 Sqoop优化 207 7.6 小结 208 第8章 数据转换与装载 8.1 数据清洗 210 8.2 Hive简介 214 8.2.1 Hive的体系结构 215 8.2.2 Hive的工作流程 216 8.2.3 Hive服务器 218 8.2.4 Hive客户端 221 8.3 初始装载 231 8.4 定期装载 236 8.5 Hive优化 246 8.6 小结 254 第9章 定期自动执行ETL作业 9.1 crontab 256 9.2 Oozie简介 260 9.2.1 Oozie的体系结构 260 9.2.2 CDH 5.7.0中的Oozie 262 9.3 建立定期装载工作流 262 9.4 建立协调器作业定期自动执行工作流 271 9.5 Oozie优化 275 9.6 小结 276 第10章 维度表技术 10.1 增加列 278 10.2 维度子集 285 10.3 角色扮演维度 292 10.4 层次维度 298 10.4.1 固定深度的层次 299 10.4.2 递归 302 10.4.3 多路径层次 310 10.4.4 参差不齐的层次 312 10.5 退化维度 313 10.6 杂项维度 316 10.7 维度合并 323 10.8 分段维度 329 10.9 小结 335 第11章 事实表技术 11.1 事实表概述 336 11.2 周期快照 337 11.3 累积快照 343 11.4 无事实的事实表 349 11.5 迟到的事实 354 11.6 累积度量 360 11.7 小结 366 第12章 联机分析处理 12.1 联机分析处理简介 367 12.1.1 概念 367 12.1.2 分类 368 12.1.3 性能 371 12.2 Impala简介 371 12.3 Hive、SparkSQL、Impala比较 377 12.3.1 Spark SQL简介 377 12.3.2 Hive、Spark SQL、Impala比较 379 12.3.3 Hive、Spark SQL、Impala性能对比 382 12.4 联机分析处理实例 387 12.5 Apache Kylin与OLAP 399 12.5.1 Apache Kylin架构 399 12.5.2 Apache Kylin安装 401 12.6 小结 407 第13章 数据可视化 13.1 数据可视化简介 408 13.2 Hue简介 410 13.2.1 Hue功能快速预览 411 13.2.2 配置元数据存储 412 13.3 Zeppelin简介 415 13.3.1 Zeppelin架构 415 13.3.2 Zeppelin安装配置 416 13.3.3 在Zeppelin中添加MySQL翻译器 421 13.4 Hue、Zeppelin比较 425 13.5 数据可视化实例 426 13.6 小结 434 资源截图：

资源名称：一本书读懂大数据客户分析 内容简介： 企业的长期生存能力是指通过持续地满足和超越客户的生理和心理需求来吸引顾客。阅读本书，你将学会如何全面改善客户体验，如何收集、测量以及解读客户数据，如何使用数据创建良好的客户关系，如何实现向数据导向的客户体验转变。 资源目录： 前言 关于本书 “可笑的”假设 本书使用的图标 本书之外 本书宗旨 第1部分：客户分析入门 第1章客户分析简介 什么是客户分析？ 客户分析能带给我们什么？ 运用客户分析 汇编大数据与小数据 第2章度量标准的科学与艺术 累加定量数据 离散数据与持续数据 数据级别 变量 量化定性数据 确定所需样本大小 估算置信区间 计算95%置信区间 确定收集哪些数据 使用正确的衡量方法 第3章筹划客户分析计划 客户分析计划概述 定义范围和结果 确定衡量标准、方法和工具 制定预算 确定正确的样本大小 分析与改进 控制结果 第2部分：甄别你的客户 第4章细分客户 为什么细分客户 细分客户的五个“W” Who——细分对象的身份特征 Where——地点 What——内容 When——时间 Why——原因 How——方法 分析数据，细分客户 第一步：数据制表 第二步：制作交叉表 第三步：聚类分析 第四步：估计每个客户细分的大小 第五步：估计每个客户细分的价值 第5章创建客户档案 客户档案的重要性 管理客户档案 利用客户数据建立更多的客户档案 第一步：收集合适的数据 第二步：划分数据 第三步：确定和完善客户档案 利用客户档案解答问题 第6章确定客户终生价值 客户终生价值的重要性 应用客户终生价值 计算终生价值 估算收益 计算客户终生价值 识别黄金客户 向黄金客户营销 第3部分：客户购买历程解析 第7章绘制客户浏览轨迹图 利用传统型营销漏斗 什么是客户浏览轨迹图？ 定义客户浏览轨迹 查找数据 描绘客户浏览轨迹 使客户浏览轨迹图发挥更大作用 第8章确定品牌意识和态度 衡量品牌意识 独立意识 辅助意识 衡量产品或服务知识 衡量品牌态度 识别品牌支柱 检验品牌亲和度 衡量使用情况与使用意向 查明以往的使用情况 衡量未来的使用意向 理解态度的关键动因 构建品牌评估调查 第9章衡量客户态度 测量客户满意度 大体满意度 态度vs满意度 使用系统可用性量表（SUS）和标准化用户体验百分秩问卷（SUS—Q）划分可用性等级 系统可用性量表 标准化用户体验百分秩问卷（SUPR—Q） 使用单一易用性问题（SEQ）测量任务难度 为品牌喜爱度打分 发现客户期待：渴望度与奢侈度 渴望度 奢侈度 测量态度提升度 了解客户偏好 发现客户态度的关键动因 编写有效的客户态度问题 第10章量化考虑阶段和购买阶段 确定考虑的触点 公司驱动触点 客户驱动触点 测量客户驱动触点 测量公司驱动触点的三个R Reach（传递） Resonance（共鸣） Reaction（反应） 衡量共鸣和反应 跟踪转化和购买 跟踪微转化 创造微转化机遇 设置转化跟踪 测量转化率 通过A／B测试测量转变 离线A／B测试 在线A／B测试 测试多个变量 充分利用网站分析数据 第11章跟踪购后行为 处理认知失调 减轻认知失调 从认知失调到心满意足 跟踪退货率 测量购后触点 探究购后触点 评估购后满意度水平 利用“呼叫中心分析”找出问题 使用因果分析图找出根源 创建因果分析图 第12章衡量客户忠实度 衡量客户忠实度 回购率 净推荐值 不良利润 找出忠实度的关键动因 珍惜正面口碑 重视负面口碑 第4部分：用数据分析产品开发 第13章开发客户所需产品 集中投入产品功能 发现客户首要任务 列出任务清单 发现客户 选择五项任务 绘图和分析 采取内部视角看问题 进行差距分析 将企业需求反映到客户需求 确定客户所需 倾听客户的声音 倾听企业的声音 建立客户与企业之间的联系 生成优先事项 审视优先事项 利用卡诺模型测量客户愉悦度 评估功能组合的价值 查明问题产生的原因 第14章通过可用性研究获得卓见 什么是可用性原则 进行可用性测试 确定测试内容 确认目标 概述任务场景 招募用户 测试用户 收集指标 数据编码与分析 汇总与呈现结果 考虑不同类型的可用性测试 查找和报告可用性问题 促进可用性研究 第15章衡量商品搜寻能力与导航功能 确定搜寻能力区域 确定客户所需 搜寻能力测试准备 找到基准线 设计测试 制定测量搜寻能力指标 开展搜寻能力测试 确定样本大小 招募用户 分析结果 提高搜寻能力 交联产品 重组类别 改写任务 修改后再次测试搜寻能力 第16章坚守客户分析的伦理 获得知情许可 Facebook OKCupid Amazon与Orbitz Mint.com 决定实验 第5部分：客户分析4个“十” 第17章需要牢记的十个客户度量标准 第18章改进客户体验的十种方法 第19章十种常见的分析错误 第20章识别客户需求的十种方法 附录：用客户分析进行预测 寻找相似点和关联性 显现关联性 量化关系的强度 二元变量间的关联 确定因果关系 随机进行的实验研究 准实验设计 相关性研究 单一实验对象研究 轶闻 利用回归分析进行预测 利用回归线进行预测 在Excel中创建回归方程 多元回归分析 利用二进制数据进行预测 时间序列分析预测发展趋势 指数（非线性）增长 培训期和验证期 检测差异性 资源截图：

资源名称：数据挖掘技术 资源截图：