资源搜

资源名称：Kafka并不难学！入门、进阶、商业实战 内容简介： 本书基于Kafka 0.10.2.0以上版本，采用“理论 实践”的形式编写。全书共68个实例。 全书共分为4篇： 第1篇，介绍了消息队列和Kafka、安装与配置Kafka环境； 第2篇，介绍了Kafka的基础操作、生产者和消费者、存储及管理数据； 第3篇，介绍了更高级的Kafka知识及应用，包括安全机制、连接器、流处理、监控与测试； 第4篇，是对前面知识的综合及实际应用，包括ELK套件整合实战、Spark实时计算引擎整合实战、Kafka Eagle监控系统设计与实现实战。 本书的每章都配有同步教学视频。视频和图书具有相同的结构，能帮助读者快速而全面地了解每章的内容。 本书还免费提供所有案例的源代码。这些代码不仅能方便读者学习，也能为以后的工作提供便利。 资源目录： ——第1篇  准备 第1章  了解消息队列和Kafka /2 1.1  本章教学视频说明 /2 1.2  消息队列 /2 ∟1.2.1  什么是消息队列 /3 ∟1.2.2  消息队列主要有哪些作用 /3 1.3  为什么需要Kafka /6 1.4  Kafka的基本概念 /7 ∟1.4.1  代理、生产者、消费者、消费者组 /7 ∟1.4.2  主题、分区、副本、记录 /8 1.5  了解Kafka的工作机制——生产消息 /消费消息 /9 1.6  Kafka的使用范围 /10 ∟1.6.1  Kafka的设计初衷 /10 ∟1.6.2  Kafka的特性 /11 ∟1.6.3  Kafka适用于哪些场景 /13 1.7  小结 /14 - 第2章  安装及配置Kafka /15 2.1  本章教学视频说明 /15 2.2  安装与配置基础环境 /16 ∟2.2.1  安装并配置Linux操作系统 /16 ∟2.2.2  实例1：安装与配置Java运行环境 /18 ∟2.2.3  实例2：配置SSH免密码登录 /21 ∟2.2.4  实例3：安装与配置Zookeeper /23 2.3  实例4：部署Kafka /27 ∟2.3.1  单机模式部署 /27 ∟2.3.2  分布式模式部署 /29 2.4  实例5：安装与配置Kafka监控工具 /32 ∟2.4.1  获取并编译Kafka Eagle源代码 /32 ∟2.4.2  安装与配置Kafka Eagle /33 2.5  实例6：编译Kafka源代码 /37 ∟2.5.1  安装与配置Scala运行环境 /38 ∟2.5.2  安装与配置Gradle /39 ∟2.5.3  了解Kafka源代码的编译过程 /40 2.6  实例7：将Kafka源代码导入编辑器 /42 ∟2.6.1  导入IntelliJ IDEA编辑器 /42 ∟2.6.2  导入Eclipse编辑器 /44 2.7  了解元数据的存储分布 /46 2.8  了解控制器的选举流程 /48 ∟2.8.1  了解控制器的启动顺序 /48 ∟2.8.2  了解主题分区Leader节点的选举过程 /52 ∟2.8.3  了解注册分区和副本状态机 /59 ∟2.8.4  了解分区自动均衡和分区重新分配 /61 2.9  小结 /66 ——第2篇  入门 第3章  Kafka的基本操作 /68 3.1  本章教学视频说明 /68 3.2  操作Zookeeper集群 /68 ∟3.2.1  Zookeeper的作用及背景 /69 ∟3.2.2  实例8：单机模式启动Zookeeper系统 /70 ∟3.2.3  实例9：单机模式关闭Zookeeper系统 /72 ∟3.2.4  实例10：分布式模式启动Zookeeper集群 /74 3.2.5  实例11：分布式模式关闭Zookeeper集群 /77 3.3  操作Kafka集群 /77 ∟3.3.1  实例12：单机模式启动Kafka系统 /78 ∟3.3.2  实例13：单机模式关闭Kafka系统 /79 ∟3.3.3  实例14：分布式模式启动Kafka集群 /81 ∟3.3.4  实例15：分布式模式关闭Kafka集群 /84 3.4  管理主题 /85 ∟3.4.1  什么是主题 /86 ∟3.4.2  实例16：创建主题 /87 ∟3.4.3  实例17：查看主题 /88 ∟3.4.4  实例18：修改主题 /92 ∟3.4.5  实例19：删除主题 /94 3.5  管理分区与副本 /95 ∟3.5.1  分区和副本的背景及作用 /95 ∟3.5.2  实例20：修改分区 /96 ∟3.5.3  实例21：修改副本数 /97 3.6  小结 /99 第4章  将消息数据写入Kafka系统——生产 /100 4.1  本章教学视频说明 /100 4.2  了解Kafka生产者 /101 4.3  使用脚本操作生产者 /101 ∟4.3.1  实例22：通过监控工具查看消息 /102 ∟4.3.2  实例23：启动消费者程序，并查看消息 /103 4.4  发送消息到Kafka主题 /104 ∟4.4.1  了解异步模式 /104 ∟4.4.2  实例24：生产者用异步模式发送消息 /105 ∟4.4.3  了解同步模式 /105 ∟4.4.4  实例25：生产者用同步模式发送消息 /106 ∟4.4.5  多线程发送消息 /107 ∟4.4.6  实例26：生产者用单线程发送消息 /107 ∟4.4.7  实例27：生产者用多线程发送消息 /110 4.5  配置生产者的属性 /112 4.6  保存对象的各个属性——序列化 /115 ∟4.6.1  实例28：序列化一个对象 /115 ∟4.6.2  实例29：在生产者应用程序中实现序列化 /117 4.7  自定义主题分区 /122 ∟4.7.1  实例30：编写自定义主题分区的算法 /122 ∟4.7.2  实例31：演示自定义分区类的使用 /123 4.8  小结 /125 - 第5章  从Kafka系统中读取消息数据——消费 /126 5.1  本章教学视频说明 /126 5.2  了解Kafka消费者 /126 ∟5.2.1  为什么需要消费者组 /126 ∟5.2.1  消费者和消费者组的区别 /127 ∟5.2.2  消费者和分区的对应关系 /127 5.3  使用Kafka系统的脚本操作消费者 /130 ∟5.3.1  认识消费者新接口 /130 ∟5.3.2  实例32：用新接口启动消费者程序，并查看消费者信息 /131 ∟5.3.3  实例33：用旧接口启动消费者程序，并查看消费者元数据的存储结构 /134 5.4  消费Kafka集群中的主题消息 /136 ∟5.4.1  主题如何自动获取分区和手动分配分区 /137 ∟5.4.2  实例34：主题自动 /手动获取分区 /137 ∟5.4.3  实例35：反序列化主题消息 /140 ∟5.4.4  如何提交消息的偏移量 /145 ∟5.4.5  实例36：使用多线程消费多个分区的主题 /146 5.5  配置消费者的属性 /150 5.6  小结 /151 - 第6章  存储及管理数据 /152 6.1  本章教学视频说明 /152 6.2  分区存储数据 /152 ∟6.2.1  熟悉分区存储 /153 ∟6.2.2  了解消息的格式 /154 6.3  清理过期数据的两种方法 /155 6.4  网络模型和通信流程 /156 ∟6.4.1  基本数据类型 /156 ∟6.4.2  通信模型 /157 ∟6.4.3  通信过程 /157 6.6  小结 /159 - ——第3篇  进阶 第7章  Kafka安全机制 /162 7.1  本章教学视频说明 /162 7.2  了解Kafka的安全机制 /162 ∟7.2.1  身份验证 /163 ∟7.2.2  权限控制 /163 7.3  使用SSL协议进行加密和身份验证 /164 ∟7.3.1  了解SSL协议 /164 ∟7.3.2  实例37：创建SSL密钥库，并查看密钥库文件 /165 ∟7.3.3  实例38：创建私有证书 /167 ∟7.3.4  实例39：导出证书，使用CA对证书进行签名 /170 ∟7.3.5  实例40：在服务端配置SSL协议，并创建主题 /173 ∟7.3.6  实例41：在客户端配置SSL协议，并读 /写数据 /174 7.4  使用SASL协议进行认证 /176 ∟7.4.1  给客户端配置“Java认证和授权服务”（JAAS） /176 ∟7.4.2  给服务端配置SASL /178 ∟7.4.3  实例42：开启SASL /Kerberos认证协议 /178 ∟7.4.4  实例43：开启SASL /PLAIN认证协议 /181 ∟7.4.5  实例44：开启SASL /SCRAM认证协议 /184 7.5  权限控制 /187 ∟7.5.1  权限控制的基础命令 /187 ∟7.5.2  配置ACL（访问控制列表） /188 ∟7.5.3  实例45：启动集群 /189 ∟7.5.4  实例46：查看授权、添加授权、删除授权 /190 7.6  小结 /195 - 第8章  用Kafka连接器建立数据管道 /196 8.1  本章教学视频说明 /196 8.2  认识Kafka连接器 /196 ∟8.2.1  了解连接器的使用场景 /197 ∟8.2.2  特性及优势 /198 ∟8.3  操作Kafka连接器 /199 8.3.1  配置Kafka连接器的属性 /199 ∟8.3.2  认识应用接口——REST API /202 ∟8.3.3  实例47：单机模式下，将数据导入Kafka主题中 /203 ∟8.3.4  实例48：单机模式下，将Kafka主题中的数据导出 /205 ∟8.3.5  实例49：分布式模式下，将数据导入Kafka主题 /206 8.4  实例50：开发一个简易的Kafka连接器插件 /210 ∟8.4.1  编写Source连接器 /211 ∟8.4.2  编写Sink连接器 /217 ∟8.4.3  打包与部署 /220 8.5  小结 /225 - 第9章  Kafka流处理 /226 9.1  本章教学视频说明 /226 9.2  初识Kafka流处理 /227 ∟9.2.1  什么是流处理 /227 ∟9.2.2  什么是流式计算 /227 ∟9.2.3  为何要使用流处理 /228 9.3  了解流处理的架构 /229 ∟9.3.1  流分区与任务 /230 ∟9.3.2  线程模型 /232 ∟9.3.3  本地状态存储 /234 ∟9.3.4  容错性（Failover） /235 9.4  操作KStream和KTable /235 ∟9.4.1  流处理的核心概念 /236 ∟9.4.2  窗口操作 /237 ∟9.4.3  连接操作 /241 ∟9.4.4  转换操作 /246 ∟9.4.5  聚合操作 /247 9.5  实例51：利用流处理开发一个单词统计程序 /248 ∟9.5.1  创建Kafka流主题 /248 ∟9.5.2  统计流主题中单词出现的频率 /249 ∟9.5.3  预览操作结果 /250 9.6  实例52：利用Kafka流开发一个SQL引擎 /251 ∟9.6.1  构建生产流数据源 /251 ∟9.6.2  构建Kafka流处理 /253 ∟9.6.3  构建数据结构和执行SQL逻辑 /254 ∟9.6.4  观察操作结果 /255 9.7  小结 /256 - 第10章  监控与测试 /257 10.1  本章教学视频说明 /257 10.2  Kafka的监控工具——Kafka Eagle系统 /258 ∟10.2.1  实例53：管理主题 /258 ∟10.2.2  实例54：查看消费者组信息 /259 ∟10.2.3  实例55：查看Kafka与Zookeeper集群的状态和性能 /263 10.3  测试生产者性能 /264 ∟10.3.1  了解测试环境 /264 ∟10.3.2  认识测试工具 /265 ∟10.3.3  实例56：利用工具测试生产者性能 /266 10.4  测试消费者性能 /275 ∟10.4.1  了解测试环境 /275 ∟10.4.2  认识测试工具 /276 ∟10.4.3  实例57：利用脚本测试消费者的性能 /276 10.4  小结 /280 - ——第4篇  商业实战 第11章  Kafka与ELK套件的整合 /282 11.1  本章教学视频说明 /282 11.2  安装与配置ELK /283 ∟11.2.1  安装与配置LogStash /283 ∟11.2.2  实例58：LogStash的标准输入与输出 /285 ∟11.2.3  安装与配置ElasticSearch /287 ∟11.2.4  实例59：使用ElasticSearch集群的HTTP接口创建索引 /292 ∟11.2.5  实例60：使用ElasticSearch集群的HTTP接口查看索引 /293 ∟11.2.6  实例61：使用ElasticSearch集群的HTTP接口添加数据 /294 ∟11.2.7  安装与配置Kibana /296 ∟11.2.8  实例62：启动并验证Kibana系统 /298 11.3  实例63：实现一个游戏日志实时分析系统 /299 ∟11.3.1  了解系统要实现的功能 /300 ∟11.3.2  了解平台体系架构 /300 ∟11.3.3  采集数据 /302 ∟11.3.4  分流数据 /304 ∟11.3.5  实现数据可视化 /306 11.4  小结 /308 - 第12章  Kafka与Spark实时计算引擎的整合 /309 12.1  本章教学视频说明 /309 12.2  介绍Spark背景 /310 ∟12.2.1  Spark SQL——Spark处理结构化数据的模块 /310 ∟12.2.2  Spark Streaming——Spark核心应用接口的一种扩展 /311 ∟12.2.3  MLlib——Spark的一个机器学习类库 /311 ∟12.2.4  GraphX——Spark的一个图计算框架 /311 12.3  准备Spark环境 /311 ∟12.3.1  下载Spark基础安装包 /311 ∟12.3.2  安装与配置Spark集群 /312 12.4  操作Spark /315 ∟12.4.1  实例64：使用Spark Shell统计单词出现的频率 /315 ∟12.4.2  实例65：使用Spark SQL对单词权重进行降序输出 /317 ∟12.4.3  实例66：使用Spark Submit统计单词出现的频率 /319 12.5  实例67：对游戏明细数据做实时统计 /322 ∟12.5.1  了解项目背景和价值 /323 ∟12.5.2  设计项目实现架构 /323 ∟12.5.3  编码步骤一  实现数据采集 /325 ∟12.5.4  编码步骤二  实现流计算 /327 ∟12.5.5  编码步骤三  打包应用程序 /330 ∟12.5.6  编码步骤四  创建表结构 /332 ∟12.5.7  编码步骤五  执行应用程序 /332 ∟12.5.8  编码步骤六  预览结果 /333 12.6  小结 /333 - 第13章  实例68：从零开始设计一个Kafka监控系统——Kafka Eagle /334 13.1  本章教学视频说明 /334 13.2  了解Kafka Eagle监控系统 /335 ∟13.2.1  设计的背景 /335 ∟13.2.2  应用场景 /336 13.3  从结构上了解Kafka Eagle /337 ∟13.3.1  了解Kafka Eagle的整体架构和代码结构 /337 ∟13.3.2  设计Kafka Eagle的7大功能模块 /339 13.4  实现Kafka Eagle的功能模块 /347 ∟13.4.1  编码步骤一  实现数据面板 /347 ∟13.4.2  编码步骤二  实现主题管理 /348 ∟13.4.3  编码步骤三  实现消费者实例详情 /350 ∟13.4.4  编码步骤四  实现集群监控 /350 ∟13.4.5  编码步骤五  实现性能监控 /351 ∟13.4.6  编码步骤六  实现告警功能 /351 ∟13.4.7  编码步骤七  实现系统功能 /352 13.5  安装及使用Kafka Eagle监控系统 /353 ∟13.5.1  准备环境 /353 ∟13.5.2  快速部署 /354 ∟13.5.3  了解Kafka Eagle的基础命令 /358 13.6  小结 /358 资源截图：

资源名称：Spark快速数据处理 内容简介： Spark是一个开源的通用并行分布式计算框架，由加州大学伯克利分校的AMP实验室开发，支持内存计算、多迭代批量处理、即席查询、流处理和图计算等多种范式。Spark内存计算框架适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，现已逐渐获得很多企业的支持，如阿里巴巴、百度、网易、英特尔等公司。 　　本书系统讲解Spark的使用方法，包括如何在多种机器上安装Spark，如何配置一个Spark集群，如何在交互模式下运行第一个Spark作业，如何在Spark集群上构建一个生产级的脱机/独立作业，如何与Spark集群建立连接和使用SparkContext，如何创建和保存RDD（弹性分布式数据集），如何用Spark分布式处理数据，如何设置Shark，将Hive查询集成到你的Spark作业中来，如何测试Spark作业，以及如何提升Spark任务的性能。 资源目录： 译者序 作者简介 前言 第1章　安装Spark以及构建Spark集群 　1.1　单机运行Spark 　1.2　在EC2上运行Spark 　1.3　在ElasticMapReduce上部署Spark 　1.4　用Chef(opscode)部署Spark 　1.5　在Mesos上部署Spark 　1.6　在Yarn上部署Spark 　1.7　通过SSH部署集群 　1.8　链接和参考 　1.9　小结 第2章　Sparkshell的使用 　2.1　加载一个简单的text文件 　2.2　用Sparkshell运行逻辑回归 　2.3　交互式地从S3加载数据 　2.4　小结 第3章　构建并运行Spark应用 　3.1　用sbt构建Spark作业 　3.2　用Maven构建Spark作业 　3.3　用其他工具构建Spark作业 　3.4　小结 第4章　创建SparkContext 　4.1　Scala 　4.2　Java 　4.3　Java和Scala共享的API 　4.4　Python 　4.5　链接和参考 　4.6　小结 第5章　加载与保存数据 　5.1　RDD 　5.2　加载数据到RDD中 　5.3　保存数据 　5.4　连接和参考 　5.5　小结 第6章　操作RDD 　6.1　用Scala和Java操作RDD 　6.2　用Python操作RDD 　6.3　链接和参考 　6.4　小结 第7章　Shark-Hive和Spark的综合运用 　7.1　为什么用HiveShark 　7.2　安装Shark 　7.3　运行Shark 　7.4　加载数据 　7.5　在Spark程序中运行HiveQL查询 　7.6　链接和参考 　7.7　小结 第8章　测试 　8.1　用Java和Scala测试 　8.2　用Python测试 　8.3　链接和参考 　8.4　小结 第9章　技巧和窍门 　9.1　日志位置 　9.2　并发限制 　9.3　内存使用与垃圾回收 　9.4　序列化 　9.5　IDE集成环境 　9.6　Spark与其他语言 　9.7　安全提示 　9.8　邮件列表 　9.9　链接和参考 　9.10　小结 资源截图：

资源名称：精通Elastic Stack  内容简介： 本书系统论述了Exadata原理、架构及其实施运维实践。全书分为4章，分别对应Exadata实施运维中的四个不同主题。第1章为Exadata刷机安装，简要地介绍Exadata的历史和软硬件架构，为后续运维打好基础；  同时详细讲解Exadata的各种刷机工具、刷机方式和安装初始化步骤； *后手把手地教授如何搭建*版本的Exadata虚拟环境。第2章为Exadata管理工具，详尽地阐述Exadata运维相关的绝大部分管理工具。第3章为Exadata硬件更换，介绍Exadata的大部分易损硬件的更换工作。第4章为Exadata组件升级，详尽地讲解Exadata升级的方方面面以及组件之间的各种兼容及依赖关系，结合诸多的升级案例讲解Exadata存储软件版本变化带来的不同升级方式。本书适用于数据库管理员、数据库开发者、存储管理员、主机工程师、系统架构师、数据库爱好者。本书假定读者已经熟悉Oracle数据库，所以没有详细解释Oracle数据库的工作原理，除非数据库涉及Exadata相关的特性。由于Exadata是一个硬件和软件一体化的数据库平台，所以希望读者对Linux操作系统和网络方面的知识也有所了解。 资源目录： 第1章Elastic Stack概述1 1.1ELK Stack简介1 1.1.1Logstash2 1.1.2Elasticsearch3 1.1.3Kibana3 1.2Elastic Stack的诞生3 1.3谁在使用Elastic Stack?4 1.3.1Salesforce5 1.3.2CERN5 1.3.3Green Man Gaming5 1.4竞争者6 1.5设置Elastic Stack的使用环境6 1.5.1安装Java6 1.5.2安装Elasticsearch9 1.5.3安装Kibana12 1.5.4安装Logstash15 1.5.5安装Filebeat16 1.6XPack简介18 1.7本章小结19 第2章走进Elasticsearch20 2.1Elasticsearch的起源20 2.2了解Elasticsearch的体系结构22 2.2.1推荐的集群配置23 2.2.2了解文档处理24 2.3Elasticsearch API25 2.3.1有关文档的API25 2.3.2有关搜索的API38 2.3.3有关索引的API43 2.3.4Cat API51 2.3.5Cluster API52 2.4Query DSL52 2.5聚合52 2.5.1Buckets聚合52 2.5.2Metrics聚合59 2.6Painless脚本说明64 2.7本章小结66 〖1〗〖2〗〖1〗〖3〗第3章探索Logstash及其组件67 3.1Logstash简介68 3.2为什么需要用Logstash68 3.3Logstash的特点69 3.4Logstash插件的体系架构70 3.5Logstash配置文件的结构71 3.5.1值类型71 3.5.2条件判断的用法73 3.6插件种类74 3.6.1数据输入插件Input74 3.6.2数据过滤插件Filter74 3.6.3数据输出插件Output75 3.6.4编解码插件Codec75 3.7学习数据输入插件Input76 3.7.1stdin77 3.7.2file78 3.7.3path79 3.7.4udp82 3.8学习数据过滤插件Filter83 3.8.1grok84 3.8.2mutate86 3.8.3csv89 3.9学习数据输出插件Output90 3.9.1stdout90 3.9.2file91 3.9.3elasticsearch93 3.10学习编解码插件Codec95 3.10.1rubydebug95 3.10.2json96 3.10.3avro96 3.10.4multiline97 3.11插件的命令行操作99 3.11.1列出插件列表100 3.11.2安装插件100 3.11.3移除插件101 3.11.4更新插件101 3.11.5压缩插件102 3.11.6解压插件102 3.12Logstash的命令行操作103 3.13使用Logstash的小技巧105 3.13.1引用字段及其值106 3.13.2添加自定义的grok模式106 3.13.3Logstash不显示任何输出信息107 3.14用于解析日志的Logstash配置108 3.14.1Catalina日志示例108 3.14.2Tomcat日志示例108 3.14.3基于grok模式的Catalina日志109 3.14.4基于grok模式的Tomcat日志示例109 3.14.5Logstash配置文件110 3.15监控系统相应状态信息的API112 3.15.1节点信息API113 3.15.2插件信息API115 3.15.3节点状态API116 3.15.4Hot threads API116 3.16本章小结117 第4章Kibana界面118 4.1Kibana及其功能118 4.2探索Discover界面120 4.3时间过滤器121 4.3.1快捷时间过滤器122 4.3.2相对时间过滤器122 4.3.3绝对时间过滤器122 4.3.4自动刷新122 4.4查询和搜索数据123 4.4.1全文检索123 4.4.2范围搜索123 4.4.3布尔搜索124 4.4.4邻近搜索124 4.4.5通配符搜索124 4.4.6正则表达式搜索125 4.4.7分组125 4.5字段和过滤器125 4.5.1过滤字段125 4.5.2过滤器的功能126 4.6查询页面选项127 4.7探索Visualize界面127 4.7.1了解聚合129 4.7.2可视化画布133 4.7.3面积图133 4.7.4数据表133 4.7.5折线图133 4.7.6气泡图133 4.7.7Markdown部件134 4.7.8Metric134 4.7.9饼图134 4.7.10标签云134 4.7.11瓦片地图134 4.7.12时间序列134 4.7.13直方图134 4.8探索Dashboard界面135 4.9了解Timelion137 4.10探索开发者工具139 4.11探索设置界面140 4.11.1索引模式141 4.11.2已保存的对象141 4.11.3高级设置141 4.11.4状态143 4.12综合应用143 4.12.1输入数据143 4.12.2创建Logstash配置文件144 4.12.3使用Kibana147 4.12.4在Kibana中创建面板155 4.13本章小结157 第5章使用Beats158 5.1Beats简介158 5.2Beats与Logstash的不同之处159 5.3Beats如何融入Elastic Stack160 5.4不同类型的Beats组件概述162 5.4.1Elastic团队开发的Beats组件162 5.4.2社区开发者开发的Beats组件164 5.5Elastic团队开发的Beats组件164 5.5.1了解Filebeat165 5.5.2理解Metricbeat172 5.5.3理解Packetbeat177 5.6社区开发者开发的Beats组件179 5.7Beats在Elastic Stack中的实战182 5.7.1用Logstash和Kibana探索Metricbeat182 5.7.2用Elasticsearch和Kibana探索Elasticbeat191 5.8本章小结195 第6章Elastic Stack实战196 6.1理解问题场景196 6.2准备Elastic Stack管道199 6.2.1要获取什么数据?200 6.2.2更新体系结构200 6.3配置Elastic Stack组件201 6.3.1搭建Elasticsearch202 6.3.2搭建agents/Beats202 6.3.3搭建Logstash207 6.3.4设置Kibana213 6.4设置Kibana面板213 6.4.1Packetbeat214 6.4.2Metricbeat214 6.4.3查看数据库(MySQL)性能215 6.4.4分析CPU的使用216 6.4.5内存使用情况217 6.4.6检查日志217 6.4.7寻找访问最多的网页219 6.4.8访客地图219 6.4.9一定时间范围内的访客数量220 6.4.10请求类型221 6.4.11错误类型——日志的级别221 6.4.12首选的referrer223 6.4.13首选的代理agent223 6.5使用Logstash电子邮件功能发警报224 6.6使用消息代理225 6.7本章小结226 第7章个性化定制Elastic Stack227 7.1扩展Elasticsearch227 7.1.1Elasticsearch开发环境228 7.1.2剖析一个ElasticsearchJava 插件229 7.1.3构建插件230 7.2扩展Logstash231 7.3扩展Beats239 7.3.1Libbeat框架239 7.3.2创建一个Beat240 7.4扩展Kibana251 7.4.1设置Kibana开发环境252 7.4.2生成一个插件253 7.4.3剖析一个插件254 7.5本章小结257 第8章Elasticsearch API258 8.1集群API258 8.1.1集群健康状况258 8.1.2集群状态260 8.1.3集群统计信息261 8.1.4待处理任务261 8.1.5集群重路由261 8.1.6集群更新设置262 8.1.7节点统计信息262 8.1.8节点信息API263 8.1.9任务管理API264 8.2Cat API265 8.3Elasticsearch模块268 8.3.1集群模块269 8.3.2Discovery模块269 8.3.3Gateway模块269 8.3.4HTTP模块269 8.3.5索引模块269 8.3.6网络模块269 8.3.7节点客户端270 8.3.8插件模块270 8.3.9脚本270 8.3.10快照/恢复模块271 8.3.11线程池271 8.3.12Transport模块271 8.3.13Tribe节点模块272 8.4Ingest节点272 8.5Elasticsearch客户端276 8.5.1支持的客户端276 8.5.2社区提供的客户端276 8.6Java API277 8.6.1连接到集群277 8.6.2管理任务278 8.6.3索引级任务281 8.7Elasticsearch插件286 8.7.1Discovery插件287 8.7.2Ingest插件287 8.7.3Elasticsearch SQL288 8.8本章小结289 第9章XPack插件中的Security与Monitoring组件290 9.1XPack介绍290 9.2XPack的安装291 9.2.1在Elasticsearch中安装XPack291 9.2.2在Kibana中安装XPack292 9.2.3在离线系统中安装XPack292 9.2.4卸载XPack293 9.3Security组件294 9.3.1列出所有Security中的用户295 9.3.2列出Security中的角色296 9.3.3了解Security中的角色297 9.3.4理解默认用户角色299 9.3.5在Security中添加新角色299 9.3.6在Security中更新角色300 9.3.7了解字段级的Security301 9.3.8在Security中添加新用户302 9.3.9在Security中更新用户详细信息303 9.3.10在Security中修改用户密码304 9.3.11在Security中删除角色304 9.3.12在Security中删除用户304 9.4查看XPack信息305 9.5Monitoring组件307 9.5.1探索Elasticsearch的监控统计308 9.5.2探索Kibana的监控统计314 9.6了解Profiler315 9.7本章小结317 第10章XPack插件中的Alerting、Graph和Reporting组件318 10.1Alerting与Notification组件318 10.2Graph组件336 10.3Reporting组件341 10.4本章小结344 第11章最佳实践范例345 11.1为什么需要最佳实践范例345 11.2了解你的用例346 11.3管理配置文件347 11.3.1Elasticsearch——elasticsearch.yml347 11.3.2Kibana——kibana.yml348 11.4选择正确的硬件348 11.4.1内存349 11.4.2磁盘351 11.4.3输入输出353 11.4.4CPU354 11.4.5网络354 11.5搜索和索引性能354 11.5.1过滤缓存354 11.5.2Fielddata的容量355 11.5.3索引缓冲区356 11.6调整Elasticsearch集群357 11.6.1选择正确的节点357 11.6.2确定节点数359 11.6.3确定分片数360 11.6.4缩减磁盘空间361 11.7Logstash配置文件361 11.7.1对多个数据源分类362 11.7.2使用conditional条件362 11.7.3使用自定义grok模式363 11.7.4简化grokparsefailure363 11.7.5字段的映像363 11.7.6动态模板363 11.7.7测试配置364 11.8重新索引数据364 11.9本章小结365 第12章案例分析——Meetup366 12.1了解Meetup使用场景366 12.2环境搭建367 12.2.1理解Meetup API368 12.2.2搭建Elasticsearch370 12.2.3准备Logstash370 12.2.4搭建Kibana374 12.3使用Kibana分析数据374 12.3.1内容过滤375 12.3.2按国家统计Meetup使用量377 12.3.3世界前10座使用Meetup的城市379 12.3.4按持续时间分析Meetup发展趋势380 12.3.5按RSVP计数统计Meetup使用量383 12.3.6国家分组统计384 12.3.7加入群组的模式统计384 12.3.8热门类别385 12.3.9热门话题387 12.3.10Meetup活动场所地图388 12.3.11Meetup活动地图389 12.3.12仅数量方面的统计389 12.4获取通知390 12.5本章小结393 资源截图：

视频以Java语言为蓝本，深入浅出的讲解scala语言的语法和特征，并应用scala语言，讲解spark生态系统下的大数据开发技术。

资源名称：Kafka入门与实践 内容简介： 本书以Kafka 0.10.1.1版本以基础，对Kafka的基本组件的实现细节及其基本应用进行了详细介绍，同时，通过对Kafka与当前大数据主流框架整合应用案例的讲解，进一步展现了Kafka在实际业务中的作用和地位。本书共10章，按照从抽象到具体、从点到线再到面的学习思维模式，由浅入深，理论与实践相结合，对Kafka进行了分析讲解。 本书中的大量实例来源于作者在实际工作中的实践，具有现实指导意义。相信读者阅读完本书之后，能够全面掌握Kafka的基本实现原理及其基本操作，能够根据书中的案例举一反三，解决实际工作和学习中的问题。此外，在阅读本书时，读者可以根据本书对Kafka理论的分析，再结合Kafka源码进行定位学习，了解Kafka优秀的设计和思想以及更多的编码技巧。 本书适合应用Kafka的专业技术人员阅读，包括但不限于大数据相关应用的开发者、运维者和爱好者，也适合高等院校、培训结构相关专业的师生使用。 作者简介： 牟大恩，武汉大学硕士，曾先后在网易杭州研究院、掌门科技、优酷土豆集团担任高级开发工程师和资深开发工程师职务，目前就职于海通证券总部。有多年的Java开发及系统设计经验，专注于互联网金融及大数据应用相关领域。 资源目录： 内容提要 前言 第1章　Kafka简介 第2章　Kafka安装配置 第3章　Kafka核心组件 第4章　Kafka核心流程分析 第5章　Kafka基本操作实战 第6章　Kafka API编程实战 第7章　Kafka Streams 第8章　Kafka数据采集应用 第9章　Kafka与ELK整合应用 第10章　Kafka与Spark整合应用 资源截图：

资源名称：云计算核心技术剖析 内容简介： 云计算是新一代IT计算模式，它运用先进的分布式计算及存储架构为用户提供方便的体验并降低使用成本。本书首先介绍了云计算理论方面的知识，接着剖析了多个顶尖云计算产品（比如GoogleApp Engine和SalesforceForce.com）的实现，介绍了非常重要的系统虚拟化技术和安全方面的机制，然后以云的核心模块之一——分布式数据库为实践方向，并以YunTable这个云时代的BigTable为例，来给大家演示如何手动编写和设计一个分布式数据库，最后对云计算的未来发展做了展望。 资源目录： 第一部分  理论篇 　第1章  云计算的概念 　　1.1  什么是云计算 　　　1.1.1  云计算的优点 　　　1.1.2  云计算的特点 　　1.2  云计算的由来 　　　1.2.1  思想演化 　　　1.2.2  技术支撑 　　1.3  云计算的诞生 　　　1.3.1  SaaS 的诞生 　　　1.3.2  “IT 不再重要”的发表 　　　1.3.3  Google 的三大核心技术 　　　1.3.4  AWS 的推出 　　　1.3.5  IBM 和Google 的合作 　　1.4  云计算的成长 　　1.5  云计算的影响 　　　1.5.1  服务器供应商 　　　1.5.2  软件开发商 　　　1.5.3  云终端供应商 　　　1.5.4  云供应商 　　　1.5.5  整个IT 产业 　　1.6  云计算的使用场景 　　　1.6.1  IDC 云 　　　1.6.2  企业云 　　　1.6.3  云存储系统 　　　1.6.4  虚拟桌面云 　　　1.6.5  开发测试云 　　　1.6.6  大规模数据处理云 　　　1.6.7  协作云 　　　1.6.8  游戏云 　　　1.6.9  HPC 云 　　　1.6.10  云杀毒 　第2章  云计算的架构 　　2.1  云的架构 　　　2.1.1  SaaS 　　　2.1.2  PaaS 　　　2.1.3  IaaS 　　　2.1.4  云管理层 　　　2.1.5  架构示例 　　2.2  云的4 种模式 　　　2.21  公有云 　　　2.2.2  私有云 　　　2.2.3  混合云 　　　2.2.4  行业云 第二部分  产品与技术篇 　第3章  Google App Engine 　　3.1  Google 的云计算产品 　　　3.1.1  SaaS 层 　　　3.1.2  PaaS 层 　　　3.1.3  IaaS 层 　　　3.1.4  云客户端 　　3.2  Google 的核心技术 　　　3.2.1  分布式基础设施 　　　3.2.2  分布式大规模数据处理 　　　3.2.3  分布式数据库技术 　　　3.2.4  数据中心优化技术 　　3.3  Google 的设计思想和整体架构 　　　3.3.1  设计思想 　　　3.3.2  整体架构 　　3.4  Google App Engine 简介 　　　3.4.1  历史 　　　3.4.2  功能 　　　3.4.3  使用流程 　　　3.4.4  主要组成部分 　　　3.4.5  编程模型 　　　3.4.6  限制和资费 　　3.5  Google App Engine 的使用 　　　3.5.1  例子 　　　3.5.2  搭建环境 　　　3.5.3  初始化项目 　　　3.5.4  编写数据库代码 　　　3.5.5  添加Web 处理方法 　　　3.5.6  测试和部署 　　3.6  Google App Engine 的架构 　　　3.6.1  设计理念 　　　3.6.2  架构 　　　3.6.3  流程 　　　3.6.4  Python 版和Java 版的区别 　　3.7  本地测试服务器的设计 　　　3.7.1  架构 　　　3.7.2  工作流程 　　3.8  Datastore 的设计 　　　3.8.1  使用方面 　　　3.8.2  实现方面 　　3.9  总结 　　　3.9.1  注意点 　　　3.9.2  最佳实践 　　　3.9.3  适用场景 　　　3.9.4  对未来的期望 　第4章  Salesforce Forcecom 　　4.1  Salesforce 简介 　　　4.1.1  公司历史 　　　4.1.2  Salesforce 的整体架构 　　　4.1.3  Forcecom 　　4.2  多租户的介绍 　　　4.2.1  概念 　　　4.2.2  多租户技术的优缺点 　　　4.2.3  常见的多租户模型 　　4.3  Forcecom 的多租户架构（上） 　　　4.3.1  总体架构 　　　4.3.2  元数据驱动 　　　4.3.3  应用服务器 　　　4.3.4  共享数据库 　　4.4  Forcecom 的多租户架构（下） 　　　4.4.1  应用服务器的模块 　　　4.4.2  数据库表的设计 　　　4.4.3  Apex 　　4.5  总结 　　　4.5.1  设计理念 　　　4.5.2  经验教训 　第5章  系统虚拟化 　　5.1  系统虚拟化简介 　　　5.1.1  虚拟化的概念 　　　5.1.2  系统虚拟化的概念 　　　5.1.3  系统虚拟化技术的分类 　　　5.1.4  系统虚拟化的用处 　　5.2  x86 虚拟化技术 　　　5.2.1  虚拟机的3 大特征 　　　5.2.2  为什么x86 架构很难被虚拟化 　　　5.2.3  CPU 虚拟化 　　　5.2.4  内存虚拟化 　　　5.2.5  I/O 虚拟化 　　　5.2.6  总结与预测 　　5.3  VMware vSphere 的简介 　　　5.3.1  VMware 的思路 　　　5.3.2  VMware vSphere 　　5.4  VMware ESX 的架构 　　　5.4.1  Service Console 　　　5.4.2  VMKernel 　　5.5  虚拟网络 　　　5.5.1  简介 　　　5.5.2  虚拟网卡 　　　5.5.3  虚拟交换机 　　5.6  动态迁移背后的奥秘 　　　5.6.1  动态迁移的实现机制 　　　5.6.2  动态迁移今后的挑战 　　5.7  虚拟器件 　　　5.7.1  虚拟器件的定义 　　　5.7.2  虚拟器件的主要组成部分 　　　5.7.3  虚拟器件的生命周期 　　　5.7.4  虚拟器件的好处 　　　5.7.5  虚拟器件的不足之处 　　　5.7.6  业界支持 　　　5.7.7  虚拟器件与云计算 　　5.8  OVF 协议 　　　5.8.1  OVF 信封 　　　5.8.2  OVF 环境文件 　　　5.8.3  使用流程 　　5.9  VMware 的云计算计划 　　　5.9.1  VMware vCloud Express 　　　5.9.2  VMware vCloud Director 　　　5.9.3  VMforce 　　5.10  Xen 的架构 　　　5.10.1  Xen 简介 　　　5.10.2  半虚拟化技术介绍 　　　5.10.3  Xen 的架构 　　5.11  Xen 的实现机制 　　　5.11.1  超级调用 　　　5.11.2  vCPU 调度 　　　5.11.3  中断虚拟化 　　　5.11.4  内存管理 　　　5.11.5  I/O 系统 　　　5.11.6  信息传递 　　　5.11.7  时间管理 　　5.12  Intel VT 技术 　　　5.12.1  VT-x 　　　5.12.2  EPT 　　　5.12.3  VT-d 　　　5.12.4  VT-c 　　5.13  最新的进展 　　　5.13.1  VMware vSphere 　　　5.13.2  Xen 　　　5.13.3  Intel VT 的PLE 技术 　第6章  Amazon EC 　　6.1  AWS 的概况 　　　6.1.1  简介 　　　6.1.2  产品类别 　　　6.1.3  产品特点 　　　6.1.4  成功案例 　　6.2  Amazon EC2 简介 　　6.3  Amazon EC2 的主要模块 　　　6.3.1  AMI 　　　6.3.2  实例 　　　6.3.3  存储 　　　6.3.4  安全方面 　　　6.3.5  可用区 　　　6.3.6  网络方面 　　　6.3.7  Web 管理界面 　　　6.3.8  API 　　6.4  Amazon EC2 的使用 　　　6.4.1  准备账号 　　　6.4.2  创建实例 　　　6.4.3  启动服务 　　6.5  Amazon EC2 的优缺点 　　　6.5.1  优点 　　　6.5.2  不足之处 　第7章  Cisco UCS 　　7.1  什么是UCS 　　7.2  UCS 的架构 　　　7.2.1  Cisco UCS 6100 系列互联阵列 　　　7.2.2  Cisco UCS 管理程序 　　　7.2.3  Cisco UCS 2100 系列扩展模块 　　　7.2.4  Cisco UCS 5100 系列刀片机箱 　　　7.2.5  Cisco B 系列刀片服务器 　　　7.2.6  Cisco UCS 网络适配器 　　7.3  UCS 的核心技术之内存扩展 　　　7.3.1  Xeon 5500 内存架构 　　　7.3.2  思科的内存扩展技术 　　7.4  UCS 的核心技术之VN-Link 　　　7.4.1  虚拟网络的难题 　　　7.4.2  Cisco Nexus 1000V 的方案 　　　7.4.3  NIV 的方案 　　7.5  UCS 的核心技术之统一网络 　　　7.5.1  数据中心的现状 　　　7.5.2  统一网络简介 　　　7.5.3  统一网络的基石 　　　7.5.4  不足之处 　　7.6  为虚拟化而生 　　　7.6.1  虚拟化的目标 　　　7.6.2  服务器整合 　　　7.6.3  简化系统管理 　　　7.6.4  加速应有部署 　第8章  云计算的安全 　　8.1  云计算安全的概念 　　　8.1.1  新的挑战 　　　8.1.2  现有安全系统的不足 　　　8.1.3  云计算的优势 　　8.2  云计算安全的架构 　　　8.2.1  云客户端 　　　8.2.2  云端 　　　8.2.3  第三方机构 　　8.3  Salesforce Forcecom 的安全机制 　　　8.3.1  整体监管和合规性 　　　8.3.2  用户管理 　　　8.3.3  数据管理 　　　8.3.4  系统和网络 　　　8.3.5  物理设施 　　8.4  AWS 的安全机制 　　　8.4.1  整体监管和合规性 　　　8.4.2  用户管理 　　　8.4.3  数据管理 　　　8.4.4  应用保护 　　　8.4.5  系统与网络 　　　8.4.6  物理设施 　　8.5  为什么云计算更安全 　　　8.5.1  安全管理方面 　　　8.5.2  高可用性方面 　　　8.5.3  数据安全方面 　　　8.5.4  人才方面 　　　8.5.5  广域网方面 　　　8.5.6  总结 第三部分  实践篇 　第9章  深入分析BigTable 　　9.1  BigTable 简介 　　9.2  BigTable 的架构 　　9.3  BigTable 的数据模型和调用接口 　　　9.3.1  数据模型 　　　9.3.2  调用接口 　　9.4  BigTable 的存储模型 　　　9.4.1  Tablet 的运行机制 　　　9.4.2  SSTable 的介绍 　　　9.4.3  Compaction 机制 　　9.5  BigTable 的分布式模型 　　　9.5.1  综述 　　　9.5.2  Chubby 　　　9.5.3  如何定位Tablet 　　　9.5.4  如何分配Tablet 　　9.6  BigTable 的文件系统 　　　9.6.1  GFS 简介 　　　9.6.2  GFS 的架构 　　　9.6.3  GFS 与BigTable 的协作 　　9.7  BigTable 的优化技术 　　　9.7.1  局部性群组 　　　9.7.2  压缩 　　　9.7.3  通过缓存提高读操作的性能 　　　9.7.4  Bloom 过滤器 　　　9.7.5  提交日志的实现 　　　9.7.6  利用不变性 　　9.8  BigTable 的功能集 　　　9.8.1  论文中提到的特性 　　　9.8.2  新特性 　第10章  YunTable 概览 　　10.1  为什么要开发YunTable 　　10.2  YunTable 的目标 　　　10.2.1  02 版的主要目标 　　　10.2.2  一些限制 　　10.3  YunTable 的数据模型 　　10.4  YunTable 的命令行 　　　10.4.1  Add 命令 　　　10.4.2  Put 命令 　　　10.4.3  Get 命令 　　10.5  YunTable 的架构 　　　10.5.1  Master 节点 　　　10.5.2  Region 节点 　　　10.5.3  客户端 　　10.6  工作流程 　　　10.6.1  流程1：启动Master 节点 　　　10.6.2  流程2：启动Region 节点 　　　10.6.3  流程3：启动客户端 　　　10.6.4  流程4：添加Master 节点 　　　10.6.5  流程5：添加Region 节点 　　　10.6.6  流程6：创建表格 　　　10.6.7  流程7：创建列组 　　　10.6.8  流程8：添加数据 　　　10.6.9  流程9：根据Row Key 查询 　　10.7   YunTable 的使用 　　　10.7.1  准备环境 　　　10.7.2  测试用例 　　　10.8  YunTable 的规划 　第11章 YunTable 的代码剖析 　　11.1  基础知识 　　　11.1  编程规范 　　　11.1.2  代码结构 　　　11.1.3  开发环境 　　　11.1.4  重要设定 　　11.2  基础部分 　　　11.2.1  Utils 　　　11.2.2  List 　　　11.2.3  Item 　　　11.2.4  Conf 　　　11.2.5  RPC 　　11.3  Master 部分 　　　11.3.1  数据结构部分 　　　11.3.2  对外接口部分 　　　11.3.3  实现部分 　　11.4  Region 部分 　　　11.4.1  Region 　　　11.4.2  WAL 　　　11.4.3  Tablet 　　　11.4.4  Memstore 　　　11.4.5  YFile 　　11.5  客户端部分 　　　11.5.1  数据结构部分 　　　11.5.2  实现部分 第四部分  展望篇 　第12 章  云计算的未来 　　12.1  云计算的服务模式 　　　12.1.1  比较 　　　12.1.2  未来的竞争 　　12.2  云计算的商业模式 　　　12.2.1  “超市”模式 　　　12.2.2  “电厂”模式 　　　12.2.3  “超市”模式和“电厂”模式的区别 　　　12.2.4  超市还是电厂 　　12.3  云计算与中国 　　　12.3.1  现状 　　　12.3.2  对未来的期望 　　12.4  云计算最新技术 　　　12.4.1   Facebook 的Open Compute项目 　　　12.4.2  VMware 的开源PaaS CloudFoundry 　　　12.4.3  YunEngine 　　12.5  聊聊科技产业的未来 　　　12.5.1  潜在的优势 　　　12.5.2  主要方向 　　　12.5.3  驱动力 结尾 附录 资源截图：

资源名称：基于Kubernetes的容器云平台实战 PDF 内容简介： 从PaaS平台建设和运维的角度去理解、分析和解决问题，囊括了Docker入门、Kubernetes技术架构及核心原理、网络及存储方案、行业实践指南、PaaS生态链以及发展趋势等方面的内容，图文并茂、内容丰富、由浅入深、讲解全面，具有很强的可借鉴性。 作者简介： 陆平，博士，高级工程师，中兴通讯云计算及政企业务产品总经理，主要从事云计算、大数据、增强现实、基于多媒体服务技术等方面的研究，是中国计算机协会CCF会员、服务计算专委、CCF大数据专家委员会委员、中国电子学会云计算专家委员会专家委员、江苏省云计算工程技术中心主任、江苏省大数据存储及应用重点实验室主任，主持和参与了国家科技重大专项、国家科技支撑计划、863专项、发改委企业专项、江苏省科技成果转化项目等多项省部级科研课题，获得过多项省部级科技进步奖，拥有20多项发明专利。撰写了《物联网能力开放与应用》和《云计算中的大数据技术与应用》等著作，在国内外知名刊物上发表过多篇论文。 资源目录： 序 前言 第1章　Docker简介 1 1.1　什么是Docker 1 1.2　为什么要用Docker 3 1.3　Docker基本概念 4 1.3.1　镜像 4 1.3.2　容器 6 1.3.3　镜像仓库 8 1.4　Docker架构及原理 8 1.4.1　Docker架构 8 1.4.2　Docker原理 11 1.4.3　容器网络 15 1.4.4　容器存储 16 1.5　Docker安装 16 1.5.1　手动安装模式 17 1.5.2　Ubuntu中自动化安装Docker 18 1.5.3　CentOS中自动化安装Docker 19 第2章　容器引擎 21 2.1　容器引擎实现原理 22 2.2　容器生命周期管理 29 2.3　容器状态管理 33 2.4　访问运行状态容器 35 2.5　访问容器内容 36 第3章　镜像管理 37 3.1　Dockerfile及镜像制作 37 3.1.1　Dockerfile的作用 37 3.1.2　Dockerfile文件构成 37 3.1.3　常用命令集 38 3.1.4　构建镜像 38 3.2　镜像基本操作 38 3.2.1　从镜像仓库下载镜像 38 3.2.2　将本地镜像上传到镜像仓库 39 3.2.3　查看本地镜像 39 3.2.4　导出和导入本地镜像 40 3.2.5　构建镜像 41 3.2.6　修改本地镜像标识 42 3.2.7　删除本地镜像 42 3.3　Dockerfile优化 42 3.3.1　Dockerfile检查项 42 3.3.2　Dockerfile优化实例 43 3.3.3　检查及优化工具 44 3.4　操作系统基础镜像制作 44 3.4.1　操作系统版本选择 45 3.4.2　操作系统参数调整 45 3.4.3　确定基础rpm包范围 45 3.4.4　确定常用命令范围 46 3.4.5　操作系统镜像制作过程 48 3.4.6　系统资源限制配置说明 49 3.5　容器镜像安全加固 49 3.5.1　容器安全加固规范 49 3.5.2　安全检查工具 51 第4章　镜像仓库管理 52 4.1　Docker Registry 52 4.1.1　Docker Hub 52 4.1.2　第三方公共仓库 53 4.1.3　建立私有镜像仓库 53 4.2　Harbor 54 4.2.1　Harbor架构 55 4.2.2　Harbor的镜像同步机制 56 4.2.3　Harbor用户认证 56 4.2.4　Harbor容器镜像安全扫描 57 4.2.5　Harbor部署实战 57 第5章　Docker相关部署实践 59 5.1　MySQL Docker部署实践 59 5.1.1　MySQL简介 59 5.1.2　MySQL为什么要容器化部署 60 5.1.3　MySQL容器化操作实践 60 5.2　Docker支持GPU实践 62 5.2.1　GPU简介 62 5.2.2　CPU与GPU的对比 63 5.2.3　通过nvidia-docker使用GPU 63 第6章　Kubernetes简介 65 6.1　PaaS简介 65 6.1.1　传统PaaS系统 65 6.1.2　基于Docker的新型PaaS平台 67 6.2　为什么需要Kubernetes 69 6.3　Kubernetes的由来 69 6.3.1　Kubernetes的特点 69 6.3.2　Kubernetes的历史 70 6.4　Kubernetes核心概念 71 第7章　Kubernetes架构和部署 73 7.1　Kubernetes架构及组件 73 7.1.1　Master节点 73 7.1.2　Node节点 75 7.1.3　调度控制原理 76 7.1.4　集群功能模块间的通信 76 7.1.5　Kubernetes高可用方案 77 7.2　Kubernetes部署方案总结 77 第8章　Pod相关核心技术 81 8.1　Pod 81 8.1.1　Pod定义文件详解 81 8.1.2　基本操作 83 8.1.3　Pod与容器 85 8.1.4　镜像 86 8.1.5　其他设置 86 8.1.6　Pod调度 89 8.1.7　Pod生命周期 90 8.2　Label 92 8.3　Replication Controller和Replica Set 93 8.3.1　RC定义文件详解 93 8.3.2　RC与Pod的关联——Label 95 8.3.3　弹性伸缩 97 8.3.4　滚动升级 98 8.3.5　新一代副本控制器Replica Set 100 8.4　Horizontal Pod Autoscaler 101 8.5　Deployment 102 8.6　Job 105 8.7　StatefulSet 106 8.7.1　使用StatefulSet 106 8.7.2　扩容/缩容StatefulSet 108 8.8　ConfigMap 110 8.9　健康检查 112 8.9.1　流程健康检查 112 8.9.2　应用健康检查 112 第9章　Kubernetes Service 114 9.1　容器及Pod间通信 115 9.2　kube-proxy 117 9.3　DNS服务发现机制 118 9.4　Headless服务 119 9.5　Kubernetes服务 120 9.5.1　ClusterIP 122 9.5.2　NodePort 123 9.5.3　LoadBalancer 125 9.5.4　Ingress 125 9.6　网络策略 127 9.7　完整的Kubernetes服务发布实践 128 9.7.1　各Kubernetes集群 LoadBalancer服务发布 130 9.7.2　Ingress服务发布 132 9.7.3　服务发现 133 第10章　Kubernetes网络 134 10.1　单主机Docker网络通信 134 10.1.1　Host模式 135 10.1.2　Container模式 135 10.1.3　None模式 136 10.1.4　Bridge模式 136 10.1.5　基础网络模型的优缺点分析 137 10.2　跨主机Docker网络通信 137 10.2.1　Flannel网络方案 139 10.2.2　Calico网络方案 140 10.2.3　利用Kuryr整合OpenStack与Kubernetes网络 143 10.2.4　网络方案对比分析 144 第11章　Kubernetes存储 145 11.1　存储使用场景 145 11.2　文件存储的几种形式 146 11.3　Flex Volume存储管理方案 148 11.3.1　为什么需要灵活存储组件 148 11.3.2　如何实现灵活存储组件 148 11.4　标准化容器存储接口CSI 149 第12章　安全及多租户配额管理 150 12.1　API服务器认证 151 资源截图：

资源名称：Kafka源码解析与实战  内容简介： 本书从LinkedIn（领英）公司内部大数据架构讲起，引申出消息队列Kafka，接着讲解Kafka的基本架构，然后着重分析Kafka内部的各模块实现细节。从诞生背景至架构组成，再到内部实现细节，由浅入深，循序渐进。本书不仅讲解Kafka内部的实现原理，而且还详细描述Kafka外部的维护工具，对外的客户端编程原理以及和第三方集成的方式。本书在讲解Kafka的过程中穿插了大量的图片，图文并茂，生动形象，使读者能更加深入地熟悉Kafka。 作者简介： 王亮 架构师，曾在华为担任虚拟化技术工程师，后加入大华公司任分布式数据库系统架构师，研究兴趣为分布式存储、分布式数据库、消息系统等。 资源目录： 序 前言 第1章　Kafka简介 1 1.1　Kafka诞生的背景 1 1.2　Kafka在LinkedIn内部的应用 3 1.3　Kafka的主要设计目标 4 1.4　为什么使用消息系统 4 1.5　本章小结 5 第2章　Kafka的架构 6 2.1　Kafka的基本组成 6 2.2　Kafka的拓扑结构 8 2.3　Kafka内部的通信协议 9 2.4　本章小结 12 第3章　Broker概述 13 3.1　Broker的启动 13 3.2　Broker内部的模块组成 15 3.3　本章小结 18 第4章　Broker的基本模块 19 4.1　SocketServer 19 4.2　KafkaRequestHandlerPool 25 4.3　KafkaApis 27 4.3.1　LogManager 27 4.3.2　ReplicaManager 37 4.3.3　OffsetManager 47 4.3.4　KafkaScheduler 51 4.3.5　KafkaApis 52 4.4　KafkaHealthcheck 81 4.5　TopicConfigManager 83 4.6　本章小结 85 第5章　Broker的控制管理模块 86 5.1　KafkaController的选举策略 86 5.2　KafkaController的初始化 91 5.2.1　Leader状态下KafkaController的初始化 91 5.2.2　Standby状态下KafkaController的初始化 94 5.3　Topic的分区状态转换机制 95 5.3.1　分区状态的分类 95 5.3.2　分区状态的转换 96 5.3.3　PartitionStateMachine模块的启动 102 5.4　Topic分区的领导者副本选举策略 103 5.4.1　NoOpLeaderSelector 104 5.4.2　Off?linePartitionLeaderSelector 104 5.4.3　ReassignedPartitionLeader-Selector 106 5.4.4　PreferredReplicaPartition-LeaderSelector 107 5.4.5　ControlledShutdownLeader-Selector 108 5.5　Topic分区的副本状态转换机制 109 5.5.1　副本状态的分类 110 5.5.2　副本状态的转换 111 5.5.3　ReplicaStateMachine模块的启动 117 5.6　KafkaController内部的监听器 118 5.6.1　TopicChangeListener 119 5.6.2　AddPartitionsListener 121 5.6.3　PartitionsReassignedListener 122 5.6.4　ReassignedPartitionsIsr-ChangeListener 128 5.6.5　PreferredReplicaElection-Listener 130 5.6.6　BrokerChangeListener 132 5.6.7　DeleteTopicsListener 135 5.7　Kafka集群的负载均衡流程 136 5.8　Kafka集群的Topic删除流程 140 5.9　KafkaController的通信模块 146 5.10　本章小结 150 第6章　Topic的管理工具 151 6.1　kafka-topics.sh 151 6.1.1　createTopic 153 6.1.2　alterTopic 156 6.1.3　listTopics 160 6.1.4　describeTopic 161 6.1.5　deleteTopic 163 6.2　kafka-reassign-partitions.sh 164 6.2.1　generateAssignment 166 6.2.2　executeAssignment 167 6.2.3　verifyAssignment 170 6.3　kafka-preferred-replica-election.sh 172 6.4　本章小结 175 第7章　生产者 176 7.1　设计原则 176 7.2　示例代码 176 7.3　模块组成 180 7.3.1　ProducerSendThread 180 7.3.2　ProducerPool 182 7.3.3　DefaultEventHandler 184 7.4　发送模式 189 7.4.1　同步模式 189 7.4.2　异步模式 189 7.5　本章小结 192 第8章　消费者 193 8.1　简单消费者 193 8.1.1　设计原则 193 8.1.2　消费者流程 194 8.1.3　示例代码 195 8.1.4　原理解析 200 8.2　高级消费者 202 8.2.1　设计原则 202 8.2.2　消费者流程 203 8.2.3　示例代码 204 8.2.4　原理解析 205 8.3　本章小结 227 第9章　Kafka的典型应用 228 9.1　Kafka和Storm的集成 228 9.1.1　Storm简介 228 9.1.2　示例代码 230 9.2　Kafka和ELK的集成 235 9.2.1　ELK简介 235 9.2.2　配置流程 236 9.3　Kafka和Hadoop的集成 237 9.3.1　Hadoop简介 237 9.3.2　示例代码 239 9.4　Kafka和Spark的集成 242 9.4.1　Spark简介 242 9.4.2　示例代码 245 9.5　本章小结 247 第10章　Kafka的综合实例 248 10.1　安防大数据的主要应用 248 10.2　Kafka在安防整体解决方案中的角色 249 10.3　典型业务 250 10.3.1　车辆人脸图片数据的入库 251 10.3.2　视频数据的入库 252 10.3.3　数据延时的监控 254 10.3.4　数据质量的监控 256 10.3.5　布控统计 258 10.3.6　容灾备份 259 10.4　本章小结 260 资源截图：

资源名称：云：7种清晰的商业模式 内容简介： 　这是一本讲述商业模式的先锋图书。作者拥有在斯坦福大学多年的授课经验，从商业视角讲述云计算的商业模式。该书是一本优秀易读的介绍云计算的图书，为那些想了解云计算服务下的销售或购买模式的读者提供了一个全新的视角。本书还为读者配有丰富的案例和故事，使你阅读更有趣。 资源目录： 读者评价 编委会 总序 前言 第1章　“十一精英” 　软件的成本 　Concur 　Salesforce.com 　RightNow Technologies 　Kenexa 　Taleo 　DealerTrack 　Vocus 　Omniture 　Constant Contact 　Successfactors 　Netsuite 　小结 第2章　七德七罪 　模式一：传统 　模式二：开源 　模式三：业务外包 　模式四：混合型 　模式五：混合型+ 　模式六：服务形式的软件 　模式七：互联网 　小结 第3章　银弹（高招） 　应用频谱 　数据库架构 　测试/质量保证 　关于CEMLI 　账单：多些，再多些 　戈德堡规则 　小结 第4章　平稳操作 　在暴雨前做好准备 　可用性再高也不过分 　问题其实没有那么多 　关于性能 　快速改变的艺术 　里迪的规则 　小结 第5章　公有云平台 　亚马逊 　谷歌 　Facebook 　Salesforce.com 　NetSuite 　太阳微系统 　小结 第6章　私有云平台 　物理情况 　你需要有电力 　位置独立及应用 　微软 　AT＆T公司 　NTT Europe Online 　IBM公司 　惠普 　小结 第7章　谁在电梯里 　面向市场营销云计算 　博客 　搜索 　电子邮件 　出名的途径：社交网络 　度量 　小结 第8章　食人者：汉尼拔 　销售模式四 　销售模式六 　销售人员报酬 　间接渠道 　开始运行 　魔术数字 　小结 第9章　拿钱来说话 　企业计量 　收入确认 　合同 　服务水准协议 　让它运转起来 　财务分析 　小结 第10章　组织以人为本 　合适的员工，正确的阶段 　合适的员工 　正确的文化 　正确的组织形式 　小结 第11章　下一步怎么办 　软件即答案 　专业分工 　工作的世界 　深度网络 　人+信息 　小结 第12章　软件业的新生 致谢 译者后记 资源截图：

资源名称：《云计算原理及应用技术》PDF 内容简介： 《云计算原理及应用技术》由张水平、张凤琴著 ，是云数据中心课题组在多年理论研究和科研实践的 基础上，参考了大量的研究文献 编写而成。《云计算原理及应用技术》从广度和深度 上系统地讲述了关于云计算、云数据中心的基本概念 及其相关 技术，包括虚拟化技术、基于SOA架构的服务开发方 法与工具、云数据中心的规划设计、性 能功能测试方法与工具、大数据存储与管理、数据的 分析挖掘等。为加深对本书基本知识的 理解和掌握，在理论讲述的基础上，还适当加入了实 例，如在讲述云数据中心的测试方法时， 加入了Loadrunner测试工具的使用方法；在讲述服务 开发方法时加入了基于微软开发平台的 Web Service开发实例；在讲解数据的分析挖掘时加 入了两类典型的分析工具应用方法介绍等。 资源目录： 第1章  概述   1.1 云计算及发展     1.1.1 云计算概念     1.1.2 云计算特点     1.1.3 云计算发展     1.1.4 云计算相关技术   1.2 云计算体系架构     1.2.1 云计算参考架构     1.2.2 云计算技术体系     1.2.3 云计算分层服务模式     1.2.4 云服务布署   1.3 数据中心     1.3.1 数据中心概念     1.3.2 数据中心发展     1.3.3 传统数据中心特点     1.3.4 云数据中心   1.4 物联网与云计算     1.4.1 物联网概述     1.4.2 物联网与云计算关系     1.4.3 物联网与云计算集成应用   小结 第2章  虚拟化技术   2.1 虚拟化技术概述     2.1.1 虚拟化技术定义     2.1.2 虚拟化技术有关术语     2.1.3 虚拟化产品介绍     2.1.4 虚拟化技术优势     2.1.5 虚拟化的分类及关键特征     2.1.6 虚拟化技术应用   2.2 平台虚拟化     2.2.1 平台虚拟化技术分类     2.2.2 平台虚拟化技术架构     2.2.3 虚拟机监视器实现原理   2.3 资源虚拟化     2.3.1 网络资源虚拟化     2.3.2 计算资源虚拟化     2.3.3 存储资源虚拟化     2.3.4 软件资源虚拟化   2.4 虚拟机的动态迁移     2.4.1 虚拟机动态迁移简介     2.4.2 虚拟机动态迁移优势     2.4.3 虚拟机迁移相关技术     2.4.4 虚拟机迁移分类     2.4.5 虚拟机动态迁移实现   2.5 虚拟化资源管理     2.5.1 云操作系统管理功能     2.5.2 云操作系统管理实例     2.5.3 云操作系统开发的技术路线   小结 第3章  SOA架构及开发技术   3.1 SOA架构概述     3.1.1 SOA定义     3.1.2 SOA体系架构     3.1.3 SOA特征     3.1.4 SOA实现技术   3.2 WebService技术     3.2.1 webService概述     3.2.2 webService关键技术     3.2.3 webService开发方式   3.3 WebSerVice开发及应用实例     3.3.1 webService服务开发流程     3.3.2 基于.NET的WebService应用程序实例     3.3.3 基于Java的WebService应用程序实例   小结 第4章  大数据的存储与管理   4.1 大数据概述     4.1.1 大数据的基本特性     4.1.2 大数据带来的挑战   4.2 大数据存储模型分类     4.2.1 键值存储模型     4.2.2 列存储模型     4.2.3 文档存储模型     4.2.4 图结构存储模型     4.2.5 典型NoSQL数据库系统   4.3 Hadoop大数据存储管理技术     4.3.1 Hadoop技术框架     4.3.2 HBase数据存储技术     4.3.3 Hive数据仓库技术     4.3.4 Pig数据处理技术   4.4 Google数据处理新技术     4.4.1 内容索引系统Caffeine     4.4.2 数据交互分析系统Dremel     4.4.3 大规模图计算方法Pregel   4.5 大数据存储管理相关技术     4.5.1 大数据并行处理技术     4.5.2 大数据处理Sharding技术     4.5.3 分布式缓存与Memcached系统     4.5.4 数据容错与数据复制技术   小结 第5章  云数据中心设计与测试   5.1 概述。     5.2 云数据中心需求分析     5.2.1 用户分析     5.2.2 应用分析   5.3 云数据中心规划与设计     5.3.1 规划设计原则     5.3.2 网络架构的规划设计     5.3.3 网络互连设备的选择     5.3.4 服务器规划设计     5.3.5 存储系统规划设计   5.4 云数据中心工程实施   5.5 云数据中心功能性能测试     5.5.1 hadRunner测试软件概述     5.5.2 网络架构性能测试     5.5.3 云管理平台功能测试   小结 第6章  数据分析技术   6.1 数据分析概述     6.1.1 术语和指标     6.1.2 数据分析体系结构     6.1.3 数据分析处理的步骤   6.2 数据预处理方法     6.2.1 主题分析     6.2.2 数据抽取     6.2.3 数据清洗     6.2.4 数据变换     6.2.5 数据聚合     6.2.6 属性约简   6.3 典型数据分析方法     6.3.1 描述式数据分析     6.3.2 关联挖掘分析     6.3.3 聚类挖掘分析     6.3.4 分类与预测分析     6.4 数据分析工具及应用     6.4.1 数据分析工具简介     6.4.2 Excel数据分析     6.4.3 SPSS软件数据分析   小结 第7章  云数据中心管理与维护实例   7.1 TCloudElasterStack概述     7.1.1 术语     7.1.2 系统布署架构   7.2 TCloudElasterStack布署和安装     7.2.1 系统布署     7.2.2 系统安装   7.3 用户管理     7.3.1 用户的建立和删除     7.3.2 账号的建立和删除     7.3.3 管理员的建立和删除   7.4 虚拟机管理     7.4.1 模板的创建与管理     7.4.2 虚拟机的创建与管理     7.4.3 虚拟机实时检测   小结 参考文献 资源截图：