资源搜

资源名称：飞天开放平台编程指南——阿里云计算的实践 内容简介： 《飞天开放平台编程指南:阿里云计算的实践》不但由浅入深地阐述了云计算的相关原理，而且用很多实例详细讲解了怎样利用飞天平台的编程接口来开发各种互联网应用和服务，让用户便捷地利用数千台服务器来完成以前不能完成甚至不敢想象的任务。《飞天开放平台编程指南:阿里云计算的实践》具体内容涵盖了云计算的概念、云计算体系结构、分布式处理、虚拟化与弹性计算、云存储、海量结构化数据处理、海量数据分析与挖掘、云计算编程模型、移动终端开发等。 资源目录： 第1章 绪论 1 1.1 云计算的背景 1 1.1.1 云计算的概念 1 1.1.2 云计算的类型 3 1.1.3 业界主要的云计算提供商 4 1.2 阿里云的定位 5 1.3 云生态系统 6 1.4 内容总览 7 第2章 飞天开放平台总览 8 2.1 飞天平台体系架构 8 2.2 飞天平台内核 9 2.2.1 分布式系统底层服务 9 2.2.2 分布式文件系统（盘古） 11 2.2.3 资源管理和任务调度（伏羲） 13 2.2.4 集群监控和部署 14 2.3 飞天开放服务 16 2.3.1 弹性计算服务（ECS） 16 2.3.2 开放存储服务（OSS） 17 2.3.3 开放结构化数据服务（OTS） 17 2.3.4 关系型数据库服务（RDS） 18 2.3.5 开放数据处理服务（ODPS） 18 2.3.6 云服务引擎（ACE） 19 第3章 弹性计算服务ECS 20 3.1 术语及概念 21 3.2 云服务器使用流程 22 3.2.1 购买并创建云服务器 23 3.2.2 启动、停止和重启云服务器 23 3.2.3 重置云服务器 24 3.2.4 修改云服务器密码 24 3.2.5 远程登录云服务器 24 3.2.6 数据盘分区、格式化和挂载 26 3.3 利用API管理ECS 28 3.3.1 公共参数和返回结果 28 3.3.2 云服务器控制 30 3.3.3 镜像和快照 36 3.3.4 安全组 39 3.4 负载均衡（SLB） 41 3.5 云盾 42 3.6 云监控 43 3.7 自动故障恢复 43 3.8 应用架构修改 44 3.9 应用案例 44 第4章 开放存储服务OSS 46 4.1 术语及概念 46 4.1.1 Object 46 4.1.2 Bucket 47 4.1.3 访问控制 47 4.1.4 外链规则 48 4.1.5 Access ID和Access Key 48 4.1.6 使用OSS 49 4.2 RESTful API 50 4.2.1 Service操作 50 4.2.2 Bucket操作 50 4.2.3 Object操作 52 4.2.4 分块上传（Multipart Upload）操作 56 4.3 Python SDK的使用 59 4.3.1 Bucket操作 60 4.3.2 Object操作 68 4.3.3 分块上传（Multipart Upload）操作 76 4.3.4 签名URL 80 4.4 应用案例 81 第5章 开放结构化数据服务OTS 82 5.1 术语及概念 83 5.1.1 表 83 5.1.2 视图 84 5.1.3 表组 85 5.1.4 命名和限额 86 5.1.5 事务 86 5.1.6 访问权限控制 86 5.2 RESTful API 87 5.2.1 表操作 87 5.2.2 插入和修改操作 88 5.2.3 查询操作 88 5.2.4 事务操作 88 5.3 Python SDK的使用 89 5.3.1 表操作 91 5.3.2 插入和修改操作 96 5.3.3 查询数据 101 5.3.4 事务操作 104 5.4 应用案例 106 第6章 关系型数据库服务RDS 107 6.1 术语及概念 108 6.2 自动故障恢复 109 6.3 分布式RDS 110 6.4 利用客户端软件进行数据库管理 110 6.4.1 实例管理 111 6.4.2 数据库管理 112 6.4.3 连接数据库 112 6.4.4 表管理 113 6.4.5 备份恢复 114 6.4.6 数据迁移 114 6.4.7 性能分析 115 6.5 利用API进行数据库管理 115 6.5.1 公共参数和返回结果 116 6.5.2 API接口的使用 117 6.6 应用案例 127 第7章 开放数据处理服务ODPS 128 7.1 术语及概念 129 7.2 应用开发框架 130 7.2.1 体系架构 130 7.2.2 应用开发模式 131 7.3 ODPS SQL开发 132 7.3.1 应用示例描述 133 7.3.2 数据导入 134 7.3.3 基本功能 135 7.3.4 高级功能 136 7.4 ODPS MapReduce开发 140 7.4.1 入门实例WordCount 140 7.4.2 开发实战 155 7.5 应用案例 172 第8章 典型应用案例解析 173 8.1 传统互联网应用 173 8.1.1 中国网络电视台体育台 173 8.1.2 御泥坊 175 8.1.3 够快 175 8.2 移动互联网应用 176 8.2.1 DeNA 176 8.2.2 壹人壹本 176 8.2.3 金立 177 8.3 企业级SaaS应用 177 8.3.1 用友畅捷通 177 8.3.2 商派 178 8.4 新型互联网应用和服务 179 8.4.1 阿里云搜索 179 8.4.2 阿里金融 180 附录A 飞天开放服务开通流程 181 附录B RESTful API和身份验证 184 B.1 RESTful API 184 B.2 ECS身份认证 185 B.3 OSS身份认证 186 B.3.1 在Header中包含签名 186 B.3.2 在URL中包含签名 188 B.4 OTS身份认证 189 B.4.1 OTS请求的签名 189 B.4.2 OTS响应的签名 190 B.5 RDS身份认证 191 附录C 用OSS构建同步备份网盘 193 C.1 网盘功能、设计与使用 193 C.1.1 网盘功能：自动备份和同步多个设备 193 C.1.2 网盘设计 193 C.1.3 网盘安装和使用 194 C.2 源代码 195 C.2.1 netdisk.py 196 C.2.2 fs/filesystem.py 198 C.2.3 fs/hddfs.py 201 C.2.4 fs/ossfs.py 204 C.2.5 fs/couldnotconnectserverexception.py 207 C.2.6 eventhandlers/netdiskeventhandler.py 207 附录D 云应用引擎CAE编程 211 D.1 云应用开发入门 212 D.1.1 快速创建一个云应用 212 D.1.2 云应用文件结构 215 D.1.3 页面生命周期 215 D.1.4 新建页面 216 D.1.5 页面之间相互跳转 217 D.1.6 引入第三方类库 218 D.1.7 调用云端接口 219 D.1.8 调用CloudAPI 222 D.1.9 监听云应用的挂起和唤醒 223 D.1.10 请求和操作XML 224 D.1.11 在线调试 225 D.2 用户界面开发 227 D.2.1 滚动条 227 D.2.2 提示框 228 D.2.3 jQTouch 229 D.2.4 Sencha Touch 230 D.3 云应用开发实例 232 D.3.1 花名册程序 232 D.3.2 地图程序 237 D.4 设计指南与注意事项 239 D.4.1 云应用设计指南 239 D.4.2 设计中的注意事项 240 D.4.3 云应用审核指南 240 参考文献 241

资源名称：Apache kafka实战 内容简介： 《Apache Kafka实战》是涵盖Apache Kafka各方面的具有实践指导意义的工具书和参考书。作者结合典型的使用场景，对Kafka整个技术体系进行了较为全面的讲解，以便读者能够举一反三，直接应用于实践。同时，本书还对Kafka的设计原理及其流式处理组件进行了较深入的探讨，并给出了翔实的案例。 《Apache Kafka实战》共分为10章：第1章全面介绍消息引擎系统以及Kafka的基本概念与特性，快速带领读者走进Kafka的世界；第2章简要回顾了Apache Kafka的发展历史；第3章详细介绍了Kafka集群环境的搭建；第4、5章深入探讨了Kafka客户端的使用方法；第6章带领读者一览Kafka内部设计原理；第7~9章以实例的方式讲解了Kafka集群的管理、监控与调优；第10章介绍了Kafka新引入的流式处理组件。 《Apache Kafka实战》适合所有对云计算、大数据处理感兴趣的技术人员阅读，尤其适合对消息引擎、流式处理技术及框架感兴趣的技术人员参考阅读。 资源目录： 第1章 认识Apache Kafka 1 1.1 Kafka快速入门 1 1.1.1 下载并解压缩Kafka二进制代码压缩包文件 2 1.1.2 启动服务器 3 1.1.3 创建topic 3 1.1.4 发送消息 4 1.1.5 消费消息 4 1.2 消息引擎系统 5 1.2.1 消息设计 6 1.2.2 传输协议设计 6 1.2.3 消息引擎范型 6 1.2.4 Java消息服务 8 1.3 Kafka概要设计 8 1.3.1 吞吐量/延时 8 1.3.2 消息持久化 11 1.3.3 负载均衡和故障转移 12 1.3.4 伸缩性 13 1.4 Kafka基本概念与术语 13 1.4.1 消息 14 1.4.2 topic和partition 16 1.4.3 offset 17 1.4.4 replica 18 1.4.5 leader和follower 18 1.4.6 ISR 19 1.5 Kafka使用场景 20 1.5.1 消息传输 20 1.5.2 网站行为日志追踪 20 1.5.3 审计数据收集 20 1.5.4 日志收集 20 1.5.5 Event Sourcing 21 1.5.6 流式处理 21 1.6 本章小结 21 第2章 Kafka发展历史 22 2.1 Kafka的历史 22 2.1.1 背景 22 2.1.2 Kafka横空出世 23 2.1.3 Kafka开源 24 2.2 Kafka版本变迁 25 2.2.1 Kafka的版本演进 25 2.2.2 Kafka的版本格式 26 2.2.3 新版本功能简介 26 2.2.4 旧版本功能简介 31 2.3 如何选择Kafka版本 35 2.3.1 根据功能场景 35 2.3.2 根据客户端使用场景 35 2.4 Kafka与Confluent 36 2.5 本章小结 37 第3章 Kafka线上环境部署 38 3.1 集群环境规划 38 3.1.1 操作系统的选型 38 3.1.2 磁盘规划 40 3.1.3 磁盘容量规划 42 3.1.4 内存规划 43 3.1.5 CPU规划 43 3.1.6 带宽规划 44 3.1.7 典型线上环境配置 45 3.2 伪分布式环境安装 45 3.2.1 安装Java 46 3.2.2 安装ZooKeeper 47 3.2.3 安装单节点Kafka集群 48 3.3 多节点环境安装 49 3.3.1 安装多节点ZooKeeper集群 50 3.3.2 安装多节点Kafka 54 3.4 验证部署 55 3.4.1 测试topic创建与删除 55 3.4.2 测试消息发送与消费 57 3.4.3 生产者吞吐量测试 58 3.4.4 消费者吞吐量测试 58 3.5 参数设置 59 3.5.1 broker端参数 59 3.5.2 topic级别参数 62 3.5.3 GC参数 63 3.5.4 JVM参数 64 3.5.5 OS参数 64 3.6 本章小结 65 第4章 producer开发 66 4.1 producer概览 66 4.2 构造producer 69 4.2.1 producer程序实例 69 4.2.2 producer主要参数 75 4.3 消息分区机制 80 4.3.1 分区策略 80 4.3.2 自定义分区机制 80 4.4 消息序列化 83 4.4.1 默认序列化 83 4.4.2 自定义序列化 84 4.5 producer拦截器 87 4.6 无消息丢失配置 90 4.6.1 producer端配置 91 4.6.2 broker端配置 92 4.7 消息压缩 92 4.7.1 Kafka支持的压缩算法 93 4.7.2 算法性能比较与调优 93 4.8 多线程处理 95 4.9 旧版本producer 96 4.10 本章小结 98 第5章 consumer开发 99 5.1 consumer概览 99 5.1.1 消费者（consumer） 99 5.1.2 消费者组（consumer group） 101 5.1.3 位移（offset） 102 5.1.4 位移提交 103 5.1.5 __consumer_offsets 104 5.1.6 消费者组重平衡（consumer group rebalance） 106 5.2 构建consumer 106 5.2.1 consumer程序实例 106 5.2.2 consumer脚本命令 111 5.2.3 consumer主要参数 112 5.3 订阅topic 115 5.3.1 订阅topic列表 115 5.3.2 基于正则表达式订阅topic 115 5.4 消息轮询 115 5.4.1 poll内部原理 115 5.4.2 poll使用方法 116 5.5 位移管理 118 5.5.1 consumer位移 119 5.5.2 新版本consumer位移管理 120 5.5.3 自动提交与手动提交 121 5.5.4 旧版本consumer位移管理 123 5.6 重平衡（rebalance） 123 5.6.1 rebalance概览 123 5.6.2 rebalance触发条件 124 5.6.3 rebalance分区分配 124 5.6.4 rebalance generation 126 5.6.5 rebalance协议 126 5.6.6 rebalance流程 127 5.6.7 rebalance监听器 128 5.7 解序列化 130 5.7.1 默认解序列化器 130 5.7.2 自定义解序列化器 131 5.8 多线程消费实例 132 5.8.1 每个线程维护一个KafkaConsumer 133 5.8.2 单KafkaConsumer实例+多worker线程 135 5.8.3 两种方法对比 140 5.9 独立consumer 141 5.10 旧版本consumer 142 5.10.1 概览 142 5.10.2 high-level consumer 143 5.10.3 low-level consumer 147 5.11 本章小结 153 第6章 Kafka设计原理 154 6.1 broker端设计架构 154 6.1.1 消息设计 155 6.1.2 集群管理 166 6.1.3 副本与ISR设计 169 6.1.4 水印（watermark）和leader epoch 174 6.1.5 日志存储设计 185 6.1.6 通信协议（wire protocol） 194 6.1.7 controller设计 205 6.1.8 broker请求处理 216 6.2 producer端设计 219 6.2.1 producer端基本数据结构 219 6.2.2 工作流程 220 6.3 consumer端设计 223 6.3.1 consumer group状态机 223 6.3.2 group管理协议 226 6.3.3 rebalance场景剖析 227 6.4 实现精确一次处理语义 230 6.4.1 消息交付语义 230 6.4.2 幂等性producer（idempotent producer） 231 6.4.3 事务（transaction） 232 6.5 本章小结 234 第7章 管理Kafka集群 235 7.1 集群管理 235 7.1.1 启动broker 235 7.1.2 关闭broker 236 7.1.3 设置JMX端口 237 7.1.4 增加broker 238 7.1.5 升级broker版本 238 7.2 topic管理 241 7.2.1 创建topic 241 7.2.2 删除topic 243 7.2.3 查询topic列表 244 7.2.4 查询topic详情 244 7.2.5 修改topic 245 7.3 topic动态配置管理 246 7.3.1 增加topic配置 246 7.3.2 查看topic配置 247 7.3.3 删除topic配置 248 7.4 consumer相关管理 248 7.4.1 查询消费者组 248 7.4.2 重设消费者组位移 251 7.4.3 删除消费者组 256 7.4.4 kafka-consumer-offset-checker 257 7.5 topic分区管理 258 7.5.1 preferred leader选举 258 7.5.2 分区重分配 260 7.5.3 增加副本因子 263 7.6 Kafka常见脚本工具 264 7.6.1 kafka-console-producer脚本 264 7.6.2 kafka-console-consumer脚本 265 7.6.3 kafka-run-class脚本 267 7.6.4 查看消息元数据 268 7.6.5 获取topic当前消息数 270 7.6.6 查询__consumer_offsets 271 7.7 API方式管理集群 273 7.7.1 服务器端API管理topic 273 7.7.2 服务器端API管理位移 275 7.7.3 客户端API管理topic 276 7.7.4 客户端API查看位移 280 7.7.5 0.11.0.0版本客户端API 281 7.8 MirrorMaker 285 7.8.1 概要介绍 285 7.8.2 主要参数 286 7.8.3 使用实例 287 7.9 Kafka安全 288 7.9.1 SASL+ACL 289 7.9.2 SSL加密 297 7.10 常见问题 301 7.11 本章小结 304 第8章 监控Kafka集群 305 8.1 集群健康度检查 305 8.2 MBean监控 306 8.2.1 监控指标 306 8.2.2 指标分类 308 8.2.3 定义和查询JMX端口 309 8.3 broker端JMX监控 310 8.3.1 消息入站/出站速率 310 8.3.2 controller存活JMX指标 311 8.3.3 备份不足的分区数 312 8.3.4 leader分区数 312 8.3.5 ISR变化速率 313 8.3.6 broker I/O工作处理线程空闲率 313 8.3.7 broker网络处理线程空闲率 314 8.3.8 单个topic总字节数 314 8.4 clients端JMX监控 314 8.4.1 producer端JMX监控 314 8.4.2 consumer端JMX监控 316 8.5 JVM监控 317 8.5.1 进程状态 318 8.5.2 GC性能 318 8.6 OS监控 318 8.7 主流监控框架 319 8.7.1 JmxTool 320 8.7.2 kafka-manager 320 8.7.3 Kafka Monitor 325 8.7.4 Kafka Offset Monitor 327 8.7.5 CruiseControl 329 8.8 本章小结 330 第9章 调优Kafka集群 331 9.1 引言 331 9.2 确定调优目标 333 9.3 集群基础调优 334 9.3.1 禁止atime更新 335 9.3.2 文件系统选择 335 9.3.3 设置swapiness 336 9.3.4 JVM设置 337 9.3.5 其他调优 337 9.4 调优吞吐量 338 9.5 调优延时 342 9.6 调优持久性 343 9.7 调优可用性 347 9.8 本章小结 349 第10章 Kafka Connect与Kafka Streams 350 10.1 引言 350 10.2 Kafka Connect 351 10.2.1 概要介绍 351 10.2.2 standalone Connect 353 10.2.3 distributed Connect 356 10.2.4 开发connector 359 10.3 Kafka Streams 362 10.3.1 流处理 362 10.3.2 Kafka Streams核心概念 364 10.3.3 Kafka Streams与其他框架的异同 368 10.3.4 Word Count实例 369 10.3.5 Kafka Streams应用开发 372 10.3.6 Kafka Streams状态查询 382 10.4 本章小结 386 资源截图：

资源名称：Kubernetes权威指南:从Docker到Kubernetes实践全接触(第2版) 内容简介： Kubernetes是由谷歌开源的Docker容器集群管理系统，为容器化的应用提供了资源调度、部署运行、服务发现、扩容及缩容等一整套功能。《Kubernetes权威指南：从Docker到Kubernetes实践全接触（第2版）》从一个开发者的角度去理解、分析和解决问题，囊括了Kubernetes入门、核心原理、实践指南、开发指导、高级案例、运维指南及源码分析等方面的内容，图文并茂、内容丰富、由浅入深、讲解全面；并围绕着生产环境中可能出现的问题，给出了大量的典型案例，比如安全问题、网络方案的选择、高可用性方案及Trouble Shooting技巧等，有很强的可借鉴性。 无论是对于软件工程师、测试工程师、运维工程师、软件架构师、技术经理，还是对于资深IT人士来说，本书都极具参考价值。 资源目录： 第1章 Kubernetes 入门 1 1.1 Kubernetes 是什么 1 1.2 为什么要用Kubernetes 4 1.3 从一个简单的例子开始 5 1.3.1 环境准备 6 1.3.2 启动MySQL 服务 7 1.3.3 启动Tomcat 应用 9 1.3.4 通过浏览器访问网页 11 1.4 Kubernetes 基本概念和术语 12 1.4.1 Master 12 1.4.2 Node 13 1.4.3 Pod 15 1.4.4 Label（标签） 19 1.4.5 Replication Controller（RC） 22 1.4.6 Deployment 25 1.4.7 Horizontal Pod Autoscaler（HPA） 27 1.4.8 Service（服务） 29 1.4.9 Volume（存储卷） 35 1.4.10 Persistent Volume 39 1.4.11 Namespace（命名空间） 40 1.4.12 Annotation（注解） 42 1.4.13 小结 42 第2章 Kubernetes 实践指南 43 2.1 Kubernetes 安装与配置 43 2.1.1 安装Kubernetes 43 2.1.2 配置和启动Kubernetes 服务 45 2.1.3 Kubernetes 集群的安全设置 51 2.1.4 Kubernetes 的版本升级 57 2.1.5 内网中的Kubernetes 相关配置 57 2.1.6 Kubernetes 核心服务配置详解 58 2.1.7 Kubernetes 集群网络配置方案 72 2.2 kubectl 命令行工具用法详解 80 2.2.1 kubectl 用法概述 80 2.2.2 kubectl 子命令详解 82 2.2.3 kubectl 参数列表 84 2.2.4 kubectl 输出格式 84 2.2.5 kubectl 操作示例 86 2.3 Guestbook 示例：Hello World 87 2.3.1 创建redis-master RC 和Service 89 2.3.2 创建redis-slave RC 和Service 91 2.3.3 创建frontend RC 和Service 93 2.3.4 通过浏览器访问frontend 页面 96 2.4 深入掌握Pod 97 2.4.1 Pod 定义详解 97 2.4.2 Pod 的基本用法 102 2.4.3 静态Pod 107 2.4.4 Pod 容器共享Volume 108 2.4.5 Pod 的配置管理 110 2.4.6 Pod 生命周期和重启策略 123 2.4.7 Pod 健康检查 124 2.4.8 玩转Pod 调度 126 2.4.9 Pod 的扩容和缩容 135 2.4.10 Pod 的滚动升级 139 2.5 深入掌握Service 143 2.5.1 Service 定义详解 143 2.5.2 Service 基本用法 145 2.5.3 集群外部访问Pod 或Service 150 2.5.4 DNS 服务搭建指南 153 2.5.5 Ingress：HTTP 7 层路由机制 161 第3章 Kubernetes 核心原理 165 3.1 Kubernetes API Server 原理分析 165 3.1.1 Kubernetes API Server 概述 165 3.1.2 独特的Kubernetes Proxy API 接口 168 3.1.3 集群功能模块之间的通信 169 3.2 Controller Manager 原理分析 170 3.2.1 Replication Controller 171 3.2.2 Node Controller 173 3.2.3 ResourceQuota Controller 174 3.2.4 Namespace Controller 176 3.2.5 Service Controller 与Endpoint Controller 176 3.3 Scheduler 原理分析 177 3.4 kubelet 运行机制分析 181 3.4.1 节点管理 181 3.4.2 Pod 管理 182 3.4.3 容器健康检查 183 3.4.4 cAdvisor 资源监控 184 3.5 kube-proxy 运行机制分析 186 3.6 深入分析集群安全机制 190 3.6.1 API Server 认证 190 3.6.2 API Server 授权 192 3.6.3 Admission Control 准入控制 194 3.6.4 Service Account 195 3.6.5 Secret 私密凭据 200 3.7 网络原理 203 3.7.1 Kubernetes 网络模型 203 3.7.2 Docker 的网络基础 205 3.7.3 Docker 的网络实现 217 3.7.4 Kubernetes 的网络实现 225 3.7.5 开源的网络组件 229 3.7.6 网络实战 234 第4章 Kubernetes 开发指南 247 4.1 REST 简述 247 4.2 Kubernetes API 详解 249 4.2.1 Kubernetes API 概述 249 4.2.2 API 版本 254 4.2.3 API 详细说明 254 4.2.4 API 响应说明 256 4.3 使用Java 程序访问Kubernetes API 258 4.3.1 Jersey 258 4.3.2 Fabric8 270 4.3.3 使用说明 271 第5章 Kubernetes 运维指南 292 5.1 Kubernetes 集群管理指南 292 5.1.1 Node 的管理 292 5.1.2 更新资源对象的Label 294 5.1.3 Namespace：集群环境共享与隔离 295 5.1.4 Kubernetes 资源管理 299 5.1.5 Kubernetes 集群高可用部署方案 333 5.1.6 Kubernetes 集群监控 343 5.1.7 kubelet 的垃圾回收（GC）机制 361 5.2 Kubernetes 高级案例 362 5.2.1 ElasticSearch 日志搜集查询和展现案例 362 5.2.2 Cassandra 集群部署案例 371 5.3 Trouble Shooting 指导 376 5.3.1 查看系统Event 事件 377 5.3.2 查看容器日志 379 5.3.3 查看Kubernetes 服务日志 379 5.3.4 常见问题 381 5.3.5 寻求帮助 384 5.4 Kubernetes v1.3 开发中的新功能 385 5.4.1 Pet Set（有状态的容器） 385 5.4.2 Init Container（初始化容器） 388 5.4.3 Cluster Federation（集群联邦） 391 第6章 Kubernetes 源码导读 396 6.1 Kubernetes 源码结构和编译步骤 396 6.2 kube-apiserver 进程源码分析 400 6.2.1 进程启动过程 400 6.2.2 关键代码分析 402 6.2.3 设计总结 417 6.3 kube-controller-manager 进程源码分析 420 6.3.1 进程启动过程 420 6.3.2 关键代码分析 423 6.3.3 设计总结 431 6.4 kube-scheduler 进程源码分析 433 6.4.1 进程启动过程 434 6.4.2 关键代码分析 438 6.4.3 设计总结 445 6.5 kubelet 进程源码分析 447 6.5.1 进程启动过程 447 6.5.2 关键代码分析 452 6.5.3 设计总结 475 6.6 kube-proxy 进程源码分析 476 6.6.1 进程启动过程 476 6.6.2 关键代码分析 478 6.6.3 设计总结 493 6.7 kubectl 进程源码分析 494 6.7.1 kubectl create 命令 495 6.7.2 rolling-update 命令 499 后记 505 资源截图：

资源名称：ELK Stack权威指南 第2版 内容简介： ELK是Elasticsearch、Logstash、Kibana三个开源软件的组合，是目前开源界流行的实时数据分析方案，成为实时日志处理领域开源界的第壹选择。然而，ELK也并不是实时数据分析界的灵丹妙药，使用不恰当，反而会事倍功半。本书对ELK的原理进行了解剖，不仅分享了大量实战案例和实现效果，而且分析了部分源代码，使读者不仅知其然还知其所以然。读者可通过本书的学习，快速掌握实时日志处理方法，并搭建符合自己需要的大数据分析系统。本书分为三大部分，第壹部分“Logstash”介绍Logstash的安装与配置、场景示例、性能与测试、扩展方案、源码解析、插件开发等，第二部分“Elasticsearch”介绍Elasticsearch的架构原理、数据接口用例、性能优化、测试和扩展方案、映射与模板的定制、监控方案等，第三部分“Kibana”介绍Kibana3和Kibana5的特点对比，Kibana的配置、案例与源代码解析。 作者简介： 饶琛琳，新浪网系统架构师，曾任人人网技术专家，中华网高级运维工程师等职位。参与了大规模系统的运维监控设计与自动化平台建设，对CDN架构、系统监控和日志分析都有丰富的经验。乐于分享，是ElasticsearchChina用户组负责人之一，活跃于Puppet和Logstash等开源社区，分享了大量技术文章。 资源截图：

资源名称：大数据：正在到来的数据革命 内容简介： 入榜《亚洲周刊》“年度十大好书”，持续畅销；叫醒中国，领跑大数据时代最好的书。 　　中国高层人物汪洋，读后非常有启发，针对国人数据意识的淡薄由来已久，中国如何应对大数据时代的挑战，他在工作会议上说：“我希望大家能认真读一读这本书，带着问题读，带着想法读。” 　　哈佛大学商学院访问教授、全球顶尖管理咨询师达文波特，为中国政经两界提示智库建言：“无论是对中国政府，还是就中国的商业组织而言，《大数据》都是一本重要的书。” 　　史学大家、匹兹堡大学历史系荣誉讲座教授许倬云，有感于“老大哥”的影子，专门作序：“我们要对涂子沛先生致敬与致谢，因为他为华文世界提出一个重要的话题。” 　　美国第一，中国第几？公布官员财产美国是怎么做的，美国能让少部人腐败起来吗，美国式上访是怎么回事，凭什么美国矿难那么少，全民医改美国做得到吗，美国总统大选有什么利器才能赢，下一轮全球洗牌我们世界工厂会被淘汰吗…… 　　除了上帝，任何人都必须用数据来说话。 　　大数据浪潮，汹涌来袭，与互联网的发明一样，这绝不仅仅是信息技术领域的革命，更是在全球范围启动透明政府、加速企业创新、引领社会变革的利器。现代管理学之父德鲁克有言，预测未来最好的方法，就是去创造未来。而“大数据战略”，则是当下领航全球的先机。 　　大数据，这一世界大潮的来龙去脉如何？数据技术变革，何以能推动政府信息公开、透明和社会公正？何以促发行政管理和商业管理革新，并创造无限商机？又何以既便利又危及我们每个人的生活？Google、百度之类搜索服务，何以会不再有立足之地？引领世界的数据帝国——美国和西欧，正在如何应对大数据时代？我们中国，又当如何作为？ 　　本书通过讲述美国半个多世纪信息开放、技术创新的历史，以别开生面的经典案例——奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起，以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等等，为您一一细解，数据创新给公民、政府、社会带来的种种挑战和变革。 　　美国是全书主体，但又处处反观中国当下的现实。回望中国，胡适批评“差不多先生”，黄仁宇求索“数目字管理”，作者从太平洋对面看到中美两国的差距，深知中国缺少什么、需要什么，故将十多年观察、思索所得，又新增微学校、微学位等教育领域正在发生的革命，以及建言中国“大数据战略”的重要文章和访谈，淘洗成这本“2.0升级版”—— 　　《大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活》。 资源目录： 序言一 大数据：为华文世界提出一个重要话题/许倬云 序言二 中国的雄心应该拓展到大数据领域/托马斯?H?达文波特 序 幕 新总统的第一天 一人一票：把“黑”人送进“白”宫 大国新政：阳光是最好的防腐剂 上 篇 帝国风云：得数据者得天下——美国的成功经验 第一章 历史争战《信息自由法》 第四股力量：知情权的起点 国会议员：孤独的战争 白宫当家人：一个妥协者和机动者 政府VS. 社会：旧剧情重现新时代 第二章 数据帝国的兴起 摩尔定律：全世界半个世纪的发展规律 最小数据集：上升到立法高度的开路先锋 民意几时有：选票催生的创新 普适计算：计算机本身将从人们的视线中消失 “大数据”战略：争夺全世界的下一个前沿 第三章 数据治国 循“数”管理：平安大道怎样铺 数据“验”平权：民权史上的碑石 数据“打”假：最大的争议就是福利滥用 CompStat ：街头警察的创新传奇 第四章 商务智能的前世今生 起源：从数据到知识的挑战和跨越 结蛹：数据仓库之厚积薄发 蚕动：联机分析之惊艳 破茧：数据挖掘之智能生命的产生 化蝶：数据可视化的华丽上演 中 篇 法则博弈：大数据时代的发展与危机 第五章 帝国的法则 收集法则：减负，为人民减负 使用法则：隐私，文明社会的共识 发布法则：免费，人民已经交税 管理法则：质量，互联网时代的根本 第六章 《数据质量法》的困局 产业界“俘虏”政府：数据背后的政经战争 美式“旋转门”：权、名、利大串场 “掺沙子”法案：国会对付总统的独门秘器 环保“风险门”：公共利益常常无人代表 集体行动的逻辑：人人都想“搭便车” 三权之歧：什么是真正的“和谐” 第七章 全国隐私风波 《一九八四》：零隐私的恐惧 大数据就是“老大哥”：中央数据银行之争 百年纠结：统一身份证 “9?11”大拐点：以反恐的名义向左转 万维信息触角计划：追踪恐怖分子的“数据脚印” 6 种改变政府的力量：山姆大叔大退让 下 篇 公民故事：公民社会与数据互动之双赢时代 第八章 数据开放运动 一个新的世界：从软件开源到数据开放 总统的雄心：公共财政支出透明 数据民主：印裔首席信息官的崛起 Data.Gov：从旗舰初航到保“数”运动 大众创新：航班延误之候机经济学 第九章 试金石：白宫访客记录 总统在见谁：大医改中的“小”插曲 全体美国人的房子：白宫 步步妥协：总统与草根的对决 从白宫安保到政治监督：执著的公民改变世界 第十章 矿难中的歌声和数据 集体行动的号角：你站在哪一边 可以避免的悲剧：数据揭示的全景式真相 默认公开推定：和矿难赛跑的原则 唯一的道路：民主时时都要“争” 外 篇 天下趋势：大数据社会未来之世界走向 第十一章 大趋势 数据权：大不列颠的硕果 大合流: 国际开放联盟 云计算：新的航向 再造互联网：从网页相连到数据相“联” 第十二章 大挑战 逐鹿政坛：得数据者得天下 数据竞争：企业赢之道 下一波浪潮：从大数据到大社会 第十三章 大变革（2.0升级版新增） 微学位：教育领域正在发生的革命 大数据：再谈教育领域正在发生的革命 微学校：三谈教育领域正在发生的革命 尾声 挑战中国：摘下“差不多先生”的文化标签 大事记　 20世纪大萧条后美国信息开放、技术创新之路 后记 搭建“大数据”的世界 建言 中国如何应对大数据时代的挑战（2.0升级版新增） 访谈 大数据时代的“中国梦”（2.0升级版新增） 资源截图：

资源名称：Kafka并不难学！入门、进阶、商业实战 内容简介： 本书基于Kafka 0.10.2.0以上版本，采用“理论 实践”的形式编写。全书共68个实例。 全书共分为4篇： 第1篇，介绍了消息队列和Kafka、安装与配置Kafka环境； 第2篇，介绍了Kafka的基础操作、生产者和消费者、存储及管理数据； 第3篇，介绍了更高级的Kafka知识及应用，包括安全机制、连接器、流处理、监控与测试； 第4篇，是对前面知识的综合及实际应用，包括ELK套件整合实战、Spark实时计算引擎整合实战、Kafka Eagle监控系统设计与实现实战。 本书的每章都配有同步教学视频。视频和图书具有相同的结构，能帮助读者快速而全面地了解每章的内容。 本书还免费提供所有案例的源代码。这些代码不仅能方便读者学习，也能为以后的工作提供便利。 资源目录： ——第1篇  准备 第1章  了解消息队列和Kafka /2 1.1  本章教学视频说明 /2 1.2  消息队列 /2 ∟1.2.1  什么是消息队列 /3 ∟1.2.2  消息队列主要有哪些作用 /3 1.3  为什么需要Kafka /6 1.4  Kafka的基本概念 /7 ∟1.4.1  代理、生产者、消费者、消费者组 /7 ∟1.4.2  主题、分区、副本、记录 /8 1.5  了解Kafka的工作机制——生产消息 /消费消息 /9 1.6  Kafka的使用范围 /10 ∟1.6.1  Kafka的设计初衷 /10 ∟1.6.2  Kafka的特性 /11 ∟1.6.3  Kafka适用于哪些场景 /13 1.7  小结 /14 - 第2章  安装及配置Kafka /15 2.1  本章教学视频说明 /15 2.2  安装与配置基础环境 /16 ∟2.2.1  安装并配置Linux操作系统 /16 ∟2.2.2  实例1：安装与配置Java运行环境 /18 ∟2.2.3  实例2：配置SSH免密码登录 /21 ∟2.2.4  实例3：安装与配置Zookeeper /23 2.3  实例4：部署Kafka /27 ∟2.3.1  单机模式部署 /27 ∟2.3.2  分布式模式部署 /29 2.4  实例5：安装与配置Kafka监控工具 /32 ∟2.4.1  获取并编译Kafka Eagle源代码 /32 ∟2.4.2  安装与配置Kafka Eagle /33 2.5  实例6：编译Kafka源代码 /37 ∟2.5.1  安装与配置Scala运行环境 /38 ∟2.5.2  安装与配置Gradle /39 ∟2.5.3  了解Kafka源代码的编译过程 /40 2.6  实例7：将Kafka源代码导入编辑器 /42 ∟2.6.1  导入IntelliJ IDEA编辑器 /42 ∟2.6.2  导入Eclipse编辑器 /44 2.7  了解元数据的存储分布 /46 2.8  了解控制器的选举流程 /48 ∟2.8.1  了解控制器的启动顺序 /48 ∟2.8.2  了解主题分区Leader节点的选举过程 /52 ∟2.8.3  了解注册分区和副本状态机 /59 ∟2.8.4  了解分区自动均衡和分区重新分配 /61 2.9  小结 /66 ——第2篇  入门 第3章  Kafka的基本操作 /68 3.1  本章教学视频说明 /68 3.2  操作Zookeeper集群 /68 ∟3.2.1  Zookeeper的作用及背景 /69 ∟3.2.2  实例8：单机模式启动Zookeeper系统 /70 ∟3.2.3  实例9：单机模式关闭Zookeeper系统 /72 ∟3.2.4  实例10：分布式模式启动Zookeeper集群 /74 3.2.5  实例11：分布式模式关闭Zookeeper集群 /77 3.3  操作Kafka集群 /77 ∟3.3.1  实例12：单机模式启动Kafka系统 /78 ∟3.3.2  实例13：单机模式关闭Kafka系统 /79 ∟3.3.3  实例14：分布式模式启动Kafka集群 /81 ∟3.3.4  实例15：分布式模式关闭Kafka集群 /84 3.4  管理主题 /85 ∟3.4.1  什么是主题 /86 ∟3.4.2  实例16：创建主题 /87 ∟3.4.3  实例17：查看主题 /88 ∟3.4.4  实例18：修改主题 /92 ∟3.4.5  实例19：删除主题 /94 3.5  管理分区与副本 /95 ∟3.5.1  分区和副本的背景及作用 /95 ∟3.5.2  实例20：修改分区 /96 ∟3.5.3  实例21：修改副本数 /97 3.6  小结 /99 第4章  将消息数据写入Kafka系统——生产 /100 4.1  本章教学视频说明 /100 4.2  了解Kafka生产者 /101 4.3  使用脚本操作生产者 /101 ∟4.3.1  实例22：通过监控工具查看消息 /102 ∟4.3.2  实例23：启动消费者程序，并查看消息 /103 4.4  发送消息到Kafka主题 /104 ∟4.4.1  了解异步模式 /104 ∟4.4.2  实例24：生产者用异步模式发送消息 /105 ∟4.4.3  了解同步模式 /105 ∟4.4.4  实例25：生产者用同步模式发送消息 /106 ∟4.4.5  多线程发送消息 /107 ∟4.4.6  实例26：生产者用单线程发送消息 /107 ∟4.4.7  实例27：生产者用多线程发送消息 /110 4.5  配置生产者的属性 /112 4.6  保存对象的各个属性——序列化 /115 ∟4.6.1  实例28：序列化一个对象 /115 ∟4.6.2  实例29：在生产者应用程序中实现序列化 /117 4.7  自定义主题分区 /122 ∟4.7.1  实例30：编写自定义主题分区的算法 /122 ∟4.7.2  实例31：演示自定义分区类的使用 /123 4.8  小结 /125 - 第5章  从Kafka系统中读取消息数据——消费 /126 5.1  本章教学视频说明 /126 5.2  了解Kafka消费者 /126 ∟5.2.1  为什么需要消费者组 /126 ∟5.2.1  消费者和消费者组的区别 /127 ∟5.2.2  消费者和分区的对应关系 /127 5.3  使用Kafka系统的脚本操作消费者 /130 ∟5.3.1  认识消费者新接口 /130 ∟5.3.2  实例32：用新接口启动消费者程序，并查看消费者信息 /131 ∟5.3.3  实例33：用旧接口启动消费者程序，并查看消费者元数据的存储结构 /134 5.4  消费Kafka集群中的主题消息 /136 ∟5.4.1  主题如何自动获取分区和手动分配分区 /137 ∟5.4.2  实例34：主题自动 /手动获取分区 /137 ∟5.4.3  实例35：反序列化主题消息 /140 ∟5.4.4  如何提交消息的偏移量 /145 ∟5.4.5  实例36：使用多线程消费多个分区的主题 /146 5.5  配置消费者的属性 /150 5.6  小结 /151 - 第6章  存储及管理数据 /152 6.1  本章教学视频说明 /152 6.2  分区存储数据 /152 ∟6.2.1  熟悉分区存储 /153 ∟6.2.2  了解消息的格式 /154 6.3  清理过期数据的两种方法 /155 6.4  网络模型和通信流程 /156 ∟6.4.1  基本数据类型 /156 ∟6.4.2  通信模型 /157 ∟6.4.3  通信过程 /157 6.6  小结 /159 - ——第3篇  进阶 第7章  Kafka安全机制 /162 7.1  本章教学视频说明 /162 7.2  了解Kafka的安全机制 /162 ∟7.2.1  身份验证 /163 ∟7.2.2  权限控制 /163 7.3  使用SSL协议进行加密和身份验证 /164 ∟7.3.1  了解SSL协议 /164 ∟7.3.2  实例37：创建SSL密钥库，并查看密钥库文件 /165 ∟7.3.3  实例38：创建私有证书 /167 ∟7.3.4  实例39：导出证书，使用CA对证书进行签名 /170 ∟7.3.5  实例40：在服务端配置SSL协议，并创建主题 /173 ∟7.3.6  实例41：在客户端配置SSL协议，并读 /写数据 /174 7.4  使用SASL协议进行认证 /176 ∟7.4.1  给客户端配置“Java认证和授权服务”（JAAS） /176 ∟7.4.2  给服务端配置SASL /178 ∟7.4.3  实例42：开启SASL /Kerberos认证协议 /178 ∟7.4.4  实例43：开启SASL /PLAIN认证协议 /181 ∟7.4.5  实例44：开启SASL /SCRAM认证协议 /184 7.5  权限控制 /187 ∟7.5.1  权限控制的基础命令 /187 ∟7.5.2  配置ACL（访问控制列表） /188 ∟7.5.3  实例45：启动集群 /189 ∟7.5.4  实例46：查看授权、添加授权、删除授权 /190 7.6  小结 /195 - 第8章  用Kafka连接器建立数据管道 /196 8.1  本章教学视频说明 /196 8.2  认识Kafka连接器 /196 ∟8.2.1  了解连接器的使用场景 /197 ∟8.2.2  特性及优势 /198 ∟8.3  操作Kafka连接器 /199 8.3.1  配置Kafka连接器的属性 /199 ∟8.3.2  认识应用接口——REST API /202 ∟8.3.3  实例47：单机模式下，将数据导入Kafka主题中 /203 ∟8.3.4  实例48：单机模式下，将Kafka主题中的数据导出 /205 ∟8.3.5  实例49：分布式模式下，将数据导入Kafka主题 /206 8.4  实例50：开发一个简易的Kafka连接器插件 /210 ∟8.4.1  编写Source连接器 /211 ∟8.4.2  编写Sink连接器 /217 ∟8.4.3  打包与部署 /220 8.5  小结 /225 - 第9章  Kafka流处理 /226 9.1  本章教学视频说明 /226 9.2  初识Kafka流处理 /227 ∟9.2.1  什么是流处理 /227 ∟9.2.2  什么是流式计算 /227 ∟9.2.3  为何要使用流处理 /228 9.3  了解流处理的架构 /229 ∟9.3.1  流分区与任务 /230 ∟9.3.2  线程模型 /232 ∟9.3.3  本地状态存储 /234 ∟9.3.4  容错性（Failover） /235 9.4  操作KStream和KTable /235 ∟9.4.1  流处理的核心概念 /236 ∟9.4.2  窗口操作 /237 ∟9.4.3  连接操作 /241 ∟9.4.4  转换操作 /246 ∟9.4.5  聚合操作 /247 9.5  实例51：利用流处理开发一个单词统计程序 /248 ∟9.5.1  创建Kafka流主题 /248 ∟9.5.2  统计流主题中单词出现的频率 /249 ∟9.5.3  预览操作结果 /250 9.6  实例52：利用Kafka流开发一个SQL引擎 /251 ∟9.6.1  构建生产流数据源 /251 ∟9.6.2  构建Kafka流处理 /253 ∟9.6.3  构建数据结构和执行SQL逻辑 /254 ∟9.6.4  观察操作结果 /255 9.7  小结 /256 - 第10章  监控与测试 /257 10.1  本章教学视频说明 /257 10.2  Kafka的监控工具——Kafka Eagle系统 /258 ∟10.2.1  实例53：管理主题 /258 ∟10.2.2  实例54：查看消费者组信息 /259 ∟10.2.3  实例55：查看Kafka与Zookeeper集群的状态和性能 /263 10.3  测试生产者性能 /264 ∟10.3.1  了解测试环境 /264 ∟10.3.2  认识测试工具 /265 ∟10.3.3  实例56：利用工具测试生产者性能 /266 10.4  测试消费者性能 /275 ∟10.4.1  了解测试环境 /275 ∟10.4.2  认识测试工具 /276 ∟10.4.3  实例57：利用脚本测试消费者的性能 /276 10.4  小结 /280 - ——第4篇  商业实战 第11章  Kafka与ELK套件的整合 /282 11.1  本章教学视频说明 /282 11.2  安装与配置ELK /283 ∟11.2.1  安装与配置LogStash /283 ∟11.2.2  实例58：LogStash的标准输入与输出 /285 ∟11.2.3  安装与配置ElasticSearch /287 ∟11.2.4  实例59：使用ElasticSearch集群的HTTP接口创建索引 /292 ∟11.2.5  实例60：使用ElasticSearch集群的HTTP接口查看索引 /293 ∟11.2.6  实例61：使用ElasticSearch集群的HTTP接口添加数据 /294 ∟11.2.7  安装与配置Kibana /296 ∟11.2.8  实例62：启动并验证Kibana系统 /298 11.3  实例63：实现一个游戏日志实时分析系统 /299 ∟11.3.1  了解系统要实现的功能 /300 ∟11.3.2  了解平台体系架构 /300 ∟11.3.3  采集数据 /302 ∟11.3.4  分流数据 /304 ∟11.3.5  实现数据可视化 /306 11.4  小结 /308 - 第12章  Kafka与Spark实时计算引擎的整合 /309 12.1  本章教学视频说明 /309 12.2  介绍Spark背景 /310 ∟12.2.1  Spark SQL——Spark处理结构化数据的模块 /310 ∟12.2.2  Spark Streaming——Spark核心应用接口的一种扩展 /311 ∟12.2.3  MLlib——Spark的一个机器学习类库 /311 ∟12.2.4  GraphX——Spark的一个图计算框架 /311 12.3  准备Spark环境 /311 ∟12.3.1  下载Spark基础安装包 /311 ∟12.3.2  安装与配置Spark集群 /312 12.4  操作Spark /315 ∟12.4.1  实例64：使用Spark Shell统计单词出现的频率 /315 ∟12.4.2  实例65：使用Spark SQL对单词权重进行降序输出 /317 ∟12.4.3  实例66：使用Spark Submit统计单词出现的频率 /319 12.5  实例67：对游戏明细数据做实时统计 /322 ∟12.5.1  了解项目背景和价值 /323 ∟12.5.2  设计项目实现架构 /323 ∟12.5.3  编码步骤一  实现数据采集 /325 ∟12.5.4  编码步骤二  实现流计算 /327 ∟12.5.5  编码步骤三  打包应用程序 /330 ∟12.5.6  编码步骤四  创建表结构 /332 ∟12.5.7  编码步骤五  执行应用程序 /332 ∟12.5.8  编码步骤六  预览结果 /333 12.6  小结 /333 - 第13章  实例68：从零开始设计一个Kafka监控系统——Kafka Eagle /334 13.1  本章教学视频说明 /334 13.2  了解Kafka Eagle监控系统 /335 ∟13.2.1  设计的背景 /335 ∟13.2.2  应用场景 /336 13.3  从结构上了解Kafka Eagle /337 ∟13.3.1  了解Kafka Eagle的整体架构和代码结构 /337 ∟13.3.2  设计Kafka Eagle的7大功能模块 /339 13.4  实现Kafka Eagle的功能模块 /347 ∟13.4.1  编码步骤一  实现数据面板 /347 ∟13.4.2  编码步骤二  实现主题管理 /348 ∟13.4.3  编码步骤三  实现消费者实例详情 /350 ∟13.4.4  编码步骤四  实现集群监控 /350 ∟13.4.5  编码步骤五  实现性能监控 /351 ∟13.4.6  编码步骤六  实现告警功能 /351 ∟13.4.7  编码步骤七  实现系统功能 /352 13.5  安装及使用Kafka Eagle监控系统 /353 ∟13.5.1  准备环境 /353 ∟13.5.2  快速部署 /354 ∟13.5.3  了解Kafka Eagle的基础命令 /358 13.6  小结 /358 资源截图：

资源名称：Spark快速数据处理 内容简介： Spark是一个开源的通用并行分布式计算框架，由加州大学伯克利分校的AMP实验室开发，支持内存计算、多迭代批量处理、即席查询、流处理和图计算等多种范式。Spark内存计算框架适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，现已逐渐获得很多企业的支持，如阿里巴巴、百度、网易、英特尔等公司。 　　本书系统讲解Spark的使用方法，包括如何在多种机器上安装Spark，如何配置一个Spark集群，如何在交互模式下运行第一个Spark作业，如何在Spark集群上构建一个生产级的脱机/独立作业，如何与Spark集群建立连接和使用SparkContext，如何创建和保存RDD（弹性分布式数据集），如何用Spark分布式处理数据，如何设置Shark，将Hive查询集成到你的Spark作业中来，如何测试Spark作业，以及如何提升Spark任务的性能。 资源目录： 译者序 作者简介 前言 第1章　安装Spark以及构建Spark集群 　1.1　单机运行Spark 　1.2　在EC2上运行Spark 　1.3　在ElasticMapReduce上部署Spark 　1.4　用Chef(opscode)部署Spark 　1.5　在Mesos上部署Spark 　1.6　在Yarn上部署Spark 　1.7　通过SSH部署集群 　1.8　链接和参考 　1.9　小结 第2章　Sparkshell的使用 　2.1　加载一个简单的text文件 　2.2　用Sparkshell运行逻辑回归 　2.3　交互式地从S3加载数据 　2.4　小结 第3章　构建并运行Spark应用 　3.1　用sbt构建Spark作业 　3.2　用Maven构建Spark作业 　3.3　用其他工具构建Spark作业 　3.4　小结 第4章　创建SparkContext 　4.1　Scala 　4.2　Java 　4.3　Java和Scala共享的API 　4.4　Python 　4.5　链接和参考 　4.6　小结 第5章　加载与保存数据 　5.1　RDD 　5.2　加载数据到RDD中 　5.3　保存数据 　5.4　连接和参考 　5.5　小结 第6章　操作RDD 　6.1　用Scala和Java操作RDD 　6.2　用Python操作RDD 　6.3　链接和参考 　6.4　小结 第7章　Shark-Hive和Spark的综合运用 　7.1　为什么用HiveShark 　7.2　安装Shark 　7.3　运行Shark 　7.4　加载数据 　7.5　在Spark程序中运行HiveQL查询 　7.6　链接和参考 　7.7　小结 第8章　测试 　8.1　用Java和Scala测试 　8.2　用Python测试 　8.3　链接和参考 　8.4　小结 第9章　技巧和窍门 　9.1　日志位置 　9.2　并发限制 　9.3　内存使用与垃圾回收 　9.4　序列化 　9.5　IDE集成环境 　9.6　Spark与其他语言 　9.7　安全提示 　9.8　邮件列表 　9.9　链接和参考 　9.10　小结 资源截图：

资源名称：精通Elastic Stack  内容简介： 本书系统论述了Exadata原理、架构及其实施运维实践。全书分为4章，分别对应Exadata实施运维中的四个不同主题。第1章为Exadata刷机安装，简要地介绍Exadata的历史和软硬件架构，为后续运维打好基础；  同时详细讲解Exadata的各种刷机工具、刷机方式和安装初始化步骤； *后手把手地教授如何搭建*版本的Exadata虚拟环境。第2章为Exadata管理工具，详尽地阐述Exadata运维相关的绝大部分管理工具。第3章为Exadata硬件更换，介绍Exadata的大部分易损硬件的更换工作。第4章为Exadata组件升级，详尽地讲解Exadata升级的方方面面以及组件之间的各种兼容及依赖关系，结合诸多的升级案例讲解Exadata存储软件版本变化带来的不同升级方式。本书适用于数据库管理员、数据库开发者、存储管理员、主机工程师、系统架构师、数据库爱好者。本书假定读者已经熟悉Oracle数据库，所以没有详细解释Oracle数据库的工作原理，除非数据库涉及Exadata相关的特性。由于Exadata是一个硬件和软件一体化的数据库平台，所以希望读者对Linux操作系统和网络方面的知识也有所了解。 资源目录： 第1章Elastic Stack概述1 1.1ELK Stack简介1 1.1.1Logstash2 1.1.2Elasticsearch3 1.1.3Kibana3 1.2Elastic Stack的诞生3 1.3谁在使用Elastic Stack?4 1.3.1Salesforce5 1.3.2CERN5 1.3.3Green Man Gaming5 1.4竞争者6 1.5设置Elastic Stack的使用环境6 1.5.1安装Java6 1.5.2安装Elasticsearch9 1.5.3安装Kibana12 1.5.4安装Logstash15 1.5.5安装Filebeat16 1.6XPack简介18 1.7本章小结19 第2章走进Elasticsearch20 2.1Elasticsearch的起源20 2.2了解Elasticsearch的体系结构22 2.2.1推荐的集群配置23 2.2.2了解文档处理24 2.3Elasticsearch API25 2.3.1有关文档的API25 2.3.2有关搜索的API38 2.3.3有关索引的API43 2.3.4Cat API51 2.3.5Cluster API52 2.4Query DSL52 2.5聚合52 2.5.1Buckets聚合52 2.5.2Metrics聚合59 2.6Painless脚本说明64 2.7本章小结66 〖1〗〖2〗〖1〗〖3〗第3章探索Logstash及其组件67 3.1Logstash简介68 3.2为什么需要用Logstash68 3.3Logstash的特点69 3.4Logstash插件的体系架构70 3.5Logstash配置文件的结构71 3.5.1值类型71 3.5.2条件判断的用法73 3.6插件种类74 3.6.1数据输入插件Input74 3.6.2数据过滤插件Filter74 3.6.3数据输出插件Output75 3.6.4编解码插件Codec75 3.7学习数据输入插件Input76 3.7.1stdin77 3.7.2file78 3.7.3path79 3.7.4udp82 3.8学习数据过滤插件Filter83 3.8.1grok84 3.8.2mutate86 3.8.3csv89 3.9学习数据输出插件Output90 3.9.1stdout90 3.9.2file91 3.9.3elasticsearch93 3.10学习编解码插件Codec95 3.10.1rubydebug95 3.10.2json96 3.10.3avro96 3.10.4multiline97 3.11插件的命令行操作99 3.11.1列出插件列表100 3.11.2安装插件100 3.11.3移除插件101 3.11.4更新插件101 3.11.5压缩插件102 3.11.6解压插件102 3.12Logstash的命令行操作103 3.13使用Logstash的小技巧105 3.13.1引用字段及其值106 3.13.2添加自定义的grok模式106 3.13.3Logstash不显示任何输出信息107 3.14用于解析日志的Logstash配置108 3.14.1Catalina日志示例108 3.14.2Tomcat日志示例108 3.14.3基于grok模式的Catalina日志109 3.14.4基于grok模式的Tomcat日志示例109 3.14.5Logstash配置文件110 3.15监控系统相应状态信息的API112 3.15.1节点信息API113 3.15.2插件信息API115 3.15.3节点状态API116 3.15.4Hot threads API116 3.16本章小结117 第4章Kibana界面118 4.1Kibana及其功能118 4.2探索Discover界面120 4.3时间过滤器121 4.3.1快捷时间过滤器122 4.3.2相对时间过滤器122 4.3.3绝对时间过滤器122 4.3.4自动刷新122 4.4查询和搜索数据123 4.4.1全文检索123 4.4.2范围搜索123 4.4.3布尔搜索124 4.4.4邻近搜索124 4.4.5通配符搜索124 4.4.6正则表达式搜索125 4.4.7分组125 4.5字段和过滤器125 4.5.1过滤字段125 4.5.2过滤器的功能126 4.6查询页面选项127 4.7探索Visualize界面127 4.7.1了解聚合129 4.7.2可视化画布133 4.7.3面积图133 4.7.4数据表133 4.7.5折线图133 4.7.6气泡图133 4.7.7Markdown部件134 4.7.8Metric134 4.7.9饼图134 4.7.10标签云134 4.7.11瓦片地图134 4.7.12时间序列134 4.7.13直方图134 4.8探索Dashboard界面135 4.9了解Timelion137 4.10探索开发者工具139 4.11探索设置界面140 4.11.1索引模式141 4.11.2已保存的对象141 4.11.3高级设置141 4.11.4状态143 4.12综合应用143 4.12.1输入数据143 4.12.2创建Logstash配置文件144 4.12.3使用Kibana147 4.12.4在Kibana中创建面板155 4.13本章小结157 第5章使用Beats158 5.1Beats简介158 5.2Beats与Logstash的不同之处159 5.3Beats如何融入Elastic Stack160 5.4不同类型的Beats组件概述162 5.4.1Elastic团队开发的Beats组件162 5.4.2社区开发者开发的Beats组件164 5.5Elastic团队开发的Beats组件164 5.5.1了解Filebeat165 5.5.2理解Metricbeat172 5.5.3理解Packetbeat177 5.6社区开发者开发的Beats组件179 5.7Beats在Elastic Stack中的实战182 5.7.1用Logstash和Kibana探索Metricbeat182 5.7.2用Elasticsearch和Kibana探索Elasticbeat191 5.8本章小结195 第6章Elastic Stack实战196 6.1理解问题场景196 6.2准备Elastic Stack管道199 6.2.1要获取什么数据?200 6.2.2更新体系结构200 6.3配置Elastic Stack组件201 6.3.1搭建Elasticsearch202 6.3.2搭建agents/Beats202 6.3.3搭建Logstash207 6.3.4设置Kibana213 6.4设置Kibana面板213 6.4.1Packetbeat214 6.4.2Metricbeat214 6.4.3查看数据库(MySQL)性能215 6.4.4分析CPU的使用216 6.4.5内存使用情况217 6.4.6检查日志217 6.4.7寻找访问最多的网页219 6.4.8访客地图219 6.4.9一定时间范围内的访客数量220 6.4.10请求类型221 6.4.11错误类型——日志的级别221 6.4.12首选的referrer223 6.4.13首选的代理agent223 6.5使用Logstash电子邮件功能发警报224 6.6使用消息代理225 6.7本章小结226 第7章个性化定制Elastic Stack227 7.1扩展Elasticsearch227 7.1.1Elasticsearch开发环境228 7.1.2剖析一个ElasticsearchJava 插件229 7.1.3构建插件230 7.2扩展Logstash231 7.3扩展Beats239 7.3.1Libbeat框架239 7.3.2创建一个Beat240 7.4扩展Kibana251 7.4.1设置Kibana开发环境252 7.4.2生成一个插件253 7.4.3剖析一个插件254 7.5本章小结257 第8章Elasticsearch API258 8.1集群API258 8.1.1集群健康状况258 8.1.2集群状态260 8.1.3集群统计信息261 8.1.4待处理任务261 8.1.5集群重路由261 8.1.6集群更新设置262 8.1.7节点统计信息262 8.1.8节点信息API263 8.1.9任务管理API264 8.2Cat API265 8.3Elasticsearch模块268 8.3.1集群模块269 8.3.2Discovery模块269 8.3.3Gateway模块269 8.3.4HTTP模块269 8.3.5索引模块269 8.3.6网络模块269 8.3.7节点客户端270 8.3.8插件模块270 8.3.9脚本270 8.3.10快照/恢复模块271 8.3.11线程池271 8.3.12Transport模块271 8.3.13Tribe节点模块272 8.4Ingest节点272 8.5Elasticsearch客户端276 8.5.1支持的客户端276 8.5.2社区提供的客户端276 8.6Java API277 8.6.1连接到集群277 8.6.2管理任务278 8.6.3索引级任务281 8.7Elasticsearch插件286 8.7.1Discovery插件287 8.7.2Ingest插件287 8.7.3Elasticsearch SQL288 8.8本章小结289 第9章XPack插件中的Security与Monitoring组件290 9.1XPack介绍290 9.2XPack的安装291 9.2.1在Elasticsearch中安装XPack291 9.2.2在Kibana中安装XPack292 9.2.3在离线系统中安装XPack292 9.2.4卸载XPack293 9.3Security组件294 9.3.1列出所有Security中的用户295 9.3.2列出Security中的角色296 9.3.3了解Security中的角色297 9.3.4理解默认用户角色299 9.3.5在Security中添加新角色299 9.3.6在Security中更新角色300 9.3.7了解字段级的Security301 9.3.8在Security中添加新用户302 9.3.9在Security中更新用户详细信息303 9.3.10在Security中修改用户密码304 9.3.11在Security中删除角色304 9.3.12在Security中删除用户304 9.4查看XPack信息305 9.5Monitoring组件307 9.5.1探索Elasticsearch的监控统计308 9.5.2探索Kibana的监控统计314 9.6了解Profiler315 9.7本章小结317 第10章XPack插件中的Alerting、Graph和Reporting组件318 10.1Alerting与Notification组件318 10.2Graph组件336 10.3Reporting组件341 10.4本章小结344 第11章最佳实践范例345 11.1为什么需要最佳实践范例345 11.2了解你的用例346 11.3管理配置文件347 11.3.1Elasticsearch——elasticsearch.yml347 11.3.2Kibana——kibana.yml348 11.4选择正确的硬件348 11.4.1内存349 11.4.2磁盘351 11.4.3输入输出353 11.4.4CPU354 11.4.5网络354 11.5搜索和索引性能354 11.5.1过滤缓存354 11.5.2Fielddata的容量355 11.5.3索引缓冲区356 11.6调整Elasticsearch集群357 11.6.1选择正确的节点357 11.6.2确定节点数359 11.6.3确定分片数360 11.6.4缩减磁盘空间361 11.7Logstash配置文件361 11.7.1对多个数据源分类362 11.7.2使用conditional条件362 11.7.3使用自定义grok模式363 11.7.4简化grokparsefailure363 11.7.5字段的映像363 11.7.6动态模板363 11.7.7测试配置364 11.8重新索引数据364 11.9本章小结365 第12章案例分析——Meetup366 12.1了解Meetup使用场景366 12.2环境搭建367 12.2.1理解Meetup API368 12.2.2搭建Elasticsearch370 12.2.3准备Logstash370 12.2.4搭建Kibana374 12.3使用Kibana分析数据374 12.3.1内容过滤375 12.3.2按国家统计Meetup使用量377 12.3.3世界前10座使用Meetup的城市379 12.3.4按持续时间分析Meetup发展趋势380 12.3.5按RSVP计数统计Meetup使用量383 12.3.6国家分组统计384 12.3.7加入群组的模式统计384 12.3.8热门类别385 12.3.9热门话题387 12.3.10Meetup活动场所地图388 12.3.11Meetup活动地图389 12.3.12仅数量方面的统计389 12.4获取通知390 12.5本章小结393 资源截图：

视频以Java语言为蓝本，深入浅出的讲解scala语言的语法和特征，并应用scala语言，讲解spark生态系统下的大数据开发技术。

资源名称：Kafka入门与实践 内容简介： 本书以Kafka 0.10.1.1版本以基础，对Kafka的基本组件的实现细节及其基本应用进行了详细介绍，同时，通过对Kafka与当前大数据主流框架整合应用案例的讲解，进一步展现了Kafka在实际业务中的作用和地位。本书共10章，按照从抽象到具体、从点到线再到面的学习思维模式，由浅入深，理论与实践相结合，对Kafka进行了分析讲解。 本书中的大量实例来源于作者在实际工作中的实践，具有现实指导意义。相信读者阅读完本书之后，能够全面掌握Kafka的基本实现原理及其基本操作，能够根据书中的案例举一反三，解决实际工作和学习中的问题。此外，在阅读本书时，读者可以根据本书对Kafka理论的分析，再结合Kafka源码进行定位学习，了解Kafka优秀的设计和思想以及更多的编码技巧。 本书适合应用Kafka的专业技术人员阅读，包括但不限于大数据相关应用的开发者、运维者和爱好者，也适合高等院校、培训结构相关专业的师生使用。 作者简介： 牟大恩，武汉大学硕士，曾先后在网易杭州研究院、掌门科技、优酷土豆集团担任高级开发工程师和资深开发工程师职务，目前就职于海通证券总部。有多年的Java开发及系统设计经验，专注于互联网金融及大数据应用相关领域。 资源目录： 内容提要 前言 第1章　Kafka简介 第2章　Kafka安装配置 第3章　Kafka核心组件 第4章　Kafka核心流程分析 第5章　Kafka基本操作实战 第6章　Kafka API编程实战 第7章　Kafka Streams 第8章　Kafka数据采集应用 第9章　Kafka与ELK整合应用 第10章　Kafka与Spark整合应用 资源截图：