资源搜

资源名称：OpenStack开源云：王者归来 内容简介： 本书按照入门、剖析、扩展的讲授方式，由浅入深地介绍了开源云计算平台OpenStack（Grizzly版本）的整体框架、安装部署、源码剖析及扩展开发。本书附带的所有源代码和安装脚本均可以在Github（https://github.com/JiYou/openstack）上获得。 　　本书共19章，分为4篇。第1篇介绍了云计算常识及虚拟化技术（KVM、Libvirt）必备知识；第2篇着重讲解了OpenStack主要组件的安装部署，以及OpenStack整个框架的参考部署；第3篇主要从源码剖析的角度讲解了Keystone、Swift、Quantum和Nova重要组件的设计思想与实现方法；第4篇介绍了如何利用OpenStack进行扩展开发，包括如何在OpenStack平台上搭建Hadoop，对Nova进行扩展，以及如何开发独立的OpenStack组件。 　　本书内容全面，实例众多，实践性强，讲解清晰，适合想要从事开源云OpenStack开发的技术人员阅读。对于IT首席技术官、云计算研发和运维等相关人员，本书有很高的参考价值。 资源目录： 第1篇 基 础 篇 第1章 OpenStack概述  第2章 虚拟化技术  第2篇 安 装 篇 第3章 安装Keystone安全认证服务  第4章 安装Swift存储服务  第5章 安装Glance镜像服务  第6章 安装Quantum虚拟网络服务  第7章 安装Cinder块存储服务  第8章 安装Nova虚拟机管理系统  第9章 安装Dashboard Web界面  第10章 OpenStack部署示例  第3篇 剖 析 篇 第11章 OpenStack服务分析  第12章 Keystone的安全认证  第13章 Swift存储服务  资源截图：

资源名称：智造密码 你应该知道的上海中心大数据 内容简介： 上海中心，中国**高楼，世界第二高楼，于2016年11月荣获世界高层建筑与都市人居学会(CTBUH)颁发的“2016年世界*佳高层建筑奖”。  作为中国**次自主建造的高度超过600米的超高层建筑，上海中心是一项**的“超级工程”。其施工过程历时73个月，参建单位500余家，参建人员前后近万人，建筑高度632米，建筑自重85万吨，建筑面积57．8万平方米，建筑层数地上127层、地下5层，拥有全球*快的电梯，可容纳3万多人同时活动……  在这一个个可见的、令人叹服的统计数字背后，上海中心建造过程中隐藏着的数字则更具震撼性，正是基于这一个个数字密码的精密计算才使这座大楼得以建成和高效运转。  每一个数字，就像是这幢建筑的DNA。因此，葛清主编的《智造密码(你应该知道的上海中心大数据)(精)/上海中心系列丛书》一书以数字为载体，从开篇至结束，通过外观印象、观摩体验、地下探秘、建造追问、理念解码5个篇章，99个密码点来实现对这幢建筑的准确解读。  同时，本书也旨在为那些对中国现代建筑科技感兴趣的读者，提供一份精良的数据解读范本。正如“世界*佳高层建筑奖”颁奖词所言：“‘上海中心’不仅成为上海的*新象征，向世界展示现代化大都市形象，也为建筑科技创新与文化身份认同相结合指出了新方向。”  资源目录： 前言  解码中国建筑新高度  **篇  外观印象  632米定义上海新地标  57．8万平方米，垂直的外滩  动感“身形”4次变形  120°旋转，实现“时间旅行”  试验追踪：120°的风洞试验  95°V形槽定义起点和终点  双层“外衣”节约50%能耗  20357块行云流水的玻璃外衣  安全系数150%，拒绝“玻璃雨”  试验追踪：玻璃幕墙的四性测试  38米高的裙楼拥有“双重性格”  10厘米空隙里的“隐形雨衣”  12%的光反射率让她通透柔和  外幕墙135层退台冲上云霄  21个空中花园  380平方米世界*高的空中园林  半亩紫藤，跨越600年的生命力  第二篇  观摩体验  1817个车位纾解停车难  衔接“金三角”的340米“时光林荫”  绿化率33%，绿意融融  26个苔藓球告诉你空气有多新鲜  7500平方米的空中花园，生机盎然  3大色系随心而动  132米“心相山水”感知心境  632块彩釉组成鱼乐图  173米的云端博物馆  18698个*高级别私人宝库  1789653根手工掐丝景泰蓝珐琅地面  寄寓“轮回”哲思  1000个文字群  2000平方米的无柱大跨度空间  1989米长铝制圆管创造动感多功能厅  960度高温炙烤一小时，内幕墙完整如一  试验追踪：1000℃的烈火双面测试  108分钟全员疏散  620米的泡沫管大有用处  400000平方米的玻璃幕墙表面这样擦  每秒20．5米，直上云霄  35秒不到，电梯如约而至  360°无遮挡的*峰极目  1000吨阻尼器，稳如泰山  23米高的“上海慧眼”艺术空间，苍穹触手可及  244只扬声器打造“全息声”音效  第三篇  地下探秘  地下288米，花岗岩岿然不动  在地下第9层土层安家  悄然“穿越”地下86米  3100吨，极限承载万钧之力  试验追踪：3100吨的极限测试  桩基施工5部曲，精密实施  1079根桩基交错排列  40个承压水减压井  市政道路7种管线翻交  内径121米的超大基坑  “蚂蚁搬家”，运出600000立方米的土  15000吨钢筋20多天手工绑扎完成  一次浇筑完成60000立方米“定海神座”  试验追踪：混凝土配比实测试验  5630个基坑“卫士”保驾护航  设立超YUE每平方米500公斤承重限定的“必经之路”  第四篇  建造追问  9层蛋糕中的灵感  580米高的经济型核心筒  2°小倾斜背后的大意义  800平方米的“空中航母”  3平方米的空中移动平台  500吨重的塔吊是如何爬升的  3个构思精巧的“月牙儿”飞船  102层“裙撑”环环向上  拽紧外衣的1500个连接点  15种特型支座创新攻坚  试验追踪：特型支座的摩擦系数测试  节省1322个水平和垂直滑移支座  413个传感器负责安全监测  18个穿过玻璃幕墙的“动态孔”  32个双层吊篮给建筑穿上“外衣”  4台塔吊组成“打蛋器”  电梯轻薄隔断，每平方米承载力230公斤  混凝土泵送至620米云端  25个鳍状桁架筑造的“轻巧皇冠”  塔冠上10733套灯，实现一次性装配化  第五篇  理念解码  BIM促效率，至少省下100000000元  43项节能技术树立绿色标杆  500公里的绿色采购半径  变风量空气调节系统节能50%  回馈型电梯，电能转化利用率30%  24个阳光感应器，窗帘“追着太阳跑”  智能照明“种下”100000棵树  超静音空调降噪15分贝，很好静谧  9组接力传输“生命之水”  245994立方中水，智能节排  藏在土壤中的：10340米“毛细血管”  254个“抄表员”随时掌控水系统  90米长“天使之翼”消除玻璃雾化  两路110千伏“能量之源”确保安全  270台风力发电机提供高空绿色电力  通信系统，2路保障，互为备份  2个能源中心，实现分区供能  三联供“燃气心脏”，年均发电1280万度  3台制冷机蓄冷，实现“能量转移”  127根地源热泵负责冷热完美交换  2组冷却塔，提供免费冷源  “智慧大脑”拥有超过200000个神经末梢  *很好的能源管家再次节能10% 资源截图：

资源名称：Docker技术入门与实战 第3版  内容简介： 本书从Docker基本原理开始，深入浅出地讲解Docker的构建与操作，内容系统全面，可帮助开发人员、运维人员快速部署Docker应用。本书分为四大部分：基础入门、实战案例、进阶技能、开源项目，*部分（第1～8章）介绍Docker与虚拟化技术的基本概念，包括安装、镜像、容器、仓库、数据卷、端口映射等；第二部分（第9～16章）通过案例介绍Docker的应用方法，包括与各种操作系统平台、SSH服务的镜像、Web服务器与应用、数据库的应用、各类编程语言的接口、容器云等，还介绍了作者在容器实战中的思考与经验总结；第三部分（第17～21章）介绍一些进阶技能，如Docker核心技术实现原理、安全、高级网络配置、libnetwork插件化网络功能等；第四部分（第22～28章）介绍与容器开发相关的开源项目，包括Etcd、Docker Machine、Docker Compose、Docker Swarm、Mesos、Kubernetes等。第3版根据 Docker 18.x 系列版本对全书内容进行了全面修订。 资源目录： 第3版前言 第一部分　基础入门 第1章　初识Docker与容器 3 1.1　什么是Docker 3 1.2　为什么要使用Docker 6 1.3　Docker与虚拟化 8 1.4　本章小结 9 第2章　核心概念与安装配置 10 2.1　核心概念 10 2.2　安装Docker引擎 11 2.2.1　Ubuntu 环境下安装 Docker 12 2.2.2　CentOS 环境下安装 Docker 14 2.2.3　通过脚本安装 15 2.2.4　macOS环境下安装 Docker 15 2.2.5　Windows环境下安装Docker 23 2.3　配置 Docker 服务 26 2.4　推荐实践环境 27 2.5　本章小结 27 第3章　使用Docker镜像 28 3.1　获取镜像 28 3.2　查看镜像信息 30 3.3　搜寻镜像 32 3.4　删除和清理镜像 33 3.5　创建镜像 35 3.6　存出和载入镜像 36 3.7　上传镜像 37 3.8　本章小结 38 第4章　操作Docker容器 39 4.1　创建容器 39 4.2　停止容器 44 4.3　进入容器 46 4.4　删除容器 47 4.5　导入和导出容器 48 4.6　查看容器 49 4.7　其他容器命令 50 4.8　本章小结 52 第5章　访问 Docker 仓库 53 5.1　Docker Hub 公共镜像市场 53 5.2　第三方镜像市场 55 5.3　搭建本地私有仓库 56 5.4　本章小结 58 第6章　Docker数据管理 59 6.1　数据卷 59 6.2　数据卷容器 60 6.3　利用数据卷容器来迁移数据 62 6.4　本章小结 62 第7章　端口映射与容器互联 63 7.1　端口映射实现容器访问 63 7.2　互联机制实现便捷互访 64 7.3　本章小结 67 第8章　使用Dockerfile创建镜像 68 8.1　基本结构 68 8.2　指令说明 70 8.2.1　配置指令 71 8.2.2　操作指令 74 8.3　创建镜像 75 8.3.1　命令选项 76 8.3.2　选择父镜像 77 8.3.3　使用.dockerignore文件 77 8.3.4　多步骤创建 78 8.4　最佳实践 79 8.5　本章小结 80 第二部分　实战案例 第9章　操作系统 83 9.1　BusyBox 83 9.2　Alpine 85 9.3　Debian/Ubuntu 86 9.4　CentOS/Fedora 88 9.5　本章小结 89 第10章　为镜像添加SSH服务 90 10.1　基于commit命令创建 90 10.2　使用Dockerfile创建 93 10.3　本章小结 95 第11章　Web服务与应用 96 11.1　Apache 96 11.2　Nginx 100 11.3　Tomcat 104 11.4　Jetty 108 11.5　LAMP 109 11.6　持续开发与管理 111 11.7　本章小结 114 第12章　数据库应用 115 12.1　MySQL 115 12.2　Oracle Database XE 117 12.3　MongoDB 118 12.4　Redis 124 12.5　Cassandra 126 12.6　本章小结 129 第13章　分布式处理与大数据平台 130 13.1　Hadoop 130 13.2　Spark 133 13.3　Storm 136 13.4　Elasticsearch 140 13.5　本章小结 141 第14章　编程开发 142 14.1　C/C++ 142 14.2　Java 146 14.3　Python 149 14.3.1　使用Python官方镜像 150 14.3.2　使用PyPy 151 14.3.3　使用 Flask 151 14.3.4　相关资源 154 14.4　Javaｓｃｒｉｐｔ 154 14.4.1　使用Node.js 154 14.4.2　相关资源 158 14.5　Go 158 14.6　本章小结 161 第15章　容器与云服务 162 15.1　公有云容器服务 162 15.1.1　AWS 162 15.1.2　Google Cloud Platform 163 15.1.3　Azure 164 15.1.4　腾讯云 165 15.1.5　阿里云 165 15.1.6　华为云 166 15.1.7　UCloud 167 15.2　容器云服务 168 15.3　阿里云容器服务 172 15.4　时速云介绍 174 15.5　本章小结 175 第16章　容器实战思考 176 16.1　Docker 为什么会成功 176 16.2　研发人员该如何看待容器 177 16.3　容器化开发模式 178 16.4　容器与生产环境 180 16.5　本章小结 182 第三部分　进阶技能 第17章　核心实现技术 185 17.1　基本架构 185 17.2　命名空间 187 17.3　控制组 191 17.4　联合文件系统 193 17.5　Linux网络虚拟化 195 17.6　本章小结 197 第18章　配置私有仓库 199 18.1　安装Docker Registry 199 18.2　配置TLS证书 201 18.3　管理访问权限 202 18.4　配置Registry 205 18.5　批量管理镜像 211 18.6　使用通知系统 214 18.7　本章小结 217 第19章　安全防护与配置 218 19.1　命名空间隔离的安全 218 19.2　控制组资源控制的安全 219 19.3　内核能力机制 219 19.4　Docker服务端的防护 221 19.5　更多安全特性的使用 221 19.6　使用第三方检测工具 222 19.6.1　Docker Bench 222 19.6.2　clair 223 19.7　本章小结 224 第20章　高级网络功能 225 20.1　启动与配置参数 225 20.2　配置容器DNS和主机名 227 20.3　容器访问控制 228 20.4　映射容器端口到宿主主机的实现 229 20.5　配置容器网桥 231 20.6　自定义网桥 232 20.7　使用OpenvSwitch网桥 233 20.8　创建一个点到点连接 235 20.9　本章小结 236 第21章　libnetwork插件化网络功能 237 21.1　容器网络模型 237 21.2　Docker网络命令 238 21.3　构建跨主机容器网络 241 21.4　本章小结 243 第四部分　开源项目 第22章　Etcd—高可用的键值数据库 247 22.1　Etcd简介 247 22.2　安装和使用Etcd 248 22.3　使用客户端命令 253 22.3.1　数据类操作 255 22.3.2　非数据类操作 258 22.4　Etcd集群管理 260 22.4.1　构建集群 260 22.4.2　集群参数配置 263 22.5　本章小结 264 第23章　Docker三剑客之Machine 265 23.1　Machine简介 265 23.2　安装Machine 265 23.3　使用Machine 266 23.4　Machine命令 268 23.5　本章小结 272 第24章　Docker三剑客之Compose 273 24.1　Compose简介 273 24.2　安装与卸载 274 24.3　Compose模板文件 277 24.4　Compose命令说明 292 24.5　Compose环境变量 299 24.6　Compose应用案例一：Web负载均衡 300 24.7　Compose应用案例二：大数据Spark集群 304 24.8　本章小结 309 第25章　Docker三剑客之Swarm 310 25.1　Swarm简介 310 25.2　基本概念 311 25.3　使用Swarm 313 25.4　使用服务命令 316 25.5　本章小结 319 第26章　Mesos—优秀的集群资源调度平台 321 26.1　简介 321 26.2　Mesos安装与使用 322 26.3　原理与架构 330 26.3.1　架构 330 26.3.2　基本单元 331 26.3.3　调度 331 26.3.4　高可用性 332 26.4　Mesos配置解析 333 26.4.1　通用项 333 26.4.2　master专属配置项 333 26.4.3　slave专属配置项 335 26.5　日志与监控 338 26.6　常见应用框架 340 26.7　本章小结 341 第27章　Kubernetes—生产级容器集群平台 343 27.1　简介 343 27.2　核心概念 345 27.3　资源抽象对象 348 27.3.1　容器组 348 27.3.2　服务 349 27.3.3　存储卷 350 27.4　控制器抽象对象 351 27.5　其他抽象对象 353 27.6　快速体验 355 27.7　重要组件 359 27.7.1　Etcd 360 27.7.2　kube-apiserver 360 27.7.3　kube-scheduler 361 27.7.4　kube-controller-manager 362 27.7.5　kubelet 363 27.7.6　kube-proxy 364 27.8　使用kubectl 365 27.8.1　获取kubectl 365 27.8.2　命令格式 366 27.8.3　全局参数 367 27.8.4　通用子命令 369 27.9　网络设计 372 27.10　本章小结 374 第28章　其他相关项目 375 28.1　持续集成 375 28.2　容器管理 377 28.2.1　Portainer 377 28.2.2　Panamax 378 28.2.3　Seagull 378 28.3　编程开发 380 28.4　网络支持 381 28.4.1　Pipework 381 28.4.2　Flannel项目 382 28.4.3　Weave Net项目 382 28.4.4　Calico项目 383 28.5　日志处理 383 28.6　服务代理 385 28.7　标准与规范 389 28.8　其他项目 392 28.9　本章小结 396 附录 附录A　常见问题总结 398 附录B　Docker命令查询 404 附录C　参考资源链接 411 资源截图：

资源名称：SOA架构：服务和微服务分析及设计（原书第2版） 内容简介： 本书一直以来都是在SOA、面向服务和服务技术方面的、端到端的教程。如今，已经更新到第2版，正式引入微服务和微任务抽象，作为面向服务架构及其相关服务层的一部分。新版的案例研究示例和图例进一步阐释和定位微服务模型，并与更传统的服务类型相关联。本书可作为应用架构师、企业架构师、软件开发人员以及任何有兴趣了解或负责设计与实现现代、面向服务解决方案的IT专业人士的参考书。 资源目录： 译者序 致谢 第1章　概述 1 1.1　本书中如何使用模式 2 1.2　涵盖第1版主题的系列书籍 2 1.3　本书的组织形式 3 1.4　原则、约束条件和设计模式 4 1.5　附加信息 5 第2章　案例研究背景知识 7 2.1　如何应用案例研究 7 2.2　案例研究背景1：Transit Line Systems, Inc. 7 2.3　案例研究背景2：Midwest University Association 7 第一部分　基本原理 第3章　理解面向服务 10 3.1　面向服务简介 10 3.1.1　业务自动化中的服务 11 3.1.2　服务是能力的集合 12 3.1.3　面向服务是一种设计范式 13 3.1.4　面向服务的设计原则 15 3.2　面向服务所解决的问题 16 3.2.1　竖井式应用架构 16 3.2.2　大量的浪费 18 3.2.3　缺乏效率 18 3.2.4　企业膨胀 19 3.2.5　产生复杂的基础设施和错综复杂的企业架构 19 3.2.6　系统间集成成为永恒的挑战 20 3.2.7　面向服务的需求 20 3.2.8　增加大量可复用解决方案逻辑 21 3.2.9　削减应用个性化业务逻辑 21 3.2.10　削减业务逻辑的总量 22 3.2.11　本征互操作性 22 3.3　面向服务对企业的影响 23 3.3.1　面向服务和“应用”的概念 23 3.3.2　面向服务和“集成”的概念 24 3.3.3　服务组合 25 3.4　面向服务计算的目的和优势 26 3.4.1　增强本征互操作性 27 3.4.2　增强联合 28 3.4.3　增加供应商多元化选择 29 3.4.4　同步提升业务与技术领域 30 3.4.5　提高投资回报率 31 3.4.6　提高组织的业务敏捷性 32 3.4.7　减少IT成本 34 3.5　面向服务的4个支撑点 34 3.5.1　团队合作 36 3.5.2　教育 36 3.5.3　纪律 36 3.5.4　平衡范围 37 第4章　理解面向服务架构 39 4.1　SOA的4个特性 40 4.1.1　业务驱动 40 4.1.2　供应商中立 41 4.1.3　企业中心化 42 4.1.4　组合中心化 44 4.1.5　设计优先级 45 4.2　SOA的4种常见类型 46 4.2.1　服务架构 47 4.2.2　服务组合架构 50 4.2.3　服务目录架构 55 4.2.4　面向服务的企业架构 58 4.3　面向服务和SOA的最终结果 58 4.4　SOA项目和生命周期 60 4.4.1　方法论和项目交付的策略 62 4.4.2　SOA项目阶段 62 4.4.3　SOA项目采用的计划 65 4.4.4　服务目录分析 65 4.4.5　面向服务分析　(服务建模) 66 4.4.6　面向服务设计(服务契约) 68 4.4.7　服务逻辑设计 69 4.4.8　服务开发 69 4.4.9　服务测试 69 4.4.10　服务部署和维护 71 4.4.11　服务使用和监控 71 4.4.12　服务发现 72 4.4.13　服务版本控制和退役 72 4.4.14　项目阶段和组织角色 72 第5章　理解服务与微服务的层次 74 5.1　服务层次简介 74 5.1.1　服务模型和服务层次 74 5.1.2　服务和候选服务能力 76 5.2　分解业务问题 76 5.2.1　功能分解 76 5.2.2　服务封装 76 5.2.3　不可知上下文 76 5.2.4　不可知能力 79 5.2.5　功能抽象 79 5.2.6　实体抽象 80 5.2.7　非不可知上下文 80 5.2.8　微任务抽象和微服务 81 5.2.9　流程抽象和任务服务 81 5.3　构建面向服务的解决方案 84 5.3.1　面向服务和服务组合 84 5.3.2　能力组合和能力再组合 84 5.3.3　逻辑集中与服务规范化 90 第二部分　面向服务的分析与设计 第6章　Web服务及微服务的分析与建模 94 6.1　Web服务建模过程 94 6.1.1　步骤1：分解业务流程（使之成为细粒度操作） 95 6.1.2　步骤2：过滤不适操作 98 6.1.3　步骤3：定义候选实体服务 99 6.1.4　步骤4：识别特定流程逻辑 101 6.1.5　步骤5：应用面向服务 102 6.1.6　步骤6：识别候选服务组合 102 6.1.7　步骤7：分析处理需求 103 6.1.8　步骤8：定义候选公共服务 104 6.1.9　步骤9：定义候选微服务 105 6.1.10　步骤10：应用面向服务 106 6.1.11　步骤11：修订候选服务组合 106 6.1.12　步骤12：修订候选能力分组 106 第7章　REST服务及微服务的分析与建模 107 7.1　REST服务建模过程 107 7.1.1　步骤1：分解业务流程（使之成为细粒度操作） 109 7.1.2　步骤2：滤掉不适操作 109 7.1.3　步骤3：定义候选实体服务 110 7.1.4　步骤4：识别特定流程逻辑 112 7.1.5　步骤5：识别资源 113 7.1.6　步骤6：将服务能力与资源和方法相关联 114 7.1.7　步骤7：应用面向服务 116 7.1.8　步骤8：识别候选服务组合 117 7.1.9　步骤9：分析处理需求 118 7.1.10　步骤10：定义候选公共服务（并且关联资源和方法） 119 7.1.11　步骤11：定义候选微服务(并且关联资源和方法) 121 7.1.12　步骤12：应用面向服务 121 7.1.13　步骤13：修订候选服务组合 121 7.1.14　步骤14：修改资源定义和候选能力分组 122 7.2　附加因素 123 7.2.1　统一契约建模和REST服务目录建模 123 7.2.2　REST约束条件和统一契约建模 125 7.2.3　REST服务能力粒度 125 7.2.4　资源与实体 126 第8章　Web服务的服务API与契约设计 128 8.1　服务模型设计关注点 129 8.1.1　实体服务设计 129 8.1.2　公共服务设计 130 8.1.3　微服务设计 131 8.1.4　任务服务设计 131 8.2　Web服务设计指南 140 8.2.1　应用命名标准 140 8.2.2　应用合适的服务契约API粒度 141 8.2.3　将Web服务的操作设计成原生可扩展的 143 8.2.4　考虑采用模块化WSDL文档 143 8.2.5　慎用命名空间 144 8.2.6　使用SOAP文档和Literal属性值 145 第9章　REST服务及微服务的服务API与契约设计 147 9.1　服务模型设计关注点 147 9.1.1　实体服务设计 148 9.1.2　公共服务设计 148 9.1.3　微服务设计 149 9.1.4　任务服务设计 150 9.2　REST服务设计指南 155 9.2.1　统一服务契约设计关注点 155 9.2.2　设计和标准化方法 155 9.2.3　设计和标准化HTTP报头 157 9.2.4　设计和标准化HTTP响应码 158 9.2.5　自定义响应码 160 9.2.6　设计媒介类型 162 9.2.7　设计媒介类型模式 163 9.2.8　复杂方法设计 164 9.2.9　无状态复杂方法 166 9.2.10　状态复杂方法 171 第10章　Web服务及REST服务的服务API与契约版本控制 176 10.1　版本控制的基本要素 176 10.1.1　Web服务版本控制 176 10.1.2　REST服务版本控制 177 10.1.3　粒度的精细与粗糙限制 177 10.2　版本控制和兼容性 178 10.2.1　后向兼容 178 10.2.2　前向兼容 180 10.2.3　兼容性变更 182 10.2.4　非兼容性变更 183 10.3　REST　服务兼容性关注点 184 10.4　版本标识符 186 10.5　版本控制策略 188 10.5.1　严格策略（新变更，新契约） 188 10.5.2　弹性策略（后向兼容） 189 10.5.3　松散策略（反向和前向兼容） 189 10.5.4　策略总结 190 10.6　REST服务版本控制关注点 190 第三部分　附录 附录A　面向服务原则参考 194 附录B　REST约束条件参考 199 附录C　SOA设计模式参考 203 附录D　注释版SOA声明 220 资源截图：

资源名称：HBase实战 内容简介： HBase是一种NoSQL存储系统，专门设计用来快速随机读写大规模数据。HBase运行在普通商用服务器上，可以平滑扩展，以支持从中等规模到数十亿行、数百万列的数据集。　　《HBase实战》是一本基于经验提炼而成的指南，它教给读者如何运用HBase设计、搭建及运行大数据应用系统。全书共分为4个部分。前两个部分分别介绍了分布式系统和大规模数据处理的发展历史，讲解HBase的基本原理模式设计以及如何使用HBase的高级特性；第三部分通过真实的应用和代码示例以及支持这些实践技巧的理论知识，进一步探索HBase的一些实用技术；第四部分讲解如何把原型开发系统升级为羽翼丰满的生产系统。　　《HBase实战》适合所有对云计算、大数据处理技术和NoSQL数据库感兴趣的技术人员阅读，尤其适合对Hadoop及HBase感兴趣的技术人员参考。阅读《HBase实战》不要求之前具备HBase、Hadoop或者MapReduce方面的知识。 资源目录： 第一部分　HBase基础 第1章　HBase介绍　3 1.1　数据管理系统：速成　4 1.1.1　你好，大数据　5 1.1.2　数据创新　6 1.1.3　HBase的崛起　7 1.2　HBase使用场景和成功案例　8 1.2.1　典型互联网搜索问题：BigTable发明的原因　8 1.2.2　抓取增量数据　9 1.2.3　内容服务　12 1.2.4　信息交换　13 1.3　你好HBase　14 1.3.1　快速安装　14 1.3.2　HBase Shell命令行交互　16 1.3.3　存储数据　17 1.4　小结　18 第2章　入门　20 2.1　从头开始　21 2.1.1　创建表　21 2.1.2　检查表模式　22 2.1.3　建立连接　22 2.1.4　连接管理　23 2.2　数据操作　23 2.2.1　存储数据　24 2.2.2　修改数据　25 2.2.3　工作机制：HBase写路径　25 2.2.4　读数据　26 2.2.5　工作机制：HBase读路径　27 2.2.6　删除数据　28 2.2.7　合并：HBase的后台工作　28 2.2.8　有时间版本的数据　29 2.2.9　数据模型概括　30 2.3　数据坐标　31 2.4　小结　33 2.5　数据模型　37 2.5.1　逻辑模型：有序映射的映射集合　37 2.5.2　物理模型：面向列族　39 2.6　表扫描　40 2.6.1　设计用于扫描的表　41 2.6.2　执行扫描　42 2.6.3　扫描器缓存　43 2.6.4　使用过滤器　43 2.7　原子操作　44 2.8　ACID语义　45 2.9　小结　46 第3章　分布式的HBase、HDFS和MapReduce　48 3.1　一个MapReduce的例子　49 3.1.1　延迟与吞吐量　49 3.1.2　串行计算吞吐量有限　50 3.1.3　并行计算提高吞吐量　50 3.1.4　MapReduce：用布式计算最大化吞吐量　51 3.2　Hadoop　MapReduce概览　52 3.2.1　MapReduce数据流介绍　53 3.2.2　MapReduce内部机制　57 3.3　分布式模式的HBase　58 3.3.1　切分和分配大表　58 3.3.2　如何找到region　61 3.3.3　如何找到–ROOT–表　62 3.4　HBase和MapReduce　64 3.4.1　使用HBase作为数据源　64 3.4.2　使用HBase接收数据　66 3.4.3　使用HBase共享资源　67 3.5　信息汇总　71 3.5.1　编写MapReduce应用　72 3.5.2　运行MapReduce应用　73 3.6　大规模条件下的可用性和可靠性　74 3.6.1　HDFS作为底层存储　75 3.7　小结　77 第二部分　高级概念 第4章　HBase表设计　81 4.1　如何开始模式设计　82 4.1.1　问题建模　82 4.1.2　需求定义：提前多做准备工作总是有好处的　84 4.1.3　均衡分布数据和负载的建模方法　87 4.1.4　目标数据访问　93 4.2　反规范化是HBase世界里的词语　95 4.3　相同表里的混杂数据　97 4.4　行键设计策略　98 4.5　IO考虑　99 4.5.1　为写优化　99 4.5.2　为读优化　101 4.5.3　基数和行键结构　101 4.6　从关系型到非关系型　102 4.6.1　一些基本概念　103 4.6.2　嵌套实体　105 4.6.3　没有映射到的一些东西　106 4.7　列族高级配置　107 4.7.1　可配置的数据块大小　107 4.7.2　数据块缓存　108 4.7.3　激进缓存　108 4.7.4　布隆过滤器　108 4.7.5　生存时间(TTL)　109 4.7.6　压缩　110 4.7.7　单元时间版本　110 4.8　过滤数据　111 4.8.1　实现一个过滤器　113 4.8.2　预装过滤器　115 4.9　小结　118 第5章　使用协处理器扩展HBase　120 5.1　两种协处理器　121 5.1.1　Observer协处理器　121 5.1.2　endpoint协处理器　123 5.2　实现一个observer　124 5.2.1　修改模式　124 5.2.2　从HBase开始　126 5.2.3　安装observer　128 5.2.4　其他安装选项　130 5.3　实现一个endpoint　131 5.3.1　为endpoint定义接口　131 5.3.2　实现endpoint服务器　132 5.3.3　实现endpoint客户端　133 5.3.4　部署endpoint服务器　135 5.3.5　试运行　136 5.4　小结　136 第6章　其他的HBase客户端选择　137 6.1　在UNIX里使用HBase Shell脚本　138 6.1.1　准备HBase Shell　138 6.1.2　使用UNIX Shell脚本创建表模式　139 6.2　使用JRuby进行HBase Shell编程　141 6.2.1　准备HBase Shell　141 6.2.2　访问TwitBase的users表　142 6.3　通过REST访问HBase　144 6.3.1　启动HBase REST服务　145 6.3.2　访问TwitBase的users表　146 6.4　通过Python使用HBase Thrift网关　149 6.4.1　生成Python语言的HBase Thrift客户端库　151 6.4.2　启动HBase Thrift服务　152 6.4.3　扫描TwitBaseuser表　153 6.5　asynchbase：另外一种HBase Java客户端　156 6.5.1　创建一个asynchbase项目　157 6.5.2　改变TwitBase的密码策略　159 6.5.3　试运行　171 6.6　小结　172 第三部分　应用系统实例 第7章　通过实例学习HBase：OpenTSDB　175 7.1　OpenTSDB概述　176 7.1.1　挑战：基础设施监控　177 7.1.2　数据：时间序列　178 7.1.3　存储：HBase　179 7.2　设计一个HBase应用系统　180 7.2.1　模式设计　180 7.2.2　应用架构　184 7.3　实现一个HBase应用系统　187 7.3.1　存储数据　187 7.3.2　查询数据　192 7.4　小结　196 第8章　在HBase上查询地理信息系统　197 8.1　运用地理数据　197 8.2　设计一个空间索引　199 8.2.1　从复合行键开始　201 8.2.2　介绍geohash　202 8.2.3　理解geohash　205 8.2.4　在有空间感知特性的行键里使用geohash　206 8.3　实现最近邻居查询　210 8.4　把计算工作推往服务器端　215 8.4.1　基于查询多边形创建一次geohash扫描　217 8.4.2　区域内查询第一幕：客户端　222 8.4.3　区域内查询第二幕：WithinFilter　224 8.5　小结　228 第四部分　让HBase运转起来 第9章　部署HBase　233 9.1　规划集群　234 9.1.1　原型集群　235 9.1.2　小型生产集群(10～20台服务器)　235 9.1.3　中型生产集群(50台以下服务器)　236 9.1.4　大型生产集群(超过50台服务器)　237 9.1.5　Hadoop Master节点　237 9.1.6　HBase Master　238 9.1.7　Hadoop DataNode和HBase RegionServer　238 9.1.8　ZooKeeper　239 9.1.9　采用云服务怎么样？　240 9.2　部署软件　242 9.2.1　Whirr：在云端部署　242 9.3　发行版本　244 9.3.1　使用原生Apache发行版本　244 9.3.2　使用Cloudera的CDH发行版本　245 9.4　配置　246 9.4.1　HBase配置　246 9.4.2　与HBase有关的Hadoop配置参数　252 9.4.3　操作系统配置　253 9.5　管理守护进程　254 9.6　小结　255 第10章　运维　256 10.1　监控你的集群　257 10.1.1　HBase如何输出监控指标　257 10.1.2　收集监控指标和图形展示　258 10.1.3　HBase输出的监控指标　260 10.1.4　应用端监控　264 10.2　HBase集群的性能　265 10.2.1　性能测试　265 10.2.2　什么影响了HBase的性能　268 10.2.3　优化支撑系统　269 10.2.4　优化HBase　270 10.3　集群管理　274 10.3.1　启动和停止HBase　274 10.3.2　优雅停止和让节点退役　275 10.3.3　增加节点　276 10.3.4　滚动重启和升级　276 10.3.5　bin/hbase和HbaseShell　277 10.3.6　维护一致性——hbck　283 10.3.7　查看HFile和HLog　286 10.3.8　预先拆分表　288 10.4　备份和复制　290 10.4.1　集群间复制　290 10.4.2　使用MapReduce作业进行备份　294 10.4.3　备份根目录　298 10.5　小结　299 附录A　探索HBase系统　300 附录B　更多关于HDFS的工作原理　307 资源截图：

资源名称：Open Stack设计与实现 内容简介： 《Open Stack设计与实现》是一本介绍OpenStack设计与实现原理的书。《Open Stack设计与实现》以Juno版本为基础，覆盖了OpenStack的学习方法到设计与实现等各个方面内容，致力于帮助读者形成OpenStack及其各个主要组件与项目的拓扑。 《Open Stack设计与实现》语言通俗易懂，能够带领读者更为快速地走入OpenStack的世界并做出自己的贡献。《Open Stack设计与实现》适合希望能够参与OpenStack开发的读者，也适合对OpenStack茫然的初学者，以及有一定使用部署经验但是希望了解OpenStack实现原理的广大用户。 资源目录： 第1章初识OpenStack 1 1.1 从虚拟化到OpenStack 1 1.1.1 虚拟化 1 1.1.2 云计算 2 1.1.3 OpenStack 4 1.2 OpenStack体系结构 6 1.3 OpenStack项目发展流程 13 1.3.1 新项目 14 1.3.2 孵化项目 14 1.3.3 核心项目及集成项目 15 1.4 OpenStack社区 15 1.4.1 邮件列表 16 1.4.2 IRC和项目例会 16 1.4.3 Summit和Meetup 17 1.4.4 其他社交平台 19 1.5 其他开源项目 19 第2章OpenStack开发基础 22 2.1 相关开发资源 22 2.1.1 OpenStack社区 22 2.1.2 OpenStack文档 22 2.1.3 OpenStack书籍 23 2.1.4 其他网络资源 24 2.2 OpenStack开发的技术基础 25 2.3 部署开发环境 26 2.3.1 Git 26 2.3.2 Devstack 27 2.4 浏览OpenStack源代码 31 2.4.1 源码目录结构 31 2.4.2 浏览代码的工具 33 2.4.3 分析源码如何入手 35 2.5 OpenStack代码质量保证体系 38 2.5.1 编码规范 40 2.5.2 代码评审Gerrit 43 2.5.3 单元测试Tox 48 2.5.4 持续集成Jenkins 51 2.6 如何贡献 54 2.6.1 文档 54 2.6.2 修补Bug 55 2.6.3 增加Feature 57 2.6.4 Review 60 2.6.5 调试 61 第3章虚拟化 62 3.1 概述 62 3.1.1 虚拟化实现方式 64 3.1.2 虚拟化现状和未来 66 3.2 高层管理工具 74 3.2.1 XenAPI 74 3.2.2 Libvirt 75 3.3 OpenStack相关实现 84 3.3.1 Libvirt驱动 84 3.3.2 XenAPI驱动 86 第4章OpenStack通用技术 88 4.1 消息总线 88 4.2 SQLAlchemy和数据库（Shane） 92 4.3 RESTful API和WSGI 96 4.4 Eventlet 103 4.5 OpenStack通用库Oslo 106 4.5.1 Cliff 107 4.5.2 oslo.config 111 4.5.3 oslo.db 113 4.5.4 oslo.i18n 116 4.5.5 oslo.messaging 116 4.5.6 stevedore 123 4.5.7 TaskFlow 127 4.5.8 cookiecutter 133 4.5.9 oslo.policy 134 4.5.10 oslo.rootwrap 135 4.5.11 oslo.test 138 第5章计算 141 5.1 Nova体系结构 141 5.2 Nova API 148 5.2.1 Nova API执行过程 149 5.2.2 Nova API的实现 155 5.3 Conductor服务 161 5.3.1 Object Model 163 5.4 Scheduler 166 5.4.1 调度器 166 5.4.2 Filtering 167 5.4.3 Weighting 169 5.5 Compute 169 5.6 典型工作流程 176 5.6.1 创建虚拟机 176 5.6.2 冷迁移与Resize 178 5.6.3 热迁移 179 5.6.4 挂起和恢复 181 5.6.5 Rebuild和Evacuate 182 第6章存储 183 6.1 Swift 183 6.1.1 Swift体系结构 183 6.1.2 Ring 191 6.1.3 Swift API 202 6.1.4 认证 210 6.1.5 对象管理与操作 211 6.1.6 数据一致性 215 6.2 Cinder 218 6.2.1 Cinder体系结构 218 6.2.2 Cinder API 222 6.2.3 cinder-scheduler 224 6.2.4 cinder-volume 226 6.2.5 cinder-backup 230 6.3 Glance 232 6.3.1 Glance体系结构 232 6.3.2 Glance API 234 第7章网络 240 7.1 Neutron体系结构 240 7.1.1 Linux虚拟网络 241 7.1.2 Neutron网络抽象 245 7.1.3 Neutron架构 246 7.1.4 Neutron源码结构 247 7.2 Neutron API 249 7.2.1 neutron-server 250 7.3 ML2 Plugin 251 7.4 Port Binding扩展 257 7.5 Open vSwitch Agent 260 7.6 Service Plugin 267 7.6.1 Firewall 267 7.6.2 LoadBalance 269 7.7 Neutron热点话题 270 7.7.1 DVR 271 7.7.2 SDN 271 7.7.3 NFV/SRIOV 272 第8章安全 274 8.1 OpenStack安全概述 274 8.2 Keystone 275 8.2.1 Keystone体系结构 275 8.2.2 Keystone启动过程 281 8.2.3 用户认证及令牌获取 283 8.2.4 签名证书生成 286 8.3 可信计算池 288 8.3.1 体系结构 289 8.3.2 Intel TXT与TBoot 290 8.3.3 可信认证与OpenAttestation项目 292 8.3.4 TrustedFilter 295 8.3.5 部署 297 8.4 OpenStack安全指南 298 8.4.1 安全域及威胁分类 298 8.4.2 通用的安全指引 302 8.4.3 OpenStack组件的安全 302 第9章计量与监控 305 9.1 Ceilometer体系架构 305 9.1.1 Pipeline 308 9.1.2 Polling Agent与Pollster插件 310 9.1.3 Notification Agent与Notification Listeners插件 311 9.1.4 Collector 与Dispatcher插件 311 9.1.5 Storage/DB 312 9.1.6 API Server 313 9.1.7 Alarm相关 314 9.2 部署与使用 315 9.2.1 选择数据库 315 9.2.2 安装 316 9.2.3 配置 320 9.2.4 使用 323 9.3 Ceilometer插件的开发 323 9.3.1 Pollster 324 9.3.2 Notification Listener 325 9.3.3 DB Backend Driver 326 9.3.4 Compute Agent Inspector 331 9.3.5 Publisher 332 9.3.6 Discover 332 第10章部署 334 10.1 TripleO体系结构 334 10.1.1 DiskImage-Builder 336 10.1.2 Ironic 337 10.1.3 Heat 339 10.1.4 OS-Configuration 341 10.2 TripleO部署范例 342 10.2.1 制作镜像 342 10.2.2 搭建UnderCloud 345 10.2.3 搭建OverCloud 349 10.3 TripleO新特性 351 10.3.1 iPXE 351 10.3.2 Tuskar 351 10.3.3 Ironic-python-agent 352 10.3.4 Hash-ring 352 10.3.5 Driver-factory 352 第11章控制面板 353 11.1 Horizon体系结构 353 11.1.1 Horizon与Django 353 11.1.2 Horizon网站布局 355 11.1.3 Horzion源码结构 356 11.2 Horizon部署 358 …… 资源截图：

资源名称：ZooKeeper分布式过程协同技术详解 内容简介： 本书分三部分，共10章。第一部分（第1～2章）阐述ApacheZooKeeper这类系统的设计目的和动机，并介绍分布式系统的一些必要背景知识。第1章介绍ZooKeeper可以做什么，以及其设计如何支撑这些任务。第2章介绍基本概念和基本组成模块，并通过命令行工具的具体操作介绍了ZooKeeper可以做什么。第二部分（第3～8章）阐述开发人员所需要掌握的ZooKeeper库调用方法和编程技巧。第3章介绍Java语言的API.第4章解释如何跟踪和处理ZooKeeper中的状态变更情况。第5章介绍如何在系统或网络故障时恢复应用。第6章介绍需要注意来避免故障的一些繁杂却很重要的场景。第7章介绍C语言版的API接口，也可以作为非Java语言实现的ZooKeeperAPI的基础，对非Java语言的开发人员非常有帮助。第8章介绍一款更高层级的封装的ZooKeeper接口。第三部分（第9～10章）主要介绍ZooKeeper内部原理及如何运行ZooKeeper.第9章介绍ZooKeeper的作者们在设计时所采用的方案。第10章介绍如何对ZooKeeper进行配置。 资源目录： 前言1 第一部分ZooKeeper的概念和基础 第1章简介7 1.1ZooKeeper的使命8 1.1.1ZooKeeper改变了什么10 1.1.2ZooKeeper不适用的场景10 1.1.3关于Apache项目11 1.1.4通过ZooKeeper构建分布式系统11 1.2示例：主—从应用12 1.2.1主节点失效13 1.2.2从节点失效14 1.2.3通信故障14 1.2.4任务总结15 1.3分布式协作的难点16 1.4ZooKeeper的成功和注意事项18 第2章了解ZooKeeper19 2.1ZooKeeper基础19 2.1.1API概述20 2.1.2znode的不同类型21 2.1.3监视与通知22 2.1.4版本24 2.2ZooKeeper架构25 2.2.1ZooKeeper仲裁26 2.2.2会话27 2.3开始使用ZooKeeper28 2.3.1第一个ZooKeeper会话28 2.3.2会话的状态和声明周期31 2.3.3ZooKeeper与仲裁模式33 2.3.4实现一个原语：通过ZooKeeper实现锁36 2.4一个主—从模式例子的实现37 2.4.1主节点角色37 2.4.2从节点、任务和分配40 2.4.3从节点角色40 2.4.4客户端角色41 2.5小结43 第二部分使用ZooKeeper进行开发 第3章开始使用ZooKeeper的API47 3.1设置ZooKeeper的CLASSPATH47 3.2建立ZooKeeper会话47 3.2.1实现一个Watcher49 3.2.2运行Watcher的示例51 3.3获取管理权53 3.3.1异步获取管理权57 3.3.2设置元数据60 3.4注册从节点62 3.5任务队列化65 3.6管理客户端66 3.7小结68 第4章处理状态变化70 4.1单次触发器71 4.2如何设置监视点72 4.3普遍模型73 4.4主—从模式的例子74 4.4.1管理权变化74 4.4.2主节点等待从节点列表的变化77 4.4.3主节点等待新任务进行分配80 4.4.4从节点等待分配新任务83 4.4.5客户端等待任务的执行结果86 4.5另一种调用方式：Multiop88 4.6通过监视点代替显式缓存管理90 4.7顺序的保障91 4.7.1写操作的顺序91 4.7.2读操作的顺序91 4.7.3通知的顺序92 4.8监视点的羊群效应和可扩展性93 4.9小结94 第5章故障处理96 5.1可恢复的故障98 5.2不可恢复的故障102 5.3群首选举和外部资源103 5.4小结106 第6章ZooKeeper注意事项107 6.1使用ACL107 6.1.1内置的鉴权模式108 6.1.2SASL和Kerberos111 6.1.3增加新鉴权模式111 6.2恢复会话111 6.3当znode节点重新创建时，重置版本号112 6.4sync方法112 6.5顺序性保障114 6.5.1连接丢失时的顺序性114 6.5.2同步API和多线程的顺序性115 6.5.3同步和异步混合调用的顺序性115 6.6数据字段和子节点的限制116 6.7嵌入式ZooKeeper服务器116 6.8小结117 第7章C语言客户端118 7.1配置开发环境118 7.2开始会话119 7.3引导主节点121 7.4行使管理权126 7.5任务分配129 7.6单线程与多线程客户端132 7.7小结135 第8章Curator：ZooKeeperAPI的高级封装库136 8.1Curator客户端程序136 8.2流畅式API137 8.3监听器138 8.4Curator中状态的转换140 8.5两种边界情况141 8.6菜谱141 8.6.1群首闩142 8.6.2群首选举器143 8.6.3子节点缓存器146 8.7小结148 第三部分ZooKeeper的管理 第9章ZooKeeper内部原理151 9.1请求、事务和标识符152 9.2群首选举153 9.3Zab：状态更新的广播协议157 9.4观察者161 9.5服务器的构成162 9.5.1独立服务器163 9.5.2群首服务器164 9.5.3追随者和观察者服务器165 9.6本地存储166 9.6.1日志和磁盘的使用166 9.6.2快照167 9.7服务器与会话169 9.8服务器与监视点170 9.9客户端170 9.10序列化171 9.11小结171 第10章运行ZooKeeper173 10.1配置ZooKeeper服务器174 10.1.1基本配置175 10.1.2存储配置175 10.1.3网络配置177 10.1.4集群配置179 10.1.5认证和授权选项181 10.1.6非安全配置182 10.1.7日志183 10.1.8专用资源185 10.2配置ZooKeeper集群185 10.2.1多数原则186 10.2.2法定人数的可配置性186 10.2.3观察者188 10.3重配置188 10.4配额管理194 10.5多租赁配置196 10.6文件系统布局和格式197 10.6.1事务日志198 10.6.2快照199 10.6.3时间戳文件200 10.6.4已保存的ZooKeeper数据的应用200 10.7四字母命令201 10.8通过JMX进行监控202 10.9工具209 10.10小结209 资源截图：

资源名称：Storm分布式实时计算模式 内容简介： 《Storm分布式实时计算模式》全书分为10章：第1章介绍使用Storm建立一个分布式流式计算应用所涉及的核心概念，包括Storm的数据结构、开发环境的搭建，以及Storm程序的开发和调试技术等；第2章详细讲解Storm集群环境的安装和搭建，以及如何将topology部署到分布式环境中；第3章通过传感器数据实例详细介绍Trident topology；T第4章讲解如何使用Storm和Trident进行实时趋势分析；第5章介绍如何使用Storm进行图形分析，将数据持久化存储在图形数据库中，并且查询数据来发现其中潜在的联系；；第6章讲解如何在Storm上使用递归实现一个典型的人工智能算法；第7章演示集成Storm和非事务型系统的复杂性，通过集成Strom和开源探索性分析架构Druid，实现一个可配置的实时系统来分析金融事件。第8章探讨Lambda体系结构的实现方法，讲解如何将批处理机制和实时处理引擎结合起来构建一个可纠错的分析系统；第9章 讲解如何将Pig脚本转化为topology并且使用Storm-YARN部署topology，将批处理系统转化为实时系统；第10章 介绍如何在云服务提供商提供的主机环境下部署和运行Storm。 资源目录： 前言 作者简介 第1章 分布式单词计数 1.1 Storm topology的组成部分——stream、spout和bolt 1.1.1 Storm 1.1.2 spout 1.1.3 bolt 1.2 单词计数topology的数据流 1.2.1 语句生成bolt 1.2.2 语句分割bolt 1.2.3 单词计割bolt 1.2.4 上报bolt 1.3 实现单词计数top 1.3.1 配置开发环境 1.3.2 实现Sentence 1.3.3 实现语句分割bolt 1.3.4 实现单词计割bolt 1.3.5 实现上报bolt 1.3.6 实现单词计数topo 1.4 Storm的并发机制 1.4.1 WordCountTopology的并发机制 1.4.2 给topology增加woker 1.4.3 配置executor和task 1.5 理解数据流分组 1.6 有保障机制的数据处理 1.6.1 spout的可靠性 1.6.2 bolt的可靠性 1.6.3 可靠的单词计数 总结 第2章 配置Storm集群 2.1 Storm集群的框架 2.1.1 理解nimbus守护进程 2.1.2 supervisor守护进程的工作方式 2.1.3 Apache ZooKeeper简介 …… 第3章 Trident和传感器数据 第4章 实时趋势分析 第5章 实时图形分析 第6章 人工智能 第7章 整合Druid进行金融分析 第8章 自然语言处理 第9章 在Hadoop上部署Storm进行广告分析 第10章 云环境下的S 资源截图：

资源名称：Hive编程指南 内容简介： 《Hive编程指南》是一本Apache Hive的编程指南，旨在介绍如何使用Hive的SQL方法HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。全书通过大量的实例，首先介绍如何在用户环境下安装和配置Hive，并对Hadoop和MapReduce进行详尽阐述，最终演示Hive如何在Hadoop生态系统进行工作。 　　《Hive编程指南》适合对大数据感兴趣的爱好者以及正在使用Hadoop系统的数据库管理员阅读使用。 资源目录： 第1章　基础知识　 1.1　Hadoop和MapReduce综述　 1.2　Hadoop生态系统中的Hive　 1.2.1　Pig　 1.2.2　HBase　 1.2.3　Cascading、Crunch及其他　 1.3　Java和Hive：词频统计算法　 1.4　后续事情　 第2章　基础操作　 2.1　安装预先配置好的虚拟机　 2.2　安装详细步骤　 2.2.1　装Java　 2.2.2　安装Hadoop　 2.2.3　本地模式、伪分布式模式和分布式模式　 2.2.4　测试Hadoop　 2.2.5　安装Hive　 2.3　Hive内部是什么　 2.4　启动Hive　 2.5　配置Hadoop环境　 2.5.1　本地模式配置　 2.5.2　分布式模式和伪分布式模式配置　 2.5.3　使用JDBC连接元数据　 2.6　Hive命令　 2.7　命令行界面　 2.7.1　CLI 选项　 2.7.2　变量和属性　 2.7.3　Hive中“一次使用”命令　 2.7.4　从文件中执行Hive查询　 2.7.5　hiverc文件　 2.7.6　使用Hive CLI的更多介绍　 2.7.7　查看操作命令历史　 2.7.8　执行shell命令　 2.7.9　在Hive内使用Hadoop的dfs命令　 2.7.10　Hive脚本中如何进行注释　 2.7.11　显示字段名称　 第3章　数据类型和文件格式　 3.1　基本数据类型　 3.2　集合数据类型　 3.3　文本文件数据编码　 3.4　读时模式　 第4章　HiveQL：数据定义　 4.1　Hive中的数据库　 4.2　修改数据库　 4.3　创建表　 4.3.1　管理表　 4.3.2　外部表　 4.4　分区表、管理表　 4.4.1　外部分区表　 4.4.2　自定义表的存储格式　 4.5　删除表　 4.6　修改表　 4.6.1　表重命名　 4.6.2　增加、修改和删除表分区　 4.6.3　修改列信息　 4.6.4　增加列　 4.6.5　删除或者替换列　 4.6.6　修改表属性　 4.6.7　修改存储属性　 4.6.8　众多的修改表语句　 第5章　HiveQL：数据操作　 5.1　向管理表中装载数据　 5.2　通过查询语句向表中插入数据　 5.3　单个查询语句中创建表并加载数据　 5.4　导出数据　 第6章　HiveQL：查询　 6.1　SELECT…FROM语句　 6.1.1　使用正则表达式来指定列　 6.1.2　使用列值进行计算　 6.1.3　算术运算符　 6.1.4　使用函数　 6.1.5　LIMIT语句　 6.1.6　列别名　 6.1.7　嵌套SELECT语句　 6.1.8　CASE…WHEN…THEN 句式　 6.1.9　什么情况下Hive可以避免进行MapReduce　 6.2　WHERE语句　 6.2.1　谓词操作符　 6.2.2　关于浮点数比较　 6.2.3　LIKE和RLIKE　 6.3　GROUP BY 语句　 6.4　JOIN语句　 6.4.1　INNER JOIN　 6.4.2　JOIN优化　 6.4.3　LEFT OUTER JOIN　 6.4.4　OUTER JOIN　 6.4.5　RIGHT OUTER JOIN　 6.4.6　FULL OUTER JOIN　 6.4.7　LEFT SEMI-JOIN　 6.4.8　笛卡尔积JOIN　 6.4.9　map-side JOIN　 6.5　ORDER BY和SORT BY　 6.6　含有SORT BY 的DISTRIBUTE BY　 6.7　CLUSTER BY　 6.8　类型转换　 6.9　抽样查询　 6.9.1　数据块抽样　 6.9.2　分桶表的输入裁剪　 6.10　UNION ALL　 第7章　HiveQL：视图　 7.1　使用视图来降低查询复杂度　 7.2　使用视图来限制基于条件过滤的数据　 7.3　动态分区中的视图和map类型　 7.4　视图零零碎碎相关的事情　 第8章　HiveQL：索引　 8.1　创建索引　 8.2　重建索引　 8.3　显示索引　 8.4　删除索引　 8.5　实现一个定制化的索引处理器　 第9章　模式设计　 9.1　按天划分的表　 9.2　关于分区　 9.3　唯一键和标准化　 9.4　同一份数据多种处理　 9.5　对于每个表的分区　 9.6　分桶表数据存储　 9.7　为表增加列　 9.8　使用列存储表　 9.8.1　重复数据　 9.8.2　多列　 9.9　(几乎)总是使用压缩　 第10章　调优　 10.1　使用EXPLAIN　 10.2　EXPLAIN EXTENDED　 10.3　限制调整　 10.4　JOIN优化　 10.5　本地模式　 10.6　并行执行　 10.7　严格模式　 10.8　调整mapper和reducer个数　 10.9　JVM重用　 10.10　索引　 10.11　动态分区调整　 10.12　推测执行　 10.13　单个MapReduce中多个GROUP BY　 10.14　虚拟列　 第11章　其他文件格式和压缩方法　 11.1　确定安装编解码器　 11.2　选择一种压缩编/解码器　 11.3　开启中间压缩　 11.4　最终输出结果压缩　 11.5　sequence file存储格式　 11.6　使用压缩实践　 11.7　存档分区　 11.8　压缩：包扎　 第12章　开发　 12.1　修改Log4J属性　 12.2　连接Java调试器到Hive　 12.3　从源码编译Hive　 12.3.1　执行Hive测试用例　 12.3.2　执行hook　 12.4　配置Hive和Eclipse　 12.5　Maven工程中使用Hive　 12.6　Hive中使用hive_test进行单元测试　 12.7　新增的插件开发工具箱(PDK)　 第13章　函数　 13.1　发现和描述函数　 13.2　调用函数　 13.3　标准函数　 13.4　聚合函数　 13.5　表生成函数　 13.6　一个通过日期计算其星座的UDF　 13.7　UDF与GenericUDF　 13.8　不变函数　 13.9　用户自定义聚合函数　 13.10　用户自定义表生成函数　 13.10.1　可以产生多行数据的UDTF　 13.10.2　可以产生具有多个字段的单行数据的UDTF　 13.10.3　可以模拟复杂数据类型的UDTF　 13.11　在 UDF中访问分布式缓存　 13.12　以函数的方式使用注解　 13.12.1　定数性(deterministic)标注　 13.12.2　状态性(stateful)标注　 13.12.3　唯一性　 13.13　宏命令　 第14章　Streaming　 14.1　恒等变换　 14.2　改变类型　 14.3　投影变换　 14.4　操作转换　 14.5　使用分布式内存　 14.6　由一行产生多行　 14.7　使用streaming进行聚合计算　 14.8　CLUSTER BY、DISTRIBUTE BY、SORT BY　 14.9　GenericMR Tools for Streaming to Java　 14.10　计算cogroup　 第15章　自定义Hive文件和记录格式　 15.1　文件和记录格式　 15.2　阐明CREATE TABLE句式　 15.3　文件格式　 15.3.1　SequenceFile　 15.3.2　RCfile　 15.3.3　示例自定义输入格式：DualInputFormat　 15.4　记录格式：SerDe　 15.5　CSV和TSV SerDe　 15.6　ObjectInspector　 15.7　Thing Big Hive Reflection ObjectInspector　 15.8　XML UDF　 15.9　XPath相关的函数　 15.10　JSON SerDe　 15.11　Avro Hive SerDe　 15.11.1　使用表属性信息定义Avro Schema　 15.11.2　从指定URL中定义Schema　 15.11.3　进化的模式　 15.12　二进制输出　 第16章　Hive的Thrift服务　 16.1　启动Thrift Server　 16.2　配置Groovy使用HiveServer　 16.3　连接到HiveServer　 16.4　获取集群状态信息　 16.5　结果集模式　 16.6　获取结果　 16.7　获取执行计划　 16.8　元数据存储方法　 16.9　管理HiveServer　 16.9.1　生产环境使用HiveServer　 16.9.2　清理　 16.10　Hive ThriftMetastore　 16.10.1　ThriftMetastore 配置　 16.10.2　客户端配置　 第17章　存储处理程序和NoSQL　 17.1　Storage Handler Background　 17.2　HiveStorageHandler　 17.3　HBase　 17.4　Cassandra　 17.4.1　静态列映射(Static Column Mapping)　 17.4.2 为动态列转置列映射　 17.4.3　Cassandra SerDe Properties　 17.5　DynamoDB　 第18章　安全　 18.1　和Hadoop安全功能相结合　 18.2　使用Hive进行验证　 18.3　Hive中的权限管理　 18.3.1　用户、组和角色　 18.3.2　Grant 和 Revoke权限　 18.4　分区级别的权限　 18.5　自动授权　 第19章　锁　 19.1　Hive结合Zookeeper支持锁功能　 19.2　显式锁和独占锁　 第20章　Hive和Oozie整合　 20.1　Oozie提供的多种动作(Action)　 20.2　一个只包含两个查询过程的工作流示例　 20.3　Oozie 网页控制台　 20.4　工作流中的变量　 20.5　获取输出　 20.6　获取输出到变量　 第21章　Hive和亚马逊网络服务系统(AWS)　 21.1　为什么要弹性MapReduce　 21.2　实例　 21.3　开始前的注意事项　 21.4　管理自有EMR Hive集群　 21.5　EMR Hive上的Thrift Server服务　 21.6　EMR上的实例组　 21.7　配置EMR集群　 21.7.1　部署hive-site.xml文件　 21.7.2　部署.hiverc脚本　 21.7.3　建立一个内存密集型配置　 21.8　EMR上的持久层和元数据存储　 21.9　EMR集群上的HDFS和S3　 21.10　在S3上部署资源、配置和辅助程序脚本　 21.11　S3上的日志　 21.12　现买现卖　 21.13　安全组　 21.14　EMR和EC2以及Apache Hive的比较　 21.15　包装　 第22章　HCatalog　 22.1　介绍　 22.2　MapReduce　 22.2.1　读数据　 22.2.2　写数据　 22.3　命令行　 22.4　安全模型　 22.5　架构　 第23章　案例研究　 23.1　m6d.com(Media6Degrees)　 23.1.1　M 6D的数据科学，使用Hive和R　 23.1.2　M6D UDF伪随机　 23.1.3　M6D如何管理多MapReduce集群间的Hive数据访问　 23.2　Outbrain　 23.2.1　站内线上身份识别　 23.2.2　计算复杂度　 23.2.3　会话化　 23.3　NASA喷气推进实验室　 23.3.1　区域气候模型评价系统　 23.3.2　我们的经验：为什么使用Hive　 23.3.3　解决这些问题我们所面临的挑战　 23.4　Photobucket　 23.4.1　Photobucket 公司的大数据应用情况　 23.4.2　Hive所使用的硬件资源信息　 23.4.3　Hive提供了什么　 23.4.4　Hive支持的用户有哪些　 23.5　SimpleReach　 23.6　Experiences and Needs from the Customer Trenches　 23.6.1　介绍　 23.6.2　Customer Trenches的用例　 术语词汇表

资源名称：云计算360度：微软专家纵论产业变革 内容简介： 以云计算为代表的新一轮信息革命将改变社会的方方面面，使人跨越时空，使虚拟世界和物理世界深度融合，创造出颠覆性的爆发力和全局性的创新空间，各企业和国家的竞争力也将随之重新洗牌。 本书集微软最高层管理者、最权威云专家和中美业界同仁的集体智慧之大成，从政府决策、公司管理和科技研发等多角度，全面深入地阐释了“云变革”的本质规律、世界潮流和中国机遇。这是微软历史上参与编写人数最多、级别最高的一部专著，也是迄今由国际IT公司总部为中国大陆出版的首部高端中文读物。相信本书将对云计算的创新突破和跨越发展起到战略性的推动作用。 资源目录： 第 1篇云起龙骧：世纪云时代大观...........................................................................................1 云崛起与中国机会....................................................................................................................2 云崛起与中国机会│张亚勤..............................................................................................3 微软战略布局“云+端”│谢恩伟....................................................................................9 云技术提升企业竞争力│Tony Scott..............................................................................14 云革命创造中国经济新奇迹│余晓芒沈寓实............................................................16 云战略引领中国产业创新和社会重构│李政沈寓实................................................24 展望“云-端”未来................................................................................................................33 未来计算在“云端”│张亚勤........................................................................................34 与“云”共舞——再谈云计算│张亚勤........................................................................38 云端的精彩——让信息在指尖流动│张亚勤................................................................45 未来计算——IT四律与三大趋势│张亚勤....................................................................51 搜索、云与社交网络│马维英........................................................................................55 我的“大数据”观：管理、丰富与洞察力│Prakash Sundaresan（孙博凯） ............59 云时代的信息技术..................................................................................................................63 云计算的前世今生│李雨航沈寓实............................................................................64 云时代的信息中枢│沈寓实李雨航............................................................................74 云时代的通信网络│沈寓实罗敏................................................................................80 云时代的智能终端│王晓达沈寓实............................................................................88 云时代的安全隐私│李雨航沈寓实............................................................................96 云计算和物联网│蔡竞峰沈寓实..............................................................................113 云时代的信息经济................................................................................................................126 “云经济”与创新│张亚勤............................................................................................127 云端智能城市│张亚勤..................................................................................................133 探索云时代市场需求的海洋│沈寓实..........................................................................136 探索中国智慧城市发展之路│沈寓实..........................................................................143 云计算的行业应用（上）│张冀聪王晓达赵爱方..............................................147 云计算的行业应用（下）│张冀聪赵爱方罗敏..................................................159 第 2篇风起云涌：全球云转型纵览......................................................................................167 全球信息产业的云转型浪潮│王兰沈寓实..............................................................168 微软：云端战略，尽在云中│曹磊沈寓实..............................................................173 苹果：引领时尚，先端后云│钟婧沈寓实..............................................................183 谷歌：应用至上，数据为王│潘剑韬于家伟..........................................................191 亚马逊：“基础设施即服务”的先行者│李轶鹏李雨航........................................205 IBM：首倡“智慧的云计算”│兰东俊......................................................................222 脸书：以人为本的社交云│钟婧..................................................................................234 英特尔 vs.高通：芯片领域的新战争│蔡竞峰沈寓实..........................................240 AT&T：美国电信产业的云变迁│王晓达沈寓实....................................................251 思科：网络设备商的云转型│马云刘俐..................................................................261 VMware：以虚拟化实现业务变革│潘剑韬沈寓实................................................268 Salesforce：布局企业云，挑战甲骨文│胡敏之.........................................................278 SAP：电子商务云│邵长钰史宁宁...........................................................................292 Red Hat：开源，开放，兼容│潘剑韬 Raymond Mo..............................................298 中国电信运营商布局云管端│刘俐于家伟..............................................................309 中国互联网巨头的云战略│刘少锋..............................................................................316 中国的哲思，华为的成长│张晓珍..............................................................................329 浪潮行业云理论与实践│谈绍兴张军......................................................................335 第 3篇尽在云端：微软云战略全貌......................................................................................353 第 4篇拨云见日：微软云专家访谈......................................................................................677 后记与致谢............................................................................................................................868 作者简介................................................................................................. 资源截图：