大数据架构详解：从数据获取到深度学习(PDF)

xiaoduo

『电子书截图』:



『电子书目录』:

第一部分 大数据的本质
第1章 大数据是什么   13
1.1 大数据导论   13
1.1.1 大数据简史   13
1.1.2 大数据现状   14
1.1.3 大数据与BI   14
1.2 企业数据资产   15
1.3 大数据挑战   16
1.3.1 成本挑战   17
1.3.2 实时性挑战   17
1.3.3 安全挑战   17
1.4 小结   17
第2章 运营商大数据架构   18
2.1 架构驱动的因素   18
2.2 大数据平台架构   18
2.3 平台发展趋势   19
2.4 小结   19
第3章 运营商大数据业务   20
3.1 运营商常见的大数据业务   20
3.1.1 SQM（运维质量管理）   20
3.1.2 CSE（客户体验提升）   20
3.1.3 MSS（市场运维支撑）   21
3.1.4 DMP（数据管理平台）   21
3.2 小结   22
第二部分 大数据技术
第4章 数据获取   25
4.1 数据分类   25
4.2 数据获取组件   25
4.3 探针   26
4.3.1 探针原理   26
4.3.2 探针的关键能力   27
4.4 网页采集   37
4.4.1 网络爬虫   37
4.4.2 简单爬虫Python代码示例   43
4.5 日志收集   44
4.5.1 Flume   44
4.5.2 其他日志收集组件   58
4.6 数据分发中间件   58
4.6.1 数据分发中间件的作用   58
4.6.2 Kafka架构和原理   58
4.7 小结   93
第5章 流处理   94
5.1 算子   94
5.2 流的概念   94
5.3 流的应用场景   95
5.3.1 金融领域   95
5.3.2 电信领域   96
5.4 业界两种典型的流引擎   96
5.4.1 Storm   96
5.4.2 Spark Streaming   100
5.4.3 融合框架   113
5.5 CEP   119
5.5.1 CEP是什么   119
5.5.2 CEP的架构   120
5.5.3 Esper   121
5.6 实时结合机器学习   121
5.6.1 Eagle的特点   122
5.6.2 Eagle概览   122
5.7 小结   127
第6章 交互式分析   128
6.1 交互式分析的概念   128
6.2 MPP DB技术   129
6.2.1 MPP的概念   129
6.2.2 典型的MPP数据库   132
6.2.3 MPP DB调优实战   142
6.2.4 MPP DB适用场景   173
6.3 SQL on Hadoop   174
6.3.1 Hive   174
6.3.2 Phoenix   176
6.3.3 Impala   177
6.4 大数据仓库   178
6.4.1 数据仓库的概念   178
6.4.2 OLTP/OLAP对比   179
6.4.3 大数据场景下的同与不同   179
6.4.4 查询引擎   180
6.4.5 存储引擎   181
6.5 小结   182
第7章 批处理技术   183
7.1 批处理技术的概念   183
7.2 MPP DB技术   183
7.3 MapReduce编程框架   184
7.3.1 MapReduce起源   184
7.3.2 MapReduce原理   184
7.3.3 Shuffle   185
7.3.4 性能差的主要原因   188
7.4 Spark架构和原理   188
7.4.1 Spark的起源和特点   188
7.4.2 Spark的核心概念   189
7.5 BSP框架   228
7.5.1 什么是BSP模型   228
7.5.2 并行模型介绍   229
7.5.3 BSP模型基本原理   231
7.5.4 BSP模型的特点   233
7.5.5 BSP模型的评价   233
7.5.6 BSP与MapReduce对比   233
7.5.7 BSP模型的实现   234
7.5.8 Apache Hama简介   234
7.6 批处理关键技术   238
7.6.1 CodeGen   238
7.6.2 CPU亲和技术   239
7.7 小结   240
第8章 机器学习和数据挖掘   241
8.1 机器学习和数据挖掘的联系与区别   241
8.2 典型的数据挖掘和机器学习过程   242
8.3 机器学习概览   243
8.3.1 学习方式   243
8.3.2 算法类似性   244
8.4 机器学习&数据挖掘应用案例   246
8.4.1 尿布和啤酒的故事   246
8.4.2 决策树用于电信领域故障快速定位   247
8.4.3 图像识别领域   247
8.4.4 自然语言识别   249
8.5 交互式分析   250
8.6 深度学习   251
8.6.1 深度学习概述   251
8.6.2 机器学习的背景   252
8.6.3 人脑视觉机理   253
8.6.4 关于特征   255
8.6.5 需要有多少个特征   256
8.6.6 深度学习的基本思想   257
8.6.7 浅层学习和深度学习   257
8.6.8 深度学习与神经网络   258
8.6.9 深度学习的训练过程   259
8.6.10 深度学习的框架   259
8.6.11 深度学习与GPU   266
8.6.12 深度学习小结与展望   267
8.7 小结   268
第9章 资源管理   269
9.1 资源管理的基本概念   269
9.1.1 资源调度的目标和价值   269
9.1.2 资源调度的使用限制及难点   269
9.2 Hadoop领域的资源调度框架   270
9.2.1 YARN   270
9.2.2 Borg   271
9.2.3 Omega   273
9.2.4 本节小结   274
9.3 资源分配算法   274
9.3.1 算法的作用   274
9.3.2 几种调度算法分析   274
9.4 数据中心统一资源调度   282
9.4.1 Mesos+Marathon架构和原理   282
9.4.2 Mesos+Marathon小结   294
9.5 多租户技术   295
9.5.1 多租户概念   295
9.5.2 多租户方案   295
9.6 基于应用描述的智能调度   298
9.7 Apache Mesos架构和原理   299
9.7.1 Apache Mesos背景   299
9.7.2 Apache Mesos总体架构   299
9.7.3 Apache Mesos工作原理   301
9.7.4 Apache Mesos关键技术   306
9.7.5 Mesos与YARN比较   315
9.8 小结   316
第10章 存储是基础   317
10.1 分久必合，合久必分   317
10.2 存储硬件的发展   317
10.2.1 机械硬盘的工作原理   317
10.2.2 SSD的原理   318
10.2.33 DXPoint   320
10.2.4 硬件发展小结   320
10.3 存储关键指标   320
10.4 RAID技术   320
10.5 存储接口   321
10.5.1 文件接口   322
10.5.2 裸设备   322
10.5.3 对象接口   323
10.5.4 块接口   327
10.5.5 融合是趋势   339
10.6 存储加速技术   339
10.6.1 数据组织技术   339
10.6.2 缓存技术   346
10.7 小结   347
第11章 大数据云化   348
11.1 云计算定义   348
11.2 应用上云   348
11.2.1 Cloud Native概念   349
11.2.2 微服务架构   349
11.2.3 Docker配合微服务架构   353
11.2.4 应用上云小结   359
11.3 大数据上云   359
11.3.1 大数据云服务的两种模式   359
11.3.2 集群模式AWSEMR   360
11.3.3 服务模式Azure Data Lake Analytics   363
11.4 小结   365
第三部分 大数据文化
第12章 大数据技术开发文化   367
12.1 开源文化   367
12.2 DevOps理念   367
12.2.1 Development和Operations的组合   368
12.2.2 对应用程序发布的影响   368
12.2.3 遇到的问题   369
12.2.4 协调人   369
12.2.5 成功的关键   370
12.3 速度远比你想的重要   370
12.4 小结 361



『电子书下载』:

游客,本付费内容需要支付 2学币 才能浏览支付

wurcay

...............

tjpulord

感谢分享！

15625086717

thankssharing

li_a_long

12.3 速度远比你想的重要   370

azathoth

感谢分享

tianhao

thanksssssssssssss

david

大数据架构详解

boris

大数据架构详解：从数据获取到深度学习

奋进

撒旦顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶