大数据技术原理与应用林子雨答案dox免费版|百度网盘下载

编辑点评：大数据技术原理与应用林子宇的回答

本书系统地介绍了大数据的相关知识。小编还整理了相关课后习题及答案，分为大数据基础、大数据存储与管理、大数据处理与分析、大数据应用。全书共15章，涵盖了大数据的基本概念、大数据处理架构Hadoop，需要的可以下载

作品介绍

本书系统介绍了大数据的相关知识，分为大数据基础、大数据存储与管理、大数据处理与分析、大数据应用。全书共15章，涵盖了大数据的基本概念，

大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Spark流计算、图计算、数据可视化和互联网大数据，

在生物医学领域和其他行业的应用。本书在Hadoop、HDFS、HBase、MapReduce、Spark等重要章节中安排了入门级实战操作，让读者更好地学习和掌握大数据的关键技术。

本书可作为高校计算机、信息管理等相关专业大数据课程的教材，也可供相关技术人员参考。

林子玉，博士北京大学教授，厦门大学计算机系教师，中国高校首位“数字教师”和建设者。在数据库、数据仓库、数据挖掘、大数据中，

在云计算和物联网领域有十余年的知识积累，对各个领域的知识理解比较深入，视野比较开阔。

前言

大数据作为继云计算、物联网之后IT行业的又一颠覆性技术，备受关注。大数据无处不在，金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等各行各业都融入了大数据的烙印，大数据对人类社会生产产生影响。生命将产生重大而深远的影响。

随着大数据时代的到来，高校亟需及时建立大数据技术课程体系，培养和输送一大批具有大数据专业的高级人才为社会扫盲，满足社会对大数据人才日益增长的需求。本书定位为大数据技术入门教材，为读者搭建通往“大数据知识空间”的桥梁和纽带。本书将系统总结和总结大数据相关技术，介绍大数据技术的基本原理和大数据的主要应用，帮助读者形成对大数据知识体系及其应用领域的总体认识，并帮助读者“在大数据领域深耕细作”。 “打基础，指路。有兴趣的读者可以在本书的基础上，通过《Hadoop权威指南》等其他参考书继续深入学习和实践大数据相关技术。

本书紧紧围绕“构建知识体系、明确基本原理、指导初级实践、了解相关应用”的指导思想，系统梳理了大数据的知识体系，从而“组织循序渐进，去粗取精，由浅入深。” ，逐步展开。”本书分为大数据基础、大数据存储、大数据处理与分析、大数据应用四个部分。在大数据基础中，第一章介绍了基本概念和应用领域第二章介绍大数据处理架构Hadoop，因为Hadoop已经成为应用最广泛的应用。 ，本书中的大数据相关技术主要围绕Hadoop开发，包括Hadoop MapReduce、HDFS、HBase，因此本章是其他章节（第3、4、7章）内容的基础。数据存储一章，分五章（第3、4、5、6章）介绍大数据存储相关技术的概念和原理，包括分布式文件系统HDFS、分布式数据存储abase HBase、NoSQL 数据库和云数据库。在大数据处理与分析章节中，第7章首先介绍了大数据处理与分析的核心技术——分布式并行编程模型MapReduce，然后在第8章介绍了两种大数据时代和分别为第 9 章。新兴的数据分析技术——流计算和图计算，最后在第10章简要介绍了可视化技术。在大数据应用一章中，采用三章（11、12、13）介绍大数据的典型应用在互联网、生物医药、物流等各个领域。

本书面向高校计算机科学与信息管理专业的学生。在教学过程中，建议安排32个教学小时，16个教学周，每周2小时。各章具体课时分配如下：第1、2、5、6、8、十、十一章安排2小时；第 3、4 和 9 章各有 4 小时；第 7 章有 6 小时；第 12 章和第 13 章由学生自学完成。

这本书是林子瑜写的。在写作过程中，研究生刘英杰、叶林宝、蔡敏兴、李玉谦、谢荣东、罗道文和本科生黄子铭、李灿做了很多辅助工作。我要对这些学生的辛勤工作表示衷心的感谢。谢谢。

本书官网[1]，提供教学PPT及相关资料下载，接受错误反馈，发布教材勘误信息。

在编写本书的过程中，我参考了大量的国内外教材、专着、论文和资料，系统梳理了大数据的知识，并有选择地将一些重要的知识纳入本书。本书也是我多年来在数据科学领域的教学、研究和行业工作的系统总结。但是，由于我缺乏才华和知识，难免有很多不足之处。我希望我的学术同事能给我一些建议。

作品目录

总结

前言（第二版）

前言（第一版）

关于作者

第一个大数据基础

第一章大数据概述

1.1 大数据时代

1.2 大数据的概念

1.3 大数据的影响

1.4 大数据的应用

1.5 大数据关键技术

1.6 大数据计算模式

1.7 大数据产业

1.8 大数据和云计算、物联网

1.9 章节总结

1.10 练习

第 2 章 Hadoop 大数据处理架构

2.1 概述

2.2 Hadoop 生态系统

2.3 Hadoop安装与使用

2.4 章节总结

2.5 练习

实验 1 安装 Hadoop

第二部分大数据存储与管理

第三章分布式文件系统HDFS

3.1 分布式文件系统

3.2 HDFS简介

3.3 HDFS相关概念

3.4 HDFS 架构

3.5 HDFS的存储原理

3.6 HDFS数据读写过程

3.7 HDFS编程实践

3.8 章节总结

3.9 练习

实验2 熟悉常见的HDFS操作

第四章分布式数据库HBase

4.1 概述

4.2 HBase访问接口

4.3 HBase 数据模型

4.4 HBase的实现原理

4.5 HBase运行机制

4.6 HBase 编程实践

4.7 章节总结

4.8 练习

实验3 熟悉常用HBase操作

第 5 章 NoSQL 数据库

5.1 NoSQL 简介

5.2 NoSQL 兴起的原因

5.3 NoSQL 与关系数据库的比较

5.4 NoSQL 的四种类型

5.5 NoSQL 的三个基石

5.6 从 NoSQL 到 NewSQL 数据库

5.7 章节总结

5.8 练习

第六章云数据库

6.1 云数据库概述

6.2 云数据库产品

6.3 云数据库系统架构

6.4 云数据库实践

6.5 章节总结

6.6 练习

实验4 熟练使用RDS for MySQL数据库

第三部分大数据处理与分析

第 7 章 MapReduce

7.1 概述

7.2 MapReduce的工作流程

7.3 案例研究：字数统计

7.4 MapReduce的具体应用

7.5 MapReduce 编程实践

7.6 章节总结

7.7 练习

实验5 MapReduce编程基础实践

第 8 章重温 Hadoop

8.1 Hadoop的优化与开发

8.2 HDFS2.0的新特性

8.3 YARN，新一代资源管理和调度框架

8.4 Hadoop生态系统中的代表性功能组件

8.5 章节总结

8.6 练习

第 9 章火花

9.1 概述

9.2 Spark 生态系统

9.3 Spark 运行架构

9.4 Spark部署及应用方法

9.5 Spark 编程实践

9.6 章节总结

9.7 练习

第 10 章流计算

10.1 流计算概述

10.2 流计算的处理流程

10.3 流计算的应用

10.4 Storm，开源流计算框架

10.5 火花流

10.6 章节总结

10.7 练习

第 11 章图计算

11.1 图计算简介

11.2 Pregel 简介

11.3 Pregel图计算模型

11.4 Pregel 的 C++ API

11.5 Pregel 的架构

11.6 Pregel的应用实例

11.7 Pregel和MapReduce实现PageRank算法的比较

11.8 章节总结

11.9 练习

第 12 章数据可视化

12.1 可视化概述

12.2 可视化工具

12.3 典型案例可视化

12.4 章节总结

12.5 练习

第四部分大数据应用

第十三章大数据在互联网领域的应用

13.1 推荐系统概述

13.2 协同过滤

13.3 协同过滤实践

13.4 章节总结

13.5 练习

第十四章大数据在生物医学领域的应用

14.1 疫情预测

14.2 智慧医疗

14.3 生物信息学

14.4 案例：基于大数据的综合健康服务平台

14.5 章节总结

14.6 练习

第 15 章大数据的其他应用

15.1大数据在物流领域的应用

15.2 大数据在城市管理中的应用

15.3 大数据在金融行业的应用

15.4 大数据在汽车行业的应用

15.5 大数据在零售业的应用

15.6 大数据在餐饮行业的应用

15.7 大数据在电信行业的应用

15.8 大数据在能源行业的应用

15.9 大数据在体育娱乐领域的应用

15.10 大数据在安全领域的应用

15.11大数据在政务领域的应用

15.12 大数据在日常生活中的应用

15.13 章节摘要

15.14 练习

大数据与数据科学课程体系

1、大数据与数据科学专业

2、大数据与数据科学培养的主要人才

大数据与数据科学主要培养大数据应用分析师、大数据系统工程师、大数据算法研究人员。每个类别可以根据具体的工作职责进行细分，大致可以分为以下几类：

1、大数据应用分析师：产品、行业应用、解决方案、数据分析、创新

2、大数据系统工程师：系统、架构、开发、维护、管理

3、大数据算法研究员：算法实现/调优、新理论、新结构/新算法、方向/趋势

3、大数据与数据科学的整体课程体系

数学/统计理论：微积分、线性代数、概率论、数理统计、统计学习

计算科学：计算机系统、编程语言、数据结构、信息系统架构（CS/BS 等）

数据系统：分布式理论、Hadoop/Spark生态、数据库/数据仓库

模型分析：机器学习理论、优化建模、模式识别、知识表示/推理、视觉分析

行业应用：商业智能、智能金融、供应链分析、城市规划等

数据伦理：大数据管理与创新、大数据治理与政策

4、大数据与数据科学主课内容

1、概率论与数理统计

数理统计、抽样分布、参数估计、假设检验的基本概念

2、多元统计分析

多元正态分布；聚类分析;判别分析；主成分分析；因子分析;对应分析；逻辑回归模型、偏最小二乘回归模型等。

3、微积分

基本微积分概念和计算原理

4、线性代数

基本线性代数概念和计算原理

5、时间序列分析

时间序列的基本概念、基本原理、基本方法及定量分析

6、编程/数据结构

编程语言（Python或R、C或Java）、主要程序结构、基本数据结构、常用算法

7、计算机系统基础

计算机系统架构的基本概念、常规信息系统的基本架构、主要的数据传输方法、数据分析和信息提取技术

8、大数据简介

Hadoop大数据基础概念、大数据分析基础、大数据挖掘基础、大数据可视化技术基础、大数据存储技术基础、大数据安全技术基础、数据科学基础、大数据与crm等< /p>

9、Hadoop大数据技术

Hadoop生态，介绍Hadoop的安装和配置。 Hadoop组件包括HDFS分布式存储系统、MapReduce计算框架、海量数据库HBase、Hive数据仓库、Pig、ZooKeeper管理系统等知识

10。分布式数据库原理与应用

介绍分布式数据库的原理和应用，以及当前大数据行业主要的非结构化数据库，包括分布式数据库设计、分布式查询分解与优化、事务管理、分布式并发控制、分布式数据库管理系统的可靠性, 数据复制等分布式数据管理技术的经典内容

11.数据建模与分析

介绍数据挖掘/建模的主要流程以及算法以外的其他建模重点，包括数据探索性分析、建模（具体建模算法放在数据挖掘课程中）、实验设计、评价方法等。

12.数据仓库与数据挖掘技术

经典和最新的数据建模分析技术研究成果，如小波分析、粗分析、蚁群分析、分形技术、Agent、进化算法、聚类分析、非结构化数据挖掘、异常数据挖掘等。 （分为两个重点方向：算法设计原理和算法应用）

13.数据可视化技术

从人、数据、可视化过程的角度阐述数据可视化的基本理论和概念；针对实际应用中遇到的不同类型的数据，包括时空数据、地理信息数据、高维非空间数据、层次结构和网络数据，引入相应的数据可视化方法；介绍可视化的综合应用和实用系统

14、大数据分析与内存计算

Spark的架构、工作机制、安装部署、开发环境搭建、计算模型、Benchmark、BDAS等；从应用的角度解释了一些简单而有代表性的案例

15、商业智能方法和应用

介绍商业智能的基本概念、主要功能、系统架构，以及数据分析和数据管理的主要方法和技术，包括数据仓库、在线分析处理和数据挖掘建模、分析和评估方法，涵盖多维数据模型建模、多维分析方法和各种知识发现方法等。

16、大数据管理与创新

介绍大数据管理的基本概念、方法和流程以及如何组建相关数据团队，为创新数据管理提供一些思考方向

17.大数据治理和政策

介绍大数据发展对社会治理的作用和影响、相关政策法规、从业人员的相关伦理要求等。

针对特定专业方向开设相关数据应用课程或讲座申请，例如：

18.模式识别/计算机视觉：介绍非结构化数据在模式识别、图像识别等方面的处理技术和原理；

19.自然语言处理/知识表示/推理：介绍智能系统中文本数据的处理和表示技术及原理；

20。大数据与城市规划：介绍数据治理在城市规划中的具体应用及相关技术原理；

21、大数据与金融、大数据与供应链分析、大数据与营销……..

V。大数据和数据科学的选课标准

针对不同的人才培养方向，为学生提供不同的选课标准和方法。一般建议可以按照以下方向选择课程：

方向：大数据应用分析师

核心选修课（编码）：1/2/3/4/5/6/7/8/11/15/16/17

深度学习课程（编码）：11/15/20/21

方向：大数据系统工程师

核心选修课（编码）：1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17

深度学习课程（编码）：9/10/12/11/13/14

方向：大数据算法研究员

核心选修课（编码）：1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17

深度学习课程（编码）：1/2/3/4/5/6/12

6、培养方向与课程体系设置探讨

1、大数据：大数据的课程往往是系统工程师和算法研究人员，计算机知识较多。如果结合非结构化数据处理技术（自然语言、计算视觉、语音等）课程有点偏向人工智能，结果偏重智能产品和设备；

2、数据科学：数据科学课程更偏向于统计和优化，更注重优化、实验、迭代、分析等建模思维，同时行业应用深度更强。所以单纯从数据科学的角度来看，主要核心主要包括：

数据科学导论或数据科学原理；

数据可视化或可视化分析；

数据产品开发；

探索性数据分析 (EDA)；

大数据分析；

实验设计或实验设计；

优化；

因果关系；

数据科学顶峰

7、附录

1、清华大数据研究院——数据科学课程

2、香港中文大学---数据科学课程体系

必修课

1.统计理论

2、机器学习

3、数据挖掘简介

4、时间序列分析

5、数据库原理与发展

选修课

1、应用回归分析

2、多种方法的应用

3、贝叶斯分析简介

4、数值算法分析

5.人工智能

6、优化理论导论

7、信息论与编码

8、图像处理和计算机视觉

9。分布式系统简介

10。并行编程的应用

11.大数据建模与管理

12.网络数据分析

13.数据驱动的实验设计和测量

14、数据可视化简介

15、运营管理与分析

16、营销管理与分析

17.财务分析

18.经济分析

19.创新的设计思维方法

3、国外典型数据科学专业及其特色课程

学校：加州大学伯克利分校

学位名称：信息与数据科学硕士

特别课程：信息与数据科学硕士

Python 和数据科学/Python 用于数据科学

数据分析的研究设计与应用

存储和检索数据

应用机器学习

实验和因果关系

大数据——人与价值观/数据背后：人与价值观

（放大和真实）大数据/放大！真正的大数据

数据可视化与通信

（数据科学）综合培训课程/综合顶峰课程

学校：约翰霍普金斯大学

学位名称：数据科学理学硕士
特殊课程：数据科学理学硕士

数据科学/数据科学

数据可视化

随机优化与控制

数据科学家的工具箱

获取和清理数据

探索性数据分析

可重复性研究

实用机器学习

开发数据产品

数据科学综合培训课程/数据科学顶峰

学校：华盛顿大学

学位名称：数据科学理学硕士
特殊课程：数据科学理学硕士

数据可视化和探索性分析

应用统计和实验设计

数据科学的数据管理

数据科学家的统计机器学习

数据科学软件设计

可扩展的数据系统和算法

以人为本的数据科学

数据科学综合培训课程/数据科学顶点项目

学校：纽约大学

学位名称：数据科学理学硕士

特色课程：数据科学硕士

数据科学简介

大数据/大数据

数据科学的概率和统计

推理和表示

机器学习和计算统计

数据科学综合培训课程/数据科学顶点项目

基于优化的数据分析

凸和非光滑优化

学校：斯坦福大学

学位名称：统计学：数据科学理学硕士

特色课程：http://M.S.in Statistics:Data Science

现代应用统计学：学习/现代应用统计学：学习

现代应用统计：数据挖掘/现代应用统计：数据挖掘

数据驱动医学

现代统计学和现代生物学/现代生物学的现代统计学

来自大数据的商业智能

用数据计算的范式

学校：卡内基梅隆大学

学位名称：计算数据科学硕士
专题课程：计算数据科学硕士

云计算

高级云计算

多媒体数据库和数据挖掘

移动和普适计算

使用大数据集进行机器学习

智能信息系统的设计与工程

大数据分析/大数据分析

学校：哥伦比亚大学

学位名称：数据科学理学硕士

特色课程：数据科学理学硕士

数据科学简介

用于数据科学的计算机系统

探索性数据分析和可视化

数据科学的因果推理

大数据分析/大数据分析

数据科学顶点与伦理

学校：伦敦城市大学

学位名称：数据科学理学硕士
特殊课程：数据科学理学硕士

数据科学原理

大数据/大数据

视觉分析/视觉分析

数据可视化/数据可视化

神经计算

研究方法和专业问题

高级编程：并发