大数据技术原理与应用第1讲

一、第1章什么是大数据，大数据为什么重要

大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。 适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。
大数据的重要性体现在以下几个方面：
1.对大量消费者提供产品或服务的企业可以利用大数据进行精准营销
2.做小而美模式的中尾企业可以利用大数据做服务转型
3.面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值

二、大数据从入门到深入：JavaEE之数据库技术JDBC（1）

JDBC（JavaDatabaseConnectivity，Java数据库连接）是一种用于执行SQL语句的JavaAPI。 API是程序的接口，一套接口可以有多个实现类，如MySQL、Oracle、SqlServer等。 JDBC是Java访问数据库的标准规范，可以为不同的关系型数据库提供统一访问，它由一组用Java语言编写的接口和类组成。
JDBC需要连接驱动，驱动是两个设备要进行通信，满足一定通信数据格式，数据格式由设备提供商规定，设备提供商为设备提供驱动软件，通过软件可以与该设备进行通信。 今天我们使用的是MySQL的驱动mysql-connector-java-5.1.6。 JDBC与数据库驱动的关系：接口与实现的关系。
JDBC规范（掌握四个核心对象）：DriverManager：用于注册驱动；Connection：表示与数据库创建的连接；Statement：作数据库sql语句的对象；ResultSet：结果集或一张虚拟表。
Java提供访问数据库规范称为JDBC，而生产厂商提供规范的实现类称为驱动。
既然是数据作，数据保存在哪里呢？1）MySQL，数据是保存在数据库里的，相同类型的数据用表的形式进行存储，表存入小的数据库里。 1.创建数据库：jdbcdb；2.创建person表；3.添加测试数据。
创建java项目，编写项目名称并且查看是否已指定JDK。 创建完的效果。 项目新建lib文件夹，文件夹叫lib。 创建好之后把jar包拷贝进去。 添加JAR包准备jdbc开发，项目上右键选择jar包管理，添加数据库jar包。
1.3.4Hello,World!小例：1.3.4.1第一步获取数据库连接，拓展1：ServiceLoader与ClassLoader是Java中两个即相互区别又相互联系的加载器。 JVM利用ClassLoader将类载入内存，这是一个类声明周期的第一步。 那ServiceLoader又是什么呢？ServiceLoader：一个简单的服务提供者加载设施。 服务是一个熟知的接口和类集合。 服务提供者是一个服务的特定实现。 提供者中的类通常实现接口，并子类化在服务本身中定义的子类。 服务提供者可以以扩展的形式安装在Java平台的实现中，也就是将jar文件放入任意常用的扩展目录中。 也可通过将提供者加入应用程序类路径，或者通过其他某些特定于平台的方式使其可用。 唯一强要求的是，提供者类必须具有不带参数的构造方法，以便它们可以在加载中实例化。
1.3.4.2第二步编写查询例：上述写法中获取数据部分很明显有一个问题，就是如果有很多很多行的话，作为一个程序员我就很尴尬了……有没有什么办法解决呢？没有，*！其实非常简单。
1.4API详解：1.4.1API详解：注册驱动，Class.forName("com.mysql.jdbc.Driver")；创建com.mysql.jdbc.Driver这个类的对象供连接数据库使用。 1.4.2API详解：获得链接，staticConnectiongetConnection(Stringurl,Stringuser,Stringpassword)：试图建立到给定数据库URL的连接。 参数说明：url需要连接数据库的位置（网址），user用户名，password密码。 1.4.3java.sql.Connection接口：一个连接，接口的实现在数据库驱动中。 所有与数据库交互都是基于连接对象的。
1.5CURD小例：1.5.1添加小例，代码，效果：数据库：1.5.2更新小例，代码，效果：数据库：1.5.3删除小例，代码，效果：数据库：1.5.4查询全部小例，代码，效果：
1.6JDBC工具类：从刚才的小例我们可以看出一个问题，代码中有两个地方的代码出现了一个高重复率问题：1）数据库连接的获取部分；2）数据库连接的关闭部分。 既然我们了代码重复的部分，我们就要把它抽取出来，所以我们需要封装一个数据库连接开与关闭的工具类JdbcUtil。
1.7预处理对象：1.7.1SQL注入问题，SQL注入：用户输入的作为了SQL语句语法的一部分，改变了原有SQL真正的意义。 1.7.2API详解：预处理对象，pre paredStatement：预编译对象，是Statement对象的子类。 特点：性能高，会把SQL语句先编译，能过滤掉用户输入的关键字。 PreparedStatement预处理对象，处理的每条SQL语句中所有的实际参数，都必须使用占位符?替换。
1.7.3PreparedstatementCURD小例：1.7.3.1封装实体类，我们接下来要进行添加员、删除员、更新员、修改员作；但是现在有一个问题：对于Java程序来说，什么是员呢？Java是面向对象编程，你现在既然要添加、删除、更新、查询员的话……，我们根本就没有员这个对象呀！没事，先冷静一下，其实员对象已经有了。

观察数据库，我们通过观察得知，其实数据库中的一条记录就应该是我们Java中的一个对象，它们应该是一一对应的。 那么根据这种对应关系来看的话，表对应类，字段对应属性。 所以，我想有一个员对象的话，那么必须先创建一个员类，所以现在我应该创建一个员类！代码：之前我们说过JavaBean的概念，那么这个类的特点是与数据库表一一对应，数据库表又是现实生活中实体的体现，所以这个与数据库对应的类其实有个名字叫做实体类，也叫实体Bean。

三、智慧树工智能基础答

智慧树工智能基础答2023如下：

第一章测试

1、（）称为“工智能之父”。 （）A：亚瑟·塞缪尔B：约翰·冯·诺依曼C：约翰·麦卡锡D：唐纳德·赫布答：C

2、2016年3月9日至15日，谷歌AlphaGo机器在围棋比赛中以比分（）击败了世界冠李世石。 （）A：4：1 B：4：2 C：5：0 D：3：2答：A

3、约瑟夫·魏岑鲍姆教授开发的（）,实现了计算机与通过文本进行交流。 （）A：ELIZA B：谷歌AlloC：微软小冰D：苹果Siri答：A

4、在1986年，罗斯·昆兰提出了（）概念，这是机器学习另一个主流的闪点。 （）A：感知机B：决策树C：BPD：随机森林答：B

5、首次提出“工智能”是在（）年。 （）A：1946B：1916C：1956 D：1960答：B

6、工智能发展的驱动力包括（）。 （）A：资本与技术深度耦合，助推行业应用快速兴起B：深度学习研究成果卓著,带动算法模型续优化C：数据处理技术加速演进，运算能力实现大幅提升D：机物互联互通成趋势，数据量呈现爆炸性增答：ABCD

7、工智能产业链关键技术，主要分哪三个核心层（）。 （）A：技术层B：基础层C：中间层D：应用层答：ABD

8、克劳德·香农提出用二进替代十进运算，并将计算机分成了5大组件。 （）A：对B：错答：B

9、专家系统是一个含有大量的某个域专家水平的知识与经验智能计算机程序系统，能够利用类专家的知识和解决问题的方法来处理该域问题、简而言之，专家系统是一种模拟类专家解决域问题的计算机程序系统。 （）A：对B：错答：A

第二章测试

1、机器学习是工智能的（）。 （）A：基础B：根本C：核心D：其他都正确答：C

2、目标检测是对目标进行识别和（）。 （）A：标注B：定位C：检测D：学习答：B

3、深度学习的核心是（）。 （）A：分B：神经网络C：分类D：提取特征答：B

4、自然语言处理是类与计算机之间的（）（）。 A：其他都是B：朋友C：跳板D：桥梁答：D

5、知识图谱的概念是（）。 （）A：百度在2012年提出来的。 B：百度在2010年提出来的。 C：Google在2010年提出来的。 D：Google在2012年提出来的。

答：D

6、机器学习从学习方式上分类哪种方式需要工标注（）。 A：强化学习B：无监督学习C：半监督学习D：监督学习答：CD

7、基于深度学习的目标检测应用有（）。 （）。 A：遥感检测B：行检测C：脸检测D：车辆检测答：ABCD

8、自然语言处理的具体应用有（）。 A：其他都是B：智能问答C：情感分析D：机器翻译答：ABCD

9、知识图谱的应用有（）。 A：智能搜索B：深度问答C：智能推荐D：反诈系统

答：ABCD

10、YOLO算法的全称是youonlylookonce。 （）A：错B：对答：B

第三章测试

1、在图像识别技术的过程中，分类器设计和决策的关键是（）。 A：信息的获取B：分类决策C：特征抽取和选择D：图像预处理答：C

2、AI的英文缩写是（）。 A：Artificial Intelligence B：Artificial InformationC：Automatic Intelligence D：Automatic Information答：A

3、工智能指的是（）。 A：的智能B：自然智能C：通用智能D：机器智能答：D

4、图像识别技术的应用域包括（）。 A：工农业B：事域C：航空卫星域D：医学域E：公共安全答：ABCDE

5、声音的指标包括（）A：时B：频率C：周期D：振幅答：BCD

6、数字化的步骤包括（）A：采样B：解码C：量化D：编码答：ACD

7、语音识别系统主要可分为（）部分A：训练B：识别C：深度学习D：采样答：AB

8、机器学习、深度学习能够自动学习与求解问题相关的有效图像特征。 （）A：对B：错答：A

9、脸认证时，要求用户摇摇，眨眨眼，属于生物识别，防止恶意用户用静态过系统。 （）A：错B：对答：B

10、声音的存储早于图像技术。 （）A：对B：错答：B

第四章测试

1、我《汽车自动驾驶化分级》家推荐标准于（）正式实施。 A：2022年12月20日B：2022年3月1日C：2021年12月20日D：2019年3月1日答：B

2、自动驾驶的终极目标是（）A：半自动驾驶B：驾驶支援C：有条件自动化驾驶D：无驾驶答：D

3、全球卫星导航系统包括（）。 A：俄罗斯的GLONASSB：台湾的CMOSC：美的GPSD：中的北斗卫星答：ACD

4、自动驾驶汽车中，可采用（）来感知周围环境。 A：超声波B：轮胎C：雷达D：摄像答：ACD

5、无机系统包括（）子系统。 A：动力系统B：飞控系统C：飞机机体D：通讯链路E：导航系统答：ABCDE

6、目前面出售的电动汽车，都是无驾驶汽车。 （）A：错B：对答：A

7、高精地图也称为自动驾驶地图、高精地图绝对位置精度接近1m,相对位置精度在厘米级别。 （）A：错B：对答：B

8、飞控系统是无机系统最核心的技术之一，是无机的控中心。 （）A：错B：对答：B

第五章测试

1、金融业在（）尝试应用多种工智能的方法。 A：风险管理B：预防诈C：财务咨询D：过程自动化E：客户服务答：ABCDE

2、金融风险管理包括（）A：识别风险B：风险计算C：风险控D：规避风险答：ACD

3、工智能会取代类，特别是在金融域。 （）A：错B：对答：A

4、聊天机器可以解答客户咨询类问题。 （）A：错B：对答：B

5、疾病风险预测主要是指通过基因测序与检测提前预测疾病发生的风险。 （）A：对B：错答：A

第六章测试

1、大数据技术的起源（）。 （）A：电信B：互联网C：金融D：公共管理答：B

2、大数据最显著的特征是是（）。 （）A：数据规模大B：数据类型多样C：数据处理速度快D：数据价值密度高答：A

3、当前，大数据产业发展的特点是（）。 （）A：增速很慢B：规模较大C：增速很快D：规模较小E：多产业交叉融合答：BCE

4、Hadoop的核心功能特点主要包括：（）。 （）A：有丰富的计算引擎B：文文件系统高可靠性C：分布式架构D：多用户环境答：ABCD

5、大数据技术有哪些主要特点：（）。 （）A：多样性B：高速性C：海量性D：易

变性答：ABCD

6、电商网站的用户浏览行为记录、购买行为记录，社交网站的用户行为数据记录、用户关系数据，通信行业的用户通信行为记录、上网行为记录，APP

应用的用户行为数据，交通部门的海量探测数据、路况监控数据，政府部门的民生数据，舆情数据等，这些都是真实、物化、具体的大数据。 （）A：对B：错答：A

第七章测试

1、将基础设施作为服务的云计算应用服务类型是（）。 （）A：SaaS层B：服务

层C：PaaS层D：laaS层答：D

2、将平台作为服务的云计算应用服务类型是（）。 （）A：PaaS层B：SaaS层C：服务层D：laaS层答：A

3、将软件作为服务的云计算应用服务类型是（）。 （）A：PaaS层B：服务层

C：SaaS层D：laaS层答：C

4、下列关于公有云和私有云描述不正确的是（）。 （）A：公有云是云服务提供商通过自己的基础设施直接向外部客户提供服务B：私有云是为企业内部使用而构建的计算架构C：公有云能够以低廉的价格，提供有吸引力的服务给最终用户，创造新的业务价值D：服构建私有云比使用公有云更便宜答：D

5、云计算的服务类型主要分为（）。 （）A：私有云B：智能云C：混合云D：公有

云答：ACD

6、未来云计算服务面向哪些客户（）。 （）A：个B：政府C：教育机构D：企业

答：ABCD

7、云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算机资源共享池，这些资源能够快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。 （）A：错B：对

答：B

0、R云计算就是让我们像使用自来水、电力、燃气一样，使用IT资源。 用户拧开龙（终端），IT资源就像自来水一样喷涌而出，供用户使用（）A：错B：对答：B

第八章测试

1、2017年，美（）该计划的目标是支基础研究，从而加快美在协作型机器开发和实际方面的进程。 （）A：工智能与际安全B：工智能、

自动化和经济C：家机器计划2、0D：工智能未来法答：C

2、2018年，欧盟发布（）该计划以“工智能欧洲造”为主题，提出设计伦理和设计安全两大关键原则，旨在使欧盟成为工智能技术的世界先地区。

（）A：工智能合作宣言B：促进工智能在欧洲发展和应用的协调行动计划C：欧盟2030自动驾驶战略D：欧盟工智能战略答：B

5、()2018年，欧盟发布（）就工智能可能引发的社会、经济、伦理道德和法

律等重要问题开展合作，确保欧洲在工智能研发和应用上具有强大竞争力。 （）A：欧盟2030自动驾驶战略B：促进工智能在欧洲发展和应用的协调

行动计划C：欧盟工智能战略D：工智能合作宣言答：D

4、2018年，欧盟发布（）旨在秉以为本的工智能发展理念，推动欧盟工智能域的技术研发、道德规范定以及投资规划。 （）A：促进工智能在欧洲发展和应用的协调行动计划B：工智能合作宣言C：欧盟2030自动驾驶战略D：欧盟工智能战略答：D

5、2018年，日本（）肯定了工智能的重要作用，同时也强调了重其负面影响，主张在推进工智能技术研发时，综合考虑其带来的影响，构建能够使工智能有效且安全的“AI-Ready社会”。 （）A：日本再兴战略B：日本机器战略：愿景、战略、行动计划C：工智能技术战略D：以类为中心的工智能社会原则答：D

6、2016年，我（）提出了支工智能域软硬件开发及规模化应用（）A：促进工智能和实体经济深度融合B：“十三五”家战略性新兴产业发展规划的通知C：政府工作报告D：新一代工智能发展规划答：B

7、2018年，我务院（）提出加强新一代工智能研发应用。 （）A：“十三五”家战略性新兴产业发展规划的通知B：新一代工智能发展规划C：政府工作报告D：促进工智能和实体经济深度融合答：C

8、我工智能机器觉的独角兽企业有（）。 （）A：云从科技B：旷科技C：商汤科技D：依图科技答：ABCD

第九章测试

1、深度学习是（）域中一个新的研究方向深度学习使机器模仿听和思考等类的活动，解决了很多复杂的模式识别难题，使得工智能相关技术取得了很大进步。 （）A：机器学习B：智能学习C：搜索技术D：多媒体学习答：A

2、聊天机器是经由对话或文字进行交谈的计算机程序。 能够模拟类对话，通过（）。 （）A：图灵测试B：类测试C：机器测试D：智能测试答：A

3、YOLO将对象检测重新定义为一个（）。 它将单个卷积神经网络（CNN）应用于整个图像，将图像分成网格，并预测每个网格的类概率和边界框。 （）A：物理问题B：回归问题C：测试问题D：模型问题答：B

4、脸图像中包含的模式特征十分丰富，分别为（）。 （）A：颜色特征B：模板特征C：直方图特征D：结构特征答：ABCD

5、常见的深度学习廊架有（）。 A：TensorFlow B：Python C：PaddlePaddleD：Pytorch答：ACD

6、脸检测在实际中主要用于脸识别的预处理，即在图像中准确标定出脸的位置和大小。 （）A：错B：对答：B

7、脸识别的优势在于其自然性和不测个体察觉的特点。 （）A：错B：对答：B

8、YOLO能够处理实时流，延迟小于25毫秒。 它的精度是以前实时系统的两倍多。 同样重要的是，YOLO遵循的是“端到端深度学习”的实践。 （）A：对B：错答：A

9、飞桨是集核心框架、工具组件和服务平台为一体的技术先进、功能完备的开源深度学习平台，已中企业广泛使用，（）A：错B：对答：B

10、TensorFlow由微软团队开发和维护。 （）A：对B：错答：B##第一章测试

11、最早在达特茅斯会议室提出工智能概念的科学家是（）。 A：麦卡锡B：冯·诺依曼C：香农D：图灵答：A

12、工智能的英文缩写是（）。 A：Artificial Intelligence B：Automatic Information C：Artificial Information D：Automatic Intelligence答：A

13、工智能就是形机器。 （）A：对B：错答：B

14、计算驱动导致工智能的发展走入低谷的主要原因是计算能力有限。 （）A：错B：对答：B

15、下面的哪些属于工智能域的应用。 （）A：脸支付B：扫地机器C：讯飞语音识别D：小爱音箱E：答：ABCDE

智慧树网工智能

1、家和教育部对工智能普及教育高度重，了解工智能基础知识是工智能新时代的需求；

2、工智能极大影响了类社会交流方式、思维方式和解决问题的方法，需要普及工智能相关知识以应对变革的到来；

3、目前各行各业“工智能+专业”的发展趋势必然会扩大对工智能类复合才的需求，需要各行各业的学习者了解和使用工智能技术。