机器学习编程基础day01.pptx

机器学习基础课程day01,Contents,目,录,人工智能概述 机器学习概述及其开发流程（重点）机器学习基础开发环境的安装（次重点）Jupyter notebook概述及其使用（重点）Matplotlib简介（重点）,目标,TARGET,了解人工智能的概念 掌握机器学习的开发流程 知道机器学习开发环境的配置 熟练使用Jupyter notebook 知道使用matplotlib绘制简单的折线图,Section,章,节,人工智能概述科学计算库简介人工智能概述人工智能发展历程人工智能主要分支,目标,TARGET,了解人工智能在现实生活中的应用知道人工智能发展必备三要素知道人工智能和机器学习、深度学习三者之间的关系,1.人工智能概述,1.1 视频讲解,科学计算库简介,课程介绍,课程分配：,第01天：人工智能相关概念介绍及开发环境的配置 第02 03天：机器学习基础库的介绍以及使用 第04 07天：机器学习经典算法原理介绍,就业方向：,1、机器学习开发工程师,2、机器学习算法工程师,3、数据分析师,要求对常见机器学习算法有一定的了解，知道机器学习的一般开发流程。,要求熟悉常见机器学习算法的实现原理，能够结合具体的业务需求设计出合适的机器学习算法。,知道常见的数据分析工具的使用，对数据有一定的敏锐度，能快速的从数据中找到数据的发展趋势以及影响数据的因素。,课程介绍,系统的学习这门课程需要具备的前置知识点：,这些基础知识有助于大家后期学习并理解各种机器学习算法原理！,Section,章,节,人工智能概述人工智能概述人工智能发展历程人工智能主要分支,1.人工智能概述,2.1 视频讲解,什么是人工智能？有哪些应用场景？,1.人工智能概述,2.2 人工智能应用场景,被广泛应用于网络安全、电子商务、计算模拟、社交网络等场景中。,1.人工智能概述,2.3 知识检测,人工智能发展需要具备哪些要素？人工智能、机器学习、深度学习之间的关联？,1.人工智能概述,2.4 答案解析,数据：要想学习到数据中的一般规律，必须使用一定规模的数据去训练。算法：按照某一种规律去提取数据中有价值的信息，并作为算法中的重要参数保存。算力：算力的需求随着训练的数据规模呈指数级增长，充足的算力资源能够保证较高的开发效率。,人工智能发展需要具备哪些要素？,1.人工智能概述,2.4 答案解析,人工智能、机器学习、深度学习之间的关联？,人工智能：通过计算机科学的手段让机器具有类似人类行为或决策的能力的统称。,机器学习：是实现人工智能的途径，使用数据或以往的经验来优化计算机性能，提升机器的智能程度。,深度学习：是机器学习研究领域中的一个方向，学习样本数据的内在规律和表示层次，让机器具有和人近似的分析、学习和识别的能力。,Section,章,节,人工智能概述人工智能概述人工智能发展历程人工智能主要分支,目标,TARGET,了解人工智能的发展历程,1.人工智能概述,3.1 视频讲解,人工智能是如何发展起来的？,1.人工智能概述,3.2 人工智能的起源,图灵测试-测试机器的智能化程度达特茅斯会议-初步确定人工智能的概念及能够解决的问题,1.人工智能概述,3.3 人工智能发展的六个阶段 起步阶段-1952年IBM公司的阿瑟萨缪尔研制了一个西洋跳棋程序并下赢了自己。反思阶段-期望过高，人工智能并没有给人类生活带来实质上的提升。应用发展期-将理论研究推向实际应用，并在多领域取得实质性的进展。低迷发展期-诸多问题暴露，数据量少、数据提取困难、分布式存储等等。稳步发展期-IBM公司研发的深蓝超级计算机战胜了国际象棋世界冠军卡斯帕罗夫。蓬勃发展期-依托大数据、云计算、互联网、物联网等信息技术的快速发展，人工智能技术迎来了爆发式增长和应用。,Section,章,节,人工智能概述人工智能概述人工智能发展历程人工智能主要分支,目标,TARGET,了解人工智能的主要分支,1.人工智能概述,4.1 视频讲解,人工智能有哪些主要分支？,1.人工智能概述,4.2 主要分支介绍 计算机视觉（Computer Vision）例：人脸识别、图像分类 自然语言处理（Natural Language Processing）例：语音识别、文本挖掘及分类、机器翻译 智能机器人（Robotics）,Section,章,节,机器学习概述及其开发流程机器学习定义工作流程概述机器学习工作流程各步骤解释机器学习算法分类介绍模型评估Azure机器学习平台实验演示1Azure机器学习平台实验演示2深度学习简介,目标,TARGET,知道机器学习的定义 知道机器学习的工作流程 知道数据集的划分及依据 知道特征工程的概念及常用方法,2.机器学习概述及其开发流程,5.1 视频讲解,机器学习的工作流程是怎样的？,2.机器学习概述及其开发流程,5.2 知识检测,机器学习的定义？机器学习的工作流程？,2.机器学习概述及其开发流程,5.3 答案解析,机器学习的定义？,从数据中自动分析获得模型，并利用模型对未知数据进行预测。,2.机器学习概述及其开发流程,5.3 答案解析,机器学习的工作流程？,Section,章,节,机器学习概述及其开发流程机器学习定义工作流程概述机器学习工作流程各步骤解释机器学习算法分类介绍模型评估Azure机器学习平台实验演示1Azure机器学习平台实验演示2深度学习简介,目标,TARGET,知道机器学习的具体开发流程 知道数据集的基本概念,2.机器学习概述及其开发流程,6.1 视频讲解,机器学习的具体开发流程是怎样的？,2.机器学习概述及其开发流程,6.2 知识检测,机器学习的开发流程是怎样的？数据集的特点及其划分依据？特征工程的概念？常用的方法有哪些？,2.机器学习概述及其开发流程,6.3 答案解析,机器学习的开发流程是怎样的？,1、获取数据,2、数据的预处理（广义）,3、特征工程（非常重要，耗时、费力、对最终结果影响巨大！）,4、算法模型的训练,5、算法模型的评估,2.机器学习概述及其开发流程,6.3 答案解析,数据集的特点及其划分依据？,样本和特征：,数据集的分割：按照比例将样本集中的所有样本分割成训练集和测试集（经验值：7比3）。,2.机器学习概述及其开发流程,6.3 答案解析,数据集的特点及其划分依据？,特征值和目标值：,数据集的分类,有特征值、有目标值,只有特征值、没有目标值,特征值：是用来描述样本的一些变量（variables），也叫做维度（dimensions）。,目标值：用来定义样本的值是多少，或者样本是什么（分类），也叫做标签（labels）。,Section,章,节,机器学习概述及其开发流程机器学习定义工作流程概述机器学习工作流程各步骤解释机器学习算法分类介绍模型评估Azure机器学习平台实验演示1Azure机器学习平台实验演示2深度学习简介,目标,TARGET,知道常见算法的分类及其依据,2.机器学习概述及其开发流程,7.1 视频讲解,机器学习中有哪些常用算法？,2.机器学习概述及其开发流程,7.2 知识检测,机器学习中常用的算法有哪些？机器学习中的算法如何分类？,2.机器学习概述及其开发流程,7.3 答案解析,机器学习中常用的算法有哪些？如何分类？,常见算法分类,监督学习,无监督学习,半监督学习,强化学习,目标值连续：回归,目标值离散：分类,无目标值，根据样本的特征进行聚类,只有部分样本有目标值,目的是得到能获得更多奖励的一系列决策过程,输入动态的数据，决策+回报函数,Section,章,节,机器学习概述及其开发流程机器学习定义工作流程概述机器学习工作流程各步骤解释机器学习算法分类介绍模型评估Azure机器学习平台实验演示1Azure机器学习平台实验演示2深度学习简介,目标,TARGET,知道机器学习中模型评估的方法 知道过拟合、欠拟合发生的情况,2.机器学习概述及其开发流程,8.1 视频讲解,机器学习中有哪些模型评估的方法？,2.机器学习概述及其开发流程,8.2 知识检测,机器学习中常用的模型评估的方法有哪些？机器学习中的拟合问题产生的原因是什么？,2.机器学习概述及其开发流程,8.3 答案解析,机器学习中常用的模型评估的方法有哪些？（分类模型）,1）准确率：预测正确的样本占样本总数的比例。2）精确率：正确预测为正例的样本占全部预测为正例的比例。3）召回率：正确预测为正例的样本占全部为正例的样本的比例。4）F1-score：主要用于评估模型的稳健性。5）AUC指标：主要用于二分类场景中样本不均衡情况下的模型评估。,2.机器学习概述及其开发流程,8.3 答案解析,机器学习中常用的模型评估的方法有哪些？（回归模型）,MAE,RAE,R2,SSE：误差平方和,SST：总平方和,RMSE:,RSE:,结果越接近1表示算法模型拟合的效果越好。,MAE,RAE,2.机器学习概述及其开发流程,8.3 答案解析,机器学习中的拟合问题产生的原因是什么？,欠拟合和过拟合:,欠拟合：模型学习到的特征较少，导致模型对未知数据的预测能力过低。,过拟合：模型学习到的特征较多（异常数据，噪声），导致模型对未知数据的预测能力同样过低。,注意：欠拟合和过拟合都是针对对未知数据的预测（拟合）能力而言的。,Section,章,节,机器学习概述及其开发流程机器学习定义工作流程概述机器学习工作流程各步骤解释机器学习算法分类介绍模型评估Azure机器学习平台实验演示1Azure机器学习平台实验演示2深度学习简介,目标,TARGET,了解使用azure机器学习平台的目的,2.机器学习概述及其开发流程,9.1 视频讲解,学习Azure平台有什么作用？,2.机器学习概述及其开发流程,9.2 知识检测,请说一下你对Azure机器学习平台的理解？,2.机器学习概述及其开发流程,9.3 答案解析,请说一下你对Azure机器学习平台的理解？,Azure Machine Learning（简称“AML”）是微软在其公有云Azure上推出的基于Web使用的一项机器学习服务，机器学习属人工智能的一个分支，它技术借助算法让电脑对大量流动数据集进行识别。这种方式能够通过历史数据来预测未来事件和行为，其实现方式明显优于传统的商业智能形式。微软的目标是简化使用机器学习的过程，以便于开发人员、业务分析师和数据科学家进行广泛、便捷地应用。这款服务的目的在于“将机器学习动力与云计算的简单性相结合”。,Section,章,节,机器学习概述及其开发流程机器学习定义工作流程概述机器学习工作流程各步骤解释机器学习算法分类介绍模型评估Azure机器学习平台实验演示1Azure机器学习平台实验演示2深度学习简介,目标,TARGET,知道机器学习开发流程,2.机器学习概述及其开发流程,10.1 视频讲解,如何使用Azure平台模拟机器学习开发流程？,2.机器学习概述及其开发流程,10.2 知识检测,使用Azure机器学习平台的目的是什么？机器学习的一般开发流程是怎样的？,2.机器学习概述及其开发流程,10.3 答案解析,机器学习的一般开发流程是怎样的？,1）获取数据2）数据的预处理3）特征工程4）算法模型训练5）算法模型评估,使用Azure机器学习平台的目的是什么？,通过这样的应用平台让大家大致了解整个机器学习的开发流程。,Section,章,节,机器学习概述及其开发流程机器学习定义工作流程概述机器学习工作流程各步骤解释机器学习算法分类介绍模型评估Azure机器学习平台实验演示1Azure机器学习平台实验演示2深度学习简介,目标,TARGET,了解什么是深度学习,2.机器学习概述及其开发流程,11.1 视频讲解,什么是深度学习？,2.机器学习概述及其开发流程,11.2 知识检测,