0. 课程大纲

  • 机器学习
    • 线性回归、逻辑回归、k-近邻、朴素贝叶斯、支持向量机、决策树、随机森林、k-Means、主成分分析…
  • 深度学习
    • 卷积神经网络、循环神经网络、图神经网络、预训练模型…
  • 大语言模型
  • 智能软件工程

1. 概论

1.1 机器学习

1.1.1 机器学习定义

机器学习(Machine Learning)是一种通过模型和算法使计算机从数据中自动学习并进行预测、决策或生成内容等的技术。核心目标是让计算机在没有明确编程指令的情况下，通过对大量数据的分析，识别模式和规律，从而构建适应新数据的模型。

一个计算机程序利用经验E来学习任务T，性能是P，如果针对任务T的性能P随着经验E不断增长，则称为机器学习。

1.1.2 机器学习分类

按训练过程是否使用标签，可分为：

  • 监督学习 Supervised Learning
  • 无监督学习 Unsupervised Learning
  • 半监督学习 Semi-Supervised Learning

监督学习是在已知“正确答案(label)”的情况下去训练模型，比如已知谁是男谁是女，让机器去学习判断。而非监督学习则是不知道具体标签或者只有相同的标签，没有预设的正确答案，机器只能自行去划分有几类。

按任务类型不同，可分为：

  • 回归 Regression
  • 分类 Classification
  • 聚类 Clustering
  • 降维 Dimensionality Reduction
  • 生成 Generation
  • …

按集成策略不同，可分为：

  • 单学习器 Single-Model Learning
  • 集成学习器 Ensemble Learning

单学习器通常只有一个模型（比如一棵决策树、一个SVM），而集成学习器是由多个模型（基学习器）组合而成

按模型规模不同，可分为：

  • 小模型 Tiny Models
  • 大模型 Large Models

按应用场景不同，可分为：

  • 异常检测 Anomaly Detection
  • 推荐系统 Recommendation Systems
  • 信息检索 Information Retrieval
  • …

1.1.3 数据集划分

  • 训练集+测试集=全部数据
  • 训练集+验证集+测试集=全部数据

1.2 深度学习

深度学习(Deep Learning)是机器学习的一个子集，使用人工神经网络来处理和分析数据。神经网络由计算节点组成，这些节点分布于深度学习算法中的各层。每层都包括输入层、输出层和隐藏层。当神经网络除了输入层和输出层之外还包括多个隐藏层时，便被视为深度神经网络，而深度神经网络是深度学习的基础。