人工智能

人工智能 (AI) 是一组使计算机能够模拟人类智能，从而学习、推理、解决问题、感知环境并执行高级任务（如语言理解、图像识别）的技术。作为计算机科学的一个分支，它通过处理海量数据、应用机器学习和深度学习算法来不断优化，被广泛应用于自动驾驶、医疗诊断和智能助手等各行各业。

核心概览：

• 定义：是指制造智能机器的科学与工程，致力于让计算机模拟人类的学习、判断和行动。
• 三大核心要素：算力、算法、数据。
• 关键分类：
  • 弱人工智能 (ANI)：专注特定任务的AI（如Apple Siri、AlphaGo、图像识别），是目前普遍应用的类型。
  • 通用人工智能 (AGI)：具备与人类相当的广泛智慧，能执行任何智能任务。
  • 超级人工智能 (ASI)：理论上在所有领域远超人类智能的AI。
• 主要子领域：
  • 机器学习 (ML)：让计算机通过经验和数据自主学习。
  • 深度学习 (DL)：一种多层神经网络机器学习技术，是当前人工智能突破的主力。
  • 自然语言处理 (NLP)：实现人机自然语言交流。
  • 计算机视觉：赋予机器看和识别物体的能力。
• 当前应用：生成式AI（如ChatGPT生成文本、图像）、自动驾驶汽车、数据分析挖掘、医疗诊断、金融风控等。

人工智能正迅速改变世界，是一项以数据驱动决策并最大化成功机会的变革性技术。

机器学习

机器学习是人工智能的一个分支，向系统输入大量数据后，系统会使用神经网络和深度学习进行自主学习和改进，无需对其明确编程。机器学习可让计算机系统通过累积更多“经验”来不断调整并增强自身功能，因此，通过提供更大、更多样化的数据集进行处理，可以提高这些系统的性能。

深度学习

深度学习（Deep Learning）是机器学习的一个子集，基于多层人工神经网络模拟人脑处理数据，擅长从海量数据中自动学习复杂的非线性特征。它无需人工干预即可进行特征提取（如卷积神经网络 CNN、循环神经网络 RNN），广泛应用于计算机视觉、语音识别和自然语言处理等领域。其核心在于通过隐藏层逐层抽象数据信息。

深度学习的核心原理与特点

• 多层神经网络架构： 深度学习的“深度”是指网络中拥有多个隐藏层，能够层层处理、提取不同级别的特征（从低级边缘到高级物体）。
• 自动化特征工程： 区别于传统机器学习，深度学习能自动从原始数据中学习有效的表征，避免了手动设计特征的繁琐和限制。
• 依赖大数据和大算力： 其性能随数据量增加而提升，处理复杂任务需要强大的计算资源。

常见深度学习模型类型

• 卷积神经网络(CNN)： 擅长处理图像和视频数据，通过卷积和池化过滤图片信息。
• 循环神经网络(RNN/LSTM)： 专门处理时序数据或序列数据，具备记忆前一层信息的能力。
• 生成对抗网络(GAN)： 通过生成器与判别器的博弈提升输出准确率，常用于图像生成。

主要应用领域

1. 计算机视觉：人脸识别、物体检测、自动驾驶。
2. 语音与自然语言处理：语音转文字、机器翻译、智能对话助手。
3. 预测与分析：数据集中的复杂模式分析与见解生成。

深度学习不仅能模拟生物神经网络的运作，更是目前解决强人工智能技术中最具潜力的途径之一。

人工智能中包括机器学习，机器学习中又包括深度学习。

img

机器学习相关概念

名称	英文	所属层级	严格定义	在数据中的位置	主要作用	示例
样本	Sample	行级	数据集中的一条独立观测记录	一行	表示一个研究对象	一条用户记录 / 一封邮件 / 一套房
特征	Feature	列级（输入）	描述样本属性的输入变量	多列	作为模型输入	年龄、面积、点击次数
标签	Label / Target	列级（输出）	样本对应的真实结果值	通常1列	作为监督学习的目标	是否违约、房价、类别
训练集	Training Set	数据子集	用于训练模型参数的数据集合	样本子集	让模型学习规律	用来“拟合”模型
测试集	Test Set	数据子集	用于评估模型效果的数据集合	样本子集	检验泛化能力	用来“打分”模型

学习类型	是否需要标签	核心目标	典型任务	输出形式	训练方式
有监督学习	必须有	学习输入→输出映射	分类、回归	预测值	用已知答案训练
无监督学习	不需要	发现数据结构	聚类、降维	结构/分组	自动找模式
半监督学习	少量有标签	利用未标注数据	分类	预测值	混合训练
强化学习	没有固定标签	学习最优策略	决策控制	动作策略	奖励驱动

机器学习的建模流程

特征工程

特征：数据集中，一列一列的数据为特征；模型训练中，对预测结果有用的叫特征。

特征工程：利用专业背景知识和技巧处理数据，让机器学习算法效果最好。

特征工程是机器学习周期中最困难、最耗时的任务，需要专业知识。

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

特征提取

从原始任务中提取和任务相关的特征，构成特征向量。

image-20260213220530106

image-20260213220533640

特征预处理

特征会影响模型。因量纲问题，有些特征对模型影响大，有些影响小。如通过一个人的身高和体重预测这个人的健康状况，如果身高的单位是cm和m，对模型的影响就不一样。

image-20260213220653085

将不同的单位的特征数据转换成同一个范围内，使训练数据中不同特征对模型产生较为一致的影响。

特征降维

将原始数据的维度降低，叫做特征降维。

image-20260213220728913

降维会丢失部分信息，降维就需要保证数据的主要信息要保留下来。原始数据会发生变化，不需要了解数据本身是什么含义，它保留了最主要的信息。

image-20260213220801239

从特征中选择出一些重要特征（选择就需要根据一些指标来选择），特征选择不会改变原来的数据。

模型拟合

在机器学习或统计建模中，通过已有数据去“训练”一个数学模型，使模型参数被确定下来，从而让模型输出尽可能接近真实结果的过程。

image-20260213220822860

如果模型对训练集理解好，测试集理解也好，能泛化到新数据，就称为拟合良好。

如果模型对训练集和测试集理解都不好，就称为欠拟合，比如用一条直线去拟合明显弯曲的数据。

如果模型对测试集理解良好，但是测试集理解不好，就称为过拟合，好像把每个训练点都“死记硬背”。

维度	拟合良好（Good Fit）	过拟合（Overfitting）	欠拟合（Underfitting）
基本定义	模型正确捕捉主要规律	模型把噪声也当成规律	模型没有学到有效规律
训练集误差	低	很低	高
测试集误差	低	高	高
泛化能力	强	弱	弱
模型复杂度	合适	过高	过低
对数据模式	抓住趋势	记住细节	忽略结构
曲线形态类比	平滑贴合趋势	过度弯曲抖动	过于简单僵直
是否学习噪声	不会	会	基本没学到
常见原因	特征与模型匹配	参数太多、模型太复杂、数据少	模型太简单、特征不足
训练时表现	稳定收敛	训练效果极好	训练效果也不好
新数据表现	稳定	明显变差	依旧很差
典型例子	合理阶数的回归曲线	高阶多项式强行穿点	用直线拟合非线性关系
改进方向	保持或微调	降复杂度、加正则、加数据	增复杂度、加特征、延长训练

scikit-learn

基于 Python 的 scikit-learn 库是机器学习的库之一，特点：

1. 简单高效的数据挖掘和数据分析工具；
2. 可供大家使用，可在各种环境中重复使用；
3. 建立在 NumPy，SciPy 和 matplotlib 上；
4. 开源，可商业使用-获取 BSD 许可证。

安装：pip install scikit-learn

版权所有

许可证：署名 4.0 国际 (CC-BY-4.0)

上一页Matplotlib

下一页KNN 算法