HCIE数据挖掘笔记-005数据挖掘专业名词
数据对象和属性类别：
数据一般有噪声，数量庞大，且来自不同的数据源
数据集由数据对象组成，一个数据对象代表一个实体
数据对象：样本、实例、数据点、对象
数据对象以数据元组的形式存放在数据库中，数据库的行对应于数据对象，列对应于属性
属性是一个数据字段，与维、特征、变量对应
维 用于数据仓库中
特征 用于机器学习中
变量 用于统计学中
属性的类型 值域
属性有四大类：
标称属性：只代表某种类别，不具有意义的序（无排序）例如第一食堂、第二食堂这种也是不具有意义的序
二元属性：标称属性的一种特殊情况 ，只有0/1
序数属性：顺序有意义，相继值之间的差是未知的，各值之间可以相互比较，但不一定是数字（比如白金会员、超级会员等）
数值属性：定量的可度量的量，用整数或者实数表示。
区间标度属性：以相等的单位尺度度量
比例标度属性：具有固定零点的数值属性
数值属性和序数属性之间在某些情况下可以相互转换
额外两种类型：
离散型：有限个/无限个可数个数
连续性：数据具有连续性
离散型数据与连续型数据在一些情况下也可以相互转换（区间分割/加值等，一般把连续转换为离散）
数据集类型：数据对象有时叫做点
训练集：用于训练模型
测试集：用于测试模型，对比预测值与真实值。
验证集：用于调参，与测试集的区别为：验证集可以反复用，测试集仅用于一次测试
一般训练：测试：验证为6：2：2
当数据量很大，需使用GPU加速时：训练、测试、验证的比值为：8：1：1
在不适用验证集时训练集测试集比：
总数据在1w以下：7：3
总数据在1w以下：8：2
数据量大到需使用GPU加速训练：9：1
数据集的维度：一维数据、二维数据、多维数据、高维数据
数据集的稀疏性：在矩阵中，如果数值为0的元素远大于非0元素的个数，非0元素排列无规律十，称为稀疏矩阵；若非零元素占大多数时，称为稠密矩阵。（IE考试中记住概念即可）稀疏矩阵可以用于提升性能
数据集的分辨率：灰度计算、图片压缩等（使用K-means）
数据汇总统计：量化，用单个数或数的小集合捕获可能很大的值集的各种特征
中心趋势度量：均值、中位数和众数
文章图片
度量数据散步：极差、四分位数（四等分位：第25个百分位数、第50个百分位数、第75个百分位数、第100个百分位数）、方差、标准差、四分位数极差
【HCIE数据挖掘笔记-005数据挖掘专业名词】
文章图片
推荐阅读
- DL_数据增广|论文笔记之数据增广（1）（mixup）
- transformer论文_Transformer相关论文阅读笔记
- 卷积|YOLO论文系列笔记(中)
- 笔记|CSDN笔记入门——markdown语法详解
- Django|Vue+Django 2.0.6 学习笔记 5.10 drf过滤
- Django|Vue + Django 2.0.6 学习笔记 7.1 drf的token登录
- 打靶笔记-04-vulnhub-Jangow
- 爪哇学习笔记——JavaScript模块化变迁史
- Winbond W25QXX SPI Flash使用笔记
- 笔记|STM32使用W25QXX flash闪存芯片基于串口自由写入或读取数据