数据收集要点

• 明确目标：依据AI应用的具体场景和目标确定所需数据类型和范围。如开发图像识别疾病诊断系统，需收集各类疾病相关的医学影像数据；构建智能客服，要收集常见问题及对应答案文本数据。

• 确保数据质量：保证数据的准确性、完整性和一致性。准确的数据是模型正确学习的基础，完整的数据能避免模型因信息缺失产生偏差，一致的数据格式和定义有助于后续处理。

• 合法合规：严格遵守相关法律法规和道德准则收集数据，确保数据来源合法，保护用户隐私和数据安全。比如获取用户个人数据时，需获得明确授权。

• 多源数据融合：从多个渠道收集数据，丰富数据多样性。例如开发智能交通系统，可结合交通摄像头图像、车辆传感器数据、地图数据等，提升模型对复杂交通状况的理解和处理能力。

• 数据规模：收集足够数量的数据以支持模型训练，但也要避免数据冗余。数据量过少，模型难以学习到数据的普遍规律；数据过多可能增加计算成本和处理难度。

数据预处理要点

• 数据清洗

• 处理缺失值：可根据情况选择删除含缺失值的记录，或采用均值、中位数、众数填充，也可使用机器学习算法预测填充。

• 去除重复值：检查并删除数据集中的重复记录，减少数据冗余。

• 纠正错误值：识别并修正数据中的错误，如格式错误、逻辑错误等。

• 数据标准化与归一化

• 标准化：将数据转换为均值为0、标准差为1的分布，适用于数据分布接近正态分布的情况，能使不同特征具有相同尺度，提高模型训练效率。

• 归一化：将数据缩放到[0,1]或其他指定区间，常用于神经网络等模型，避免某些特征因数值范围大而对模型产生过大影响。

• 特征提取与选择

• 特征提取：从原始数据中提取更具代表性和区分度的特征。如在图像数据中，通过卷积操作提取图像的边缘、纹理等特征。

• 特征选择：筛选出对模型预测最有价值的特征，去除无关或冗余特征，减少模型复杂度，提高训练速度和泛化能力。可采用过滤法、包装法、嵌入法等进行特征选择。

• 数据平衡：当数据集中不同类别样本数量差异较大时，会导致模型偏向多数类。可通过过采样少数类样本（如SMOTE算法）、欠采样多数类样本等方法平衡数据。

• 数据划分：将预处理后的数据划分为训练集、验证集和测试集。训练集用于模型学习，验证集用于调整模型参数和评估模型性能，测试集用于最终评估模型的泛化能力，一般按7:2:1或8:1:1的比例划分。