免费扑克网站如何快速搭建一个网站
1. 前言
模型检验是数据科学项目中至关重要的步骤，确保模型的质量，可靠性和实用性。
模型检验的主要目的是评估模型的性能，验证其在实际应用中的效果，以及防止模型出现过拟合，欠拟合或其他潜在问题。
在日常学习工作中，我们常常使用sklearn中的metrics包，富含了许多模型检验函数。
#安装方式1:命令行与终端安装
pip install -U scikit-learn#安装方式2:基于Anaconda环境
conda install scikit-learn
from sklearn.metrics import ###2. 分类模型
2.1 评价指标
精准率（Accuracy）
正确分类样本数量与总样本数量的百分比
accuracy_score(y_true,y_pred)
精确率（Precision）
正确预测为正类的样本数占所有预测为正类的样本数的比例
•适用场景：任务关注的是预测为正类的样本是否真的为正类时
precision_score(y_true,y_pred,average='None/macro/micro/weighted')| 参数 | 用途 | 适用场景 |
| binary | 适用于二分类问题，只会计算正类（通常标签为1）的精确率 | 二分类问题 |
| micro | 计算全局精确率，所有类别加总进行计算 | 多分类问题 |
| macro | 计算每个类别的Precision，然后取平均 | 每个类别给予相同的权重 |
| weighted | 计算每个类别精确率，按照各个类别样本数量进行加权平均 | 类别样本数量不平衡时 |
| samples | 计算每个样本的精确率，然后对所有样本取平均 | 多标签分类问题，其中每个样本可以同时属于多个类别 |
召回率（Recall）
正确预测为正类的样本占所有实际为正类的样本数的比例
•适用场景：关注的是所有正类样本是否被找出来时
recall_socre(y_true,y_pred,average='binary')参数同precision
F1-score
2 * Recall*Precision / （Recall+Precision）
•适用场景：平衡Precision与Recall，尤其是样本类别分布不均时适用。
f1_score(y_true,y_pred,average='binary')分类报告
生成包含精确率，召回率，F1-score和支持度的分类报告。
from sklearn.metrics import classification_report
classification_report(y_true,y_pred)
2.2 ROC曲线
roc曲线横坐标与纵坐标也是两个评价指标，在每个阈值的情况下，模型指标数值也会随之改变，依次描点得来。
横坐标：FPR = FP / （FP+TN）表示为实际为负类样本中，被错误预测为正类的比例
纵坐标：Recall - 正确预测为正类的样本占所有实际为正类的样本数的比例
换个理解方式，横坐标向右移动，代表模型预测负类样本错误率就越高
纵坐标向上移动，模型预测正类样本的正确率就越高
所以根据ROC曲线，越靠近（0，1）的点，模型预测效果就越好。
from sklearn.metrics import roc_curve,roc_auc_score
fpr,tpr,thresholds = roc_curve(y_true,y_proba)注意：此处所填充数据不是y_pred，而是y_proba预测概率，以此确定在不同阈值下模型的分类效果
model.predict_proba(X_test)
y_proba = model.predict_proba(X_test)[:,1]
#返回一个二维数组，例如[0.7,0.3]；表示70%概率属于第一个类别（0，负类），30%概率为正类（1）
#清洗数据时一般默认0为负类，1为正类import matplotlib.pyplot as plt
plt.figure()
plt.plot(fpr,tpr,color='blue')
plt.plot([0,1],[0,1],'--',color='red')
plt.plot(best_fpr,best_tpr,marker='o',markersize=8,color='black')
plt.text(best_fpr,best_tpr+0.1,'best threshold')
plt.xlabel('FPR')
plt.ylabel('TPR')
plt.title('ROC curve')基于最靠近（0，1）的点选择最佳阈值：
AUC
表示ROC曲线与坐标轴之间的面积，面积越大，说明该模型预测效果越好
from sklearn.metrics import roc_auc_socre
roc_auc_score(y_true,y_proba)更深入了解请参考：超简单白话文机器学习 - 模型检验与评估（含算法介绍，公式，源代码实现以及调包实现）_机器学习模型检验-CSDN博客
2.3 混淆矩阵
混淆矩阵是一种用于评估分类模型性能的工具，特别是在二分类问题中。直观展示模型在不同类别上的预测结果，了解模型分类准确率以及各种类型的错误。
列表示样本实际类别，行表示样本预测类别。
基于预测与真实判断时真假，预测值决定P与N。
| 实际｜预测 | 预测为负 Negative | 预测为正 Positive |
| 实际为负 Negative | TN | FP |
| 实际为正 Positive | FN | TP |
form sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_true,y_pred)这样生成出来的混淆矩阵较为简陋，数据分析有时需要让数据更加直观，可视图更加直观
seaborn
import seaborn as ins
sns.heatmap(cm,annot=True,fmt='d',cmap='YlGnBu',cbar=True)
#annot指定在图中是否显示数值
#fmt数值显示类型 .2f显示小数
#cmap配色方案，例如'Viridis','coolwarm','Blues'
#cbar是否显示颜色条
ConfusionMatrixDisplay
from sklearn.metrics import ConfusionMatrixDisplay
CM = ConfusionMatrixDisplay(cm)
CM.plot(cmap='')
也可以直接从模型中生成混淆矩阵
ConfusionMatrixDisplay.from_estimator(model,X_test,y_test,cmap='Blues')
plt.show()
3. 回归模型
3.1 评价指标
| 指标 | 函数 | 用途 |
| 均方误差（MSE） | mean_squared_error(y_true,y_pred,squared=True) | 计算模型均方误差，预测值与实际值之间的误差；squared=False时计算RMSE（MSE取平方根） |
| 平均绝对误差（MAE） | mean_absolute_error(y_true,y_pred) | 计算模型的平均绝对误差 |
| 中位数绝对误差 | median_absolute_error(y_true,y_pred) | 计算模型中位数绝对误差 |
3.2 系数
R²（决定系数）
决定系数（Coefficient of Determination），通常表示为 R²，是一种用于评估回归模型拟合优度的统计指标。它表示因变量的变异性能够由模型解释的比例，即模型对数据的拟合程度。
R² 的取值范围在 0 到 1 之间。一个较高的 R² 值表示模型能够较好地解释因变量的变异性，即模型的拟合程度较好。
计算方式如下：
其中SSres表示预测值与实际值之间差异的平方和（越小越好），模型无法解释的因变量的剩余变异性，即模型无法完全拟合的部分； 1 - SSres则表示模型可以解释的部分：
SStot表示实际值与均值之间差异的平方和，其意义在于没有考虑任何自变量的情况下，因变量的总变异性：
R² 只能衡量模型对因变量的拟合优度，但不能判断模型是否具有因果关系、是否过拟合或是否适合应用于其他数据集。
from sklearn.metrics import r2_score
r2 = r2_score(y_true,y_predict)#或者使用model.score方法
r2_alternative = model.score(X_test,y_test)4. 参考资料：
超简单白话文机器学习 - 模型检验与评估（含算法介绍，公式，源代码实现以及调包实现）_机器学习模型检验-CSDN博客
均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）、决定系数（R²）解释-CSDN博客