API参考
评估
模型性能评估
来源
evaluate
使用不同指标评估预测结果。
类型 | 默认值 | 详情 | |
---|---|---|---|
df | AnyDFType | 要评估的预测结果。 必须包含 id_col 、time_col 、target_col 以及模型的预测结果。 | |
metrics | List | 带有参数 df 、models 、id_col 、target_col 以及可选参数 train_df 的函数。 | |
models | 可选 | None | 要评估的模型名称。 如果为 None ,将使用 dataframe 中移除 id、时间 和 目标列后的所有列。 |
train_df | 可选 | None | 训练集。用于评估如 mase 等指标。 |
level | 可选 | None | 预测区间级别。用于计算依赖于分位数的损失。 |
id_col | str | unique_id | 标识每个时间序列的列。 |
time_col | str | ds | 标识每个时间步的列,其值可以是时间戳或整数。 |
target_col | str | y | 包含目标值的列。 |
agg_fn | 可选 | None | 按id计算得分的统计量,将其汇总为单个数值。 |
返回值 | AnyDFType | 指标结果,每行表示一个 (id, metric) 组合,每列表示一个模型。 如果 agg_fn 不为 None ,则每种指标只有一行结果。 |
unique_id | metric | model0 | model1 | |
---|---|---|---|---|
0 | 0 | mae | 0.158108 | 0.163246 |
1 | 1 | mae | 0.160109 | 0.143805 |
2 | 2 | mae | 0.159815 | 0.170510 |
3 | 3 | mae | 0.168537 | 0.161595 |
4 | 4 | mae | 0.170182 | 0.163329 |
… | … | … | … | … |
175 | 5 | scaled_crps | 0.034202 | 0.035472 |
176 | 6 | scaled_crps | 0.034880 | 0.033610 |
177 | 7 | scaled_crps | 0.034337 | 0.034745 |
178 | 8 | scaled_crps | 0.033336 | 0.032459 |
179 | 9 | scaled_crps | 0.034766 | 0.035243 |
metric | model0 | model1 | |
---|---|---|---|
0 | calibration_q0.025 | 0.000000 | 0.000000 |
1 | calibration_q0.1 | 0.000000 | 0.000000 |
2 | calibration_q0.9 | 0.833993 | 0.815833 |
3 | calibration_q0.975 | 0.853991 | 0.836949 |
4 | coverage_level80 | 0.833993 | 0.815833 |
5 | coverage_level95 | 0.853991 | 0.836949 |
6 | mae | 0.161286 | 0.162281 |
7 | mape | 0.048894 | 0.049624 |
8 | mase | 0.966846 | 0.975354 |
9 | mqloss | 0.056904 | 0.056216 |
10 | mse | 0.048653 | 0.049198 |
11 | quantile_loss_q0.025 | 0.019990 | 0.019474 |
12 | quantile_loss_q0.1 | 0.067315 | 0.065781 |
13 | quantile_loss_q0.9 | 0.095510 | 0.093841 |
14 | quantile_loss_q0.975 | 0.044803 | 0.045767 |
15 | rmse | 0.220357 | 0.221543 |
16 | scaled_crps | 0.035003 | 0.034576 |
17 | smape | 0.024475 | 0.024902 |