API参考
评估
模型性能评估
来源
evaluate
使用不同指标评估预测结果。
| 类型 | 默认值 | 详情 | |
|---|---|---|---|
| df | AnyDFType | 要评估的预测结果。 必须包含 id_col、time_col、target_col以及模型的预测结果。 | |
| metrics | List | 带有参数 df、models、id_col、target_col以及可选参数train_df的函数。 | |
| models | 可选 | None | 要评估的模型名称。 如果为 None,将使用 dataframe 中移除 id、时间 和 目标列后的所有列。 | 
| train_df | 可选 | None | 训练集。用于评估如 mase等指标。 | 
| level | 可选 | None | 预测区间级别。用于计算依赖于分位数的损失。 | 
| id_col | str | unique_id | 标识每个时间序列的列。 | 
| time_col | str | ds | 标识每个时间步的列,其值可以是时间戳或整数。 | 
| target_col | str | y | 包含目标值的列。 | 
| agg_fn | 可选 | None | 按id计算得分的统计量,将其汇总为单个数值。 | 
| 返回值 | AnyDFType | 指标结果,每行表示一个 (id, metric) 组合,每列表示一个模型。 如果 agg_fn不为None,则每种指标只有一行结果。 | 
| unique_id | metric | model0 | model1 | |
|---|---|---|---|---|
| 0 | 0 | mae | 0.158108 | 0.163246 | 
| 1 | 1 | mae | 0.160109 | 0.143805 | 
| 2 | 2 | mae | 0.159815 | 0.170510 | 
| 3 | 3 | mae | 0.168537 | 0.161595 | 
| 4 | 4 | mae | 0.170182 | 0.163329 | 
| … | … | … | … | … | 
| 175 | 5 | scaled_crps | 0.034202 | 0.035472 | 
| 176 | 6 | scaled_crps | 0.034880 | 0.033610 | 
| 177 | 7 | scaled_crps | 0.034337 | 0.034745 | 
| 178 | 8 | scaled_crps | 0.033336 | 0.032459 | 
| 179 | 9 | scaled_crps | 0.034766 | 0.035243 | 
| metric | model0 | model1 | |
|---|---|---|---|
| 0 | calibration_q0.025 | 0.000000 | 0.000000 | 
| 1 | calibration_q0.1 | 0.000000 | 0.000000 | 
| 2 | calibration_q0.9 | 0.833993 | 0.815833 | 
| 3 | calibration_q0.975 | 0.853991 | 0.836949 | 
| 4 | coverage_level80 | 0.833993 | 0.815833 | 
| 5 | coverage_level95 | 0.853991 | 0.836949 | 
| 6 | mae | 0.161286 | 0.162281 | 
| 7 | mape | 0.048894 | 0.049624 | 
| 8 | mase | 0.966846 | 0.975354 | 
| 9 | mqloss | 0.056904 | 0.056216 | 
| 10 | mse | 0.048653 | 0.049198 | 
| 11 | quantile_loss_q0.025 | 0.019990 | 0.019474 | 
| 12 | quantile_loss_q0.1 | 0.067315 | 0.065781 | 
| 13 | quantile_loss_q0.9 | 0.095510 | 0.093841 | 
| 14 | quantile_loss_q0.975 | 0.044803 | 0.045767 | 
| 15 | rmse | 0.220357 | 0.221543 | 
| 16 | scaled_crps | 0.035003 | 0.034576 | 
| 17 | smape | 0.024475 | 0.024902 | 

