Autoformer
Autoformer 模型解决了在长期预测中寻找复杂时间模式可靠依赖关系的挑战。
该架构具有以下显著特点： - 基于移动平均滤波器的内置趋势和季节分量渐进分解。 - 通过计算自相关并根据周期性聚合相似子序列来发现基于周期的依赖关系的自相关机制。 - Vaswani 等人 (2017) 提出的经典编码器-解码器，带有多头注意力机制。
Autoformer 模型采用三部分方法来定义其嵌入： - 它使用从卷积网络获得的编码自回归特征。 - 使用从日历特征获得的绝对位置嵌入。
参考文献
- Wu, Haixu, Jiehui Xu, Jianmin Wang, and Mingsheng Long. “Autoformer: 具有自相关分解 Transformer 的长期序列预测”
1. 辅助函数
来源
解码器
Autoformer 解码器
来源
解码器层
带有渐进分解架构的 Autoformer 解码器层
来源
编码器
Autoformer 编码器
来源
编码器层
带有渐进分解架构的 Autoformer 编码器层
来源
层归一化
专门为季节部分设计的层归一化
来源
自相关层
自相关层
来源
自相关
自相关机制包含以下两个阶段：(1) 基于周期的依赖关系发现 (2) 时间延迟聚合 该模块可以无缝取代自注意力系列机制。
2. Autoformer
来源
Autoformer
*Autoformer
Autoformer 模型解决了在长期预测中寻找复杂时间模式可靠依赖关系的挑战。
该架构具有以下显著特点： - 基于移动平均滤波器的内置趋势和季节分量渐进分解。 - 通过计算自相关并根据周期性聚合相似子序列来发现基于周期的依赖关系的自相关机制。 - Vaswani 等人 (2017) 提出的经典编码器-解码器，带有多头注意力机制。
Autoformer 模型采用三部分方法来定义其嵌入： - 它使用从卷积网络获得的编码自回归特征。 - 使用从日历特征获得的绝对位置嵌入。
参数
h: int, 预测范围。
input_size: int, 用于截断训练反向传播的最大序列长度。默认为 -1，使用全部历史数据。
futr_exog_list: str list, 未来外部变量列。
hist_exog_list: str list, 历史外部变量列。
stat_exog_list: str list, 静态外部变量列。
exclude_insample_y: bool=False, 如果为 True，模型将跳过自回归特征 y[t-input_size:t]。
decoder_input_size_multiplier: float = 0.5, 。
hidden_size: int=128, 嵌入和编码器的单元数。
n_head: int=4, 控制多头注意力的数量。
dropout: float (0, 1), 整个 Autoformer 架构中的 dropout 率。
factor: int=3, Probsparse 注意力因子。
conv_hidden_size: int=32, 卷积编码器的通道数。
activation: str=GELU, 激活函数，可选范围 [‘ReLU’, ‘Softplus’, ‘Tanh’, ‘SELU’, ‘LeakyReLU’, ‘PReLU’, ‘Sigmoid’, ‘GELU’]。
encoder_layers: int=2, TCN 编码器的层数。
decoder_layers: int=1, MLP 解码器的层数。
MovingAvg_window: int=25, 移动平均滤波器的窗口大小。
loss: PyTorch 模块, 来自 损失集合 的训练损失类实例。
valid_loss: PyTorch 模块, 来自 损失集合 的验证损失类实例。
max_steps: int=1000, 最大训练步数。
learning_rate: float=1e-3, 学习率，范围为 (0, 1)。
num_lr_decays: int=-1, 学习率衰减次数，均匀分布在 max_steps 中。
early_stop_patience_steps: int=-1, 早停前验证迭代次数。
val_check_steps: int=100, 每隔多少训练步检查一次验证损失。
batch_size: int=32, 每个批次中不同序列的数量。
valid_batch_size: int=None, 每个验证和测试批次中不同序列的数量，如果为 None，则使用 batch_size。
windows_batch_size: int=1024, 每个训练批次中采样的窗口数量，默认为全部。
inference_windows_batch_size: int=1024, 每个推理批次中采样的窗口数量。
start_padding_enabled: bool=False, 如果为 True，模型将在时间序列的开头填充零，填充长度为 input size。
scaler_type: str=‘robust’, 时间输入归一化缩放器类型，参见 时间缩放器。
random_seed: int=1, 用于 pytorch 初始化器和 numpy 生成器的随机种子。
drop_last_loader: bool=False, 如果为 True，TimeSeriesDataLoader 将丢弃最后一个非完整批次。
alias: str, 可选，模型的自定义名称。
optimizer: ‘torch.optim.Optimizer’ 的子类，可选，用户指定的优化器代替默认选择 (Adam)。
optimizer_kwargs: dict, 可选，用户指定的 optimizer 使用的参数列表。
lr_scheduler: ‘torch.optim.lr_scheduler.LRScheduler’ 的子类，可选，用户指定的 lr_scheduler 代替默认选择 (StepLR)。
lr_scheduler_kwargs: dict, 可选，用户指定的 lr_scheduler 使用的参数列表。
dataloader_kwargs: dict, 可选，由 TimeSeriesDataLoader 传递给 PyTorch Lightning dataloader 的参数列表。
**trainer_kwargs: int, 继承自 PyTorch Lightning 的 trainer 的关键字 trainer 参数。
Autoformer.fit
*训练。
fit 方法使用初始化参数（learning_rate, windows_batch_size, …）和初始化时定义的 loss 函数来优化神经网络的权重。在 fit 中，我们使用一个 PyTorch Lightning Trainer，它继承了初始化的 self.trainer_kwargs，以自定义其输入，参见 PL 的 trainer 参数。
该方法设计用于与 SKLearn-like 类兼容，特别是与 StatsForecast 库兼容。
默认情况下，model 不保存训练检查点以保护磁盘内存，要保存检查点，请在 __init__ 中将 enable_checkpointing 改为 True。
参数
dataset: NeuralForecast 的 TimeSeriesDataset, 参见 文档。
val_size: int, 用于时间交叉验证的验证集大小。
random_seed: int=None, 用于 pytorch 初始化器和 numpy 生成器的随机种子，会覆盖 model.__init__ 的设置。
test_size: int, 用于时间交叉验证的测试集大小。
*
Autoformer.predict
*预测。
使用 PL 的 Trainer 执行 predict_step 进行神经网络预测。
参数
dataset: NeuralForecast 的 TimeSeriesDataset, 参见 文档。
test_size: int=None, 用于时间交叉验证的测试集大小。
step_size: int=1, 每个窗口之间的步长。
random_seed: int=None, 用于 pytorch 初始化器和 numpy 生成器的随机种子，会覆盖 model.__init__ 的设置。
quantiles: list of floats, 可选 (默认=None), 要预测的目标分位数。
**data_module_kwargs: PL 的 TimeSeriesDataModule 参数, 参见 文档。*