多变量 MLP
最简单的神经网络架构之一是多层感知机(MLP
),它由堆叠的全连接神经网络组成,通过反向传播进行训练。架构中的每个节点都能够通过其激活函数模拟非线性关系。像修正线性单元(ReLU
)这样的新型激活函数极大地提高了拟合更深层网络的能力,克服了与 Sigmoid
和 TanH
激活函数相关的梯度消失问题。对于预测任务,最后一层被改变以遵循自回归问题。这个版本是多变量的,表明它将联合预测预测问题中的所有时间序列。
参考文献
-Rosenblatt, F. (1958). “感知机:大脑信息存储和组织的一种概率模型。”
-Fukushima, K. (1975). “认知机:一种自组织的层状神经网络。”
-Vinod Nair, Geoffrey E. Hinton (2010). “修正线性单元改进受限玻尔兹曼机”
来源
多变量 MLP
*多变量 MLP
用于多变量预测的简单多层感知机架构(MLP)。这个深度神经网络在其各层中具有恒定的单元数量,每层都使用 ReLU 非线性激活函数,并使用 ADAM 随机梯度下降进行训练。该网络接受静态、历史和未来外部数据,展平输入,并学习与目标变量之间的全连接关系。
参数
h
: int,预测范围。
input_size
: int,考虑的自回归输入(滞后项),y=[1,2,3,4] input_size=2 -> lags=[1,2]。
n_series
: int,时间序列数量。
stat_exog_list
: str list,静态外部变量列。
hist_exog_list
: str list,历史外部变量列。
futr_exog_list
: str list,未来外部变量列。
num_layers
: int,MLP 层数。
hidden_size
: int,MLP 每层的单元数。
loss
: PyTorch module,来自 损失集合 的实例化训练损失类。
valid_loss
: PyTorch module=loss
,来自 损失集合 的实例化验证损失类。
max_steps
: int=1000,最大训练步数。
learning_rate
: float=1e-3,学习率范围 (0, 1)。
num_lr_decays
: int=-1,学习率衰减次数,均匀分布在 max_steps 中。
early_stop_patience_steps
: int=-1,早停前验证迭代次数。
val_check_steps
: int=100,每次验证损失检查之间的训练步数。
batch_size
: int=32,每个批次中不同时间序列的数量。
valid_batch_size
: int=None,每个验证和测试批次中不同时间序列的数量,如果为 None 则使用 batch_size。
windows_batch_size
: int=32,每个训练批次中采样的窗口数量,默认为全部。
inference_windows_batch_size
: int=32,每个推理批次中采样的窗口数量,-1 为全部。
start_padding_enabled
: bool=False,如果为 True,模型将在时间序列开头用零填充,填充大小为 input size。
step_size
: int=1,每个时间数据窗口之间的步长。
scaler_type
: str=‘identity’,时间输入归一化的缩放器类型,参见 时间缩放器。
random_seed
: int=1,用于 pytorch 初始化器和 numpy 生成器的随机种子。
drop_last_loader
: bool=False,如果为 True,则 TimeSeriesDataLoader
丢弃最后一个非完整批次。
alias
: str,可选,模型的自定义名称。
optimizer
: Subclass of ‘torch.optim.Optimizer’,可选,用户指定的优化器,而不是默认选项 (Adam)。
optimizer_kwargs
: dict,可选,用户指定的 optimizer
使用的参数列表。
lr_scheduler
: Subclass of ‘torch.optim.lr_scheduler.LRScheduler’,可选,用户指定的 lr_scheduler,而不是默认选项 (StepLR)。
lr_scheduler_kwargs
: dict,可选,用户指定的 lr_scheduler
使用的参数列表。
dataloader_kwargs
: dict,可选,由 TimeSeriesDataLoader
传递给 PyTorch Lightning dataloader 的参数列表。
**trainer_kwargs
: int,继承自 PyTorch Lighning 的 trainer 的关键字 trainer 参数。
*
MLPMultivariate.fit
*拟合。
fit
方法使用初始化参数(learning_rate
、windows_batch_size
等)和初始化期间定义的 loss
函数来优化神经网络的权重。在 fit
方法中,我们使用 PyTorch Lightning Trainer
,它继承了初始化时的 self.trainer_kwargs
来定制其输入,参见 PL 的 trainer 参数。
此方法设计为与类似 SKLearn 的类兼容,特别是与 StatsForecast 库兼容。
默认情况下,model
不保存训练检查点以保护磁盘内存,要获取检查点,请在 __init__
中将 enable_checkpointing
设置为 True
。
参数
dataset
: NeuralForecast 的 TimeSeriesDataset
,参见 文档。
val_size
: int,用于时间交叉验证的验证集大小。
random_seed
: int=None,用于 pytorch 初始化器和 numpy 生成器的随机种子,会覆盖 model.__init__ 中的设置。
test_size
: int,用于时间交叉验证的测试集大小。
*
MLPMultivariate.predict
*预测。
使用 PL 的 Trainer
执行 predict_step
进行神经网络预测。
参数
dataset
: NeuralForecast 的 TimeSeriesDataset
,参见 文档。
test_size
: int=None,用于时间交叉验证的测试集大小。
step_size
: int=1,每个窗口之间的步长。
random_seed
: int=None,用于 pytorch 初始化器和 numpy 生成器的随机种子,会覆盖 model.__init__ 中的设置。
quantiles
: list of floats,可选 (默认为 None),要预测的目标分位数。
**data_module_kwargs
: PL 的 TimeSeriesDataModule 参数,参见 文档。*