Time-LLM
Time-LLM 是一个重编程框架，用于将大型语言模型 (LLM) 重新用于通用时间序列预测，同时保持其核心语言模型不变。换句话说，它将预测任务转化为一个可以由现成 LLM 解决的“语言任务”。
参考文献
- 明金，王石宇，马林涛，储致轩，张詹姆斯，石晓明，陈品宇，梁玉轩，李远芳，潘士瑞，温庆松。“Time-LLM：通过重编程大型语言模型进行时间序列预测”
1. 辅助函数
源码
ReprogrammingLayer
ReprogrammingLayer
源码
FlattenHead
FlattenHead
源码
PatchEmbedding
PatchEmbedding
源码
TokenEmbedding
TokenEmbedding
源码
ReplicationPad1d
ReplicationPad1d
2. 模型
源码
TimeLLM
*TimeLLM
Time-LLM 是一个重编程框架，用于将现成 LLM 重新用于时间序列预测。
它训练一个重编程层，将观测到的时间序列转化为一个语言任务。这个任务被输入到 LLM 中，然后一个输出投影层将输出结果翻译回数值预测。
参数
h: int, 预测视野。
input_size: int, 自回归输入大小，y=[1,2,3,4] input_size=2 -> y_[t-2:t]=[1,2]。
patch_len: int=16, 块（patch）的长度。
stride: int=8, 块的步长。
d_ff: int=128, fcn 的维度。
top_k: int=5, 要考虑的前 top 个 token。
d_llm: int=768, LLM 的隐藏层维度。
# LLama7b:4096; GPT2-small:768; BERT-base:768 d_model: int=32, 模型的维度。
n_heads: int=8, 注意力层中的头数。
enc_in: int=7, 编码器输入大小。
dec_in: int=7, 解码器输入大小。
llm = None, 要使用的预训练 LLM 模型的路径。如果未指定，将使用 https://hugging-face.cn/openai-community/gpt2” 中的 GPT-2。
llm_config = Deprecated, LLM 的配置。如果未指定，将使用 https://hugging-face.cn/openai-community/gpt2” 中的 GPT-2 配置。
llm_tokenizer = Deprecated, LLM 的分词器。如果未指定，将使用 https://hugging-face.cn/openai-community/gpt2” 中的 GPT-2 分词器。
llm_num_hidden_layers = 32, LLM 中的隐藏层数 llm_output_attention: bool = True, 是否在编码器中输出注意力。
llm_output_hidden_states: bool = True, 是否输出隐藏状态。
prompt_prefix: str=None, 用于向 LLM 告知数据集信息的提示（prompt）。
dropout: float=0.1, dropout 比率。
stat_exog_list: str list, 静态外部变量列。
hist_exog_list: str list, 历史外部变量列。
futr_exog_list: str list, 未来外部变量列。
loss: PyTorch module, instantiated train loss class from losses collection.
valid_loss: PyTorch module=loss, instantiated valid loss class from losses collection.
learning_rate: float=1e-3, 学习率，介于 (0, 1) 之间。
max_steps: int=1000, 最大训练步数。
val_check_steps: int=100, 每次验证损失检查之间的训练步数。
batch_size: int=32, 每个批次中不同时间序列的数量。
valid_batch_size: int=None, 每个验证和测试批次中不同时间序列的数量，如果为 None，则使用 batch_size。
windows_batch_size: int=1024, 每个训练批次中采样的窗口数量，默认使用所有窗口。
inference_windows_batch_size: int=1024, 每个推断批次中采样的窗口数量。
start_padding_enabled: bool=False, 如果为 True，模型将在时间序列的开头用零进行填充，填充长度由 input_size 决定。
step_size: int=1, 每个时间数据窗口之间的步长。
num_lr_decays: int=-1, 学习率衰减次数，均匀分布在 max_steps 期间。
early_stop_patience_steps: int=-1, 在提前停止之前的验证迭代次数。
scaler_type: str=‘identity’, 用于时间输入归一化的缩放器类型，参见 temporal scalers。
random_seed: int, 用于 pytorch 初始化器和 numpy 生成器的随机种子。
drop_last_loader: bool=False, 如果为 True，TimeSeriesDataLoader 将丢弃最后一个非完整批次。
alias: str, 可选，模型的自定义名称。
optimizer: ‘torch.optim.Optimizer’ 的子类，可选，用户指定的优化器，而不是默认选择 (Adam)。
optimizer_kwargs: dict, 可选，用户指定的 optimizer 使用的参数列表。
lr_scheduler: ‘torch.optim.lr_scheduler.LRScheduler’ 的子类，可选，用户指定的 lr_scheduler，而不是默认选择 (StepLR)。
lr_scheduler_kwargs: dict, 可选，用户指定的 lr_scheduler 使用的参数列表。
dataloader_kwargs: dict, 可选，由 TimeSeriesDataLoader 传递给 PyTorch Lightning dataloader 的参数列表。
**trainer_kwargs: int, 从 PyTorch Lighning’s trainer 继承的关键字 trainer 参数。
参考文献
-明金，王石宇，马林涛，储致轩，张詹姆斯，石晓明，陈品宇，梁玉轩，李远芳，潘士瑞，温庆松。“Time-LLM：通过重编程大型语言模型进行时间序列预测”*
TimeLLM.fit
*拟合。
fit 方法使用初始化参数（learning_rate、windows_batch_size 等）和初始化期间定义的 loss 函数来优化神经网络的权重。在 fit 方法中，我们使用继承了初始化参数 self.trainer_kwargs 的 PyTorch Lightning Trainer 来定制其输入，参见 PL 的 trainer 参数。
此方法旨在与 SKLearn 类似的类兼容，特别是与 StatsForecast 库兼容。
默认情况下，model 不保存训练检查点以保护磁盘内存，要保存检查点，请在 __init__ 中将 enable_checkpointing 更改为 True。
参数
dataset: NeuralForecast 的 TimeSeriesDataset，参见 documentation。
val_size: int, 用于时间交叉验证的验证集大小。
random_seed: int=None, 用于 pytorch 初始化器和 numpy 生成器的随机种子，覆盖 model.__init__ 中的设置。
test_size: int, 用于时间交叉验证的测试集大小。
*
TimeLLM.predict
*预测。
使用 PL 的 Trainer 执行 predict_step 进行神经网络预测。
参数
dataset: NeuralForecast 的 TimeSeriesDataset，参见 documentation。
test_size: int=None, 用于时间交叉验证的测试集大小。
step_size: int=1, 每个窗口之间的步长。
random_seed: int=None, 用于 pytorch 初始化器和 numpy 生成器的随机种子，覆盖 model.__init__ 中的设置。
quantiles: float 列表，可选 (默认=None)，要预测的目标分位数。
**data_module_kwargs: PL 的 TimeSeriesDataModule 参数，参见 documentation.*