在 Amazon SageMaker JumpStart 上使用 OpenTSLM 对时间序列数据进行推理
在各行各业,决策都始于理解正在发生什么变化以及为何变化。工业组织收集数据,为整个运营中的决策提供依据。这些数据有助于防止生产停机、诊断车辆故障、解释数据中心性能下降,并在供需变化时调整定价。然而,解读这些数据仍然需要专家投入时间,而且收集更多数据并不意味着团队就能据此采取行动。像 Claude 或 ChatGPT 这样的通用语言模型可以帮助分析数据。然而,将数百个运营指标的长历史记录作为文本或图像处理,可能会消耗大量 token,从而增加成本。
为了帮助组织基于这些数据采取行动,Aionic Labs 正在开发时序基础模型,包括 OpenTSLM——一个开源的时间序列语言模型(TSLM)系列。这些模型会解读运营测量数据——从设备传感器数据到供需数据——并结合维护记录、市场新闻和工程师观察等上下文。通过这种方式,TSLM 帮助系统从近期测量数据中识别新出现的问题。随后,专家可以提出后续问题,以理解发生了什么变化并评估如何应对。TimeNet 是时间序列数据的共享数据基础设施,提供统一的格式和 API,用于查找、构建和加载训练与评估这些模型所需的数据集。二者共同帮助组织理解其系统如何变化,并在问题造成高昂代价之前采取行动。
OpenTSLM 现已在 Amazon SageMaker JumpStart 中可用,因此你可以在自己的 AWS 环境中部署该模型。本文探讨 Nexthink 和 Aionic Labs 如何将这一能力引入主动式 IT 协助,然后展示如何部署 OpenTSLM 并使用 TimeNet 将其适配到你自己的数据。

图 1. 时间序列语言模型将数值测量与文本上下文和问题结合起来。潜在应用涵盖物理系统和数字系统,并针对每项任务进行适配和评估。
客户案例:Nexthink 的主动式 IT 支持
Nexthink 和 Aionic Labs 正在构建一个数字工作场所,让员工在需要求助之前就能获得帮助。其核心是 Spark——Nexthink 的个人 IT 代理,它通过时间序列语言模型得到增强,将设备遥测数据和上下文与员工遇到的问题联系起来。Spark 将这种理解转化为行动:它检查可能的问题,引导员工采取适当的修复措施,并跟进结果。主动式协助成为保持工作持续推进的一部分。
该工作流将近期设备时间序列(例如 CPU 活动、内存使用、可用磁盘空间、应用稳定性和连接性)与带时间戳的事件以及设备和软件上下文结合起来。TSLM 接收这些数值测量数据以及文本上下文,并解读信号在观察窗口内如何变化。
TSLM 为 Spark 提供三项输出:
- 状态摘要:解释可能的问题以及支持该判断的信号模式,将设备行为与员工的体验联系起来。
- 建议操作:明确用于确认问题的检查项,以及 Spark 可向员工提供的实用操作。
- 预期结果:描述预期的改进以及 Spark 如何检查结果。
使用 Amazon SageMaker JumpStart 上的 OpenTSLM 对时间序列数据进行推理
设备遥测和上下文有助于调查一系列问题,包括高 CPU 或内存负载下性能缓慢、应用程序反复冻结或崩溃,以及文件同步失败。资源使用情况、应用程序事件、存储指标和连接活动提供了不同的证据。结合设备配置和软件版本,它们为 TSLM 提供了更广泛的基础,用于解释员工的使用体验并指导 Spark 的后续检查。
在图 2 所示的说明性低磁盘空间示例中,TSLM 将可用空间下降、磁盘队列上升以及更频繁的应用程序挂起与员工可能遇到的现象联系起来,例如计算机变慢或保存文件困难。Spark 检查剩余空间,以及是否可以使用经 IT 批准的清理来删除临时文件。如果检查确认适合进行清理,Spark 会向员工显示其建议删除的内容并请求确认。员工确认后,Spark 运行清理,检查当前可用空间,并询问问题是否有所改善。如果问题仍然存在,Spark 会提议将发现结果转交给 IT 支持。
TSLM 理解系统如何变化,并帮助人们基于这种理解采取行动。对于 Spark 而言,这意味着识别新出现的 IT 问题,并引导员工找到解决方案。相同的方法将时间序列智能带入制造业、能源和互联产品,将测量值和上下文转化为解释和智能决策。

图 2. Nexthink 中针对低磁盘空间的说明性主动支持工作流。OpenTSLM 根据设备历史和上下文生成状态摘要、推荐操作和预期结果。Spark 检查设备,在员工确认后运行经 IT 批准的清理,并跟进结果。
解决方案概述
图 3 中的架构为时间序列应用提供了一种可复用的部署模式。SageMaker JumpStart 提供了模型发现和部署路径。
SageMaker JumpStart 是一个机器学习(ML)模型中心,可加速您的 ML 之旅。借助 SageMaker JumpStart,您可以评估、比较和部署预训练基础模型(FM),包括新可用的 OpenTSLM 模型。作为 AWS AI 产品的一部分,SageMaker JumpStart 提供可定制的 ML 解决方案,您可以将其部署到您的 AWS 基础设施内的 Amazon SageMaker AI 推理端点。它补充了 Amazon Bedrock,后者提供无服务器 API 基础模型推理,以及自定义、知识库、代理和护栏等功能。
SageMaker AI 和 SageMaker JumpStart 的主要技术优势包括:
- 预构建推理容器 – 带有 GPU 加速的 AWS Deep Learning Containers,因此您无需构建自己的镜像即可提供模型服务。
- 自动扩缩端点 – 托管基础设施根据请求量和延迟要求扩展计算资源。
- 推理 API – SageMaker 实时推理端点,具有标准化 API 调用、SDK 和 AWS Identity and Access Management (IAM) 集成。
- 集成监控 – 内置吞吐量、延迟和资源利用率指标,并与 Amazon CloudWatch 集成。
- 企业安全 – Amazon Virtual Private Cloud (VPC) 部署,支持 IAM 访问控制和网络隔离选项。
SageMaker JumpStart 中的模型是 OpenTSLM-Flamingo。它将 Gemma 3 4B 语言模型与时间序列编码器以及交叉注意力层结合起来,使语言模型能够关注编码后的序列。该模型共有 52.4 亿个参数,以 bfloat16 存储,因此其权重占用约 10.5 GB 的 GPU 内存。
应用程序准备数值时间序列和文本上下文,调用 SageMaker 端点,并接收模型的响应。应用程序可以将该响应呈现给专家,或将其用作另一个工作流的输入。
这种分离使应用程序能够控制观察窗口、选择相关信号,并在使用响应之前对其进行验证。它还使模型能够独立适配:在应用程序切换到新检查点之前,可以针对代表性案例评估新检查点。
此外,我们展示了一个教程,该教程使用通过 TimeNet 加载的 ARFBench 数据微调来自 Hugging Face 的预训练 OpenTSLM 检查点。该 notebook 提交一个 SageMaker 训练作业,该作业通过 TimeNet 加载 ARFBench 并微调模型。Amazon Simple Storage Service(Amazon S3)存储生成的模型工件,然后将其部署到单独的 SageMaker 实时推理端点进行评估。

图 3. 通过 SageMaker JumpStart 部署 OpenTSLM 并从结合时间序列数据与文本上下文的应用程序中调用它的可复用架构。
先决条件
对于部署演练,请使用具有 Amazon SageMaker AI 域和 SageMaker AI 执行角色的 AWS 账户。该角色必须能够在受支持的区域中创建 SageMaker 模型和端点,例如具有 AmazonSageMakerFullAccess 托管策略的角色。单用户快速设置会同时创建两者。该托管策略授予宽泛的权限以便开始使用。对于生产环境,请使用仅授予所需权限的策略,如 Amazon SageMaker AI 基于身份的策略示例中所述。OpenTSLM 在至少具有 24 GB 内存并支持 bfloat16 的单个 GPU 上运行,我们建议使用 32 GB 主机内存。默认实例类型是 ml.g6.2xlarge(一个 NVIDIA L4 GPU,具有 24 GB 内存、32 GB 主机内存)。在 SageMaker JumpStart 中,OpenTSLM 还支持 ml.g6.4xlarge、ml.g6.8xlarge、ml.g5.2xlarge、ml.g5.4xlarge、ml.g5.8xlarge、ml.g6e.xlarge 和 ml.g6e.2xlarge。在 Service Quotas 控制台中,检查您对“ml.g6.2xlarge for endpoint usage”或您选择的实例类型的配额。您需要至少为 1 的配额。如果配额更低,请请求增加。有关模型访问要求,请参阅 OpenTSLM JumpStart 模型卡。
对于微调,请使用 Amazon SageMaker Studio 中的 JupyterLab,或配置了 AWS 凭证的本地 Jupyter 环境来运行随附的 notebook,该 notebook 会提交训练作业。该 notebook 使用 SageMaker 默认 S3 存储桶和执行角色。微调在 ml.g7e.2xlarge 上运行,因此还要检查您对“ml.g7e.2xlarge for training job usage”的配额。训练在作业的托管 GPU 实例上运行。notebook 本身不需要 GPU。在需要时获取对所选 Hugging Face 检查点的访问权限。
使用 SageMaker JumpStart 部署 OpenTSLM
要在 SageMaker Studio 中部署 OpenTSLM,请完成以下步骤:
- 在 SageMaker Studio 中,在导航窗格中选择 Models,然后选择 JumpStart models。
- 搜索“OpenTSLM”并选择 OpenTSLM-Flamingo Gemma 3 4B。模型页面显示模型 ID、许可证以及请求和响应格式。

图 4:SageMaker JumpStart 中的 OpenTSLM-Flamingo Gemma 3 4B 模型页面
- 选择 Deploy。
- 在 Deploy model to endpoint 表单中,审阅 License agreement 下的 Gemma Terms of Use,并选中复选框以接受最终用户许可协议(EULA)。保留默认实例类型 ml.g6.2xlarge,或选择另一个支持的实例类型。然后选择 Deploy。

图 5:使用默认 ml.g6.2xlarge 实例类型和实时推理的 Deploy model to endpoint 表单
- 等待端点状态变为 InService。在我们的测试中,这大约花了 6 分钟。记下以 jumpstart-dft- 开头的端点名称。发送请求和清理时都需要它。

图 6:SageMaker Studio 中状态为 InService 的已部署 OpenTSLM 端点
你也可以使用 SageMaker Python SDK v3 从 Python 创建部署。以下示例使用 ModelBuilder。该模型是门控的:设置 accept_eula=True 即接受其许可证,即 Gemma 使用条款。部署前请审阅条款。SDK 在构建模型时会打印指向这些条款的链接。
from sagemaker.core.helper.session_helper import get_execution_role
from sagemaker.core.jumpstart.configs import JumpStartConfig
from sagemaker.serve.model_builder import ModelBuilder
from sagemaker.train.configs import Compute
MODEL_ID = "pytorch-reasoning-opentslm-flamingo-gemma3-4b"
INSTANCE_TYPE = "ml.g6.2xlarge" # 1 x NVIDIA L4 (24 GB); ml.g5.2xlarge and ml.g6e.2xlarge also work
ROLE_ARN = get_execution_role() # in SageMaker Studio; elsewhere, set your execution role ARN
builder = ModelBuilder.from_jumpstart_config(
jumpstart_config=JumpStartConfig(model_id=MODEL_ID, accept_eula=True),
compute=Compute(instance_type=INSTANCE_TYPE),
role_arn=ROLE_ARN,
)
builder.build(model_name="opentslm-blog-demo")
endpoint = builder.deploy(endpoint_name="opentslm-blog-demo")
询问关于时间序列的问题
端点接受包含一个或多个实例的 JSON 请求。每个实例包含一个问题、一个或多个数值序列,以及可选的上下文行。每个序列都有其值、名称和信号的简短描述,例如其单位和采样间隔。一个序列最多可包含 32,768 个值。端点将每个序列缩放到均值为 0、标准差为 1,并将原始均值和标准差作为文本传递给模型,因此模型会同时收到信号的形状和尺度。缺失值使用 None。模型会将其掩码。
使用 SageMaker Runtime InvokeEndpoint API 发送请求。将 ENDPOINT_NAME 设置为与你的部署匹配。调用身份需要 sagemaker:InvokeEndpoint 权限。以下合成 CPU 示例展示了一个请求。
import json
import boto3
ENDPOINT_NAME = "opentslm-blog-demo"
runtime = boto3.client("sagemaker-runtime")
# One hour of CPU utilization, one sample per minute, with a five-minute spike.
cpu = [21, 20, 22, 19, 21, 20, 23, 21, 20, 19, 22, 21, 20, 21, 19, 22, 20, 21, 23, 20,
21, 19, 20, 22, 21, 20, 19, 21, 78, 85, 82, 80, 79, 22, 20, 21, 19, 20, 22, 21,
20, 21, 23, 19, 20, 21, 22, 20, 19, 21, 20, 22, 21, 20, 19, 21, 22, 20, 21, 20]
request = {
"instances": [{
"question": "Summarize the pattern and suggest what to check.",
"series": [{
"values": cpu, # use None for a missing value
"name": "CPU utilization (%)",
"text": "CPU utilization (%), 1 sample/minute:",
}],
"context": ["The series covers 10:00 to 10:59 on a web server."], # optional
}],
"parameters": {"max_new_tokens": 128},
}
response = runtime.invoke_endpoint(
EndpointName=ENDPOINT_NAME,
ContentType="application/json",
Body=json.dumps(request),
)
print(json.loads(response["Body"].read())["generated_text"][0])
一个请求最多可以包含四个实例,每个实例包含 1 到 32 条序列,响应中的 generated_text 会为每个实例包含一个答案。max_new_tokens 接受 1 到 512 的值。模型使用贪婪解码,因此同一请求通常会返回相同答案。实时调用必须在 60 秒内完成,请求体最大可达 6 MB。在 ml.g6.2xlarge 上,模型每秒生成约 20 个 token。端点会按顺序处理一个请求中的各个实例,因此响应时间会随实例数量和答案长度增加:512 个 token 的答案大约需要 30 秒。为了保持在 60 秒以内,只有在答案较短时,才在一个请求中发送多个实例,例如 max_new_tokens 为 128。6 MB 限制也约束了一个请求可以携带的序列数据量。对于长时间运行的请求,你可以使用异步推理。
你可以使用 AWS Command Line Interface(AWS CLI)发送相同的请求。将请求保存为 JSON,例如使用 json.dump(request, open("request.json", "w")),然后运行:
aws sagemaker-runtime invoke-endpoint \
--endpoint-name opentslm-blog-demo \
--content-type application/json \
--body fileb://request.json \
response.json
cat response.json
选择能保留相关事件的输入窗口
OpenTSLM-Flamingo 在语言模型使用编码后的时间序列之前,会将其压缩为一组固定大小的表示。这限制了传给语言模型的表示大小,但并不会使整个系统在内存上不受限制,也不能保证短暂事件在很长的记录中仍然容易识别。
长上下文研究让这一区别更加具体。TS-Haystack 评估不同长度记录中的事件检索,并发现所评估的 TSLM 变体常常随着历史增长而损失准确率,尤其是在定位事件开始和结束时间时。这些结果说明,需要在你的应用所使用的窗口和问题上测试所选检查点。
选择一个包含事件以及足够上下文来解释该事件的窗口。对于长记录,比较重叠窗口。为短暂事件保留采样分辨率,并在时间上对齐相关通道。在文本上下文中包含单位、采样间隔和观察时段。在预期长度上验证正常和异常示例。端点可接受的负载大小和模型的有用分析窗口是两个独立的约束。
在 SageMaker 上使用 ARFBench 微调 OpenTSLM
按照配套的微调 notebook,查看完整示例:从使用 TimeNet 准备 ARFBench 数据,到启动 SageMaker 训练作业并部署适配后的模型。
何时应该微调?
首先在来自你的应用的代表性示例上测试预训练的 OpenTSLM 模型,并评估它回答你的问题的效果。
- 当预训练模型的答案正确且其解释与信号匹配时,使用预训练模型。
- 当重要信息缺失时改进输入,例如测量单位、采样率、系统上下文或相关时间窗口。
- 当模型即使有足够上下文,仍持续漏掉你所在领域特有的模式或难以完成你的任务时,就对模型进行微调。使用具有代表性的信号,并搭配经过审核的答案。
TimeNet 提供了一种一致的方式来加载用于训练和评估的数据。微调后,在未用于训练的示例上,将适配后的模型与原始模型进行比较。
使用 TimeNet 准备微调数据
ARFBench 是一个公开基准,包含关于 Datadog 软件事故遥测中异常的多选题。我们使用 ARFBench,因为它的多选题答案可以自动评分,从而使微调效果可衡量。相同的工作流也适用于开放式答案的任务,例如 Nexthink 示例中的摘要和建议操作。TimeNet 将 ARFBench 作为版本化数据集提供:每个问题都与其答案选项、正确答案和指标信号一起存储。训练作业通过 TimeNet 加载 ARFBench,并从 Hugging Face 加载模型检查点。
提交 SageMaker 训练作业并部署微调后的模型
SageMaker 训练作业在 GPU 实例上运行 OpenTSLM 训练脚本。该作业微调时间序列编码器、perceiver resampler、交叉注意力层以及语言模型的 token 嵌入,并保持 Gemma 3 语言模型的其余部分冻结。该作业将微调后的模型按 Hugging Face 模型仓库的布局保存到 Amazon S3,并将训练前后的测试准确率写入 metrics.json 文件。如果你的 SageMaker Studio 域有默认的 MLflow App,该作业还会将训练损失、验证损失和测试准确率记录到其中,以便你在 MLflow UI 中比较运行结果。在我们于一个 ml.g7e.2xlarge 实例上的运行中,135 个留出的 ARFBench 问题上的准确率从 5.0% 升至 45.9%。根据 ARFBench 论文,这远高于随机选择在整个基准上达到的 24.5%。微调前,模型将大多数答案留空。之后,它对每个问题都用给定选项之一作答。ARFBench 在这里作为示例应用:它展示了如何使用公开数据集将模型适配到新的任务和答案格式。该结果不是与其他模型的比较,也不是官方 ARFBench 排行榜结果。
以下摘自随附 notebook 的代码片段使用 ModelTrainer 启动训练作业。scripts/train.py 加载 ARFBench,评估并微调模型,然后将其保存到 FINETUNED_PREFIX。
trainer = ModelTrainer(
training_image=TRAINING_IMAGE, # the SageMaker PyTorch 2.9 training image
source_code=SourceCode(
source_dir="scripts", entry_script="train.py", requirements="requirements.txt"
),
compute=Compute(instance_type="ml.g7e.2xlarge", volume_size_in_gb=100),
stopping_condition=StoppingCondition(max_runtime_in_seconds=24 * 60 * 60),
hyperparameters={"base-model": BASE_MODEL, "output": FINETUNED_PREFIX, "epochs": 3},
role=ROLE_ARN,
)
trainer.train()
要部署微调后的模型,请在 ml.g6.2xlarge 或 JumpStart 模型支持的其他实例类型上创建一个新的实时端点,使用与 JumpStart 模型相同的容器镜像和环境变量,以及随附 notebook 提供的推理脚本。将其模型数据指向微调后模型文件的 S3 位置。请求格式保持不变,因此你可以向其发送上一节中的请求。随附 notebook 包含相应代码。
使工作流适配你的领域
通过将信号窗口与相关问题及经过审核的答案配对,同样的工作流可以适配其他时间序列任务。潜在的示例包括结合维护背景解读设备行为、结合运行条件解释能耗模式,以及根据可穿戴设备测量数据描述活动情况。数据、监督和评估应反映领域特征以及应用旨在支持的决策。
在准备过程中保留测量的时序和含义,并以反映部署实际的方式分离训练和评估数据。对于预测任务,只有预测时可用的信息才应纳入输入。领域专家应评估答案是否基于信号并且对预期工作流有用。对于自由文本答案,将其与经过审核的参考答案进行比较,例如通过专家评分或 LLM-as-a-judge,即由语言模型根据评分标准对每个答案打分。
清理
已部署的端点会持续产生费用,直到您将其删除。完成后,请删除端点、其端点配置及其模型。如果您是从 SageMaker Studio 部署的,请运行以下命令,而不是在端点页面上选择 Delete(该操作仅删除端点)。这些命令会从端点名称查找配置和模型名称,并删除全部三项。将 ENDPOINT_NAME 设置为您的端点名称,例如 Studio 部署中以 jumpstart-dft- 开头的默认名称:
ENDPOINT_NAME=opentslm-blog-demo
CONFIG_NAME=$(aws sagemaker describe-endpoint --endpoint-name "$ENDPOINT_NAME" \
--query EndpointConfigName --output text)
MODEL_NAME=$(aws sagemaker describe-endpoint-config --endpoint-config-name "$CONFIG_NAME" \
--query 'ProductionVariants[0].ModelName' --output text)
aws sagemaker delete-endpoint --endpoint-name "$ENDPOINT_NAME"
aws sagemaker delete-endpoint-config --endpoint-config-name "$CONFIG_NAME"
aws sagemaker delete-model --model-name "$MODEL_NAME"
对微调后的端点名称重复这些命令。停止 notebook 应用程序,并删除您不打算保留的教程专用 S3 数据和产物。训练任务在完成后会自动停止。
结论
时间序列语言模型将数值测量与人们用于决策的问题、背景和专业知识联系起来。在制造业、能源、可穿戴设备和数字基础设施等领域,它们为人员和应用程序提供了一种通用的方式来解读系统如何变化。更广泛的机会在于将运营历史与语言连接起来,使过去的观察在当前决策中更有用。
OpenTSLM 现已在 Amazon SageMaker JumpStart 中可用,因此您可以通过 SageMaker Studio 或 SageMaker SDK 将其部署到自己 AWS 环境中的实时推理端点。TimeNet 和 SageMaker 训练任务提供了将模型适配到您所在领域的信号和问题的路径。
要开始使用,请探索 Amazon SageMaker JumpStart,按照 AWS Samples 仓库中的示例操作,并查阅 OpenTSLM 仓库和 TimeNet 文档。从公开的 ARFBench 示例开始,在代表性案例上进行评估,然后引入您自己领域的信号、问题和专业知识。