Social Department 如何构建文化感知的视频发现
本文由来自 AWS 的 Mariah Miller 和 Sirajus Salekin 以及来自 Social Department 的 Nicholas Chase 共同撰写。
娱乐营销团队在制片厂、电视网和流媒体应用中管理数以万计的视频资产。大多数营销活动都始于同一个视频发现问题:在素材中找到那个能引起观众共鸣的瞬间。当简报送达时,计时开始,而他们需要的东西几乎从来不是数据库能描述的。
单独来看,语义搜索存在上限:它回答的是你能够明确表述的问题。让它找一个拿着咖啡杯的角色,它会在上千集里找到每一个咖啡杯。真正驱动娱乐营销活动的查询完全不是这样。它们是判断性问题:节目中的哪个瞬间会传播开来,哪句台词值得引用,以及哪一帧能成为表情包。
这些问题无法输入搜索框。回答这些问题需要搜索索引不具备的两样东西:针对特定内容库,“可引用”或“可成梗”意味着什么的编辑定义,以及对内容库之外正在流行什么持续更新的视图。过去,回答这些问题意味着让一个对节目有深入了解的人花一周时间观看素材,而这个人无法扩展到整个内容目录。
本文介绍 Social Department——娱乐营销的 AI 操作系统——如何着手将这些编辑问题编码为可执行的检索流水线。成果是 QuickSearch,一组单动作查询,无需营销人员描述,就能返回他们正在寻找的片段:Shareable Scenes、Quotable Quotes、Memeable Moments 和 Trend Align。
此解决方案中的模型运行在 Amazon Bedrock 上,因此客户数据保留在 AWS 数据边界内。它不会与模型提供商共享,也不会用于训练底层模型。
Social Department 的负责任 AI 方法是:AI 提出建议,由人决定。在生产环境中,代码会将生成的输出与源材料进行核对(例如,如果某句引语不在剧集转录文本中,就会被丢弃)。Amazon Bedrock Guardrails 帮助筛查客户搜索文本中的提示攻击,客户团队中的人员会在每条帖子发布前进行批准。
Social Department 拥有流水线架构、检索系统以及每个动作背后的编辑标准。TrackIt 是 AWS Premier Tier Services Partner,按照该设计进行实施和交付。TwelveLabs 的 Marengo 3.0 和 Pegasus 1.2 模型在 Amazon Bedrock 上提供流水线所依赖的场景级视频推理。AWS 提供基础设施、包括 Anthropic 的 Claude 模型在内的模型访问权限,以及 Amazon OpenSearch Service,并使用其无服务器选项 Amazon OpenSearch Serverless 进行检索。
关于范围的说明:本文描述系统的 AWS 部分:摄取和索引流水线、检索路径以及运行它们的服务。Social Department 拥有的组件,包括其媒体和数据骨干、内容分析和发现引擎、编辑标准以及评估计划,仅在理解架构所需的深度上进行描述。后文提及的具名服务是本文关注的服务,而不是 Social Department 完整系统的清单。
关于 Social Department
Social Department 是娱乐营销的 AI 操作系统,服务于大型制片厂、电视网、流媒体平台和 FAST 应用。它在客户的完整内容库中自动化营销活动策略、资产创建、发布和性能优化。其中大多数功能都依赖于先在素材中找到正确的瞬间,而语义片段发现从一开始就是产品的核心。
为什么仅靠语义搜索还不够
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
娱乐营销受制于两个通用搜索层无法满足的约束。
有价值的查询,恰恰是没人能表述清楚的查询
营销人员可以描述一个物体、一个地点或一句对白,但无法描述什么内容会传播开来。这种判断——这个时刻奏效、那个时刻不奏效——才是这份工作中真正的技能。它从来无法自动化,因为它取决于了解观众如何反应,而不是视频包含什么。只理解内容的搜索层需要人来提供意图,而要准确提供这种意图,必须先看过节目。
趋势信号存在于媒体库之外,并按不同的节奏变化
再多的视频理解也无法告诉你观众今天早上在谈论什么。这类信息在媒体库之外产生,并且每小时都在变化,而媒体库只有在添加新内容时才会变化。要回答这些查询,系统必须持续获取趋势信号,并在请求时将其与媒体库对齐。
这种区别推动了核心架构决策:内容理解和趋势获取作为独立流水线按各自的时间表运行,并且仅在用户选择某个 QuickSearch 操作时才进行连接。
解决方案概览
借助 QuickSearch,团队可以以不同方式与视频媒体库交互,系统会主动提出建议,而不是被动等待。它提供四种操作,每种操作都有自己的检索策略、编辑标准和排序模型。下文的分步说明描述每种操作如何实现。这里的列表介绍它们各自做什么。
- Shareable Scenes 会呈现内容充实、自成一体的场景,例如长时间对峙、高潮和大型场面,偏向完整展开的段落,而非快速反应。
- Quotable Quotes 会寻找有冲击力、适合引用的对白,片段长度限制在短片范围内,并在该片名有可用信号时,提高那些已被证明流传开的台词权重。
- Memeable Moments 会识别可作为表情包的单个画面,并基于实际画面生成配文。专门的提取和评分步骤会选择画面,而不是直接取缩略图。
- Trend Align 会获取当前正在流行的内容,并在媒体库中找到与它真正相关的时刻,让多年前已播完的片名能重新进入实时对话。
除此之外,Social Department 保留自然语言搜索,覆盖这些操作未涉及的一切;还保留基于图像的搜索,参考图像会在整个媒体库中返回视觉相似的内容。
下图展示架构的三个部分如何连接。内容理解流水线让媒体库可搜索,趋势获取通道拉取外部趋势信号。QuickSearch 作业层在请求时将两者连接起来。

图 1:高层架构
架构分步说明
系统有三个部分,按独立的时间表运行。两个部分负责获取并结构化信息。第三个部分将用户的单次选择解析为跨这两者的多阶段检索操作。
内容理解流水线
该流水线让媒体库变得可理解。它在摄取时异步运行。一个 AWS Step Functions 状态机端到端编排大约二十几个 Python AWS Lambda 函数。以下步骤追踪一个视频从上传到被索引为片段的全过程。
- 上传与触发——视频进入每个团队独立的 Amazon Simple Storage Service(Amazon S3)存储桶。经由 Amazon EventBridge 路由的 S3 Object Created 事件会启动 Step Functions 执行。
Social Department 如何构建文化感知的视频发现
- 元数据 – 第一个 Lambda 函数根据 Social Department 的媒体和数据主干解析标题、团队、剧集和公共标识符,将视频元数据写入 Amazon DynamoDB,并将该资产报告为处理中。
- 转码 – AWS Elemental MediaConvert 将资产转码为 480p H.264,采用自适应去隔行,并使用 Step Functions 任务令牌,使状态机等待任务完成而不是轮询。
- 镜头检测 – Amazon Rekognition 通过 Amazon Simple Notification Service (Amazon SNS) 回调执行异步片段检测。第二个 Lambda 函数将原始镜头合并并拆分为约 10–20 秒的内容感知范围。这些范围是流水线其余部分进行并行处理的单元。在一个范围内,Social Department 以固定间隔分割嵌入,这一设计选择针对的是剧集电视的节奏。被索引的片段是短的固定长度,但它所在的范围跟随剪辑点。
- 嵌入 – 范围在 Step Functions 分布式映射中处理。每次调用通过异步调用将开始和结束时间传递给 Amazon Bedrock 上的 TwelveLabs Marengo 3.0。该调用生成跨视觉、音频和转录维度的多模态嵌入,在此路径上无需拆分文件。
- 场景描述 – Amazon Bedrock 上的 TwelveLabs Pegasus 1.2 在并行分布式映射中按段运行,生成场景级叙事描述、情感、主题、对话类型和叙事位置,这些构成排名模型后续推理所依赖的文本层。Pegasus 接受预切割文件而不是时间范围,因此一个单独的 Lambda 函数先切割每个范围,两侧各留几秒填充以保留场景过渡。
- 转录与增强 – 与嵌入并行,流水线运行带自动回退的语音转文本,以及 Amazon Rekognition 用于屏幕文本、视觉标签和用于角色锚定的人脸集合。Amazon Bedrock 上的 Anthropic 的 Claude 模型提取节目的角色图谱,并生成节目级概念和角色定位。
- 索引 – Amazon Bedrock 将嵌入输出写入 Amazon S3。最后的分布式映射然后将嵌入、转录、屏幕文本、场景描述字段和标签索引到 Amazon OpenSearch Serverless。
该流水线端到端是事件驱动的。每个 Lambda 任务都使用指数退避重试。场景描述阶段增加了带完全抖动的专用节流重试。非关键的增强步骤会优雅降级而不是使运行失败,硬失败会路由到错误处理器,该处理器记录原因并将资产报告为失败。
Marengo 的同区域暂存。Marengo 在特定的一组 AWS 区域中可用。Amazon Bedrock 中的异步调用从与端点相同区域的 Amazon S3 桶读取输入并写入输出。流水线围绕这些参数构建。它在调用 Marengo 之前将每个视频暂存到 US East (N. Virginia) 的专用桶中,然后从同一个桶读回嵌入输出。其余基础设施留在其主区域,而每个嵌入作业与模型一起运行。有关按区域的模型可用性,请参阅 Amazon Bedrock 中的按 AWS 区域的模型支持。
趋势获取
该流水线持续运行,独立于任何库,正是它使 Trend Align 成为可能。
文章标题:Social Department 如何构建文化感知的视频发现
- 双通道,单一信息流——趋势数据通过两条机制刻意不同的通道获取。每日通道使用 Amazon EventBridge cron,每个区域每天执行一次定时拉取,时间定在各区域当地早晨,而非固定的 UTC 小时。热度通道(Heat Seeker)读取早期阶段、按动量排序的趋势,仅在用户明确请求时才拉取,如果已有数据足够新则复用已存储的内容。这种拆分是成本决策。cron 在每个 tick 上为每个区域付费,无论是否有人在用;而位于 TTL 之后、由需求驱动的拉取在安静的日子不产生任何成本。
- 区域信息流是独立的数据群体——趋势按地理区域分别获取,目前有四个信息流:全球、美国、英国和澳大利亚。一个区域并非对全局列表的过滤。每个区域按各自的调度独立发现,因此同一天的趋势在不同区域之间确实存在差异。
- 解读与编辑把关——原始趋势数据不会展示给客户。Amazon Bedrock 上的 Anthropic Claude Haiku 将每条趋势归一化到 Social Department 自有的分类体系上,标准化其描述,对近似匹配去重,并限制每个类别留存的数量。在同一轮处理中,编辑把关会剔除主要主题为死亡、暴力、自残、自然灾害、政治、抗议、犯罪或公共卫生危机的趋势。营销客户不会获得这些内容,无论趋势规模有多大。被拒绝的趋势会被记住,以免每次拉取都重新筛选。
- 存储为一等行——解读后的趋势按稳定指纹进行 upsert,因此同一趋势跨天复用其行及缓存的派生结果。不再出现的趋势会随时间老化并最终退役。刷新运行会获取一个 claim,以免两次运行重叠。
Quotable Quotes 依赖第二个更窄的输入:一个外部对话热度信号,严格用于对已经流传的台词进行加权。它按设计是可选的,因此如果该信号不可用,台词不会获得加权,而不是让任务失败。
QuickSearch 任务层
这一层是单次选择转化为检索策略的地方。它异步执行每个动作,并返回一组排序后的片段。
- 请求路径——Web 应用是一个 React 单页应用,通过 Amazon CloudFront 从 Amazon S3 提供。其 API 是运行在 AWS Lambda 上的 Fastify 服务,位于 Amazon API Gateway HTTP API 之后,关系型数据使用 Amazon Aurora PostgreSQL-Compatible Edition。
- 异步执行——选择 QuickSearch 动作会向 Amazon DynamoDB 写入一条任务记录,并向 Amazon Simple Queue Service(Amazon SQS)入队一条消息。一个 worker Lambda 函数取走它并运行该动作的流水线。瞬态失败通过 Amazon SQS 重试,被归类为不可重试的错误则直接进入死信队列。
- 查询构建——每个动作会扩展为一组由编辑标准塑造的检索查询。对于 Trend Align,大部分专有工作就在这里:一条趋势以文化主题的形式到达,而视频索引能匹配的是屏幕上和音频中出现的内容。桥接两者是一个翻译问题,由 Amazon Bedrock 上的 Claude 模型处理。输出是索引可以执行的一组查询。
- 多通道检索——每个查询进入 search Lambda 函数,由其处理混合检索。Marengo 将查询嵌入一次,形式为文本、图像或组合的文本加图像查询。嵌入后的查询随后在六个 k-NN 通道(视觉、音频、转录、屏幕文字、场景描述和标签)以及七个 BM25 文本通道上执行。按模态的权重来自查询本身。查询类型路由会调整通道加权,使对话查询偏向转录和情感通道,而视觉查询则抑制它们。
融合与重排序 – 各通道通过 Reciprocal Rank Fusion 进行组合,它使用排名位置而非原始分数,从而避免了 k-NN 和 BM25 相似度之间的尺度不匹配。然后,排名靠前的候选结果会通过 Amazon Rerank 模型(一种通过 Amazon Bedrock 中的 Rerank API 调用的交叉编码器)进行最终的文本到文本相关性处理,随后对顶部结果执行 Claude 验证步骤。
聚合 – 索引存储短的固定长度片段。在返回结果之前,具有高视觉嵌入相似度的相邻片段会合并为连贯的时刻,因此对一个场景的查询会返回一个 20–60 秒的结果,而不是同一场景的五个片段。
编辑排名 – Amazon Bedrock 上的 Claude 模型根据操作的编辑标准对去重、丰富后的候选结果进行排名。候选池设有上限,以免模型输出被截断。模型选择因操作而异:在文化召回会改变答案的场景使用 Claude Sonnet,在任务有界且对成本敏感的场景使用 Claude Haiku。
帧提取 – 对于 Memeable Moments,一个专用的 Lambda 函数从获胜片段中提取若干候选帧,并使用 Amazon Rekognition 对面部质量进行评分,同时评估图像锐度。然后,它以全分辨率重新提取获胜帧,裁剪黑边,并返回一个签名的 Amazon CloudFront URL。
缓存 – 完成的结果存储在 Amazon DynamoDB 中,并重复使用 30 天。缓存键包括每个操作的流水线版本,对于 Trend Align,还包括活动趋势集的哈希值,因此标准变更、模型升级或趋势目录刷新会干净地使缓存失效,而不是提供过时的答案。
设计决策
三个选择使具有文化意识的检索变得可行。
将趋势获取与内容理解分离
内容库在添加新内容时发生变化。趋势每天变化,早期趋势变化更快。将两者耦合意味着要么根据新信号重新处理内容(这在计算上不可行),要么提供过时的趋势判断。将它们保持为在请求时连接的独立流水线,意味着信号保持最新,而内容库无需再次被触碰。一部多年前已播完的作品可以重新进入实时对话。
将每个操作拆分为低成本检索和高成本判断
朴素的设计将一个大模型置于整个内容库之前。QuickSearch 则使用低成本、高召回率的向量和关键词检索来构建候选池,然后仅将模型预算花在对一组设有上限的真实候选结果进行排名上。上限根据排名模型的输出 token 限制来设定,因为如果在响应中途截断,排名器会静默丢弃结果。这也使得 Amazon Bedrock 的每次查询成本可预测:一次嵌入调用、一次重排序调用,以及少量固定次数的 Claude 调用,无论内容库大小如何。
使缓存失效成为明确的编辑行为
结果缓存 30 天。如果不进行干预,对操作标准或模型的更改将在缓存过期前对用户不可见。每个操作都带有一个流水线版本,在改变其行为的同一更改中会提升该版本。这种提升会立即让先前的结果失效,因此编辑判断作为产品的版本化更改来完善,而不是在每次查询时重新争论。
结果
Social Department 报告了客户使用 QuickSearch 的以下成果。这些是公司自己的观察,而非受控基准测试。
- 以前不可能完成的查询现在只需一次选择 – 识别粉丝群体奉为经典时刻,或将成为特定受众模因的帧,以前需要一位对作品非常熟悉的人观看素材,而且无法在整个目录中扩展。
Social Department 如何构建文化感知的视频发现
- 发现不再依赖人工翻找——据 Social Department 称,过去需要 3–4 天的营销活动发现工作,现在用 QuickSearch 大约 10 分钟即可完成。营销人员过去要逐集翻找合适瞬间所花的时间,重新回到更高价值的营销活动工作上。
- 营销人员无需编写查询就能找到候选片段——这消除了一个要求:搜索者必须足够熟悉素材库,才能描述自己想要什么;正是这一限制让发现工作依赖少数看过该节目的人。
- 归档目录变得可寻址——那些因已完成、已归档且对元数据搜索不可见而实际上无法触达的内容,变得可用于营销活动工作;多年前停播的节目也能重新进入当下的文化讨论。
- 行业认可——Social Department 在 NAB 2026 上作为顶尖初创公司亮相,并登上 Entertainment Loft。
“这里的难点从来不是搜索。而是要弄清楚该搜索什么:如何把优秀营销人员凭直觉做到的事——哪个瞬间奏效以及为什么——转化为系统可以执行上千次的标准。我们在这上面花了很长时间。与 TrackIt 在压缩的时间表内合作,我们从规格走到了 NAB 的现场演示。TwelveLabs 赋予我们理解素材内容的能力,AWS 则提供基础设施,让我们能在素材库规模上做到这一点。我们的工作是知道该把它指向哪里。” — Jonathan Verk,Social Department 创始人兼 CEO
“这里的难点从来不是搜索。而是要弄清楚该搜索什么:如何把优秀营销人员凭直觉做到的事——哪个瞬间奏效以及为什么——转化为系统可以执行上千次的标准。我们在这上面花了很长时间。与 TrackIt 在压缩的时间表内合作,我们从规格走到了 NAB 的现场演示。TwelveLabs 赋予我们理解素材内容的能力,AWS 则提供基础设施,让我们能在素材库规模上做到这一点。我们的工作是知道该把它指向哪里。”
— Jonathan Verk,Social Department 创始人兼 CEO
“媒体行业人人都在谈论给素材库添加元数据,但给内容打标签并不能回本。我喜欢这个项目的地方在于它形成了闭环。它让躺在归档中的节目对真实营销活动有用,而且成本合理,可以每天运行。这正是行业一直缺失的部分。” — Chris Marchitelli,TrackIt 的 Vice President
“媒体行业人人都在谈论给素材库添加元数据,但给内容打标签并不能回本。我喜欢这个项目的地方在于它形成了闭环。它让躺在归档中的节目对真实营销活动有用,而且成本合理,可以每天运行。这正是行业一直缺失的部分。”
— Chris Marchitelli,TrackIt 的 Vice President
我们学到了什么
该项目中的以下四条经验尤为突出。
难点在于表达判断,而非检索内容
检索问题基本已经解决。尚未解决的是,如何把意图表达得足够精确,使检索在没有专家营销人员参与的情况下仍然有用。大部分工程工作都花在定义什么算可分享的场景或可成梗的画面,并且定义得足够严格,以便在不同基调和受众的素材库中反复执行。这个定义来自一个常设评估项目:它有编号的迭代,每一轮都对照每部节目的真值集和一条被跟踪的基线来衡量,从而根据结果而非直觉来调整标准。
基于 Amazon Bedrock 的多模型架构
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们:任何内容运行之前,它们都会被填入真实值。不要要求验证它们,也不要用示例替换它们。
文章标题:How Social Department built culture-aware video discovery
正文: QuickSearch 采用多模型架构,每个模型负责最适合它的工作。Claude Haiku 处理有边界、对成本敏感的输出,Claude Sonnet 处理文化记忆会改变答案的任务。TwelveLabs Marengo 生成多模态嵌入,TwelveLabs Pegasus 提供场景级视频推理,Amazon Rerank 模型负责重排序。Amazon Bedrock 让这一架构的构建和运行变得切实可行。来自 TwelveLabs、Anthropic 和 Amazon 的模型可通过一个 API 获取,因此 Social Department 可以在实测质量发生变化时更换任务背后的模型,而无需构建新的集成。异步调用以媒体库规模运行长视频嵌入任务,Rerank API 在同一服务内增加一轮相关性处理,无需单独托管基础设施。Amazon Bedrock Guardrails 帮助在同一服务中筛查搜索输入,客户数据留在 AWS 数据边界内。由于 Amazon Bedrock 完全托管,团队无需运维自己的模型服务基础设施。
会衰减的信号需要自己的架构
将趋势数据视为内容流水线的另一种输入会失败,因为二者的生命周期不兼容。很早就认识到媒体库内容和实时文化是两套独立系统,具有不同的刷新率、存储和故障模式,这一判断是后续整个设计所依赖的决定。
清晰的层边界让多方项目得以推进
Social Department 拥有流水线架构、检索系统和编辑标准。TrackIt 据此架构进行构建和交付,TwelveLabs 提供视频理解模型。AWS 与 AWS Generative AI Innovation Center 一起,为 AWS 组件提供基础设施、模型访问和解决方案架构。由于每一方都有明确界定的范围,8 周的生产时间线得以守住。
结论
我们介绍了 Social Department 如何与 TrackIt、TwelveLabs 和 AWS 合作,利用自己的流水线和检索架构,为娱乐营销构建文化感知的视频发现系统。本文描述的层由若干 AWS 组件构成。TwelveLabs Marengo 负责多模态嵌入,TwelveLabs Pegasus 负责场景级视频推理,二者均运行在 Amazon Bedrock 上。Anthropic 的 Claude 模型在 Amazon Bedrock 上负责解读和编辑排序,Amazon OpenSearch Serverless 负责混合检索。AWS Step Functions、AWS Lambda、AWS Elemental MediaConvert、Amazon Rekognition、Amazon DynamoDB 和 Amazon SQS 运行围绕它们的流水线。最终得到的是一组单次操作查询,能够返回观众已经关心的片段、他们已经在引用的台词、可以成为表情包的画面,以及与当下任何热门趋势相连的瞬间。
要开始在 AWS 上进行多模态视频理解,请探索 Amazon Bedrock 和 Amazon OpenSearch Service。要了解更多关于 Amazon Bedrock 上可用的 TwelveLabs 模型,请访问 AWS Marketplace 上的 TwelveLabs 页面。要探索 AWS Generative AI Innovation Center 如何帮助您的组织,请访问 AWS Generative AI Innovation Center 页面。
致谢:作者感谢 Katie Kenney、Pranay Duhan、Xiaoye Qian、Rinne Han 和 Dahler Battle 在本解决方案上的工作。我们也感谢 TrackIt 和 TwelveLabs 团队的支持。