Newshot

OpenMetadata:面向数据与 AI 的开放上下文层

Translation(model translation, not the source's own text)

OpenMetadata

面向 AI 的开放上下文层

用于 AI 上下文、数据编目和元数据管理的规模最大、增长最快的开源项目。

OpenMetadata 是开放平台,为每位数据用户、AI 助手和智能体提供可信的数据上下文、组织记忆和业务语义。

OpenMetadata 将技术元数据、数据质量信号、血缘、列级血缘、所有权、使用情况、策略、对话、记忆、术语表、分类、指标、域、数据契约和数据产品连接到一个统一的元数据知识图谱中。借助 130+ 个连接器、开放元数据标准、语义搜索、API、SDK 和 MCP 服务器,OpenMetadata 为每位用户和 AI 系统提供其发现、理解、信任、记住并使用数据所需的受治理上下文。

AI 不需要另一个原始数据库连接器。AI 需要上下文 + 记忆。

OpenMetadata:面向 AI 的开放上下文层
OpenMetadata:面向 AI 的开放上下文层

OpenMetadata 提供 AI 需要知道的上下文:

  • 存在哪些数据
  • 它意味着什么
  • 它如何被使用
  • 它来自哪里
  • 它流向哪里
  • 它是否新鲜、经过测试、已认证且可信
  • 哪些业务概念、分类、术语表术语、策略、契约和数据产品适用
  • 哪些下游仪表板、管道、指标、ML 模型和应用程序依赖它
  • 已经记录了哪些关于它的对话、决策、假设和记忆片段

为什么 AI 需要 OpenMetadata?

AI 系统需要的不仅仅是数据访问。它们需要受治理的上下文、业务含义、信任信号、血缘、使用情况、所有权、标准和组织记忆。

直接连接数据仓库、数据湖、仪表板或管道,暴露的是原始结构。它不会告诉 AI 助手数据意味着什么、是否已认证、谁拥有它、适用哪些策略、受什么契约治理、如果发生变化会破坏什么,或者组织已经从中了解到什么。

OpenMetadata 是开放上下文层,让每位数据用户和 AI 智能体都能全面了解企业数据。

OpenMetadata 汇聚五项能力:

  • 上下文——来自整个数据生态系统的技术、运营、信任、使用和血缘元数据。
  • 语义——通过术语表、指标、分类、域、策略、本体和数据产品表达业务含义。
  • 知识图谱——连接资产、列、人员、团队、质量、血缘、策略、记忆、契约和业务概念的关系。
  • 记忆——对话、AI 线程、决策、假设、运行手册、修复说明和可复用记忆片段,用于保存隐性知识。
  • 激活——MCP、语义搜索、API、SDK、事件和工作流,让上下文可供 AI 助手、智能体、应用程序和人类使用。

借助 OpenMetadata,用户和 AI 智能体可以回答:

  • 这个指标是什么意思,如何计算?
  • 哪些数据集为该仪表板提供支持?
  • 谁拥有这个数据产品?
  • 适用哪个数据契约?
  • 这个数据集是否新鲜、经过测试、已认证且可信?
  • 这次列变更会影响哪些下游仪表板、管道或 ML 模型?
  • 哪些列包含敏感的客户信息?
  • 哪些术语表术语、策略、标准和业务概念适用?
  • 关于此资产已经记录了哪些决策、假设、事件或对话?

OpenMetadata 连接的上下文

OpenMetadata 收集并连接 AI 安全地基于企业数据进行推理所需的上下文。

Context typeWhat OpenMetadata capturesWhy it matters for AI
Technical metadata数据库、schema、表、列、topic、仪表板、图表、管道、API、搜索索引、ML 模型、存储资产、数据类型、约束、描述、join、示例查询、服务元数据、所有者、团队、使用情况、域和数据产品帮助 AI 发现存在哪些资产,并理解资产的结构方式
Quality and trust测试用例、测试套件、新鲜度检查、数据量检查、空值、唯一性、分布、自定义测试、profiling 结果、可观测性信号、事件、告警和质量历史帮助 AI 避免把所有数据集都视为同等可信
Lineage and impact上游和下游 lineage、表级 lineage、列级 lineage、仪表板 lineage、管道 lineage、指标 lineage、ML 模型 lineage、API 和 topic 依赖关系,以及 OpenLineage 事件帮助 AI 解释数据来自哪里、流向何处,以及哪些变更可能造成破坏
Semantics术语表、业务术语、同义词、相关术语、指标、KPI、分类、标签、域、数据产品、策略、persona、生命周期状态和本体帮助 AI 将技术名称映射到业务含义
Governance所有者、steward、团队、策略、角色、分类、访问上下文、认证、评审工作流、生命周期状态和数据契约帮助 AI 在具备策略感知能力的上下文中行动
Memory and tribal knowledge附加在资产、用户、团队、数据产品和 agent 工作流上的对话、AI 线程、决策、假设、runbook、修复笔记、事件经验教训和可复用的记忆片段帮助人类和 agent 继承组织已经学到的东西,而不是在每次对话中重新发现
Standards and interoperabilityDCAT、DPROD、PROV-O、OpenLineage、ODCS、RDF/OWL、JSON-LD、SHACL、JSON Schema、API、事件和元数据 schema帮助上下文在工具、agent、目录、契约和知识图谱之间流转

Architecture: Context + Memory Graph

How OpenMetadata Works
How OpenMetadata Works

OpenMetadata 围绕一个开放的、schema-first 的元数据图构建。

  • 通过 130+ 连接器、ingestion API、事件和 SDK,从数据仓库、数据湖、BI 工具、管道、ML 平台、消息系统、存储系统、API、搜索系统、SaaS 应用、元数据系统、文档、对话和 agent 工作流中采集元数据。
  • 使用开放 schema 和标准对元数据进行标准化,使每个资产、关系、策略、契约、lineage 事件和记忆都能以一致的方式表示。
  • 将技术元数据、质量信号、lineage、所有权、使用情况、策略、对话、记忆、语义、域、契约和数据产品连接成一张图。
  • 通过将对话、AI 线程、决策、假设、runbook 和修复笔记转化为与数据资产和业务上下文绑定的、可复用的受治理记忆片段,来保留 Memory。
  • 使用开放标准、分类、策略、角色、数据质量、评审工作流、数据契约和数据管理来治理上下文。
  • 通过 Semantic Search、MCP、API、SDK、事件、webhook、元数据应用和 AI 工作流激活该上下文。

Memory 是架构的一部分,而不是旁路通道。它让工程师可以使用 API、SDK、MCP 或 AI 工作流来保留对话上下文,并将部落知识转化为可复用的组织知识。

Context Graph, Semantics, and Memory

OpenMetadata Context Graph
OpenMetadata Context Graph

OpenMetadata:面向数据与 AI 的开放上下文层

OpenMetadata 图谱不仅存储数据资产,还存储资产、列、负责人、团队、策略、质量测试、血缘、分类、词汇表术语、指标、域、数据契约、数据产品、对话以及记忆片段之间的关系。

关系示例:


        Table               ──hasColumn────────────> Column
Column              ──classifiedAs─────────> PII
Column              ──represents───────────> Customer Identifier
Table               ──ownedBy─────────────> Data Engineering Team
Table               ──partOf──────────────> Customer 360 Data Product
Dashboard           ──dependsOn───────────> Table
Metric              ──definedBy───────────> Glossary Term
Pipeline            ──produces────────────> Table
Column              ──flowsTo─────────────> Column
Test Case           ──validates───────────> Table
Policy              ──governs─────────────> Classification
Data Contract       ──appliesTo───────────> Table
OpenLineage Event   ──updatesLineageFor───> Pipeline
Agent Conversation  ──capturedAs──────────> Memory
Memory              ──informs─────────────> Data Product
Memory              ──documentsDecisionFor> Metric
Memory              ──attachedTo──────────> Table / Column / Topic / Dashboard / Pipeline / API
      

这一图谱为 AI 系统提供了跨数据资产进行推理所需的各项关系、含义、记忆与治理能力。

记忆:面向人类与 Agent 的组织上下文

Memory Primitives
Memory Primitives

记忆可以保存那些通常会在聊天、工单、会议、笔记本和 AI agent 线程中丢失的重要上下文。

记忆是一种开放且受治理的 OpenMetadata 实体,可以关联到数据资产、用户、团队、线程、域、数据产品、指标、策略、事件以及工作流。工程师可以通过 API、SDK、MCP、聊天或 AI 应用来捕获和检索记忆。

可以使用记忆来保存以下内容:

  • 某个指标为何发生变化
  • 某个列为何被重命名
  • 分析中使用了什么假设
  • 哪项修复解决了某个数据质量问题
  • 某项决策适用于哪个仪表板或数据产品
  • 某个 AI agent 在调查事件时学到了什么
  • 某位领域专家在对话中解释了什么

记忆通过使隐性知识可复用、受治理、可搜索,并可供每一位接触你数据的人员、助手和 agent 使用,从而释放其价值。

MCP、语义搜索、API、AI SDK 与记忆

OpenMetadata 通过面向 AI 和开发者的接口,让上下文变得可操作。

MCP 服务器

OpenMetadata 包含一个 MCP 服务器,可让兼容 MCP 的助手与 agent 通过自然语言与元数据图谱交互。

AI 助手可以使用 OpenMetadata MCP 来:

  • 搜索元数据
  • 运行语义搜索
  • 获取实体详情
  • 检查血缘
  • 了解数据契约与策略上下文
  • 检索或保存记忆片段
  • 更新描述、标签、负责人及其他元数据
  • 创建词汇表术语和血缘
  • 列出并创建数据质量测试
  • 分析数据质量失败的根因

快速开始:OpenMetadata MCP 服务器文档

语义搜索

语义搜索让用户和 AI 助手能够按含义查找数据资产,而不仅限于精确关键词。


        Find trusted customer purchase datasets with known data quality issues and recent remediation notes.
      

即使名称在不同域、工具和团队之间存在差异,OpenMetadata 也能呈现概念上相关的资产、指标、词汇表术语、数据产品、记忆片段以及治理上下文。

API、SDK、事件与 Webhook

OpenMetadata 提供 API、SDK、事件和 Webhook,使团队能够在其生态系统中摄取、更新、搜索、订阅和自动化元数据。

开发者可以使用 AI SDK 构建自定义 AI 应用,以编程方式使用 OpenMetadata 上下文和记忆。

从代码中使用

两个包,取决于你在构建什么。

目标包安装
读写元数据、血缘、术语表、质量openmetadata-ingestionpip install "openmetadata-ingestion"
为 LLM 或 agent 提供受治理的访问(MCP、LangChain)data-ai-sdkpip install data-ai-sdk

另有:@openmetadata/ai-sdk(TypeScript)、org.open-metadata:ai-sdk(Java)。

Python SDK——连接并读取元数据

将 SDK 版本与你的服务器版本匹配。


        from metadata.generated.schema.entity.data.table import Table
from metadata.generated.schema.entity.services.connections.metadata.openMetadataConnection import (
    OpenMetadataConnection, AuthProvider,
)
from metadata.generated.schema.security.client.openMetadataJWTClientConfig import (
    OpenMetadataJWTClientConfig,
)
from metadata.ingestion.ometa.ometa_api import OpenMetadata

metadata = OpenMetadata(OpenMetadataConnection(
    hostPort="http://localhost:8585/api",
    authProvider=AuthProvider.openmetadata,
    securityConfig=OpenMetadataJWTClientConfig(jwtToken="<your-token>"),
))
assert metadata.health_check()

table = metadata.get_by_name(entity=Table, fqn="sample_data.ecommerce_db.shopify.raw_product_catalog")
print(table.description, [c.name.root for c in table.columns])
      

实体是分层的——一个 Table 属于一个 Schema,Schema 属于一个 Database,Database 属于一个 DatabaseService。每个实体都通过 fullyQualifiedName 引用其父级。

AI SDK——通过 MCP 为 agent 提供受治理的上下文

OpenMetadata 在 /mcp 暴露了一个 MCP 服务器。与仅读取原始数据库 schema 的通用连接器不同,它将语义搜索、血缘遍历、术语表/分类以及元数据变更作为任何 LLM 都可调用的工具暴露出来。


        from ai_sdk import AISdk, AISdkConfig

client = AISdk.from_config(AISdkConfig.from_env())

# Convert MCP tools to LangChain format — one line
tools = client.mcp.as_langchain_tools()

# Or call a tool directly
result = client.mcp.call_tool("search_metadata", {"query": "customers"})
      

开箱即支持 LangChain 和 OpenAI function calling。

文档与示例

  • Python SDK 参考:https://docs.open-metadata.org/latest/sdk/python
  • MCP 服务器指南:https://docs.open-metadata.org/latest/how-to-guides/mcp
  • AI SDK(MCP 工具 + agents):https://github.com/open-metadata/ai-sdk
  • REST API:https://docs.open-metadata.org/latest/main-concepts/metadata-standard/apis

你可以构建什么

AI 数据发现

在元数据图上进行自然语言提问,即使名称和关键词不完全匹配也能找到相关资产。

可信的 AI 助手

将 AI 响应建立在受治理的元数据之上:所有者、描述、术语表术语、分类、质量、新鲜度、使用情况、血缘、策略、契约和记忆。

Agent 记忆与部落知识

将对话、决策、假设、运行手册和 agent 学习内容捕获为受治理的记忆碎片,供每位数据用户和 AI agent 复用。

影响分析 Agent

询问如果某个表、列、管道、仪表盘、指标、ML 特征、契约或数据产品发生变化,会有什么影响。

治理自动化

使用 agent 来建议描述、分配术语表术语、识别敏感数据、提议所有权、执行契约上下文并管理管家工作流。

数据质量自动化

使用 AI 工作流来创建测试、汇总失败、识别根本原因、保留修复记忆并推荐下一步操作。

开发者与编码 Agent 工作流

将编码 agent 连接到 OpenMetadata,使其在生成 SQL、dbt 模型、文档、测试、迁移计划或影响分析之前,理解 schema、所有者、血缘、业务定义、质量期望、契约和记忆。

开放标准与互操作性

OpenMetadata 构建于开放元数据标准之上。

OpenMetadata:数据与 AI 的开放上下文层

OpenMetadata Standards 是 OpenMetadata 背后的 schema、API、本体、事件模型和语义规范的开源家园。

它提供:

  • 700+ 个 JSON Schema,用于元数据实体、API、配置、事件和关系
  • 用于语义网、关联数据和知识图谱用例的 RDF/OWL 本体
  • 用于校验的 SHACL 形状
  • 用于语义互操作的 JSON-LD 上下文
  • 治理、血缘、质量、可观测性、团队、用户、角色、策略、事件、契约和数据产品的标准

OpenMetadata 支持并与对 AI 上下文和数据生态至关重要的标准保持一致:

标准OpenMetadata 如何使用它
DCAT / DPROD在可互操作的语义模型中表示目录和数据产品上下文,包括数据集、数据服务、分发、域、所有者、输入和输出数据集、生命周期状态、用途和策略。
PROV-O使用 W3C 溯源语义来表示血缘、生成/派生数据、代理、活动、所有权和可解释的上下文。
OpenLineage 支持接受并连接兼容 OpenLineage 的血缘事件,使管道执行元数据可以丰富更广泛的 OpenMetadata 图谱。
ODCS 支持支持 Open Data Contract Standard 3.1,用于可互操作的数据契约、契约导入/导出、schema 预期、质量规则、SLA、支持渠道、角色和生产者-消费者协议。
RDF/OWL、JSON-LD、SHACL使元数据对图谱友好、语义可互操作,并可为关联数据、知识图谱和 AI 用例进行校验。
JSON Schema、API、事件使元数据在工具、代理和自定义应用程序之间保持可移植、自动化友好和可扩展。

这些标准使 OpenMetadata 成为可互操作语义元数据、关联数据、数据产品、数据契约、血缘、溯源和企业知识图谱的基础。

核心平台能力

能力包括
AI 上下文与记忆memory nuggets、对话、代理线程、决策、假设、修复笔记、runbook、上下文检索和受治理的代理记忆
发现与理解资产搜索、语义搜索、描述、样本数据、使用情况、所有权、对话、任务、公告
治理与语义词汇表、分类、标签、指标、KPI、域、数据产品、策略、角色、认证、生命周期状态
数据契约与标准ODCS 3.1 支持、契约导入/导出、schema 预期、SLA、服务条款、语义关系、数据产品上下文、DCAT/DPROD、PROV-O、RDF/OWL、JSON-LD、SHACL
数据质量与可观测性测试、profiling、新鲜度、卷、空值、唯一性、分布检查、告警、事件、根因工作流
血缘与影响分析表血缘、列级血缘、仪表板血缘、管道血缘、指标血缘、ML 模型血缘、OpenLineage 支持、影响分析
安全与访问控制认证、授权、角色、策略、SSO、bot token、用户 token、MCP 认证、受治理的元数据操作
可扩展性与自动化130+ 连接器、API、SDK、webhook、事件、应用程序、摄取框架、自定义连接器、自定义属性、MCP 工具、AI SDK 工作流

快速开始

  • 试用 OpenMetadata:OpenMetadata Sandbox
  • 安装 OpenMetadata:快速开始指南
  • 从仓库、BI 工具、管道系统、数据质量工具、血缘源、契约源或产生记忆的工作流中摄取元数据。
  • 使用描述、所有者、团队、域、数据产品、质量测试、新鲜度、使用情况、血缘和数据契约构建上下文。
  • 通过词汇表、分类、标签、指标、KPI、策略、域、与 DCAT/DPROD 对齐的数据产品以及 PROV-O 血缘上下文添加语义。
  • 从对话、AI 线程、事件、修复笔记、假设和决策中捕获记忆。

文章标题:OpenMetadata:面向数据与 AI 的开放上下文层

正文:

  • 启用语义搜索,让用户和 AI 助手能够按含义进行搜索。
  • 连接 MCP Client,为 AI 助手和智能体提供对 OpenMetadata 上下文和记忆的受治理访问。
  • 使用 OpenMetadata API、SDK、MCP 工具、事件和 AI SDK 工作流构建 AI 应用。

文档与社区

  • 文档:docs.open-metadata.org
  • MCP Server:OpenMetadata MCP Documentation
  • OpenLineage 连接器:OpenMetadata OpenLineage Documentation
  • OpenMetadata 标准:openmetadatastandards.org
  • 网站:open-metadata.org
  • Slack 社区:slack.open-metadata.org
  • 博客:blog.open-metadata.org

开源与企业级 AI

OpenMetadata 是面向 AI 上下文、元数据、组织记忆、语义、治理、质量、血缘、数据契约、开放标准、API、MCP 和 AI SDK 工作流的开源基础。

如需托管的企业级能力、AI 智能体、自动化、AI Studio、企业级 MCP 工作流、商业支持以及托管运维,请参阅 Collate:

贡献

我们欢迎社区贡献。你可以帮助改进元数据模式和标准、添加连接器、改进摄取工作流、增强 MCP 工具、改进语义搜索、添加记忆工作流、补充文档、修复缺陷以及改进用户体验。

请参阅 CONTRIBUTING.md 开始参与。Python 贡献者应遵循检出仓库中锁定的本地 Python 环境指南,了解 profile 选择、安装与测试命令。

  • 如何贡献
  • 开发环境搭建
  • 构建代码并运行测试

许可证

OpenMetadata 基于 Apache License, Version 2.0 发布。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗