揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第1张

当前,数据驱动时代下,企业对数据处理的需求持续增长,数据处理精度变得尤为关键。为此,UData问答式智能AI数据助手应运而生,该助手基于大语言模型技术和湖仓一体架构,以新一代AI数据资产体系为支撑,为该领域注入新活力。腾讯游戏在业务场景中也揭示了精准数据挖掘和提取的重要性,同时也面临诸多挑战。

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第2张

UData背景与腾讯游戏需求

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第3张

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第4张

UData在数据处理领域表现突出。其诞生旨在应对数据需求不断上升的趋势。腾讯游戏每年需处理数以万计的数据挖掘与提取任务。相较BI场景,数据挖掘需处理更多表格,数量可高达数万甚至数十万。只有当这些表格被AI理解并达到人类水平的准确性,才能应用于实际业务场景。这凸显了在实际业务需求中对高度准确性的依赖。这并非易事,而是腾讯游戏及整个行业在数据处理领域需要突破的难题之一。

腾讯游戏的数据处理研究中,其数据团队指出,企业场景下AI编写SQL语句的准确率较低,原因在于两点:一是AI对数据需求的理解存在误解,二是AI对数据资产的理解也存在误解,导致大模型未能获取到全面的信息。这一现象反映出当前数据处理领域面临诸多复杂挑战。

UData的资产建设

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第5张

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第6张

UData为克服这些挑战,设立了“AI驱动数据资产体系”。其核心目标是提升AI对资产的认知与运用能力。该体系的构建涉及多个层面。首先,基于“新一代AI数据资产”,旨在使AI能够理解并准确执行SQL语句,实现自助交付。为此,制定了语义层建模规范,其中包含了行业知识、指标、维度、特征、元数据等多个关键要素。

此语义层建模规范的重要性不容忽视。AI能够根据其理解的语意资源,根据不同需求采取相应的资源利用策略。在需求涉及现有指标或维度资源时,通过推荐现有看板即可满足;对于新指标或新维度需求,AI可以利用特征资源生成相应的指标和维度;若遇到缺乏语意资源的需求,AI能够迅速察觉并发出警报。在补充了必要的特征等语意资源后,AI能够完成资源的交付。此策略对数据资源的高效利用起到了显著的促进作用。

资产纽带与优势

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第7张

新一代AI数据资产扮演着连接不同层次的核心角色。其核心作用是构建业务需求、行业知识与数据结构之间的桥梁,并通过领域模型实现信息的积累与推荐,确保资产能够被AI理解和运用。这种牢固且高效的连接机制,使得数据处理流程更为顺畅和合理。

UData的优势显著。其需求构建稳定且易于AI理解,这使其在提高AI准确交付率方面表现卓越。同时,在与其他行业产品竞争时,UData展现出显著的差异化优势。这种优势赋予UData在众多数据处理产品中的独特地位。

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第8张

实时数据处理挑战

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第9张

确保SQL语句无误并不能满足数据处理的全局需求。以Lambda架构的传统数据仓库为例,多数计算任务是在T+1日进行离线处理,这种模式存在较大局限,无法支持对所有数据的实时高效检索。因此,对实时详细数据的深入探究和分析变得尤为困难。在当前众多应用场景中,实时数据处理显得尤为关键,这无疑对整个数据处理流程构成了重大挑战。

UData的应对方式

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第10张

UData依托于新一代AI数据资产,采用通用大模型、特定领域模型以及多智能体架构,旨在释放AI潜能,攻克实时数据处理难题。通过这些技术的融合,UData显著增强了数据处理能力。

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第11张

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第12张

UData引入了“领域模型”这一概念,用于处理不同行业中的专业知识与企业知识。依托知识图谱、语义解析、检索与排序等先进技术,该模型有助于大模型更深入地理解数据资产。这种做法是确保数据处理既高效又准确的有效途径。

平台应用流程

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第13张

UData平台的应用流程具有独特性。该平台采用了Agent多智能体架构。这一架构实现了人与AI的紧密协作,并支持平台的持续优化。该架构展现了UData的创新精神。同时,在数据处理方面,它提升了工作效率,并对整个数据处理流程进行了优化。

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第14张

UData展现了数据处理技术的持续进步。展望未来,在众多行业的多样化应用场景中,UData的各项功能能否充分发挥其潜力尚存疑问。我们期待读者踊跃点赞、留言及转发本文,共同深入探讨数据处理领域的广阔前景。

揭秘2024 StarRocks Summit:腾讯游戏Deltaverse如何引领AI数据革命?  第15张