AI_DataCloud的博客

在一次国内Top10游戏厂商的拜访中，了解到客户数仓平台不到5个人，一半员工毕业不到3年，技能和资源非常有限，但是却在管理着整个游戏公司PB级别的数据，客户希望能把数仓当做一个“大号的数据库”一样使用，并吐槽业界没有能解决好以下2个典型分析场景的“实时数仓”。

质变科技发布了自主式数据分析服务——Relyt AI Analytics（以下简称Relyt AI）。该产品凭借前沿大语言模型（LLM）、人机在环自动化（HITL）以及多智能体框架，当前已获得全球15000家组织、超120万专业数据用户的高频使用和验证，累计处理超过200万文件和1200万数据任务。

3月6日凌晨，Monica团队公布其新通用Agent在GAIA Benchmark上击败了OpenAI的“Deep Research”模型，而ManusAI的最新演示更是引发热点关注。而近期，微软推出基于Azure的AI Agent工具链，国内的智谱AI也在推进通用Agent研发，京东探索AI Agent在电商物流中的应用，这些事件揭示了一个共同需求——如何让AI无缝连接外部工具与数据，真正实现从“生成”到“行动”的跨越。

Gartner分析师认为，质变科技Relyt AI正向“DataScience Agent”进化，它扩展了从数仓到BI再到数据科学的端到端平台能力，而非简单的自然语言BI增强。这使其能够覆盖从纯业务人员到有数据素养的高级分析人员的广泛用户群体。

近日，全球最大的IT中文社区CSDN发布了“2024中国开发者影响力年度榜单”，其中，质变科技Relyt AI-ready Data Cloud凭借其创新的AI-ready数据基础设施技术和前瞻性的生成式分析场景布局，荣获“2024中国开发者影响力榜单——创新产品与解决方案”奖项，与华为、阿里云、腾讯云等知名企业产品共同入选。Relyt AI-ready Data Cloud以其卓越的性能和成本效益，帮助企业在数据驱动的商业环境中保持领先，推动企业数字化转型，实现数据价值的最大化。

为什么数据湖将在2025年迎来大幅增长

质变科技数据科学家、AI-ready 数据云团队布道师则明为大家分享系列话题《Agentic AI》，分别从 Agentic AI 的发展脉络、技术架构和当前开源社区所提供的支持，以及具体的商业应用等方面进行分享，本篇是 Agentic AI 系列的第一篇。

Relyt AI-ready Data Cloud 是一个采用四层解耦架构（元数据、计算、缓存和存储）的云原生数据仓库，我们邀请了质变科技 AI-ready 数据云团队布道师、云原生领域资深人士元飞为大家分享话题《计算、存储和元数据三层分离架构下，元数据和事务系统的挑战和关键技术》。

在数据库和数据湖系统中，为了保证极致且稳定的查询性能，数据需要以指定方式进行组织（Data Layout）并存储，如分区分桶、排序、索引等。而在实际生产环境中，数据往往在不同时间、以各种的方式持续进入系统，打破已有数据组织的平衡，导致查询性能衰减。因此，数据库和数据湖系统需要有数据再组织能力，在数据不断流入的同时，持续优化 Data Layout，提供一致且可预期的高效性能。本期，我们邀请质变科技AI-ready数据云团队布道师万确、胡一刀为大家分享话题《Auto Table Service》。

​在存算分离的架构下，数据仓库可以利用云平台IaaS层的弹性能力，通过动态地申请机器资源构建数仓集群，在没有负载的时候，动态地释放机器资源，从而对用户提供Serverless的体验。这样可以有效地降低用户的成本，并提高资源利用率。用户无需关注底层基础设施的运维，只需专注于数据分析和业务逻辑。本期，我们邀请质变科技AI-ready数据云团队布道师文军与大家分享话题《数据仓库：从存算分离到Serverless》。

今天，我们邀请质变科技 AI-ready 数据云团队布道师北辰为大家分享话题《提升数据处理效率：行列混存格式下的读链路优化》，从数据裁剪和数据编解码两个方面，为大家介绍Relyt在读链路上所做的优化工作。

近日，作为亚马逊云科技（AWS）合作伙伴，质变科技受邀参加“数据赋能·智启未来”——亚马逊云科技数据合作伙伴荟萃周活动。质变科技产品经理宁愚进行了主题演讲《Serverless AI-ready Data Cloud》，以下是演讲内容整理。

我们邀请质变科技AI-ready数据云团队布道师与大家分享话题《如何做好半结构化数据分析》。

为解决这些问题，NDP使用remote-cache解决方案，提供一套独立的缓存集群，将数据缓存在计算的近地集群，减少跨地域网络和对象存储本身的读写时延，提高IO性能。在频繁的数据读写中，保证热表的优先缓存，不淘汰的级别，并在设置的TTL之后UNPIN，进入可淘汰阶段，有效保证了热表长期cache的策略。在一些必要向对象存储获取数据的情况下，为了优化性能，NDP将大IO进行切割，通过将一次大IO变成多个小IO，增加并发的方式，减少等待读取对象存储的时间。如何提升对象存储的IO速度，成为业界面临的重大挑战。