SelectDB

Apache Doris是一个基于MPP（大规模并行处理）架构的高性能、实时的分析型数据库，旨在为用户提供毫秒级查询响应、高并发、高可用以及易于扩展的OLAP（联机分析处理）解决方案。它融合了MPP架构与分布式存储，支持PB级别的数据存储和分析，是大数据场景下理想的实时数仓选择。除此之外，2.0 版本针对 ETL 场景还做了一些性能优化：比如解决了内存资源耗费的情况。

日志分析，简而言之，就是对系统、应用或服务在运行过程中产生的日志数据进行收集、整理、分析和挖掘的过程。这些日志数据记录了系统运行的各种信息，包括用户行为、系统性能、异常事件等。通过对这些数据的分析，我们可以深入了解系统的运行状况，发现潜在问题，为优化系统性能、提升用户体验、确保系统安全提供有力支持。

随着大数据时代的来临，数据仓库成为了企业存储、管理和分析海量数据的重要基础设施。而在数据仓库的应用中，Ad Hoc查询凭借其灵活性和即时性，受到了广泛的关注和应用。接下来为您深入讲解 Ad Hoc 。

通过分析收集到的数据，CDP可以形成用户360度全景画像，洞察用户的行为、兴趣、需求等信息，更好地把握用户的生命周期，为企业提供精细化的营销和服务。同时，通过用户行为分析，将用户数据与业务场景结合，实现个性化、精细化的运营，以更加灵活的方式，触达不同场景下的用户，提升用户的体验。客户数据资产沉淀：将用户数据管理平台作为企业客户主数据中心，清洗并整合多源客户数据，如CRM系统中的结构化数据，客服产生的非结构化的通话记录，埋点程序捕捉的用户交互行为数据等；当前的解决方案难以实时响应查询需求。

实时数仓MPP查询的结构和原理是构建高效数据处理和分析系统的核心。MPP（Massively Parallel Processing）架构，通过并行处理和分布式计算，实现了对大规模数据的快速分析和查询。在查询引擎方面，Doris 采用 MPP 的模型，节点间和节点内都并行执行，也支持多个大表的分布式 Shuffle Join，从而能够更好应对复杂查询。

实时数仓的存储方式有行式存储和列式存储，所谓行式存储，指存储结构化数据时，在底层的存储介质上，数据是以行的方式来组织的，即存储完一条记录的所有字段，再存储下一条数据的所以字段，以此类推；

数仓建模是一个涉及多个学科和领域的复杂过程，它旨在构建一个高效、可靠且易于管理的数据仓库，以支持企业的数据分析和决策制定。下面我将根据上面的大点，详细阐述数仓建模的所有知识点。

流批一体是一种数据处理模式，它结合了流处理和批处理的特点，实现了对实时数据和离线数据的统一处理。在这种模式下，数据可以同时从实时数据源和离线数据源获取，然后进行统一处理和分析。

这个架构中，中间数据仓库环节有两个部分，一个是离线的数据仓库，一个是实时的数据仓库。因此就产生了 Kappa 结构。接着需要新起一个任务，从原来比较早的一个时间节点去消费 Kafka 上的数据，然后当这个新的任务运行的进度已经能够和现在的正在跑的任务齐平的时候，你就可以把现在任务的下游切换到新的任务上面，旧的任务就可以停掉，并且原来产出的结果表也可以被删掉。在实时数仓计算的部分，不需要做的特别重，尤其是聚合相关的一些逻辑，然后这样就可以保障在数据应用层能灵活的面对各种业务分析的需求变更，整个架构更加灵活。

作为中国卓越的由人工智能驱动的信贷科技服务平台，某科技公司选择将 Apache Doris 作为整体 OLAP 场景统一的分析引擎，并使用 Apache Doris 替换了 ClickHouse 和 MySQL ，使得报表分析场景 SLA 达标率提升至 99% 以上，平均查询耗时降低 50%。在更具体的领域，分析型数据库的应用包括但不限于金融分析、CRM（客户关系管理）、市场分析、科学实验室、医疗和物流等。例如，金融分析可以使用分析型数据库进行复杂的数据查询和分析，以支持投资决策和风险管理。

数据库目前是分为两大类，分别是关系型数据库和非关系型数据库，而分析型数据库是根据数据库的作用来划分的。

分析数据库是面向分析应用的数据库，与传统的数据库不同，它可以对数据进行在线统计、数据在线分析、即时查询等，从而发掘数据的价值信息，是数据库产品一个重要的分支。

Variant 的引入，使得存储和查询性能上均有显著提升，相较于 JSON 类型，存储空间减少了约 65%，查询速度提升超 8 倍。