Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
68 changes: 37 additions & 31 deletions zh_CN/index.md
Original file line number Diff line number Diff line change
@@ -1,60 +1,66 @@
---
title: "Datalayers 中文文档"
description: "Datalayers 中文文档中心,涵盖时序数据库、全文检索、向量检索、流计算、键值存储、Prometheus 兼容与安全管理等核心能力。"
description: "Datalayers 中文文档中心,涵盖时序存储、全文检索、向量检索、流计算、键值存储、Prometheus 兼容、运维管理与安全能力。"
---
# Datalayers 中文文档

Datalayers 是一款面向工业物联网、车联网、具身智能、AI 与能源等场景的**分布式多模态数据库**。系统原生支持时序数据存储、全文检索、键值存储与向量检索,适合构建需要实时写入、混合检索与统一计算的数据平台。
Datalayers 是面向可观测性、物联网、日志分析与 AI 应用场景的分布式多模态数据库。在统一架构下,Datalayers 同时提供时序存储、全文检索、向量检索、键值存储与流计算能力,并以 SQL 作为主要查询语言,兼容 PromQL、Redis 协议和 InfluxDB Line Protocol。

相比将多种数据库和流处理系统拼接在一起,Datalayers 更强调统一的数据链路能力:从数据接入、实时处理、冷热分层存储,到检索分析与生态集成,均可在同一平台内完成。这有助于降低系统复杂度,并在性能、成本与运维效率之间取得更好的平衡。

## 适用场景

- 可观测性平台:统一承接指标、日志、事件等多类型数据,支持实时写入、检索与分析
- IoT / IIoT:面向设备遥测、传感器数据和边缘采集场景,支持高吞吐写入与资源受限环境(边缘网关、盒子等)部署
- AI 检索增强:结合向量检索、全文检索与结构化过滤,支持混合检索与知识召回
- 实时数据处理:从 Kafka、MQTT、HTTP 等数据源持续接入数据,并在入库前完成过滤、投影与转换

## 核心功能特性

### 时序数据存储
### 时序存储与分析

- 为海量时间序列数据设计,单节点可支撑每秒数千万级别的数据点写入,轻松应对监控指标、传感器数据等高并发场景
- 优化的时间序列索引和存储结构以及向量化执行,确保对历史数据的快速检索和聚合分析,延迟低至毫秒级
- 根据数据类型自动选择编码方式与压缩算法,满足高性能与低成本的平衡;也可手动指定编码方式与压缩算法,以满足不同场景需求
- 面向海量时间序列数据设计,适用于监控指标、设备遥测、工业采样等高并发写入场景
- 通过优化的时序索引、存储布局与向量化执行,支持低延迟查询和高效聚合分析
- 支持按数据类型自动选择编码与压缩策略,也可按业务需求手动指定存储参数

### 向量检索

- 支持最高 16000 维 Float 类型稠密向量
- 支持 IVF、HNSW 等多种向量索引算法,平衡检索速度和精度
- 支持向量检索与传统 SQL 条件组合使用,在单一数据库内即可完成向量召回与结构化过滤。
- 支持最高 16000 维 `FLOAT` 类型稠密向量
- 支持 IVF、HNSW 等向量索引算法,可在召回效率与检索精度之间灵活权衡
- 支持向量检索与 SQL 条件联合使用,在同一查询链路中完成召回、过滤与排序

### 全文检索

- 支持基于倒排索引的字符串全文检索
- 支持 `MATCH`、`QUERY`、`SCORE()` 等全文检索函数
- 基于 BM25 相关性评分对检索结果排序,适用于日志、事件与审计文本检索
- 基于倒排索引提供面向 `STRING` 列的全文检索能力
- 支持 `MATCH`、`QUERY`、`SCORE()` 等检索函数,满足关键词、短语和布尔表达式检索需求
- 采用 BM25 相关性评分,适用于日志、事件、审计记录等文本密集型场景

### 流计算

- 提供 SQL 风格的流计算语法,支持从 Kafka、MQTT、HTTP 等外部数据源持续接入数据
- 提供 SQL 风格的流式处理能力,支持从 Kafka、MQTT、HTTP 等外部系统持续接入数据
- 支持基于 `SOURCE`、`PIPELINE`、`SINK TABLE` 的实时过滤、投影与入库处理链路
- 适用于实时清洗、预处理、告警前置计算和在线数据转换等场景

### 高性能键值存储
### 键值存储

- 支持 TB PB 规模的分布式键值存储
- 完全兼容 Redis 核心数据结构和协议,用户可以轻松将现有 Redis 应用迁移至 Datalayers
- 支持 TB PB 级别的分布式键值存储
- 兼容 Redis 核心数据结构与协议,便于现有 Redis 业务平滑迁移或统一纳管

### 存算分离架构

- 存储与计算资源独立扩展,优化资源利用率
- 支持按需弹性伸缩,灵活应对业务波动
- 支持主流云厂商的对象存储服务集成,如:阿里云、华为云、腾讯云、AWS、Azure、GCP 等;同时,对于兼容 S3 协议的对象存储服务也可 0 代码接入(如:MinIO)
- 存储与计算资源可独立扩展,提升资源利用率并降低容量规划压力
- 支持按需弹性伸缩,适应写入峰值、查询波动与长期存储需求
- 支持主流云对象存储及兼容 S3 协议的存储服务,便于构建低成本长期存储方案

### 受限设备支持
### 边缘与受限环境支持

- 专为资源受限设备深度优化
- 在有限资源环境下实现高性能数据处理
- 满足边缘计算场景的特殊需求
- 面向资源受限设备和边缘节点(边缘网关、盒子等)进行优化
- 在有限 CPU、内存和存储条件下,仍可提供高效、稳定的数据写入与查询能力
- 适用于边缘采集、边缘缓存与边云协同场景

### 生态丰富

- 使用 SQL (兼容 MySQL 方言)作为查询语言,以降低学习、使用与迁移成本
- 完整实现 `Arrow Flight SQL` 协议,实现数据高速传输
- 支持 `PostgreSQL` 网络连接协议
- 提供多语言的 SDK,实现快速接入
- 支持 JDBC 驱动接入
- 支持 HTTP 协议
- 支持 InfluxDB 行协议接入
- 支持 Prometheus 查询协议与 Remote Write 协议,兼容现有 Prometheus 生态工具,可作为 Prometheus 的长期存储或替代方案
- 以 SQL(兼容 MySQL 方言)作为主要查询语言,降低学习和迁移成本
- 支持 `Arrow Flight SQL`、`PostgreSQL` 连接协议
- 支持 InfluxDB Line Protocol、Prometheus 查询协议与 Remote Write 协议,便于接入现有监控与数据生态
- 支持 JDBC 驱动接入,同时提供多语言 SDK,支持应用、平台和数据工具的快速集成
4 changes: 4 additions & 0 deletions zh_CN/integration/datalayers-with-emqx.md
Original file line number Diff line number Diff line change
Expand Up @@ -92,3 +92,7 @@ demo> select * from sensor_info;
+-------------------------------+-----+------+
2 rows in set (0.001 sec)
```

## 更多配置方式参考

- [EMQX 数据集成](https://docs.emqx.com/zh/emqx/latest/data-integration/data-bridge-datalayers.html)