From 4ca34619ab5dfa10fc1ecaf0ce7eea8ac5be0e22 Mon Sep 17 00:00:00 2001 From: niebayes Date: Mon, 23 Mar 2026 07:38:11 +0000 Subject: [PATCH 1/4] update change log --- zh_CN/releases/changes.md | 40 +++++++++++++++++++++++++++++++++++++++ 1 file changed, 40 insertions(+) diff --git a/zh_CN/releases/changes.md b/zh_CN/releases/changes.md index 8042db4..045f0fd 100644 --- a/zh_CN/releases/changes.md +++ b/zh_CN/releases/changes.md @@ -4,6 +4,46 @@ description: "Datalayers 版本更新日志（Changelog）：按版本列出新 --- # 版本更新日志 +## 2.4.0 + +发布日期: 2026-03-20 + +### 新功能 + +- 新增 `SHOW INDEXES` 语句，并新增 `information_schema.indexes` 与 `information_schema.index_files` 系统表，便于统一查看主键、向量索引、倒排索引及其索引文件信息。 +- 新增 `INSERT INTO ... SELECT ...`，便于表间数据回填、迁移与批量转换。 + +### 增强 + +- **全文检索能力增强**：倒排索引支持更灵活的分词过滤链路，可组合 lowercase、stop words、stemming 等 token filter；同时支持索引查询缓存，并支持服务重启后自动重建索引。 +- **Prepared Statement 兼容性增强**：补齐更多预处理语句场景支持，改进对 UDF、`DATE` 类型、事务相关语句等场景的兼容性。 +- **PostgreSQL 兼容性增强**：支持 `SELECT current_catalog`，提升与 PostgreSQL 客户端及生态工具的兼容性。 +- **分布式查询诊断增强**：支持分布式 `EXPLAIN`，便于分析分布式查询计划与执行路径。 + +### 优化 + +- **全文检索性能优化**：优化带过滤条件以及 `ORDER BY ... LIMIT` 场景下的全文检索执行路径，降低扫描开销，提升 Top-K 查询效率。 +- **向量检索性能优化**：引入 adaptive filter 与 iterative ANN 等优化策略，在高过滤率场景下更好地平衡召回率与查询延迟。 +- **时序查询性能优化**：优化 MemtableReader 在“时间序列数量多但单序列行数较少”场景下的读取效率，减少不必要的数据扫描。 +- **运行可观测性优化**：优化日志格式与部分运行时日志输出，提升问题定位效率。 + +### 修复 + +- 修复短语查询在索引未启用 position 信息时无法正确处理的问题。 +- 修复全文检索过程中可能出现的 panic，以及评分 UDF 在 `SELECT ... LIMIT` 场景下识别失败的问题。 +- 修复索引元数据在无任务时仍被错误生成、倒排索引选项解析异常、压缩选项解析异常等问题。 +- 修复删除表后 SST 目录未清理、删除列后执行 `SHOW CREATE TABLE` 可能 panic 的问题。 +- 修复 `InnerTxn` 未参数化 SQL 带来的 SQL 注入风险。 +- 修复 PostgreSQL 协议下授权对象名称包含 `@` 字符时处理异常，以及 Web 控制台端口被占用时可能 panic 的问题。 + +## 2.3.19 + +发布日期: 2026-03-19 + +### 修复 + +- 修复 append 模式下查询仍会错误过滤重复时间戳数据的问题，确保保留重复数据的场景下查询结果正确。 + ## 2.3.18 发布日期: 2026-01-30 From f4ec2c2670ffdc3ce2c8b4367e7759c465190dda Mon Sep 17 00:00:00 2001 From: niebayes Date: Mon, 23 Mar 2026 08:30:27 +0000 Subject: [PATCH 2/4] minor --- zh_CN/releases/changes.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/zh_CN/releases/changes.md b/zh_CN/releases/changes.md index 045f0fd..14518f7 100644 --- a/zh_CN/releases/changes.md +++ b/zh_CN/releases/changes.md @@ -10,12 +10,12 @@ description: "Datalayers 版本更新日志（Changelog）：按版本列出新 ### 新功能 -- 新增 `SHOW INDEXES` 语句，并新增 `information_schema.indexes` 与 `information_schema.index_files` 系统表，便于统一查看主键、向量索引、倒排索引及其索引文件信息。 +- 发布全文检索与全文索引功能：支持在 `STRING` 列上创建 `INVERTED INDEX`，可通过 `tokenizer`、`filters`、`with_position` 配置索引行为；查询侧支持 `MATCH`、`QUERY`、`SCORE` 等全文检索函数，可执行关键词、短语和布尔表达式检索，并按相关性评分排序。 +- 新增 `SHOW INDEXES` 语句，以及 `information_schema.indexes` 与 `information_schema.index_files` 系统表，便于统一查看全文索引、向量索引、主键及其索引文件信息。 - 新增 `INSERT INTO ... SELECT ...`，便于表间数据回填、迁移与批量转换。 ### 增强 -- **全文检索能力增强**：倒排索引支持更灵活的分词过滤链路，可组合 lowercase、stop words、stemming 等 token filter；同时支持索引查询缓存，并支持服务重启后自动重建索引。 - **Prepared Statement 兼容性增强**：补齐更多预处理语句场景支持，改进对 UDF、`DATE` 类型、事务相关语句等场景的兼容性。 - **PostgreSQL 兼容性增强**：支持 `SELECT current_catalog`，提升与 PostgreSQL 客户端及生态工具的兼容性。 - **分布式查询诊断增强**：支持分布式 `EXPLAIN`，便于分析分布式查询计划与执行路径。 From 51d439681b91580f9955f518776d62b45a3d25c2 Mon Sep 17 00:00:00 2001 From: YinBo Date: Tue, 24 Mar 2026 10:39:46 +0800 Subject: [PATCH 3/4] minor --- zh_CN/releases/changes.md | 35 ++++++++++++++--------------------- 1 file changed, 14 insertions(+), 21 deletions(-) diff --git a/zh_CN/releases/changes.md b/zh_CN/releases/changes.md index 14518f7..ae2a6ea 100644 --- a/zh_CN/releases/changes.md +++ b/zh_CN/releases/changes.md @@ -10,31 +10,24 @@ description: "Datalayers 版本更新日志（Changelog）：按版本列出新 ### 新功能 -- 发布全文检索与全文索引功能：支持在 `STRING` 列上创建 `INVERTED INDEX`，可通过 `tokenizer`、`filters`、`with_position` 配置索引行为；查询侧支持 `MATCH`、`QUERY`、`SCORE` 等全文检索函数，可执行关键词、短语和布尔表达式检索，并按相关性评分排序。 -- 新增 `SHOW INDEXES` 语句，以及 `information_schema.indexes` 与 `information_schema.index_files` 系统表，便于统一查看全文索引、向量索引、主键及其索引文件信息。 -- 新增 `INSERT INTO ... SELECT ...`，便于表间数据回填、迁移与批量转换。 +- **全文检索**： + - 支持在 `STRING` 类型列上创建 `INVERTED INDEX`，可通过 `tokenizer`、`filters`、`with_position` 参数精细化配置索引行为； + - 查询侧支持 `MATCH`、`QUERY`、`SCORE` 等全文检索函数，可执行关键词、短语和布尔表达式检索，并按相关性评分排序； + - 新增 `SHOW INDEXES` 语句，以及 `information_schema.indexes` 与 `information_schema.index_files` 系统表，便于统一查看全文索引、向量索引、主键及其索引文件信息。 +- **数据批量操作能力**： + - 新增 `INSERT INTO ... SELECT ...`，便于表间数据回填、迁移与批量转换。 -### 增强 - -- **Prepared Statement 兼容性增强**：补齐更多预处理语句场景支持，改进对 UDF、`DATE` 类型、事务相关语句等场景的兼容性。 -- **PostgreSQL 兼容性增强**：支持 `SELECT current_catalog`，提升与 PostgreSQL 客户端及生态工具的兼容性。 -- **分布式查询诊断增强**：支持分布式 `EXPLAIN`，便于分析分布式查询计划与执行路径。 +### 功能增强 -### 优化 +- **Prepared Statement 兼容性增强**：补齐 UDF、DATE 类型、事务相关语句等场景的 Prepared Statement 支持，提升预处理语句整体兼容性； +- **PostgreSQL 兼容性增强**：新增 SELECT current_catalog 语法支持，强化与 PostgreSQL 客户端及生态工具的适配性； +- **分布式查询诊断增强**：支持分布式 EXPLAIN 语句，可直观分析分布式查询的执行计划与路径，降低问题排查成本。 -- **全文检索性能优化**：优化带过滤条件以及 `ORDER BY ... LIMIT` 场景下的全文检索执行路径，降低扫描开销，提升 Top-K 查询效率。 -- **向量检索性能优化**：引入 adaptive filter 与 iterative ANN 等优化策略，在高过滤率场景下更好地平衡召回率与查询延迟。 -- **时序查询性能优化**：优化 MemtableReader 在“时间序列数量多但单序列行数较少”场景下的读取效率，减少不必要的数据扫描。 -- **运行可观测性优化**：优化日志格式与部分运行时日志输出，提升问题定位效率。 - -### 修复 +### 性能与体验优化 -- 修复短语查询在索引未启用 position 信息时无法正确处理的问题。 -- 修复全文检索过程中可能出现的 panic，以及评分 UDF 在 `SELECT ... LIMIT` 场景下识别失败的问题。 -- 修复索引元数据在无任务时仍被错误生成、倒排索引选项解析异常、压缩选项解析异常等问题。 -- 修复删除表后 SST 目录未清理、删除列后执行 `SHOW CREATE TABLE` 可能 panic 的问题。 -- 修复 `InnerTxn` 未参数化 SQL 带来的 SQL 注入风险。 -- 修复 PostgreSQL 协议下授权对象名称包含 `@` 字符时处理异常，以及 Web 控制台端口被占用时可能 panic 的问题。 +- **向量检索性能优化**：引入 adaptive filter 与 iterative ANN 等优化策略，在高过滤率场景下更好地平衡召回率与查询延迟; +- **时序查询性能优化**：优化 MemtableReader 读取逻辑，针对「时间序列数量多、单序列行数少」的场景减少无效数据扫描，提升读取效率； +- **可观测性**：优化日志格式及运行时日志输出内容，提升日志可阅读性。 ## 2.3.19 From 83d7aa8b53b2b779a45693be54a7106f710d0f0e Mon Sep 17 00:00:00 2001 From: YinBo Date: Tue, 24 Mar 2026 10:42:20 +0800 Subject: [PATCH 4/4] minor --- zh_CN/releases/changes.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/zh_CN/releases/changes.md b/zh_CN/releases/changes.md index ae2a6ea..e063770 100644 --- a/zh_CN/releases/changes.md +++ b/zh_CN/releases/changes.md @@ -12,7 +12,7 @@ description: "Datalayers 版本更新日志（Changelog）：按版本列出新 - **全文检索**： - 支持在 `STRING` 类型列上创建 `INVERTED INDEX`，可通过 `tokenizer`、`filters`、`with_position` 参数精细化配置索引行为； - - 查询侧支持 `MATCH`、`QUERY`、`SCORE` 等全文检索函数，可执行关键词、短语和布尔表达式检索，并按相关性评分排序； + - 查询侧支持 `MATCH`、`QUERY`、`SCORE` 等全文检索函数，可执行关键词、短语和布尔表达式检索，并按相关性（BM25）评分排序； - 新增 `SHOW INDEXES` 语句，以及 `information_schema.indexes` 与 `information_schema.index_files` 系统表，便于统一查看全文索引、向量索引、主键及其索引文件信息。 - **数据批量操作能力**： - 新增 `INSERT INTO ... SELECT ...`，便于表间数据回填、迁移与批量转换。