blockio

[wanghenshui]

https://smalldatum.blogspot.com/2024/07/searching-for-regressions-in-rocksdb.html

[wanghenshui]

github.com/facebook/rocksdb/pull/12937/files

[wanghenshui]

https://ronekins.com/2024/01/16/how-to-reduce-linux-block-storage-io-sizes/

max_hw_sectors_kb (read-only) > max_sectors_kb (read/write)

注意max_sectors_kb大小

一个sector 512B
4MB (8192*512B) avgrq-sz * sector-sz

https://kernel.dk/when-2mb-turns-into-512k.pdf

IO调度，是存在组合的

bio 256 个page 4k

多个bio 组合成batch

[wanghenshui]

https://helloyoubeautifulthing.net/blog/2021/01/03/parquet-format/

https://tech.ipalfish.com/blog/2020/12/08/apache_arrow_summary/

https://smalldatum.blogspot.com/2024/07/searching-for-regressions-in-rocksdb.html

[wanghenshui]

https://plantegg.github.io/2019/06/21/%E5%B0%B1%E6%98%AF%E8%A6%81%E4%BD%A0%E6%87%82TCP--%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E5%A4%A7%E5%85%A8/

[wanghenshui]

https://fee-mendes.gitbook.io/scylladb-mc-compare#tests-and-results

seastar简单场景是没优势的。

停止对技术名字的神圣化

[wanghenshui]

https://www.scylladb.com/2017/07/31/database-caches-not-good/

多一跳
成本
可用性
应用场景复杂化

外部缓存破坏后段数据缓存。这个点可以，需要重放 热key 点查，防止冷冲击

外部缓存不安全 存疑

外部缓存没有更好的和数据库后段数据联动，这个和前面的 有点冲突

防止冷启动/proxy预热是比较重要的点

[wanghenshui]

https://nan01ab.github.io/2019/02/WAL-Optimizations.html

[wanghenshui]

https://datafusion.apache.org/blog/2024/09/13/string-view-german-style-strings-part-1/

https://datafusion.apache.org/blog/2024/09/13/string-view-german-style-strings-part-2/

https://www.tunglevo.com/note/an-optimization-thats-impossible-in-rust/

[wanghenshui]

https://www.datadoghq.com/blog/engineering/llms-for-postmortems/

https://www.datadoghq.com/blog/engineering/timeseries-indexing-at-scale/

[wanghenshui]

https://blog.cloudflare.com/sqlite-in-durable-objects/

[wanghenshui]

https://cedardb.com/blog/colibri/

[wanghenshui]

https://medium.com/@adamprout/categorizing-how-distributed-databases-utilize-consensus-algorithms-492c8ff9e916

[wanghenshui]

https://news.ycombinator.com/item?id=40972099

http://web.stanford.edu/class/ee380/Abstracts/200205-slides.pdf

[wanghenshui]

Vortex 的主要特点：

一个可扩展的、最先进的列式文件格式
在磁盘上、内存中和网络传输中共享相同的数据布局，实现零拷贝和（几乎）零分配读取
可以对压缩数据直接进行计算的机制
基于 BtrBlocks 的级联轻量级压缩方案
可扩展的压缩编解码器集合，包括最先进的实现：
FastLanes（整数位打包）
ALP（浮点数）
FSST（字符串）
可配置的文件布局（是否使用行组等），允许写入器针对不同场景进行优化：
快速写入
快速读取
小文件
少量列
大量列
超大列等
精心设计的前向兼容性，Vortex 可能是你需要的最后一个文件格式 🙈
早期基准测试表明：
与 Parquet（使用 zstd）相比有相似的压缩率
1-2 倍的写入吞吐量
2-3 倍的扫描速度
200 倍的随机访问速度

parquet 定制太多，跟进麻烦，使用复杂

但新写一个能解决这个问题吗？

[wanghenshui]

https://tf2jaguar.github.io/understand-tcp-in-depth.html#01-%E5%B0%8F%E5%86%8C%E9%A3%9F%E7%94%A8%E6%8C%87%E5%8D%97