#前言:
如果使用sql强行关联,那么你拿到的数据就是一个黑盒数据,是否完全对齐:未知,是否存在某个数据缺失:未知。

###解决需求:

# free-stockdb 架构取舍逻辑
传统的sql需要预置表格头,写一长串sql建立死表,后续数据无法灵活扩展。比如某天新增一个技术因子、某天新增事件标签、自定义截面指标,要么执行ALTER TABLE修改表结构,海量历史数据伴随迁移开销;要么新建附属表,引入复杂联表逻辑,长期积累大量工程债务。
落到 free-stockdb 的架构取舍逻辑
它抛弃旧关系模型、放弃 SQL,本质是意识到:
股票研究不需要预先定义好的数据关联;
我们需要的是自由读取原始时序数据,在代码层动态构建关联———即:动态关系(因子)挖掘。

###通用数据库设计

目标是 “什么业务都能跑”,必须做出大量折中;
free-stockdb 从底层架构到上层接口,全部围绕股票时序研究定向取舍:
主动放弃通用 SQL、关系型数据库
✅ 无 Schema,随意新增自定义因子、嵌套数据,无需调整存储;
✅ code+时间索引针对行情查询深度优化;
✅ 内置 A 股全套业务规则:增量同步、复权、停牌、代码更替;
✅ Python + HTTP 双接口,JS 直接访问,静态 HTML 实现 K 线分析;
✅ pipe 批量原子读写,适配一边写行情、一边并行回测;
✅ 原生板块双向映射,快速构建自定义股票池。

###free-stockdb做法

c++股票专用数据库。
基于时序设计:rd.set/setr/get/keys/vals/len(code,time,data)
code:标识,可以是A股,美股,期货,基金…
data:数据,可以是分钟线,日,周,月线,L1_tick,L2_tick,财务,指标,因子…
data-type:类型,可以是int,float,dict,list,str,bytes,df…
能力:
rd.get(“日k”,“600*”,date1<date2)[:60].all().get(“close”).set(val) #正则*,范围,截取,排序,子对象,列式访问,修改极简api…
额外能力:
pipe,wal,链式调用,同步异步混用,http原生支持,仅2.2mb单文件完成。

SQL查询 与 free-stockdb rd.get 实战用法对比

场景:单标的区间行情获取

需求:获取【000001.SZ】2025-01-01 ~ 2025-12-31 日线行情

通用数据库 + SQL(DuckDB/MySQL)

第一步:提前建表,字段固化

CREATE TABLE stock_daily(
ts_code TEXT,
trade_date DATE,
open FLOAT,close FLOAT,high FLOAT,low FLOAT,vol FLOAT
);
查询语句
SELECT * FROM stock_daily
WHERE ts_code='000001.SZ' AND trade_date BETWEEN '2025-01-01' AND '2025-12-31'
ORDER BY trade_date ASC;

free-stockdb 单条完成。

data = rd.get(code="000001.SZ", start="2025-01-01", end="2025-12-31", period="1d")

痛点
后续存入 MA5、资金流向、自定义情绪因子二选一:
ALTER TABLE增加字段,海量历史数据产生迁移成本;
新建独立因子表,回测必须多表 JOIN,逻辑复杂度持续上升;
所有字段、数据类型在建表时锁定,阻碍因子快速迭代。

free-stockdb无需预先定义表结构,直接调用:

运行
data = rd.get(code="000001.SZ", start="2025-01-01", end="2025-12-31", period="1d")

运行
随时扩展新增指标,无需改动底层存储:# 动态计算因子直接写入bar


bar["ma5"] = calc_ma5(bar_series)
bar["capital_flow"] = calc_money_flow(bar_series)
rd.set("000001.SZ", trade_date, bar, period="1d")

对比显而易见。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐