每天入库100W数据也不是问题,入库还不大会体现出耗时问题。
主要还是要考虑入库后,在数据统计运算上面的问题,单台SERVER的话,无非还是处理好分表、索引、关联查询、MYSQL配置优化等。
每天1亿+的话可以考虑使用:mysql cluster、hadoop等。
如果按这种进度,数据量很快就上亿。说实话这样的基础就算读写分离,mysql集群等等可能压力很大,建议是要不直接封存历史数据,要不就提前做好分表或者分区的策略,最好再配合redis在前面顶住,然后按点持久存储这样子,本人粗浅理解。
每天入库100W数据也不是问题,入库还不大会体现出耗时问题。主要还是要考虑入库后,在数据统计运算上面的问题,单台SERVER的话,无非还是处理好分表、索引、关联查询、MYSQL配置优化等。每天1亿+的话可以考虑使用:mysql cluster、hadoop等。如果按这种进度,数据量很快就上亿。说实话这样的基础就算读写分离,mysql集群等等可...
每天入库100W数据也不是问题,入库还不大会体现出耗时问题。
主要还是要考虑入库后,在数据统计运算上面的问题,单台SERVER的话,无非还是处理好分表、索引、关联查询、MYSQL配置优化等。
每天1亿+的话可以考虑使用:mysql cluster、hadoop等。
如果按这种进度,数据量很快就上亿。说实话这样的基础就算读写分离,mysql集群等等可能压力很大,建议是要不直接封存历史数据,要不就提前做好分表或者分区的策略,最好再配合redis在前面顶住,然后按点持久存储这样子,本人粗浅理解。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)