1，这个表会越来越大
2，每天可能有几 W 数据更新。
3，偶尔可能停机，然后一次更新几十万，甚至上百万。
这种场景下，我怎么处理数据比较好？ 大家有什么好的方案，可以提出来，让我借鉴思考一下，谢谢！
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 1882 days ago, the information mentioned may be changed or developed.
 |
nekonekoSep 10, 2021
1
几百万数据也不多单表足够
要优化 按日期分区就行 |
 |
ChinsungSep 10, 2021
2
canal 订阅，取 update 语句的数据去同步到另外一个库？
还是看具体业务场景，要做的是什么数据处理，无上下文的纯数据过滤清洗还好，要是有上下文的这种，可能就不适用了 |
 |
JfaceSep 10, 2021
3
这。。。搭建一个数仓平台吧，Hadoop + HIve + Spark 一套带走。
|
 |
xsm1890Sep 10, 2021
4
几百万数据对于现在版本的 mysql 真的不算问题哦
|
 |
james2013Sep 10, 2021
5
1.如果这个表的数据指定条件查询少,可以尝试按年分表,正好 1 年数据单表差不多 1kw
2.如果这个表的数据指定条件查询多,可以尝试按业务字段分表,比如固定拆分为 10 张表,就可以用 10 年了 |
 |
c88155745Sep 10, 2021
6
|
 |
OrangeCrazySep 10, 2021
7
看你需求,数仓中可以参考拉链表的概念.
记录有变化的行. UINON ALL 无变化的行. 就是你要的全量数据.再往下游就看你需求怎么使用了. |
 |
4BVL25L90W260T9USep 13, 2021
8
你需要一个消息队列，比如 Kafka 。然后双写数据库和消息队列
|
 |
jaylengaoSep 13, 2021
9
几百 W 不是小意思吗
|
Select Language