有熟 Spark 大佬么？ Spark 分析逻辑怎么验证正确性？

You need to sign in to view this topic

This topic created in 2748 days ago, the information mentioned may be changed or developed.

第一次做大数据项目，用 Spark 写分析代码，现在客户要我们证明运算逻辑没有问题，海量数据要怎么验证啊？

3 replies • 2019-04-27 23:42:54 +08:00

yangxin0

Apr 26, 2019

设计一个 FakeSpark 主要用作测试, 基于每个 action 做单元测试, 标记好输入和输出.

yangxin0

Apr 26, 2019

话说, 你设计的时候没有考虑到测试么?

leeg810312

Apr 27, 2019 via Android

@yangxin0 第一次做 Spark，用 Scala 写的，FakeSpark 的意思是做一个工具生成测试数据吗？另外一般单元测试是不能有外部依赖的，那么 Spark 的单元测试是要将所有的测试数据硬编码在单元测试代码里吗？