Apache Spark

8热度

10回答

[protocolbuffers/protobuf]Protobuf 和 Spark 的问题

大家好，我想了解您对我们在一些 Spark 作业中尝试使用 Java 序列化来序列化 protobuf 时遇到的问题的看法（似乎其他人也遇到了同样 的 问题）。我在这里放置了一个示例堆栈跟踪。该错误一开始很令人困惑，但查看GenevedMessageLite中的相关行我想我看到了问题：https://github.com/google/protobuf/blob/774d630bde574f5fc

protobuf Apache Spark Java 2024-05-13

---

4热度

0回答

【开源自荐】开源大数据比对平台—dataCompare

项目地址：https://github.com/zhugezifang/dataCompare 类别：Java、Hive、Spark 大数据 项目标题：开源大数据比对平台—dataCompare 项目描述： dataCompare 是一个数据库比对工具：支持hive表数据比对，mysql 数据比对，实现自动化配置进行数据比对，避免频繁写sql 进行处理，后续考虑支持doris、ck等等 亮点： (

Apache Spark hive Java 2023-12-21

---