- 发布于2021-12-09 12:24:54
LittleBoy最佳实践样例:数据处理算子介绍
熟悉数据挖掘和机器学习的小伙伴们都知道，数据处理相关的工作时间占据了整个项目 70% 以上。数据的质量，直接决定了模型的预测和泛化能力的好坏。它涉及很多因素，包括：标准型、完整性、一致性、时效性、可信性和解释性。而在真实数据中，我们拿到的数据可能包含了大量...赞 1评论浏览 1273 
发布于2021-12-08 10:35:48赞 2评论 2浏览 1210- 发布于2021-12-02 15:32:20
4.1. safe mode
➢ 分析 当收到来自 datanode 的状态报告后，namenode 根据配置，确定 可用的 block 占总数的比例。 可用的数据节点数量符合要求之后，离开安全模式。 ➢ 解答 如果有必要，也可以通过命令强制离开安全模式：hadoop dfsadmi...赞 1评论浏览 963 - 发布于2021-12-02 15:32:02
4.2. zookeeper listener port起不来
➢ 解答 zookeeper 配置文件用的 hostname，在/etc/hosts 里 hostname 被 resolve 成 127.0.0.1，需要让 hostname 能被正确 resolve 成内部 ip 地址赞评论浏览 1021 - 发布于2021-12-02 15:27:21
4.14. IPC‘s epoch 44 is less than the last promised epoch 45
HDFS 出现短期的双 Active 情况，属于可自动恢复的问题（具体原因可能会有所不同）赞评论浏览 1021
- 926
- 573
- 533
- 463
430- 428
- 312
- 303
- 288
- 223
