大数据：分布式计算，MapReduce，hadoop的计算组件，hive是sql分布式计算框架，底层就是基于MapReduce的

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试

---

文章目录

• 大数据：分布式计算，MapReduce，hadoop的计算组件，hive是sql分布式计算框架，底层就是基于MapReduce的
• • @[TOC](文章目录)
• 大数据：分布式计算
• MapReduce
• 总结

大数据：分布式计算

分布式存储hdfs【hadoop存储机制】
分布式计算MapReduce【hive是基于这个东西的】
yarn就是资源调度的好东西

数量取胜
主要是分开玩
一个机子顶不住
数据太大了，你一个人搞得定吗？？？？？？？？？？

算了几年你也算不完啊


这就是分布式计算
多分开很多机子算
这样速度快点

多个机子很多，需要调度，统一管理，中央集权
这样方便，高效

分散汇总：




每个省事查自己的人口，
中央汇总统计即可

美滋滋

这里复杂就是数据可能需要交换

公司管理都是这么玩的
经常
MapReduce就是分散汇总
spark和flink就是中心调度模式

MapReduce

映射分散
聚合汇总
这就是MapReduce

分part123

各自统计自己的任务
得到任务结论



MapReduce是非常简单的算法原理
easy

它是核心，和根基
后面的hive框架，是很火
hive是分布式sql的计算框架
底层就是MapReduce

---

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。