云原生概念
云原生 = 微服务 + DevOps(需求导入,管理,代码编写,提测流程,测试自动化,运维,测试环境部署,线上环境部署,测试环境隔离等等) + 持续交付 + 容器化
云原生的优势
- 自动化
- 模糊开发,测试,运行的边界
- 成本,弹性
k8s原理
- Pod
- Deployment/Replication Controller
- Service
自动扩缩容
大数据知识脉络
MapReduce算法
Map 输出转成key-value对,不计算;Reduce计算输出出现频次
HDFS核心原理,分布式文件
NameNode 和DataNodes
hive原理
- 可以写sql语句般使用map reduce应用;group by、where 做的是map;sum、count等做的是reduce
- 优雅的实现了join操作
spark为什么会比Map Reduce更快
- Reduce和map的接洽
- 数据依赖内容优先,而非HDFS优先
Spark家族
- Spark SQL:通过SQL语句操作Spark的DataFrame or DataSet结构,或者类似JDBC的链接数据源,另外Hive on SparkSql可以提供更快的执行速度
- Spark Streaming:窗口式的流式处理
- Spark MLlib:机器学习框架
Spark Streaming和Flink的区别
- 窗口和流式的区别;Spark Streaming并不一定完全是流式处理伪流式处理,Flink是真正意义上的流式处理
Hbase原理
大数据应用
使用Hive解决资损核对
版权声明:本文为qq_38847545原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。