本文为内容聚合页面, 汇聚了个人工作学习过程中, 遇到的一些核心技术点, 感谢原博主的无私分享.


一. 运维篇


1、Linux

• 
  最简明扼要的 Systemd 教程，只需十分钟
  
• 
  正则表达式30分钟入门教程(适用于linux/java/python等)
  
• 
  正则表达式-匹配中英文、字母和数字
  

2、zabbix、ansible、nginx


朱双印个人日志

3、nginx


Nginx高性能Web服务器

4、docker系列

• 
  docker系列-jsonhc
  
• 
  loocode-docker系列
  
• 
  k8s介绍及与docker搭建集群
  

5、charles抓包（pc抓取app的接口请求）

• 
  charles抓包工具使用
  
• 
  抓包工具Charles配置ssh支持
  
• 
  小米手机安装charles证书
  

6、终端复用器Tmux

• 
  Tmux 使用教程-阮一峰
  

7、Prometheus

• 
  入门教程
  

8、CDH集群安装

• 
  Centos6离线安装CDH5.14.2最全详细教程
  

9、Terraform

• 
  Terraform 学习总结（8）—— Terraform 常用命令再总结
  


9、CDH集群运维专栏


• 
  HDFS集群”丢失块”解决方案
  

10、git 使用

• 
  merge request的使用
  


二. 大数据篇



2.0 大数据面试题汇总


0、综合面试题

• 
  《大数据面试题》面试大数据这一篇就够了
  

1、大数据中关于Java这块的面试总结

• 
  大数据面试题整理1
  

2、Hadoop

• 
  Hadoop生态数仓、Hive、Impala、ZK、Hbase、Redis面试
  


2.1 Hadoop Core


1、Hadoop知识体系

• 
  Hadoop介绍 & MR案例分析
  

2、Hadoop架构&docker中运维hadoop

• 
  Hadoop架构&docker中运维hadoop-聚合文章
  
• 
  Hadoop1.x与Hadoop2.x的区别
  

3、Hadoop调优

• 
  yarn资源调优的几个参数
  
• 
  YARN ResourceManager重启作业保留机制
  
• 
  YARN 内存参数详解
  
• 
  CDH集群调优：内存、Vcores和DRF
  
• 
  HDFS中的集中缓存(Centralized Cache Management in HDFS)
  
• 
  hadoop 调优措施 调优参数
  


2.2 Hive 数据仓库


1、大数据数仓结构体系&构建流程

• 
  数仓1.1 | 概述| 集群环境搭建
  
• 
  数仓1.2 分层| ODS& DWD& DWS& ADS| 行为数仓
  
• 
  数仓1.2-1大数据（0b）离线数据仓库
  
• 
  数仓1.3 行为数据| 业务数据需求
  
• 
  数仓1.4 |业务数仓搭建| 拉链表| Presto
  


》数据仓库构建大咖谈


• 
  漫谈 | 大牛带你从0到1构建数据仓库实战
  


》维度建模专题


• 
  数据仓库(二)之kimball维度建模篇
  
• 
  星型模型和雪花型模型比较
  
• 
  宽表和窄表的区别
  
• 
  维度表，实体表，事实表之间的关系
  
• 
  数据仓库中维度建模
  
• 
  漫谈数据仓库之维度建模
  
• 
  什么是全量表，增量表，快照表，拉链表？
  
• 
  漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）
  
• 
  !!!Hive之数仓的分层及建模理论
  


》Hive语法使用


• 
  hive中的lateral view 与 explode函数的使用
  
• 
  Hive：Alter Table/Partition/Column
  
• 
  hive正则表达式的用法
  
• 
  hive 表中加载数据、hive表中的数据导出
  


》数据库建模专题


一般有PowerDesigner、DataModeler、Excel、Visio等工具

将业务数据表间的关系直观的设计、并进行显示，和数据库反向工程开发。

• 
  PowerDesigner的基本使用
  


》ETL专题


• 
  ETL学习心得：探求数据仓库关键环节ETL的本质
  
• 
  使用ETL构建数据仓库的思考
  
• 
  【大数据开发运维解决方案】Informatica 9.6.1+ORACLE11G+WIN10安装过程
  


》数据治理



元数据管理 （全局数据视图 + 血缘分析）


• 
  Wherehows调研总结(其他同类：Apache Atlas、 Cloudera Navigator Data Management )
  
• 
  大数据平台-元数据管理系统解析-蘑菇街实践过程分析
  
• 
  Apache Atlas精讲：由浅入深，从概念，原理，使用，到自定义数据模型，生成血缘关系，带你玩转Atlas
  


》数据治理



元数据、数据标准、数据质量、数据集成、主数据、数据资产、数据交换、生命周期、数据安全9大体系


• 
  知乎-怎么实现一个数据治理的项目？
  
• 
  谈谈数据治理是什么？
  


》Hive调优专题



---------------------------------------------------


• 
  Hive（十）Hive性能调优总结
  
• 
  orc表导致hiveserver2内存暴涨问题分析
  

2、Hive SQL应用

• 
  Hive SQL复杂场景实现(1) —— 连续发单天数
  
• 
  SparkSql中时间阈操作【窗口函数】
  

3、Hive数据倾斜&解决方案

• 
  HIVE数据倾斜原理及解决方案
  

4、Hive 语法

• 
  Hive分区表新增字段+重刷历史方法(避免旧分区新增字段为NULL)
  

5、Hive 原理层面

• 
  Hive的三种Join方式
  


2.3 Spark


1、Spark系列

1 Spark教程

• 
  Spark学习之路
  
• 
  史上最简单的spark系列教程
  
• 
  cctext – Hadoop+Spark
  

2 Spark的运行流程解读

• 
  Spark的运行流程
  

3 Spark配置参数&submit调优

• 
  spark2-submit参数及调优
  
• 
  spark submit参数调优
  
• 
  spark submit参数及调优
  
• 
  Spark调优（5类调优）
  

3 Spark 重要算子

• 
  Spark笔记-repartition和coalesce
  
• 
  Spark算子：RDD基本转换操作(2)–coalesce、repartition
  

4 Spark 重要流程底层原理剖析

• 
  Spark 任务调度概述
  
• 
  SparkEnv解读
  

5. idea构建spark

6. spark


2.4 Flink


环境 & 配置篇：

• 
  Flink的安装部署的几种模式详解
  
• 
  Flink的checkpoint与savepoint的区别是什么
  

0、源码解读专题

• 
  通过Flink 程序模板来学习StreamExecutionEnvironment 、DataStream 、StreamTransformation类
  
• 
  Flink window窗口机制探究–以tumbling windows为例(一)
  

1、Flink系列

• 
  Flink系列
  
• 
  美团点评实时数仓实践
  
• 
  滴滴是如何从零构建集中式实时计算平台的
  

1 Windows窗口处理专题

• 
  Flink Streaming Windows操作
  

2 水印专题

• 
  Flink assignAscendingTimestamps 生成水印的三个重载方法
  
• 
  Flink WaterMark的生成以及获取
  

3 各种场景的Sink

• 
  Flink Table Sink到File、Kafka、Es、Mysql
  

4 流应用场景

• 
  使用Flink完成流数据统计
  

5. 综合

• 
  Flink从入门到真香
  
• 
  Flink面试一篇足够
  
• 
  一文教你弄懂Flink核心功能和原理
  


2.5 分布式MQ - Kafka


1、Kafka系列

• 
  Kafka【第一篇】Kafka集群搭建
  

2、Kafka相关

• 
  Kafka 如何读取offset topic内容 (__consumer_offsets)
  
• 
  kafka命令之消费者组
  

3、如何保证kafka不丢数据？

• 
  如何保证kafka不丢数据？
  


2.6 Flume


1、数据重复、断点续传问题

• 
  关于Flume断点续传（防止重复消费）的解决方案
  
• 
  保证Flume数据不丢失
  


2.7 智能推荐(AI-Rec)


1、Spark实时算法推荐

1.1 推荐

• 
  基于Spark机器学习和实时流计算的智能推荐系统
  
  
  1.2 聚类
• 
  Spark机器学习之-实时聚类算法调用
  
  
  1.3 逻辑回归
• 
  基于spark_streaming的logistic流式机器学习
  
  
  1.4 分类
• 
  sparkMLib机器学习之分类算法
  


2.8 大数据生态-ETL


1-实时MySQL BinLog

1、MySQL binlog 基础操作

• 
  Mysql中主从复制的log-bin详解以及出现的常见问题
  

2、mysqlbinlog 工具分析binlog日志

• 
  mysqlbinlog 工具分析binlog日志
  

3、MySQL Binlog解析

• 
  MySQL Binlog 解析工具 Maxwell 详解
  

2-Sqoop1.x

• 
  Sqoop_Sqoop 并行度调整 -m 以及 –split-by
  
  


2.9 Redis


1、Redis详解

• 
  Redis详解
  
• 
  《Redis核心技术与实战》学习笔记
  


三. Java



3.0 Java在线诊断工具


Arthas>>

• 
  阿里人都在使用的在线诊断工具—Arthas
  
• 
  Arthas 用户文档
  


3.1 Java Core Points


JUC高并发系列

• 
  Java多线程中的4种锁
  

• 
  JUC | 面试题整理
  

• 
  CountDownLatch实现原理及使用
  

• 
  CountDownLatch线程阻塞用法实例
  

多线程系列

• 
  java多线程中sleep和wait的4个区别，你知道几个？
  
• 
  轻松学习java可重入锁(ReentrantLock)的实现原理
  
• 
  一文彻底理解ReentrantLock可重入锁的使用
  
• 
  一个线程执行synchronized同步代码时，再次重入该锁过程中，如果抛出异常，会释放锁吗？
  
• 
  Java8中GC收集器详解
  

>java中的强/软/弱/虚引用

• 
  Java如何有效避免OOM：善于利用软引用和弱引用
  
• 
  java弱引用(Weak Reference)
  
• 
  Java ThreadLocal可能引起的内存泄漏
  

>HttpClient系列

• 
  后台发送请求，HttpClient的post，get各种请求，带header的请求
  
• 
  HttpClient发送Post请求————StringEntity 和 UrlEncodedFormEntity 的区别
  


3.2 SpringCloud 微服务


1、SpringCloud

• 
  十分钟了解Spring Cloud
  


3.3 Java Interview


1、求职面试

• 
  Java面试题全集（上）
  
• 
  Java面试题全集（中）
  
• 
  Java面试题全集（下）
  
• 
  《吊打面试官》系列-Redis常见面试题（带答案）
  
• 
  2019最全BAT资深Java面试题答案合集
  
• 
  【剑指offer】Java版代码（完整版）
  
• 
  廖志伟java小站
  


四. Scala



4.1 Scala Core Points


• 1.
  
  scala基础必知必会
  
• 2.
  
  Scala中的下划线到底有多少种应用场景？
  


4.2 Scala基础专题


index.html 页:


Scala 基础

明细页:

• 
  (1)Scala-简介,在windows上配置环境,在java上配置项目环境并创建项目
  
• 
  (2)Scala之基本语法,流程控制
  
• 
  (3)Scala之方法和函数的定义和调用
  
• 
  (4)Scala之Array / List 数组和 Set 集合的定义,方法,遍历
  
• 
  (5)Scala之元组和 Map 集合的定义 ,方法 ,遍历
  
• 
  (6)Scala之集合中常用的方法
  
• 
  (7)Scala之面向对象-类和对象(构造器/成员变量,方法,函数/apply方法),权限修饰符,特质和抽象类,样例类
  
• 
  (8)Scala之高级语法-高阶函数,偏函数,匹配模式,柯里化详解,隐式详解,泛型(视图界定/上下文界定),比较器(Ordered/Ordering)
  


五. 数据结构



5.1 > 数据结构专题


• 1.
  
  图解Java常用数据结构(一)
  
• 2.
  
  数据结构中的链表，你知道多少？
  
• 3.
  
  数据结构：堆（Heap）
  
• N.
  
  labuladong的算法小抄
  


5.2 > 排序算法专题


• 1.
  
  冒泡排序——《图解算法》
  
• 2.
  
  图解快速排序
  
• 3.
  
  图解排序算法(四)之归并排序
  


5.3 > HashMap专题


• 
  JDK 源码中 HashMap 的 hash 方法原理是什么？
  
  
• 
  HashMap常见面试题整理
  


六. 编程语言


1、Python老猿Python博客文章目录索引

• 
  老猿Python博客文章目录索引
  
  
  2、Python进阶系列
• 
  py3study
  


七. 软件&工具



7.1 > JSON解析专题


• 
  JSON格式及FastJson使用详解
  
• 
  使用FastJson处理JSON数据
  


7.2 > IDEA配置与插件安装


• 
  IDEA创建类模板和方法模板（超详细）
  


八. DB



8.1 > MySQL专题


• 
  mysql中各种常见join连表查询实例总结
  
• 
  MySQL里默认的几个库是干啥的？
  
• 
  【mysql元数据库】使用information_schema.tables查询数据库和数据表信息
  
• 
  缓冲池(buffer pool)，这次彻底懂了！！！
  
• 
  mysql采坑之count distinct多列
  
• 
  MySQL
  


8.2 > ClickHouse


• 
  clickhouse rpm 包各版本下载地址
  


九. 数据安全


1、KMS

• 
  数据安全–KMS
  


十. 程序人生


1、学习榜样

• 
  指尖飞码
  
• 
  Jack_Roy
  
• 
  Maynor学长
  
• 
  macrozheng技术博客（SpringCloud、K8S、开源项目、开发工具推荐）