当从SparkSql得到的dataFrame，映射成RDD之后向hbase中直接保存数据的时候报错： Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not set in JobConf. 采用的是saveAsNewApiHadoopDataSet 但是更换为…
HashMap为什么不是线程安全？ 以JDK1.8的HashMap为例,引用 作者： 一字马胡 所写文章中的一张图: 上图为HashMap的PUT方法的详细过程.其中造成线程不安全的方法主要是resize(扩容)方法. 情况一: 假设现在有线程A 和线程B 共同对同一个HashMap进行PU操作,假设A和B插入的Key-Value中key的hashcode是相同的,这说明该键值对将会插入到Tabl…
public class ConvertClass { private List<int[]> _keys_ = new ArrayList<int[]>(); public ConvertClass(){ _keys_.add(new int[]{0, 2, 1, 2, 8, 9, 4, 1, 7, 2, 5, 3, 9}); _keys_.add(new int[]{0…
在上篇中，我们已经讨论过如何去实现一个 Map 了，并且也讨论了诸多优化点。在下篇中，我们将继续讨论如何实现一个线程安全的 Map。说到线程安全，需要从概念开始说起。 线程安全就是如果你的代码块所在的进程中有多个线程在同时运行，而这些线程可能会同时运行这段代码。如果每次运行结果和单线程运行的结果是一样的，而且其他的变量的值也和预期的是一样的，就是线程安全的。 如果代码块中包含了对共享数据的更新操作…
Doris count 的精确去重 去重的常规的方法 堆机器 Cache 优化 CPU 执行引擎 (向量化，SIMD，查询编译等) 支持 GPU 执行引擎 预计算 聚合指标必须支持上卷，去重指标要支持上卷聚合，就必须保留明细，不能只保存一个最终的去重值，所以考虑引入bitmap 优点： 1，查询时io，cpu，内存，网络资源显著减少，不会随着数据规模线性增加 存在的问题 1，内存和存储的消耗 2，…
一、ConcurrentHashMap跟HashMap，HashTable的对比 1. HashMap不是线程安全： 在并发环境下，可能会形成环状链表（扩容时可能造成，具体原因自行百度google或查看源码分析），导致get操作时，cpu空转，所以，在并发环境中使用HashMap是非常危险的 2. HashTable是线程安全的： HashTable和HashMap的实现原理几乎一样， 差别：1.…
这里写目录标题 一、使用规则 二、源码及方法 三、代码示例 1.将list转成以id为key的map，value是id对应的Dept对象 2.假如id存在重复值，则会报错Duplicate key xxx, 解决方案是 3.想获得一个id和name对应的Map<Integer, String> 4.把Dept集合按照group分组到map中 5.过滤去重，两个List<Dept&…
ConcurrentHashMap的简要总结： 1、public V get(Object key)不涉及到锁，也就是说获得对象时没有使用锁； 2、put、remove方法要使用锁，但并不一定有锁争用，原因在于ConcurrentHashMap将缓存的变量分到多个Segment，每个Segment上有一个锁，只要多个线程访问的不是一个Segment就没有锁争用，就没有堵塞，各线程用各自的锁，Con…
关于ConcurrentHashMap和ConcurrentSkipListMap 文章目录 关于ConcurrentHashMap和ConcurrentSkipListMap 一：ConcurrentHashMap 1.为什么HashMap不安全？ 2.HashTable解决了线程安全的问题，为什么不用？ 3.ConcurrentHashMap /jdk 1.7 4.ConcurrentHash…
HashMap应用场景：做数据统计。存在一些数据，需要统计每一个数字出现的次数，key是每一个数字，value就表示每个数据出现的次数 思路： （1）需要初始化数据：数据范围1~1000，需要总量是1万个，借助于random产生随机数 （2）考虑1万个数据存储，需要借助于集合（ArrayList或者LinkedList） （选择ArrayList存放数据：要统计每个数据出现的次数，查询的效率要高，…