问题场景：在编写spark程序时，输出目录存在会造成spark任务失败。处理方法有2种，第一利用脚本方式，在主任务之上加层处理，第二，在spark任务中先处理掉目录。spark支持的可编程语言有Scala、Python、Java。其中Python无需编译打包，十分方便，但是貌似没有处理hdfs系统的Python接口，而Python的执行脚本语言是异步于主任务的，换言之，主任务与脚本任务的执行完成顺…
最近面试，遇到了关于Hive的数据存储格式的问题，回答不尽人意，抽时间总结多看看关于Hive存储格式和压缩格式的内容。 Hive底层数据是以HDFS文件的形式存储在Hadoop中的，选择一个合适的文件存储格式及压缩方式，也是 Hive 优化的一个重点。不同的文件存储格式及压缩格式，同时代表着不同的数据存储组织方式，对于性能优化表现会有很大不同。 Hive支持的存储数据的格式主要有： TEXTFIL…
1,这节课的前半部分建立起KL公式,后一部分就在于建立随机过程的谱分析. 之前我妈研究的一直都是两个随机变量,现在来研究多维的随机变量,x定义为一个随机矢量,可以看成是一个随机过程截取一段.从分布和直观上把握. 对于二元随机变量,画出他们的联合分布,当联合分布退化为一条线的时候,就完全没有了随机性.但是不是一条线就有随机性了. 如上图为二维正态分布的图形.其中的纵轴表示的是概率密度.所以在之前的例…
在行为识别的iDT算法中，主要使用了HOG，HOF，MBH和Dense Trajectory四种特征。这里主要对前三者进行介绍。 1. HOG特征(histogram of gradient) 此处HOG特征的介绍转载了zouxy09大神的文章 http://blog.csdn.net/zouxy09/article/details/7929348/ 方向梯度直方图（Histogram of O…
1.极大似然估计中采样产生的样本需要满足一个重要假设，所有采样的样本都是独立同分布的。 2.极大似然估计是在模型已定，参数未知的情况下，估计模型中的具体参数。 3.极大似然估计的核心是让产生所采样的样本出现的概率最大。即利用已知的样本结果信息，反推具有最大可能导致这些样本结果出现的模型的参数值。 既然事情已经发生了，为什么不让这个出现的结果的可能性最大呢？这也就是最大似然估计的核心。 求最大似然函…
一、行业现状 目前，很多变电站现场的运行与监管主要还是采用人工监控的方式。传统的人工监管对违规操作行为发现不及时、监管也较为低效。而且，电力作业现场范围广，依靠现有的管理人员，无法实现所有作业现场安全检查员的全覆盖。在现场监督的过程中，难免会出现流程不规范、记录不完整、整体信息智能化程度低的情况。 此外，电力设备的日常检查通常依赖于手动检查和人工记录，不能确保检验人员按时完成标准操作，也不能保证记…
个人blog，欢迎关注加收藏 监听Audio的播放状态 项目：H5绣红旗 // 监听音乐播放状态：改变播放或暂停按钮 watchMusicState(){ let _this = this; let $audio = document.getElementsByTagName('audio')[0];//获取音乐DOM节点 let playOrPause = document.getElement…
1、首先 ： 采用Android Studio或Eclipse生成 360渠道的 .apk 文件。 2、然后去 360加固网站 下载加固软件。 (1)、点击如图选项： (2)、根据您的电脑型号选择要下载的加固版本： 3、下载后解压完成如图： 4、点击加固助手打开后我们只需要关注两项就可以了： 5、首先点击配置信息 进入配置选项： 6、点击下面的浏览选项： 7、找到自己项目中的配置信…
范围分区不同的建表方式 CREATE TABLE LINEITEM ( l_orderkey DECIMAL(10,0) NOT NULL, l_partkey INTEGER, l_suppkey INTEGER, l_linenumber INTEGER, l_quantity DECIMAL(12,2…
经常看到别人的头文件 有这样的代码 #ifdef __cplusplus extern "C" { #endif // C 样式的代码声明 #ifdef __cplusplus } #endif 这样的代码到底是什么意思呢？ 首先，__cplusplus是cpp中的自定义宏，那么定义了这个宏的话表示这是一段cpp的代码，也就是说，上面的代码的含义是:如果这是一段cpp的代码，那么加入"exter…