Yarn FairScheduler的抢占机制详解

  • Post author:
  • Post category:其他

FairScheduler是yarn最常用的调度器之一,详细了解它的概念、原理,仅仅靠阅读其官方文档,往往让人模棱两可,须知。Yarn的资源调度影响到整个集群系统的正确运行,因此,必须准确理解每个配置项的准确含义,还需要从代码入手,了解FairScheduler的隐藏在代码中的容易被忽略的逻辑。本文从概念、配置和代码层面,详细分析Yarn的资源调度策略FairScheduler。 Schedule…

继续阅读 Yarn FairScheduler的抢占机制详解

矩阵在pycharm中全显示(不自动换行)

  • Post author:
  • Post category:其他

加上下面这句代码,输出时打印不换行 import numpy as np np.set_printoptions(linewidth=400) 强制输出小数方法:suppress=True 强制类型转换 d2 = d1.astype(int) 版权声明:本文为weixin_43970884原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。原文链接:https://…

继续阅读 矩阵在pycharm中全显示(不自动换行)

hbase读取数据流程

  • Post author:
  • Post category:其他

一,读取流程 1,客户端首先从zookeeper获取元数据所在的region server 2,客户端获取元数据,根据用户条件确定数据所在server、region,并发向这些server请求数据 3,server构建三层扫描器,从region、store、hfile三个层面进行过滤 4,首先根据rowkey定位到region 5,定位到region后,接下来定位数据所在的hfile:根据rowk…

继续阅读 hbase读取数据流程

Pytorch的梯度为None!

  • Post author:
  • Post category:其他

Pytorch 梯度为None 尽管设置了某个Tensor的属性 requires_grad = True ,但是,用某个loss对该Tensor计算梯度时,作者也遇到了梯度为None的情况 !!! 实例 情况说明 作者在写ADP的网络时,定义了A_Net,Model_Net,V_Net,在更新A_Net时候,定义损失: l o s s A = s e l f . c r i t e r i o …

继续阅读 Pytorch的梯度为None!

虚析构函数和纯虚析构函数

  • Post author:
  • Post category:其他

C++的类中,构造函数用于初始化对象及相关操作,构造函数是不能声明为虚函数的,因为在执行构造函数前对象尚未完成创建,虚函数表还不存在。 而在C++多态中,当用基类指针指向派生类对象时,如果父类析构函数不是虚函数,则在析构时,不会调用到派生类的析构函数。 虚析构函数就是为了解决这样的一个问题:基类的指针指向派生类对象,并用基类的指针删除派生类对象。 之所以可以这样是因为虚析构函数会被记录在虚函数表中…

继续阅读 虚析构函数和纯虚析构函数

[Android6.0][RK3399] PCIe 接口 4G模块 EC20 调试记录

  • Post author:
  • Post category:其他

原址 Platform: RK3399 OS: Android 6.0 Kernel: 4.4 Version: v2017.04 4G Module: EC20-CE 一基本概念 USB 部分的功能接口 APN 二驱动移植 USB Driver GobiNet Driver 或者 QMI WWAN PPP 拨号配置 三RIL 移植 RIL Driver Integration 抓取 Androi…

继续阅读 [Android6.0][RK3399] PCIe 接口 4G模块 EC20 调试记录

七、信息安全之信息搜集(由浅入深的笔记整理)

  • Post author:
  • Post category:其他

本篇文章主要讲解的是 信息搜集 信息收集 ( 网络踩点(footprinting),指攻击者通过各种途径对要攻击的目标进行有计划和有步骤的信息收集,从而了解目标的网络环境和信息安全状况的过程) 目标网络: 域名、IP地址、DNS服务器、邮件服务器、网络拓扑结构 目标个人: 身份信息、联系方式、职业或其它隐私信息 踩点方法 ①注册机构Whois查询 ②DNS和IP信息收集 ③WEB信息搜索与挖掘 ④…

继续阅读 七、信息安全之信息搜集(由浅入深的笔记整理)

a letter to a penpal

  • Post author:
  • Post category:其他

OH, my dear friend, I DEFINITELY back up your decision. YES, everyone should purse what he wants, instead of involving in a rat race. By the way, my friend, I have to say that you ABSOLUTELY reply me …

继续阅读 a letter to a penpal

简单多媒体的使用——郭挺

  • Post author:
  • Post category:其他

iOS有一些自带的音乐和视频播放器类,使用起来非常简单,在这里做一下简单的介绍。 首先,使用AVAudioPlayer和AVPlayer类可以播放音乐,它们使用起来简单方便,但AVAudioPlayer只能播放本地音乐,不支持流媒体播放。而AVPlayer可以播放本地音乐和流媒体音乐,但是提供的接口非常少,不够灵活,如果要做一些专业性质的播放器,还需要专门的开源类。 下面是AVAudioPlaye…

继续阅读 简单多媒体的使用——郭挺

yum的安装(rpm方式)与卸载

  • Post author:
  • Post category:其他

一、卸载yum 首先删除 /usr/share 目录下的两个yum文件 cd /usr/share rm -rf yum-plugins rm -rf yum-cli 再删除yum的rpm包 rpm -qa|grep yum|xargs rpm -e --nodeps 如果出现rpm: --nodepsc: unknown option,执行 rpm -e --allmatches --nodep…

继续阅读 yum的安装(rpm方式)与卸载