博客

Linux下cpu和绑核

  • Post author:
  • Post category:linux




基本概念


cpu个数

是指物理上cpu的个数。


cpu核心数

是指物理上，也就是硬件上存在着几个核心。比如，双核就是包括2个相对独立的CPU核心单元组，四核就包含4个相对独立的CPU核心单元组。


cpu线程数

是一种逻辑上的概念，简单地说，就是模拟出的CPU核心数。比如，可以通过一个物理的CPU核心模拟出2线程的CPU。一个物理的CPU核心最少对应一个线程，但通过超线程技术，一个核心可以对应两个线程，也就是说它可以同时运行两个线程。 CPU的线程数概念仅仅只针对Intel的CPU才有用，因为它是通过Intel超线程技术来实现的，最早应用在Pentium4上。如果没有超线程技术，一个CPU核心对应一个线程。对于AMD处理器而言,没有超线程的概念,线程数和核心数相同,所以在AMD的CPU参数上是没有写出线程数的。

综上，这个公式成立：

物理cpu个数 * 每个物理cpu中core的个数 * 超线程数 = 总线程数（也即逻辑CPU的个数）



举例说明

如下的例子，是在一台Linux服务器上查询的结果： 2 * 16 *2 = 64 

       # 查看物理CPU个数
       $ grep 'physical id' /proc/cpuinfo | sort -u
       physical id	: 0
       physical id	: 1

       # 查看每1个物理CPU中core的个数(即核心数)
       $ grep 'core id' /proc/cpuinfo | sort -u | wc -l
       16

       # 查看总线程数（也即逻辑CPU的个数）
        grep "processor" /proc/cpuinfo |  wc -l
        64



top命令显示

top命令显示出来的cpu数量和利用率，其实是逻辑cpu的个数和使用情况。

在这里插入图片描述



代码相关

  1. 在代码里面使用while(true)循环，并且在循环里面不sleep的话，就是所谓的busy wait，会使cpu占用达到100%。
  2. 在代码里面使用while(true)+sleep的方式， sleep的时候其他线程可以抢占cpu，从而降低cpu占用率。 使用Sleep要考虑用哪种sleep： c标准库的sleep、c++标准库的std::this_thread::sleep_for、boost库的boost::this_thread::sleep_for、POSIX标准的sleep、linux系统调用的sleep等， 还要考虑interruption point的问题
  3. 但是使用while(true)+sleep的方式， 相较于其他方式，会有什么优缺点？ 这个还要后续分析。其他的方式比如：callback，event，async/await，观察者模式，订阅消费模式等等。



超线程



查看是否开启超线程

在这里插入图片描述

Threads per core为1，说明没有开启超线程， Threads per core为2，说明开启了超线程。



如何开启超线程

转自 https://my.oschina.net/u/1030865/blog/3070636

以下是github上找到的动态打开、关闭超线程技术的脚本。其原理是根据/sys/devices/system/cpu/cpuX/topology/thread_siblings_list文件找到逻辑核的关系，然后编辑/sys/devices/system/cpu/cpuX/online文件实现动态开启和关闭超线程技术。 

#!/bin/bash

HYPERTHREADING=1

function toggleHyperThreading() {
  for CPU in /sys/devices/system/cpu/cpu[0-9]*; do
      CPUID=`basename $CPU | cut -b4-`
      echo -en "CPU: $CPUID\t"
      [ -e $CPU/online ] && echo "1" > $CPU/online
      THREAD1=`cat $CPU/topology/thread_siblings_list | cut -f1 -d,`
      if [ $CPUID = $THREAD1 ]; then
          echo "-> enable"
          [ -e $CPU/online ] && echo "1" > $CPU/online
      else
        if [ "$HYPERTHREADING" -eq "0" ]; then echo "-> disabled"; else echo "-> enabled"; fi
          echo "$HYPERTHREADING" > $CPU/online
      fi
  done
}

function enabled() {
        echo -en "Enabling HyperThreading\n"
        HYPERTHREADING=1
        toggleHyperThreading
}

function disabled() {
        echo -en "Disabling HyperThreading\n"
        HYPERTHREADING=0
        toggleHyperThreading
}

#
ONLINE=$(cat /sys/devices/system/cpu/online)
OFFLINE=$(cat /sys/devices/system/cpu/offline)
echo "---------------------------------------------------"
echo -en "CPU's online: $ONLINE\t CPU's offline: $OFFLINE\n"
echo "---------------------------------------------------"
while true; do
    read -p "Type in e to enable or d disable hyperThreading or q to quit [e/d/q] ?" ed
    case $ed in
        [Ee]* ) enabled; break;;
        [Dd]* ) disabled;exit;;
        [Qq]* ) exit;;
        * ) echo "Please answer e for enable or d for disable hyperThreading.";;
    esac
done

备注：脚本需root权限执行；



CPU核隔离



查看系统cpu隔离情况

  • 方法一

    可以查看 /proc/cmdline里是不是有isolcpu参数，有的话说明本次重启确实带了这个参数

    在这里插入图片描述
  • 方法二

    查看进程1的cpu affinity，如果没有cpu隔离的话，这里affinity 应该是所有的核心（比如有18个逻辑cpu核心，则显示是3ffff）

    比如下图，18个cpu核心，pid1 的affinity只显示0~8, 说明9·17核心被隔离了。

    在这里插入图片描述
  • 方法三

    cat /sys/devices/system/cpu/isolated， 这个文件里面显示了所有被隔离的核心。



查看进程和线程占用的cpu

  • 查看所有进程、线程的cpu分配情况（可以用htop查看，也可以用ps -eo pid,cmd,psr查看所有进程cpu分配情况，用ps -To ‘pid,lwp,psr,cmd’ -p [PID]查看进程的所有线程的cpu分配情况）
  • 查看一个进程所有线程的cpu实时占用情况

    首先运行top -Hp [PID]命令， 显示如下：

    在这里插入图片描述

    然后按下“F”键，再用向下键走到P，按“空格键”选中，选中后行前面会带*号，然后按“ESC”键退出选择，

    在这里插入图片描述

    可以看到最后一列显示了每个线程当前运行所在的CPU核心：

    在这里插入图片描述



设置CPU绑定

  • taskset 命令

    语法格式：taskset [options] -p [mask] pid

    参数选项：

    -a, –all-tasks 操作所有的任务线程

    -p, –pid 操作已存在的pid

    -c, –cpu-list 通过列表显示方式设置CPU（逗号相隔）。 （

    注意：

    带-c参数时使用列表方式， 不带-c参数时使用掩码方式）

  • 使用taskset绑定进程或者线程到1个cpu

    taskset命令可以把一个进程或者线程绑定到某个cpu上去，如下命令把线程65189绑定到了核心6上去。

    在这里插入图片描述

    执行后效果 如下图可以看到， 线程65189被绑定到核心6上去了。

    在这里插入图片描述

  • 使用taskset绑定进程或者线程到多个cpu

    taskset -cp 2,5-11 9865 意思就是将进程或线程9865绑定到 2，5~11核心上运行。

    这里，如果核心2,5-11做了核心隔离的话，你会发现进程的所有线程都绑定到了2上面，这不是预期的结果。https://serverfault.com/questions/573025/taskset-not-working-over-a-range-of-cores-in-isolcpus这里描述了这个问题，并给出了使用“sudo chrt -r 1 taskset -cp 2,5-11 9865”的解决方案。

This behavior seems to be an artifact of the default kernel scheduler algorithm (SCHED_OTHER for this distro/kernel). Changing the process to a different algorithm eliminates the problem, isolcpus are adequately utilized across the processes/threads.

I ended up using SCHED_RR, but I also tested SCHED_FIFO and SCHED_IDLE both of which seem to work. The process can be launched with the alternative algorithm by use of the chrt utility:

$ sudo chrt -r 1 [command]

(If you want to run as non-root you can use the setcap utility to enable CAP_SYS_NICE on the binary file related to the command)

  • 使用taskset查询一个进程的亲和情况：

    在这里插入图片描述

  • 注意：如果一个进程在代码里面，用pthread_setaffinity_np给进程的某些线程设置了绑核，使用tastset -cp [PID] 是看不出来的。 比如上面的进程在代码里面把5个线程绑定到了10/11/12/13/14 五个核，使用taskset查看结果如下：

    在这里插入图片描述



参考资料

【1】https://blog.csdn.net/tang05505622334/article/details/96477552

【2】https://serverfault.com/questions/573025/taskset-not-working-over-a-range-of-cores-in-isolcpus


版权声明：本文为wqfhenanxc原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。