linuxperf命令

① linux 性能优化-- cpu 切换以及cpu过高

本文先介绍了cpu上下文切换的基础知识，以及上下文切换的类型（进程，线程等切换）。然后介绍了如何查看cpu切换次数的工具和指标的解释。同时对日常分析种cpu过高的情况下如何分析和定位的方法做了一定的介绍，使用一个简单的案例进行分析，先用top，pidstat等工具找出占用过高的进程id，然后通过分析到底是用户态cpu过高，还是内核态cpu过高，并用perf 定位到具体的调用函数。（来自极客时间课程学习笔记）

1、多任务竞争CPU，cpu变换任务的时候进行CPU上下文切换(context switch)。CPU执行任务有4种方式：进程、线程、或者硬件通过触发信号导致中断的调用。

2、当切换任务的时候，需要记录任务当前的状态和获取下一任务的信息和地址(指针)，这就是上下文的内容。因此，上下文是指某一时间点CPU寄存器(CPU register)和程序计数器(PC)的内容, 广义上还包括内存中进程的虚拟地址映射信息.

3、上下文切换的过程：

4、根据任务的执行形式，相应的下上文切换，有进程上下文切换、线程上下文切换、以及中断上下文切换三类。

5、进程和线程的区别：
进程是资源分配和执行的基本单位；线程是任务调度和运行的基本单位。线程没有资源，进程给指针提供虚拟内存、栈、变量等共享资源，而线程可以共享进程的资源。

6、进程上下文切换：是指从一个进程切换到另一个进程。

(1)进程运行态为内核运行态和进程运行态。内核空间态资源包括内核的堆栈、寄存器等；用户空间态资源包括虚拟内存、栈、变量、正文、数据等

(2)系统调用(软中断)在内核态完成的，需要进行2次CPU上下文切换(用户空间-->内核空间-->用户空间)，不涉及用户态资源，也不会切换进程。

(3)进程是由内核来管理和调度的，进程的切换只能发生在内核态。所以，进程的上下文不仅包括了用户空间的资源，也包括内核空间资源。

(4)进程的上下文切换过程：

(5)、下列将会触发进程上下文切换的场景：

7、线程上下文切换：

8、中断上下文切换
快速响应硬件的事件，中断处理会打断进程的正常调度和执行。同一CPU内，硬件中断优先级高于进程。切换过程类似于系统调用的时候，不涉及到用户运行态资源。但大量的中断上下文切换同样可能引发性能问题。

重点关注信息：

系统的就绪队列过长，也就是正在运行和等待 CPU 的进程数过多，导致了大量的上下文切换，而上下文切换又导致了系统 CPU 的占用率升高。

这个结果中有两列内容是我们的重点关注对象。一个是 cswch ，表示每秒自愿上下文切换（voluntary context switches）的次数，另一个则是 nvcswch ，表示每秒非自愿上下文切换（non voluntary context switches）的次数。

linux的中断使用情况可以从 /proc/interrupts 这个只读文件中读取。/proc 实际上是 Linux 的一个虚拟文件系统，用于内核空间与用户空间之间的通信。/proc/interrupts 就是这种通信机制的一部分，提供了一个只读的中断使用情况。

重调度中断（RES），这个中断类型表示，唤醒空闲状态的 CPU 来调度新的任务运行。这是多处理器系统（SMP）中，调度器用来分散任务到不同 CPU 的机制，通常也被称为处理器间中断（Inter-Processor Interrupts，IPI）。

这个数值其实取决于系统本身的 CPU 性能。如果系统的上下文切换次数比较稳定，那么从数百到一万以内，都应该算是正常的。但当上下文切换次数超过一万次，或者切换次数出现数量级的增长时，就很可能已经出现了性能问题。这时，需要根据上下文切换的类型，再做具体分析。

比方说：

首先通过uptime查看系统负载，然后使用mpstat结合pidstat来初步判断到底是cpu计算量大还是进程争抢过大或者是io过多，接着使用vmstat分析切换次数，以及切换类型，来进一步判断到底是io过多导致问题还是进程争抢激烈导致问题。

CPU 使用率相关的重要指标：

性能分析工具给出的都是间隔一段时间的平均 CPU 使用率，所以要注意间隔时间的设置，特别是用多个工具对比分析时，你一定要保证它们用的是相同的间隔时间。比如，对比一下 top 和 ps 这两个工具报告的 CPU 使用率，默认的结果很可能不一样，因为 top 默认使用 3 秒时间间隔，而 ps 使用的却是进程的整个生命周期。

top 和 ps 是最常用的性能分析工具：

这个输出结果中，第三行 %Cpu 就是系统的 CPU 使用率，top 默认显示的是所有 CPU 的平均值，这个时候你只需要按下数字 1 ，就可以切换到每个 CPU 的使用率了。继续往下看，空白行之后是进程的实时信息，每个进程都有一个 %CPU 列，表示进程的 CPU 使用率。它是用户态和内核态 CPU 使用率的总和，包括进程用户空间使用的 CPU、通过系统调用执行的内核空间 CPU 、以及在就绪队列等待运行的 CPU。在虚拟化环境中，它还包括了运行虚拟机占用的 CPU。

预先安装 stress 和 sysstat 包，如 apt install stress sysstat。

stress 是一个 Linux 系统压力测试工具，这里我们用作异常进程模拟平均负载升高的场景。而 sysstat 包含了常用的 Linux 性能工具，用来监控和分析系统的性能。我们的案例会用到这个包的两个命令 mpstat 和 pidstat。

下面的 pidstat 命令，就间隔 1 秒展示了进程的 5 组 CPU 使用率，

包括：

perf 是 Linux 2.6.31 以后内置的性能分析工具。它以性能事件采样为基础，不仅可以分析系统的各种事件和内核性能，还可以用来分析指定应用程序的性能问题。

第一种常见用法是 perf top，类似于 top，它能够实时显示占用 CPU 时钟最多的函数或者指令，因此可以用来查找热点函数，使用界面如下所示：

输出结果中，第一行包含三个数据，分别是采样数（Samples）如2K、事件类型（event）如cpu-clock:pppH和事件总数量（Event count）如：371909314。

第二种常见用法，也就是 perf record 和 perf report。 perf top 虽然实时展示了系统的性能信息，但它的缺点是并不保存数据，也就无法用于离线或者后续的分析。而 perf record 则提供了保存数据的功能，保存后的数据，需要你用 perf report 解析展示。

1.启动docker 运行进程：

2.ab工具测试服务器性能
ab（apache bench）是一个常用的 HTTP 服务性能测试工具，这里用来模拟 Ngnix 的客户端。

3.分析过程

CPU 使用率是最直观和最常用的系统性能指标，在排查性能问题时，通常会关注的第一个指标。所以更要熟悉它的含义，尤其要弄清楚:

这几种不同 CPU 的使用率。比如说：

碰到 CPU 使用率升高的问题，你可以借助 top、pidstat 等工具，确认引发 CPU 性能问题的来源；再使用 perf 等工具，排查出引起性能问题的具体函数.

② linux运维常用命令

| 线上查询及帮助命令 |
man：全称为manual，用于查看系统中自带的各种参考手册;
help：用于显示shell内部命令的帮助信息;
| 文件和目录操作命令 |
ls：全拼list，列出目录的内容及其内容属性信息;
cd：全拼change directory，切换当前工作目录至dirName(目录参数);
cp：全称，复制文件或目录;
find：用于在指定目录及目录下查找文件;
mkdir：全拼make directories，创建目录;
mv：全拼move，移动或重命名文件;
pwd：全拼print working directory，显示当前工作目录的绝对路径;
rename：可用字符串替换的方式批量改变文件名;
rm：全拼remove，删除一个或多个文件或目录。必须格外小心地使用该命令;
rmdir：全拼remove empty directories，删除空目录;
touch：修改文件或者目录的时间属性，包括存取时间和更改时间。若文件不存在，系统会建立一个新的文件;
| 查看文件及内容处理命令 |
cat：全拼concatenate，用于连接多个文件并且打印到屏幕输出或重定向到指定文件中，可查看文件内容;
tac：cat的反向拼写，因此命令的功能为反向显示文件内容。文件内容的最后一行先显示，第一行最后显示;
less：可以随意浏览文件，而more仅能向前移动，却不能向后移动，而且less在查看之前不会加载整个文件;
head：显示文件的开头的内容。在默认情况下，head命令显示文件的头10行内容;
tail：查看文件尾部内容，有一个常用的参数-f常用于查阅正在改变的文件。可以看到最新的文件内容;
| 文件压缩及解压缩命令 |
tar：tar命令是用来建立，还原备份文件的工具程序，它可以加入，解开备份文件内的文件;
unzip：用于解压缩zip文件;
gzip：用于压缩文件。gzip是个使用广泛的压缩程序，文件经它压缩过后，其名称后面会多出".gz"的扩展名;
zip：用来将文件压缩成为常用的zip格式。

③ linux怎么进入内核源码安装perf

这个如果源里有，就从源里安装，不同发行版有所不同
debian/ubuntu应该是sudo apt-get install linux-headers-`uname -r`

④ 查看linux电脑gpu的参数

1、Linux查看显卡信息：

lspci | grep -i vga

2、使用nvidia GPU可以：

lspci | grep -i nvidia

表头释义：

• Fan：显示风扇转速，数值在0到100%之间，是计算机的期望转速，如果计算机不是通过风扇冷却或者风扇坏了，显示出来就是N/A；

• Temp：显卡内部的温度，单位是摄氏度；

• Perf：表征性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能；

• Pwr：能耗表示；

• Bus-Id：涉及GPU总线的相关信息；

• Disp.A：是Display Active的意思，表示GPU的显示是否初始化；

• Memory Usage：显存的使用率；

• Volatile GPU-Util：浮动的GPU利用率；

• Compute M：计算模式；

下边的Processes显示每块GPU上每个进程所使用的显存情况。

如果要周期性的输出显卡的使用情况，可以用watch指令实现：

watch -n 10 nvidia-smi

命令行参数-n后边跟的是执行命令的周期，以s为单位。

⑤ 如何编译linux的 perf

perf的代码是linux kernel代码的一部分， 在./tools/perf/目录下面。linux kernel代码可以从官网下载

希望能帮到你

⑥ 如何在Linux用户和内核空间中进行动态跟踪

你不记得如何在代码中插入探针点了吗？ 没问题！了解如何使用uprobe和kprobe来动态插入它们吧。 基本上，程序员需要在源代码汇编指令的不同位置插入动态探针点。

探针点
探针点是一个调试语句，有助于探索软件的执行特性（即，执行流程以及当探针语句执行时软件数据结构的状态）。printk是探针语句的最简单形式，也是黑客用于内核攻击的基础工具之一。
因为它需要重新编译源代码，所以printk插入是静态的探测方法。内核代码中重要位置上还有许多其他静态跟踪点可以动态启用或禁用。 Linux内核有一些框架可以帮助程序员探测内核或用户空间应用程序，而无需重新编译源代码。Kprobe是在内核代码中插入探针点的动态方法之一，并且uprobe在用户应用程序中执行此操作。
使用uprobe跟踪用户空间
可以通过使用thesysfs接口或perf工具将uprobe跟踪点插入用户空间代码。
使用sysfs接口插入uprobe
考虑以下简单测试代码，没有打印语句，我们想在某个指令中插入探针：
[source,c\n.test.c
#include <stdio.h>\n#include <stdlib.h>\n#include <unistd.h>
编译代码并找到要探测的指令地址：
# gcc -o test test.\n# objmp -d test
假设我们在ARM64平台上有以下目标代码：
0000000000400620 <func_1>: 400620\t90000080\tadr\tx0, 410000 <__FRAME_END__+0xf6f8>
并且我们想在偏移量0x620和0x644之间插入探针。执行以下命令：
# echo 'p:func_2_entry test:0x620' > /sys/kernel/debug/tracing/uprobe_event\n# echo 'p:func_1_entry test:0x644' >> /sys/kernel/debug/tracing/uprobe_event\n# echo 1 > /sys/kernel/debug/tracing/events/uprobes/enable# ./test&
在上面的第一个和第二个echo语句中，p告诉我们这是一个简单的测试。（探测器可以是简单的或返回的。）func_n_entry是我们在跟踪输出中看到的名称，名称是可选字段，如果没有提供，我们应该期待像p_test_0x644这样的名字。test 是我们要插入探针的可执行二进制文件。如果test 不在当前目录中，则需要指定path_to_test / test。
0x620或0x640是从程序启动开始的指令偏移量。请注意>>在第二个echo语句中，因为我们要再添加一个探针。所以，当我们在前两个命令中插入探针点之后，我们启用uprobe跟踪，当我们写入events/ uprobes / enable时，它将启用所有的uprobe事件。程序员还可以通过写入在该事件目录中创建的特定事件文件来启用单个事件。一旦探针点被插入和启用，每当执行探测指令时，我们可以看到一个跟踪条目。
读取跟踪文件以查看输出：
# cat /sys/kernel/debug/tracing/trac\n# tracer: no\n\n# entries-in-buffer/entries-written: 8/8\n#P:\n\n# _-----=> irqs-of\n# / _----=> need-resche\n# | / _---=> hardirq/softir\n# || / _--=> preempt-dept\n# ||| / dela\n# TASK-PID CP\n# |||| TIMESTAMP FUNCTION# | | | |||| | |
我们可以看到哪个CPU完成了什么任务，什么时候执行了探测指令。
返回探针也可以插入指令。当返回该指令的函数时，将记录一个条目：
# echo 0 > /sys/kernel/debug/tracing/events/uprobes/enabl\n# echo 'r:func_2_exit test:0x620' >> /sys/kernel/debug/tracing/uprobe_event\n# echo 'r:func_1_exit test:0x644' >> /sys/kernel/debug/tracing/uprobe_event\n# echo 1 > /sys/kernel/debug/tracing/events/uprobes/enable
这里我们使用r而不是p，所有其他参数是相同的。请注意，如果要插入新的探测点，需要禁用uprobe事件：
test-3009 [002] .... 4813.852674: func_1_entry: (0x400644)
上面的日志表明，func_1返回到地址0x4006b0，时间戳为4813.852691。
# echo 0 > /sys/kernel/debug/tracing/events/uprobes/enabl\n# echo 'p:func_2_entry test:0x630' > /sys/kernel/debug/tracing/uprobe_events count=%x\n# echo 1 > /sys/kernel/debug/tracing/events/uprobes/enabl\n# echo > /sys/kernel/debug/tracing/trace# ./test&
当执行偏移量0x630的指令时，将打印ARM64 x1寄存器的值作为count =。
输出如下所示：
test-3095 [003] .... 7918.629728: func_2_entry: (0x400630) count=0x1
使用perf插入uprobe
找到需要插入探针的指令或功能的偏移量很麻烦，而且需要知道分配给局部变量的CPU寄存器的名称更为复杂。 perf是一个有用的工具，用于帮助引导探针插入源代码中。
除了perf，还有一些其他工具，如SystemTap，DTrace和LTTng，可用于内核和用户空间跟踪；然而，perf与内核配合完美，所以它受到内核程序员的青睐。
# gcc -g -o test test.c# perf probe -x ./test func_2_entry=func_\n# perf probe -x ./test func_2_exit=func_2%retur\n# perf probe -x ./test test_15=test.c:1\n# perf probe -x ./test test_25=test.c:25 numbe\n# perf record -e probe_test:func_2_entry -e\nprobe_test:func_2_exit -e probe_test:test_15\n-e probe_test:test_25 ./test
如上所示，程序员可以将探针点直接插入函数start和return，源文件的特定行号等。可以获取打印的局部变量，并拥有许多其他选项，例如调用函数的所有实例。 perf探针用于创建探针点事件，那么在执行./testexecutable时，可以使用perf记录来探测这些事件。当创建一个perf探测点时，可以使用其他录音选项，例如perf stat，可以拥有许多后期分析选项，如perf脚本或perf报告。
使用perf脚本，上面的例子输出如下：
# perf script
使用kprobe跟踪内核空间
与uprobe一样，可以使用sysfs接口或perf工具将kprobe跟踪点插入到内核代码中。
使用sysfs接口插入kprobe
程序员可以在/proc/kallsyms中的大多数符号中插入kprobe；其他符号已被列入内核的黑名单。还有一些与kprobe插入不兼容的符号，比如kprobe_events文件中的kprobe插入将导致写入错误。 也可以在符号基础的某个偏移处插入探针，像uprobe一样，可以使用kretprobe跟踪函数的返回，局部变量的值也可以打印在跟踪输出中。
以下是如何做：
; disable all events, just to insure that we see only kprobe output in trace\n# echo 0 > /sys/kernel/debug/tracing/events/enable; disable kprobe events until probe points are inseted\n# echo 0 > /sys/kernel/debug/tracing/events/kprobes/enable; clear out all the events from kprobe_events\n to insure that we see output for; only those for which we have enabled
[root@pratyush ~\n# more /sys/kernel/debug/tracing/trace# tracer: no\n\n# entries-in-buffer/entries-written: 9037/9037\n#P:8\n# _-----=> irqs-of\n# / _----=> need-resche\n# | / _---=> hardirq/softirq#\n|| / _--=> preempt-depth#\n ||| / delay# TASK-PID CPU#\n |||| TIMESTAMP FUNCTION#\n | | | |||| | |
使用perf插入kprobe
与uprobe一样，程序员可以使用perf在内核代码中插入一个kprobe，可以直接将探针点插入到函数start和return中，源文件的特定行号等。程序员可以向-k选项提供vmlinux，也可以为-s选项提供内核源代码路径：
# perf probe -k vmlinux kfree_entry=kfre\n# perf probe -k vmlinux kfree_exit=kfree%retur\n# perf probe -s ./ kfree_mid=mm/slub.c:3408 \n# perf record -e probe:kfree_entry -e probe:kfree_exit -e probe:kfree_mid sleep 10
使用perf脚本，以上示例的输出：
关于Linux命令的介绍，看看《linux就该这么学》，具体关于这一章地址3w(dot)linuxprobe/chapter-02(dot)html