前面我介绍过很多隐藏进程的把戏，随后我对每一种把戏有针对性的给出了反制措施，可以翻看我2020/03～2020/08的文章，太多了，不再一一列举。

如今，我要介绍一种超级简单的手段，手艺人必备。

无论你是隐藏了进程，还是隐藏了进程的CPU利用率，只要它在CPU上运行，在下面的脚本面前，任何隐藏手段终归徒劳：

#!/usr/local/bin/stap

global tbase
global tdelta

probe scheduler.cpu_on
{
	a = gettimeofday_us()
	tbase[pid(), execname()] = a
}

probe scheduler.cpu_off
{
	t = tbase[pid(), execname()]
	a = gettimeofday_us();
	if (t != 0) {
		delete tbase[pid(), execname()]
		d = a - t
		b = tdelta[pid(), execname()]
		tdelta[pid(), execname()] = b + d
	}
}

probe timer.ms($1)
{
	exit()
}

// 结束时将这段时间内所有运行进程的CPU累加时间按照降序打印。
probe end
{
	foreach ([pid, name] in tdelta-) {
		printf("%s[%d] = %d\n", name, pid, tdelta[pid, name])
	}
}

是的，只要你的进程运行，总逃不过内核的调度，只要进程获得CPU就会打点采样，进程被切换下来时再次打点采样，二者做差就是该进程本次运行的时间，将这些时间累加起来就能获得任意进程占有CPU的时间。

除非你的进程不在CPU上运行，不过不运行的进程又有啥用呢…

来来来，看效果：

[root@localhost test]# /root/loop &
[1] 5814
[root@localhost test]# /root/loop &
[2] 5815
[root@localhost test]#
[root@localhost test]# ./times.stp 5000 # 采样5秒
loop[5814] = 2492109
loop[5815] = 2490044
top[5919] = 1417
kworker/0:1[31879] = 1218
stapio[7125] = 1191
xfsaild/dm-0[397] = 1028
tuned[1003] = 744
systemd-udevd[7126] = 397
sshd[1384] = 174
systemd-udevd[496] = 157
rcuos/0[11] = 105
systemd[1] = 105
kworker/0:2[6831] = 82
systemd-logind[645] = 62
rcu_sched[10] = 43
kworker/u2:2[285] = 7
watchdog/0[12] = 7
ksoftirqd/0[3] = 3
[root@localhost test]#

一抓一个准。

来，现在基于上述原理干点正事儿。

这回我们不再为了缉拿谁而编写脚本，这回我们假装为了优化调度器算法。

我们要统计一下所有进程从排入就绪队列到实际运行的等待时间，用以排查是否有进程饥饿。

#!/usr/local/bin/stap

global tbase
global tdelta

probe kernel.function("activate_task")
{
	a = gettimeofday_us()
	tbase[task_pid($p), task_execname($p)] = a
}

probe scheduler.cpu_on
{
	t = tbase[pid(), execname()]
	a = gettimeofday_us();
	if (t != 0) {
		delete tbase[pid(), execname()]
		d = a - t
		b = tdelta[pid(), execname()]
		tdelta[pid(), execname()] = b + d
	}
}

probe timer.ms($1)
{
	exit()
}

probe end
{
	foreach ([pid, name] in tdelta-) {
		printf("%s[%d] = %d\n", name, pid, tdelta[pid, name])
	}
}

来来，看效果：

[root@localhost test]# ./wtime.stp 5000
stapio[7727] = 1034
rcuos/0[11] = 747
systemd-udevd[7728] = 244
kworker/0:1[31879] = 236
tuned[1003] = 159
khungtaskd[24] = 80
rcu_sched[10] = 64
systemd-udevd[496] = 58
khugepaged[27] = 20
kworker/u2:2[285] = 20
watchdog/0[12] = 18
auditd[609] = 18
kworker/0:0[7139] = 12
[root@localhost test]#

最后，值得注意的是， stap的操作开销巨大，二元健数组内部实现很复杂，且cpu_on/cpu_off是系统中绝对绝对绝对的热点热点热点路径！ 以上手段仅仅用于发现系统异常，并非常规操作，应该严禁在生产环境长时间执行。

当然，经理除外。

浙江温州皮鞋湿，下雨进水不会胖。