HA queues consume too much cpu.

[张胜]

I create 20k HA queues in my 3 node rabbitmq-cluster. There are no exchange, no consumer, only HA queues. The three node cpu usage is 350% 200% 200%.

I use this script to create queues:

------------------------------------------------------------------------------------------------

#!/usr/bin/env escript
%%! -pz ./amqp_client ./rabbit_common ./amqp_client/ebin ./rabbit_common/ebin ./recon/ebin
                      
-include_lib("amqp_client/include/amqp_client.hrl").
                      
main(_) ->            
    {ok, Connection} =
        amqp_connection:start(#amqp_params_network{host = "localhost"}),
    {ok, Channel} = amqp_connection:open_channel(Connection),
                      
    G = fun(X) -> amqp_channel:call(Channel, #'queue.declare'{queue = list_to_binary(integer_to_list(X))}), io:format(" create ~p queue!~n", [X]), ok end,
    NN = lists:seq(0,10000),
    [G(Y) || Y <- NN ],                                                                              

    ok = amqp_channel:close(Channel),
    ok = amqp_connection:close(Connection),
    ok.
------------------------------------------------------------------------------------------------

I use many rabbitmq version to test. I find rabbitmq 3.6.11 and after(include 3.7) will have this high cpu usage problem. All previous version will only little cpu, maybe 10%

[gl...@pivotal.io]

Given the following 3-node RabbitMQ cluster:

| RabbitMQ                    | 3.7.7                    |
| Erlang/OTP                  | 20.3.8.8                 |
| OS                          | Ubuntu 16.04.5 LTS       |
| Kernel                      | 4.15.0-32-generic x86_64 |
| RabbitMQ node instance type | n1-highcpu-4             |
| Number of RabbitMQ nodes    | 3                        |

And 10000 (10k) durable queues with queue masters located on node0,

and queue mirrors on node1 and node2,

we observe the following across all 3 hosts:

If we focus on node0, we observe the following:

CPUs are spending 30-60% of time in userspace & 3-11% in system space, and all is due to the Erlang VM (beam.smp) within which RabbitMQ runs.

Let's take a closer look at what the Erlang VM is doing by taking a 30s microstate accounting [1] snapshot on node0:

rabbitmqctl eval 'msacc:start(30000), msacc:print(msacc:stats(),#{system => true}).'


Average thread real-time    :  30003861 us
Accumulated system run-time : 118506507 us
Average scheduler run-time  :  19167701 us


        Thread    alloc           aux           bif     busy_wait      check_io      emulator           ets            gc       gc_full           nif         other          port          send         sleep        timers


Stats per thread:
# eliding all stats per thread, let's focus on stats per type
...


Stats per type:
         async  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%(77.1%)  0.00%( 0.0%)
           aux  0.00%( 0.0%)  0.03%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%) 12.37%( 0.1%)  0.00%( 0.0%)  0.00%( 0.0%) 87.60%( 1.1%)  0.00%( 0.0%)
dirty_cpu_sche  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%) 30.87%( 1.5%)  0.00%( 0.0%)  0.74%( 0.0%)  0.15%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%) 68.24%( 3.3%)  0.00%( 0.0%)
dirty_io_sched  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%(12.0%)  0.00%( 0.0%)
     scheduler  1.53%( 0.1%)  0.37%( 0.0%)  3.09%( 0.1%) 44.80%( 2.2%)  1.31%( 0.1%)  4.78%( 0.2%)  1.21%( 0.1%)  0.14%( 0.0%)  2.31%( 0.1%)  0.00%( 0.0%)  2.78%( 0.1%)  0.02%( 0.0%)  0.01%( 0.0%) 36.12%( 1.7%)  1.55%( 0.1%)

If we focus on what all Erlang schedulers are doing, we notice that 44.80% of the time is spent in `busy_wait`, followed by 36.12% in `sleep` and, in distant third, 4.78% in `emulator`.

As for GC, 2.31% is spent in `gc_full` and 0.14% in `gc`.

`busy_wait` means that schedulers are kept from sleeping prematurely, just in case new work arrives and they need to spin up again.

This suggests that there are bursts of work which result in schedulers running even after there is no work left to do.

While it is possible that this is the periodic GC in GM introduced since 3.6.11 [2], our problem here is high CPU utilisation due to schedulers running while they don't need to.

Let's start by disabling scheduler busy waiting by setting `+sbwt none` via `RABBITMQ_SERVER_ADDITIONAL_ERL_ARGS` [3], and taking another look at the CPU usage across all nodes in the cluster:

We now observe that node0 spends ~15% of CPU time in userspace & ~8% in system space, and node1 & node2 ~2% of CPU time in userspace & ~3% in system space.

Since all queue masters are on node0, this is expected.

Let's take a closer look at what the Erlang VM is doing by taking a 30s microstate accounting snapshot on node0:

Average thread real-time    : 30000187 us
Accumulated system run-time : 71022326 us
Average scheduler run-time  :  5129386 us


        Thread    alloc           aux           bif     busy_wait      check_io      emulator           ets            gc       gc_full           nif         other          port          send         sleep        timers


Stats per thread:
# eliding all stats per thread, let's focus on stats per type
...


Stats per type:
         async  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%(77.1%)  0.00%( 0.0%)
           aux  0.00%( 0.0%)  0.03%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  3.83%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%) 96.14%( 1.2%)  0.00%( 0.0%)
dirty_cpu_sche  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%) 40.45%( 1.9%)  0.00%( 0.0%)  0.59%( 0.0%)  0.08%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%) 58.88%( 2.8%)  0.00%( 0.0%)
dirty_io_sched  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%(12.0%)  0.00%( 0.0%)
     scheduler  1.35%( 0.1%)  0.57%( 0.0%)  2.86%( 0.1%)  0.30%( 0.0%)  0.38%( 0.0%)  4.48%( 0.2%)  1.02%( 0.0%)  0.13%( 0.0%)  2.28%( 0.1%)  0.00%( 0.0%)  2.03%( 0.1%)  0.01%( 0.0%)  0.00%( 0.0%) 82.90%( 4.0%)  1.69%( 0.1%)

What about the Erlang VM on node1?

Average thread real-time    : 30000998 us

Accumulated system run-time : 28739773 us
Average scheduler run-time  :  4447375 us


        Thread    alloc           aux           bif     busy_wait      check_io      emulator           ets            gc       gc_full           nif         other          port          send         sleep        timers


Stats per thread:
# eliding all stats per thread, let's focus on stats per type
...


Stats per type:
         async  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%(77.1%)  0.00%( 0.0%)
           aux  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  4.77%( 0.1%)  0.00%( 0.0%)  0.00%( 0.0%) 95.23%( 1.1%)  0.00%( 0.0%)
dirty_cpu_sche  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  7.93%( 0.4%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%) 92.07%( 4.4%)  0.00%( 0.0%)
dirty_io_sched  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%(12.0%)  0.00%( 0.0%)
     scheduler  1.34%( 0.1%)  0.64%( 0.0%)  2.17%( 0.1%)  0.40%( 0.0%)  0.46%( 0.0%)  3.31%( 0.2%)  0.09%( 0.0%)  0.15%( 0.0%)  2.35%( 0.1%)  0.00%( 0.0%)  2.17%( 0.1%)  0.01%( 0.0%)  0.00%( 0.0%) 85.18%( 4.1%)  1.75%( 0.1%)

Does setting `+sbwt none` via `RABBITMQ_SERVER_ADDITIONAL_ERL_ARGS` [3] solve your problem 张胜?

[1] http://erlang.org/doc/man/msacc.html

[2] https://github.com/rabbitmq/rabbitmq-server/pull/1302

[3] https://www.rabbitmq.com/configure.html#define-environment-variables

[张胜]

Thank you very much. I learned a lot from your test. I will test it in my environment.

在 2018年8月23日星期四 UTC+8下午2:09:44，张胜写道：

[William]

Hi,

thank you for your time.

We use RabbitMQ with ha :

all    .*    {"ha-mode":"all","ha-sync-mode":"automatic"}    0

we have ~25 000 queues with this ha (it may vary from 5000 to +30 000)

and all our computers are in pain :

cat /proc/loadavg
21.75 22.70 23.20 29/11039 53973

in this moment, we use RabbitMQ 3.6.15 with a bad Erlang version, in wheezy

dpkg -l | grep erlang
ii  erlang-mode                        1:19.0-1                          all          Erlang major editing mode for Emacs
ii  esl-erlang                         1:19.1.5                          amd64        Erlang

dpkg -l | grep rabbitmq
ii  rabbitmq-server                    3.6.15-1                          all          Multi-protocol messaging broker

we plan to move to jessie, with erlang 21 and RabbitMQ 3.7.7

but...

I try to test on my computer, with debian stretch, RabbitMQ 3.7.7 and erlang 21.0.9, and my computer is in pain too..

I create a ha with same requierement as production, and 20 000 queues (durable = true, ttl = 5 days, max-length = 1000)

And, even if there are no other cluster, I have +160% CPU (wih sbwt +none)

ps -edaf | grep --color sbwt
rabbitmq 12288 11933 99 22:01 ?        00:11:30 /usr/lib/erlang/erts-10.0.8/bin/beam.smp -W w -A 128 -MBas ageffcbf -MHas ageffcbf -MBlmbcs 512 -MHlmbcs 512 -MMmcs 30 -P 1048576 -t 5000000 -stbt db -zdbbl 1280000 -K true -sbwt none -B i -- -root /usr/lib/erlang -progname erl -- -home /var/lib/rabbitmq -- -pa /usr/lib/rabbitmq/lib/rabbitmq_server-3.7.7/ebin -noshell -noinput -s rabbit boot -sname rabbit@ -boot start_sasl -kernel inet_default_connect_options [{nodelay,true}] -sasl errlog_type error -sasl sasl_error_logger false -rabbit lager_log_root "/var/log/rabbitmq" -rabbit lager_default_file "/var/log/rabbitmq/rabbit@.log" -rabbit lager_upgrade_file "/var/log/rabbitmq/rabbit@_upgrade.log" -rabbit enabled_plugins_file "/etc/rabbitmq/enabled_plugins" -rabbit plugins_dir "/usr/lib/rabbitmq/plugins:/usr/lib/rabbitmq/lib/rabbitmq_server-3.7.7/plugins" -rabbit plugins_expand_dir "/var/lib/rabbitmq/mnesia/rabbit@-plugins-expand" -os_mon start_cpu_sup false -os_mon start_disksup false -os_mon start_memsup false -mnesia dir "/var/lib/rabbitmq/mnesia/rabbit@" -kernel inet_dist_listen_min 25672 -kernel inet_dist_listen_max 25672

eval 'msacc:start(30000), msacc:print(msacc:stats(),#{system => true}).'

Average thread real-time    : 30001045 us
Accumulated system run-time : 29252621 us
Average scheduler run-time  :  3589838 us

        Thread      aux      check_io      emulator            gc         other          port         sleep    

Stats per thread:
     async( 0)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async( 1)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async( 2)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async( 3)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async( 4)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async( 5)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async( 6)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async( 7)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async( 8)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async( 9)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(10)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(11)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(12)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(13)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(14)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(15)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(16)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(17)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(18)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(19)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(20)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(21)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(22)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(23)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(24)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(25)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(26)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(27)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(28)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(29)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(30)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(31)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(32)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(33)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(34)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(35)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(36)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(37)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(38)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(39)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(40)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(41)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(42)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(43)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(44)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(45)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(46)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(47)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(48)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(49)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(50)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(51)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(52)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(53)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(54)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(55)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(56)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(57)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(58)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(59)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(60)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(61)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(62)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(63)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(64)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(65)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(66)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(67)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(68)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(69)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(70)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(71)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(72)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(73)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(74)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(75)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(76)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(77)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(78)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(79)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(80)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(81)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(82)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(83)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(84)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(85)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(86)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(87)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(88)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(89)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(90)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(91)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(92)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(93)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(94)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(95)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(96)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(97)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(98)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(99)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     async(**)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
       aux( 1)  0.02%( 0.0%)  1.72%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%) 98.26%( 0.6%)
dirty_cpu_( 1)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_cpu_( 2)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_cpu_( 3)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_cpu_( 4)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_cpu_( 5)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_cpu_( 6)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_cpu_( 7)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_cpu_( 8)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_io_s( 1)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_io_s( 2)  0.00%( 0.0%)  0.00%( 0.0%)  0.01%( 0.0%)  0.00%( 0.0%)  0.03%( 0.0%)  0.00%( 0.0%) 99.96%( 0.6%)
dirty_io_s( 3)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_io_s( 4)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_io_s( 5)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_io_s( 6)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_io_s( 7)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_io_s( 8)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_io_s( 9)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
dirty_io_s(10)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
      poll( 0)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
 scheduler( 1)  0.33%( 0.0%)  0.00%( 0.0%)  4.53%( 0.0%)  4.33%( 0.0%)  2.14%( 0.0%)  0.00%( 0.0%) 88.66%( 0.6%)
 scheduler( 2)  0.35%( 0.0%)  0.00%( 0.0%)  4.61%( 0.0%)  4.43%( 0.0%)  2.16%( 0.0%)  0.00%( 0.0%) 88.45%( 0.6%)
 scheduler( 3)  0.38%( 0.0%)  0.00%( 0.0%)  4.94%( 0.0%)  4.71%( 0.0%)  2.45%( 0.0%)  0.00%( 0.0%) 87.52%( 0.6%)
 scheduler( 4)  0.37%( 0.0%)  0.00%( 0.0%)  4.84%( 0.0%)  4.49%( 0.0%)  2.32%( 0.0%)  0.00%( 0.0%) 87.99%( 0.6%)
 scheduler( 5)  0.39%( 0.0%)  0.00%( 0.0%)  4.98%( 0.0%)  4.62%( 0.0%)  2.42%( 0.0%)  0.00%( 0.0%) 87.59%( 0.6%)
 scheduler( 6)  0.36%( 0.0%)  0.00%( 0.0%)  4.69%( 0.0%)  4.41%( 0.0%)  2.19%( 0.0%)  0.00%( 0.0%) 88.36%( 0.6%)
 scheduler( 7)  0.37%( 0.0%)  0.00%( 0.0%)  4.86%( 0.0%)  4.61%( 0.0%)  2.34%( 0.0%)  0.00%( 0.0%) 87.82%( 0.6%)
 scheduler( 8)  0.38%( 0.0%)  0.00%( 0.0%)  4.89%( 0.0%)  4.55%( 0.0%)  2.31%( 0.0%)  0.00%( 0.0%) 87.88%( 0.6%)

Stats per type:
         async  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%(82.1%)
           aux  0.02%( 0.0%)  1.72%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%) 98.26%( 0.6%)
dirty_cpu_sche  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 5.1%)
dirty_io_sched  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 6.4%)
          poll  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)  0.00%( 0.0%)100.00%( 0.6%)
     scheduler  0.37%( 0.0%)  0.00%( 0.0%)  4.79%( 0.2%)  4.52%( 0.2%)  2.29%( 0.1%)  0.00%( 0.0%) 88.03%( 4.5%)
ok

rabbitmqctl status
Status of node rabbit@ ...
[{pid,12288},
 {running_applications,
     [{rabbit,"RabbitMQ","3.7.7"},
      {rabbit_common,
          "Modules shared by rabbitmq-server and rabbitmq-erlang-client",
          "3.7.7"},
      {ranch_proxy_protocol,"Ranch Proxy Protocol Transport","1.5.0"},
      {ranch,"Socket acceptor pool for TCP protocols.","1.5.0"},
      {ssl,"Erlang/OTP SSL application","9.0.1"},
      {public_key,"Public key infrastructure","1.6.1"},
      {asn1,"The Erlang ASN1 compiler version 5.0.6","5.0.6"},
      {xmerl,"XML parser","1.3.17"},
      {recon,"Diagnostic tools for production use","2.3.2"},
      {jsx,"a streaming, evented json parsing toolkit","2.8.2"},
      {mnesia,"MNESIA  CXC 138 12","4.15.4"},
      {os_mon,"CPO  CXC 138 46","2.4.5"},
      {crypto,"CRYPTO","4.3.2"},
      {inets,"INETS  CXC 138 49","7.0.1"},
      {lager,"Erlang logging framework","3.6.3"},
      {goldrush,"Erlang event stream processor","0.1.9"},
      {compiler,"ERTS  CXC 138 10","7.2.4"},
      {syntax_tools,"Syntax tools","2.1.5"},
      {syslog,"An RFC 3164 and RFC 5424 compliant logging framework.","3.4.2"},
      {sasl,"SASL  CXC 138 11","3.2"},
      {stdlib,"ERTS  CXC 138 10","3.5.1"},
      {kernel,"ERTS  CXC 138 10","6.0.1"}]},
 {os,{unix,linux}},
 {erlang_version,
     "Erlang/OTP 21 [erts-10.0.8] [source] [64-bit] [smp:8:8] [ds:8:8:10] [async-threads:128]\n"},
 {memory,
     [{connection_readers,0},
      {connection_writers,0},
      {connection_channels,0},
      {connection_other,0},
      {queue_procs,592304792},
      {queue_slave_procs,0},
      {plugins,5708},
      {other_proc,315851024},
      {metrics,4038340},
      {mgmt_db,0},
      {mnesia,202005528},
      {other_ets,40643560},
      {binary,5424232},
      {msg_index,28480},
      {code,24252867},
      {atom,1082561},
      {other_system,40063492},
      {allocated_unused,690965272},
      {reserved_unallocated,0},
      {strategy,rss},
      {total,[{erlang,1225700584},{rss,1653096448},{allocated,1916665856}]}]},
 {alarms,[]},
 {listeners,[{clustering,25672,"::"},{amqp,5672,"::"}]},
 {vm_memory_calculation_strategy,rss},
 {vm_memory_high_watermark,0.4},
 {vm_memory_limit,13452479692},
 {disk_free_limit,50000000},
 {disk_free,14613860352},
 {file_descriptors,
     [{total_limit,1048476},
      {total_used,2},
      {sockets_limit,943626},
      {sockets_used,0}]},
 {processes,[{limit,1048576},{used,80218}]},
 {run_queue,1},
 {uptime,677},
 {kernel,{net_ticktime,60}}]

I try to install rabbitmq_top and, when a queue is with ha policy, it take 55 reductions/s. If I remove the policy, it take.. 0...

Do you have a magical parameter to be more gentle with CPU when we have a lot of queues ?

Thank you in advance,

William

[Michael Klishin]

It's not clear whether this is a continuation of the same thread or not. My guess it isn't. Please start

a new thread since this list uses one question per thread ONLY.

This thread already has recommends a flag that reduces busy spinning for idle processes

and explained what data Gerhard used to understand what's going on.

88 to 100% of the scheduler time spent by the threads is in the "sleep" category. I don't think those numbers

or 55 reductions/second are particularly high numbers.

--
You received this message because you are subscribed to the Google Groups "rabbitmq-users" group.
To unsubscribe from this group and stop receiving emails from it, send an email to rabbitmq-users+unsubscribe@googlegroups.com.
To post to this group, send email to rabbitmq-users@googlegroups.com.
For more options, visit https://groups.google.com/d/optout.

--

MK

Staff Software Engineer, Pivotal/RabbitMQ

[wayne.w...@gmail.com]

张圣你好，可以加个微信吗，想和你交流一些rabbitmq的问题

在 2018年8月23日星期四 UTC+8下午2:09:44，张胜写道：

I create 20k HA queues in my 3 node rabbitmq-cluster. There are no exchange, no consumer, only HA queues. The three node cpu usage is 350% 200% 200%.

[gl...@pivotal.io]

Hi William,

This rabbitmq-server issue agrees with your observations, I encourage you to follow it: https://github.com/rabbitmq/rabbitmq-server/issues/1713

To set the right expectations, it's impossible to predict how long it will take to resolve this. The only positive that I can given you is:

1. This is a confirmed issue in v3.7.8 (latest stable) & Erlang v20.3.x as well as v21.x
   
2. Someone on the RabbitMQ Core team is looking into this

Thank you for taking the time to report this in great detail, Gerhard.

[William]

Thanks for the feedback !