Increased CPU usage of elassandra

[Sajith Silva]

Hello, 

I'm having increased CPU usage of my elassandra cluster (3 nodes)

Elassandra version v6.2.3.15

nodetool tpstats
Pool Name                         Active   Pending      Completed   Blocked  All time blocked
ReadStage                              0         0        1139140         0                 0
MiscStage                              0         0              0         0                 0
CompactionExecutor                     0         0         137686         0                 0
MutationStage                         32       992       17718964         0                 0
MemtableReclaimMemory                  0         0            188         0                 0
PendingRangeCalculator                 0         0              6         0                 0
GossipStage                            0         0         653632         0                 0
SecondaryIndexManagement               0         0              0         0                 0
HintsDispatcher                        2         3          51579         0                 0
RequestResponseStage                   0         0       18483330         0                 0
Native-Transport-Requests              1         0        5756528         0                37
ReadRepairStage                        0         0          30630         0                 0
CounterMutationStage                   0         0              0         0                 0
MigrationStage                         0         0          16847         0                 0
MemtablePostFlush                      0         0            292         0                 0
PerDiskMemtableFlushWriter_0           0         0            188         0                 0
ValidationExecutor                     0         0              0         0                 0
Sampler                                0         0              0         0                 0
MemtableFlushWriter                    0         0            188         0                 0
InternalResponseStage                  0         0       15864007         0                 0
ViewMutationStage                      0         0              0         0                 0
AntiEntropyStage                       0         0              0         0                 0
CacheCleanupExecutor                   0         0              0         0                 0

curl -X GET "elassandra1:9200/_nodes/hot_threads"|grep "cpu usage by thread"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  8519  100  8519    0     0  134    3.1% (15.6ms out of 500ms) cpu usage by thread 'RequestResponseStage-1'
43      5.1% (25.3ms out of 500ms) cpu usage by thread 'RequestResponseStage-1'
       3.4% (16.8ms out of 500ms) cpu usage by thread 'MessagingService-Outgoing-/10.1.181.226-Small'
    2.5% (12.5ms out of 500ms) cpu usage by thread 'MessagingService-Outgoing-/10.1.180.227-Small'
     8.5% (42.7ms out of 500ms) cpu usage by thread 'MutationStage-9'
0 -    7.6% (38ms out of 500ms) cpu usage by thread 'MutationStage-1'
-:-    5.8% (29.2ms out of 500ms) cpu usage by thread 'MutationStage-

Top command

Threads: 494 total,   3 running, 491 sleeping,   0 stopped,   0 zombie

%Cpu(s): 43.3 us,  0.7 sy,  0.2 ni, 55.6 id,  0.0 wa,  0.0 hi,  0.2 si,  0.0 st
KiB Mem : 65803928 total,   640116 free, 19885812 used, 45278000 buff/cache
KiB Swap:        0 total,        0 free,        0 used. 44624736 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND                    
29091 cassand+  20   0  0.240t 0.049t 0.031t S 31.2 80.2 238:36.75 java
29092 cassand+  20   0  0.240t 0.049t 0.031t S 31.2 80.2 238:33.62 java
29093 cassand+  20   0  0.240t 0.049t 0.031t S 31.2 80.2 238:30.24 java
29094 cassand+  20   0  0.240t 0.049t 0.031t S 25.0 80.2 238:32.40 java
29473 cassand+  20   0  0.240t 0.049t 0.031t S 12.5 80.2  36:50.62 MutationStage-3         
29475 cassand+  20   0  0.240t 0.049t 0.031t S 12.5 80.2  36:23.54 MutationStage-2        
29481 cassand+  20   0  0.240t 0.049t 0.031t S 12.5 80.2  36:27.26 MutationStage-3        
29123 cassand+  20   0  0.240t 0.049t 0.031t S  6.2 80.2  16:19.61 VM Thread                   
29437 cassand+  20   0  0.240t 0.049t 0.031t S  6.2 80.2   0:37.51 MessagingServic         
29469 cassand+  20   0  0.240t 0.049t 0.031t S  6.2 80.2  36:41.41 MutationStage-2         
29477 cassand+  20   0  0.240t 0.049t 0.031t S  6.2 80.2  36:28.96 MutationStage-2         
29478 cassand+  20   0  0.240t 0.049t 0.031t S  6.2 80.2  36:21.70 MutationStage-3         
29500 cassand+  20   0  0.240t 0.049t 0.031t S  6.2 80.2  25:34.16 MutationStage-3         

Any ideas how further troubleshoot. 

Regards,

Sajith