Re: Why is my replica master so stressful?

[Marc Schwering]

what is the shard key? Is it incremental (integer or time)?

what kind of writes are you doing?


On Thursday, November 15, 2012 11:18:52 PM UTC, jean carlo wrote:

this is my configuration

mongos> db.runCommand({listshards:1})

{

        "shards" : [

                {

                        "_id" : "dataA",

                        "host" : "dataA/23.345.23.54:10000,23.345.23.55:10000,23.345.23.56:10000"

                },

                {

                        "_id" : "dataB",

                        "host" : "dataB/23.345.23.54:10001,23.345.23.55:10001,23.345.23.56:10001"

                },

                {

                        "_id" : "dataC",

                        "host" : "dataC/23.345.23.54:10002,23.345.23.55:10002,23.345.23.56:10002"

                }

        ],

        "ok" : 1

}

this replica 23.345.23.54:10000 is the primary for its replica in the shard1

I have 3 shards, but when I see the result of mongostat for the master of the shard1

 

jean@chewbacca:~$ mongostat --host 23.345.23.54:10000

connected to: 23.345.23.54:12000

insert  query update delete getmore command flushes mapped  vsize    res faults locked % idx miss %     qr|qw   ar|aw  netIn netOut  conn       set repl       time 

    24   4254      0      0      42    4287       0  20.1g  41.5g  1.12g      0     34.9          0       0|0     2|0   784k   276k   144 dataA  PRI   18:32:24 

   188   4114    165    327     636    4731       0  20.1g  41.5g  1.12g      0     41.6          0       0|0     1|0   877k   585k   144 dataA  PRI   18:32:25 

   283   3722    262    521     706    4706       0  20.1g  41.5g  1.12g      2       46          0       0|1     0|2   850k   726k   144 dataA  PRI   18:32:26 

   262   3979    230    422     880    4727       0  20.1g  41.5g  1.12g      1     46.1          0       0|0     1|0   919k   681k   144 dataA  PRI   18:32:27 

   135   4814     68     68     332    5051       0  20.1g  41.5g  1.12g      0     48.3          0       0|1     0|2   983k   435k   144 dataA  PRI   18:32:28 

   137   4429     66     66     338    4653       0  20.1g  41.5g  1.12g      0     42.1          0       0|0     2|0   927k   408k   144 dataA  PRI   18:32:29 

   249   3689    229    270     632    4281       0  20.1g  41.5g  1.12g      2     49.4          0       0|0     0|0   894k   644k   144 dataA  PRI   18:32:30 

   545   3807    509    583    1107    5117       0  20.1g  41.5g  1.12g      0     60.1          0       1|5     1|5     1m     1m   144 dataA  PRI   18:32:31 

   349   4674    253    253     714    5407       0  20.1g  41.5g  1.12g      0       49          0       0|0     1|0     1m   776k   144 dataA  PRI   18:32:32 

   128   5626     65     59     390    5885       0  20.1g  41.5g  1.12g      0     51.1          0       0|0     2|0     1m   507k   144 dataA  PRI   18:32:34 

And If we compare with the mongostat of the other master replica in shard2 

jean@chewbacca:~$ mongostat --host 23.345.23.54:10002

connected to: 23.345.23.54:10002

insert  query update delete getmore command flushes mapped  vsize    res faults locked % idx miss %     qr|qw   ar|aw  netIn netOut  conn       set repl       time 

    96      0      0      0     139      91       0  15.1g  31.5g   503m      0      0.3          0       0|0     2|0    65k    77k   137 dataC  PRI   18:33:57 

   281      0      0      0     442     223       0  15.1g  31.5g   504m      0      1.1          0       0|0     2|0   194k   212k   137 dataC  PRI   18:33:58 

   144      0      0      0     260     115       0  15.1g  31.5g   503m      0      0.6          0       0|0     2|0   100k   107k   137 dataC  PRI   18:33:59 

   143      0      0      0     253     114       0  15.1g  31.5g   503m      0      0.6          0       0|0     2|0    98k   106k   137 dataC  PRI   18:34:00 

   143      0      0      0     252     111       0  15.1g  31.5g   504m      0      0.5          0       0|0     2|0   101k   109k   137 dataC  PRI   18:34:01 

    33      0      0      0      55      37       0  15.1g  31.5g   504m      0      0.1          0       0|0     2|0    24k    30k   137 dataC  PRI   18:34:02 

     0      0      0      0       0       3       0  15.1g  31.5g   504m      0        0          0       0|0     2|0   182b     3k   137 dataC  PRI   18:34:03 

     0      0      4      0      10      21       0  15.1g  31.5g   504m      0        0          0       0|0     2|0     4k    12k   137 dataC  PRI   18:34:05 

     0      0      1      0       2      15       0  15.1g  31.5g   504m      0        0          0       0|0     2|0     1k     8k   137 dataC  PRI   18:34:06 

     0      0      1      0       2       5       0  15.1g  31.5g   504m      0        0          0       0|0     2|0     1k     2k   137 dataC  PRI   18:34:07 

We can see a big difference, this behavior is the same for the others replicas master and for the mongos too.

So my question is why did it happened? Is it a topic of sharding keys? 

this behavior is still happening in this moment.

Why did we are stressing so much this shard?

--

Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta misma vía y proceda a su destrucción.

The information contained in this transmission is privileged and confidential information intended only for the use of the individual or entity named above. If the reader of this message is not the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this transmission in error, do not read it. Please immediately reply to the sender that you have received this communication in error and then delete it.