galera-cluster three nodes inconsistency of data

[white bd]

Hi，everybody！

   Here is my environment ，A galera cluster of three kubernetes pods，However, I found that the data between the three nodes is inconsistent through the following sql query，please help me troubleshoot this problem and how to solve it

Use Sql1：SELECT      table_name,     table_rows FROM      information_schema.tables WHERE      table_schema = 'br_one' ORDER BY      table_rows DESC;

Use Sql2: 

MariaDB [(none)]> SHOW STATUS LIKE 'wsrep%';
+-------------------------------+------------------------------------------------------------------------------------------------------------------------------------------------+
| Variable_name                 | Value                                                                                                                                          |
+-------------------------------+------------------------------------------------------------------------------------------------------------------------------------------------+
| wsrep_local_state_uuid        | bdf4380c-9785-11ef-ac18-037735982b21                                                                                                           |
| wsrep_protocol_version        | 11                                                                                                                                             |
| wsrep_last_committed          | 1179407049                                                                                                                                     |
| wsrep_replicated              | 166884559                                                                                                                                      |
| wsrep_replicated_bytes        | 403933227592                                                                                                                                   |
| wsrep_repl_keys               | 3493169991                                                                                                                                     |
| wsrep_repl_keys_bytes         | 31951070704                                                                                                                                    |
| wsrep_repl_data_bytes         | 360579059368                                                                                                                                   |
| wsrep_repl_other_bytes        | 0                                                                                                                                              |
| wsrep_received                | 351393437                                                                                                                                      |
| wsrep_received_bytes          | 842629891516                                                                                                                                   |
| wsrep_local_commits           | 166678135                                                                                                                                      |
| wsrep_local_cert_failures     | 203276                                                                                                                                         |
| wsrep_local_replays           | 100                                                                                                                                            |
| wsrep_local_send_queue        | 0                                                                                                                                              |
| wsrep_local_send_queue_max    | 38                                                                                                                                             |
| wsrep_local_send_queue_min    | 0                                                                                                                                              |
| wsrep_local_send_queue_avg    | 0.00898984                                                                                                                                     |
| wsrep_local_recv_queue        | 0                                                                                                                                              |
| wsrep_local_recv_queue_max    | 5563                                                                                                                                           |
| wsrep_local_recv_queue_min    | 0                                                                                                                                              |
| wsrep_local_recv_queue_avg    | 0.123631                                                                                                                                       |
| wsrep_local_cached_downto     | 1179352828                                                                                                                                     |
| wsrep_flow_control_paused_ns  | 412450074912                                                                                                                                   |
| wsrep_flow_control_paused     | 5.69338e-05                                                                                                                                    |
| wsrep_flow_control_sent       | 5388                                                                                                                                           |
| wsrep_flow_control_recv       | 22310                                                                                                                                          |
| wsrep_flow_control_active     | false                                                                                                                                          |
| wsrep_flow_control_requested  | false                                                                                                                                          |
| wsrep_cert_deps_distance      | 63.4687                                                                                                                                        |
| wsrep_apply_oooe              | 0.0418922                                                                                                                                      |
| wsrep_apply_oool              | 0.000621826                                                                                                                                    |
| wsrep_apply_window            | 1.05224                                                                                                                                        |
| wsrep_apply_waits             | 99529                                                                                                                                          |
| wsrep_commit_oooe             | 0                                                                                                                                              |
| wsrep_commit_oool             | 0                                                                                                                                              |
| wsrep_commit_window           | 1.02082                                                                                                                                        |
| wsrep_local_state             | 4                                                                                                                                              |
| wsrep_local_state_comment     | Synced                                                                                                                                         |
| wsrep_cert_index_size         | 149                                                                                                                                            |
| wsrep_causal_reads            | 203276                                                                                                                                         |
| wsrep_cert_interval           | 165.811                                                                                                                                        |
| wsrep_open_transactions       | 1                                                                                                                                              |
| wsrep_open_connections        | 0                                                                                                                                              |
| wsrep_incoming_addresses      | 10.233.122.150:3306,10.233.127.166:3306,10.233.83.85:3306                                                                                      |
| wsrep_cluster_weight          | 3                                                                                                                                              |
| wsrep_desync_count            | 0                                                                                                                                              |
| wsrep_evs_delayed             |                                                                                                                                                |
| wsrep_evs_evict_list          |                                                                                                                                                |
| wsrep_evs_repl_latency        | 0.000423374/0.000934945/0.00956015/0.000500577/841                                                                                             |
| wsrep_evs_state               | OPERATIONAL                                                                                                                                    |
| wsrep_gcomm_uuid              | 9784eb2b-d6f8-11ef-8be6-6a7c4728f8ee                                                                                                           |
| wsrep_gmcast_segment          | 0                                                                                                                                              |
| wsrep_applier_thread_count    | 5                                                                                                                                              |
| wsrep_cluster_capabilities    |                                                                                                                                                |
| wsrep_cluster_conf_id         | 14                                                                                                                                             |
| wsrep_cluster_size            | 3                                                                                                                                              |
| wsrep_cluster_state_uuid      | bdf4380c-9785-11ef-ac18-037735982b21                                                                                                           |
| wsrep_cluster_status          | Primary                                                                                                                                        |
| wsrep_connected               | ON                                                                                                                                             |
| wsrep_local_bf_aborts         | 331638                                                                                                                                         |
| wsrep_local_index             | 1                                                                                                                                              |
| wsrep_provider_capabilities   | :MULTI_MASTER:CERTIFICATION:PARALLEL_APPLYING:TRX_REPLAY:ISOLATION:PAUSE:CAUSAL_READS:INCREMENTAL_WRITESET:UNORDERED:PREORDERED:STREAMING:NBO: |
| wsrep_provider_name           | Galera                                                                                                                                         |
| wsrep_provider_vendor         | Codership Oy <in...@codership.com>                                                                                                              |
| wsrep_provider_version        | 26.4.18(ra96793fc)                                                                                                                             |
| wsrep_ready                   | ON                                                                                                                                             |
| wsrep_rollbacker_thread_count | 1                                                                                                                                              |
| wsrep_thread_count            | 6                                                                                                                                              |
+-------------------------------+------------------------------------------------------------------------------------------------------------------------------------------------+
69 rows in set (0.003 sec)

[Jan Lindström]

Hi,

Based on documentation in https://dev.mysql.com/doc/refman/8.4/en/information-schema-tables-table.html rows column for InnoDB tables  is an approximation, and may vary from the actual value by as much as 40% to 50%. Do you see difference if you do select count(*) from actual table on every node?

R: Jan

[Bond White]

Yes! I get different value