Troubleshooting VOLTHA Pods

[Kartikeya Verma]

We once deployed VOLTHA (2.12.42 - Latest) in AWS and everything came up nicely.

But reboot of AWS EC2 instances, the Cluster is not coming up properly and some of the Pods are crashing. 

~$ kubectl get pods -A
NAMESPACE          NAME                                                            READY   STATUS             RESTARTS          AGE
calico-apiserver   calico-apiserver-7d4d448df8-68sm9                               1/1     Running            2 (170m ago)      4d5h
calico-apiserver   calico-apiserver-7d4d448df8-mnbng                               1/1     Running            2 (170m ago)      4d5h
calico-system      calico-kube-controllers-67b9bf66f7-62ltf                        1/1     Running            2 (170m ago)      4d5h
calico-system      calico-node-dszhp                                               1/1     Running            2 (149m ago)      4d4h
calico-system      calico-node-h7ch8                                               1/1     Running            2 (170m ago)      4d5h
calico-system      calico-typha-5b9949964c-kbbw7                                   1/1     Running            2 (170m ago)      4d5h
calico-system      csi-node-driver-7czxq                                           2/2     Running            4 (149m ago)      4d4h
calico-system      csi-node-driver-chkdh                                           2/2     Running            4 (170m ago)      4d5h
default            busybox                                                         1/1     Running            92 (27m ago)      4d
infra              bbsim-sadis-server-6b89b5f97-g9vvm                              1/1     Running            2 (149m ago)      4d
infra              voltha-infra-etcd-0                                             1/1     Running            2 (149m ago)      4d
infra              voltha-infra-freeradius-7f65f684f-gdllx                         1/1     Running            2 (149m ago)      4d
infra              voltha-infra-kafka-0                                            0/1     CrashLoopBackOff   56 (3m16s ago)    4d
infra              voltha-infra-onos-classic-0                                     0/1     Init:0/1           2                 4d
infra              voltha-infra-onos-classic-onos-config-loader-66ff9cb846-sr4tr   0/1     Running            9 (173m ago)      3h9m
infra              voltha-infra-zookeeper-0                                        1/1     Running            2 (149m ago)      4d
kube-system        coredns-57978f77b6-5cnsp                                        1/1     Running            1 (170m ago)      3h12m
kube-system        coredns-57978f77b6-kbs8x                                        1/1     Running            1 (170m ago)      3h12m
kube-system        etcd-ip-172-31-14-106                                           1/1     Running            2 (170m ago)      4d5h
kube-system        kube-apiserver-ip-172-31-14-106                                 1/1     Running            2 (170m ago)      4d5h
kube-system        kube-controller-manager-ip-172-31-14-106                        1/1     Running            2 (170m ago)      4d5h
kube-system        kube-proxy-2qrgb                                                1/1     Running            2 (170m ago)      4d
kube-system        kube-proxy-m9fnm                                                1/1     Running            2 (149m ago)      4d
kube-system        kube-scheduler-ip-172-31-14-106                                 1/1     Running            2 (170m ago)      4d5h
tigera-operator    tigera-operator-575c5cf878-rgfv4                                1/1     Running            3 (148m ago)      4d5h
voltha             bbsim0-67886bdb96-8p67l                                         1/1     Running            2 (149m ago)      32h
voltha             voltha-voltha-adapter-openolt-59f9d5fbcf-gzntx                  0/1     CrashLoopBackOff   116 (4m21s ago)   3d23h
voltha             voltha-voltha-adapter-openonu-568f9646db-97g29                  0/1     CrashLoopBackOff   169 (4m6s ago)    3d23h
voltha             voltha-voltha-ofagent-55d44dddc4-tf4rd                          0/1     Running            62 (5m19s ago)    3h11m
voltha             voltha-voltha-rw-core-77c4959d76-7gncd                          0/1     CrashLoopBackOff   75 (4m54s ago)    3d23h

Any clue / doc to be referred for troubleshooting ?

Thanks in advance

Kartikeya

[Serkant Uluderya]

Could you please check why is Kafka keeps crashing? kubectl describe pod and log commands outputs may give some clue!

Best,

Serkant 

--
You received this message because you are subscribed to the Google Groups "VOLTHA Discuss" group.
To unsubscribe from this group and stop receiving emails from it, send an email to voltha-discus...@opencord.org.
To view this discussion on the web visit https://groups.google.com/a/opencord.org/d/msgid/voltha-discuss/e3b4df4c-62e4-4ffe-94be-c7d8e145f3aan%40opencord.org.