Пропадают контейнеры и файлы практически сразу после создания

57 views
Skip to first unread message

Илья Романов

unread,
Jul 9, 2014, 2:11:46 AM7/9/14
to openstac...@googlegroups.com
Добрый день.

Методом http://docs.openstack.org/developer/swift/howto_installmultinode.html на 3-х серверах развернуты:
 - 1 прокси
 - 2 хранилища, 6 разных дисков, по 3 диска на сервер.

 Загружаю файл, например так
swift -A https://$PROXY_LOCAL_NET_IP:8080/auth/v1.0 -U system:root -K testpass upload myfiles /var/log/syslog.1


 Смотрим stat
Account: AUTH_system
Containers: 1
   Objects: 0
     Bytes: 0

 Появился 1 контейнер..

 Смотрим stat через минуту:
Account: AUTH_system
Containers: 0
   Objects: 0
     Bytes: 0


 Всё пропало.
 В логах хранилища в это время:
account-server 172.24.82.2 - - [04/Jul/2014:05:38:10 +0000] "HEAD /sdb/233800/AUTH_system" 404 - "txe0b7bf8bf11b4eafbf5d53c5695b9a32" "-" "-" 0.0003 ""
account-server 172.24.82.2 - - [04/Jul/2014:05:38:10 +0000] "PUT /sdb/233800/AUTH_system" 201 - "txe0b7bf8bf11b4eafbf5d53c5695b9a32" "-" "-" 0.0057 ""
account-server 172.24.82.103 - - [04/Jul/2014:05:38:10 +0000] "PUT /sdb/233800/AUTH_system/myfiles" 201 - "txe0b7bf8bf11b4eafbf5d53c5695b9a32" "PUT http://172.24.82.103:6001/sdd/128448/AUTH_system/myfiles" "container-server 24887" 0.0013 ""
container-server 172.24.82.2 - - [04/Jul/2014:05:38:11 +0000] "PUT /sdc/128448/AUTH_system/myfiles" 201 - "txe0b7bf8bf11b4eafbf5d53c5695b9a32" "-" "-" 0.6823
object-server 172.24.82.2 - - [04/Jul/2014:05:38:11 +0000] "HEAD /sdc/201948/AUTH_system/myfiles/var/log/syslog.1" 200 13319580 "-" "txb599a9b55da84fada0354cf6d027237d" "-" 0.0005
container-server 172.24.82.103 - - [04/Jul/2014:05:38:11 +0000] "PUT /sdc/128448/AUTH_system/myfiles/var/log/syslog.1" 201 - "tx366ffa3e20da4f62bd0fb12640da0e68" "PUT http://172.24.82.2:8080/sdb/201948/AUTH_system/myfiles/var/log/syslog.1" "obj-server 24890" 0.0006
object-server 172.24.82.2 - - [04/Jul/2014:05:38:11 +0000] "PUT /sdc/201948/AUTH_system/myfiles/var/log/syslog.1" 201 - "-" "tx366ffa3e20da4f62bd0fb12640da0e68" "-" 0.3828
object-replicator Starting object replication pass.
object-replicator 101/101 (100.00%) partitions replicated in 0.28s (361.72/sec, 0s remaining)
object-replicator 101 suffixes checked - 0.99% hashed, 0.00% synced
object-replicator Partition times: max 0.0054s, min 0.0022s, med 0.0024s
object-replicator Object replication complete. (0.00 minutes)
container-auditor Container audit pass completed: 0.03s
container-auditor Begin container audit pass.
object-auditor Begin object audit "forever" mode (ALL)
account-replicator Beginning replication run
account-replicator Found /srv/node/sdb/accounts/233800/a35/b36718b6492ea6810268065dee709a35/b36718b6492ea6810268065dee709a35.db for /AUTH_system when it should be on partition 183708; will replicate out and remove.
account-replicator Replication run OVER
account-replicator Attempted to replicate 2 dbs in 0.06577 seconds (30.41032/s)
account-replicator Removed 1 dbs
account-replicator 3 успешно, 0 ошибочно
account-replicator no_change:0 ts_repl:0 diff:3 rsync:0 diff_capped:0 hashmatch:0 empty:0
container-replicator Beginning replication run
container-replicator Found /srv/node/sdc/containers/128448/9d8/b9f04262efceca157431a64262d499d8/b9f04262efceca157431a64262d499d8.db for /AUTH_system/myfiles when it should be on partition 190401; will replicate out and remove.
container-replicator Replication run OVER
container-replicator Attempted to replicate 7 dbs in 0.07648 seconds (91.52461/s)
container-replicator Removed 1 dbs
container-replicator 8 успешно, 0 ошибочно
container-replicator no_change:6 ts_repl:0 diff:2 rsync:0 diff_capped:0 hashmatch:0 empty:0
object-auditor Object audit (ALL) "forever" mode completed: 8.91s. Total quarantined: 0, Total errors: 0, Total files/sec: 11.33 , Total bytes/sec: 9879888.08, Auditing time: 8.90, Rate: 1.00
object-auditor Begin object audit "forever" mode (ZBF)
object-auditor Object audit (ZBF) "forever" mode completed: 2.00s. Total quarantined: 0, Total errors: 0, Total files/sec: 50.47 , Total bytes/sec: 0.00, Auditing time: 1.99, Rate: 0.99

Подскажите, в какую сторону копать?

Anton Buzdalkin

unread,
Jul 9, 2014, 2:15:41 AM7/9/14
to openstac...@googlegroups.com
Покажите ваше кольцо:

swift-ring-builder container.builder 



9 июля 2014 г., 13:11 пользователь Илья Романов <nas...@gorod76.ru> написал:

--
Вы получили это сообщение, поскольку подписаны на группу "Russian OpenStack Community".
Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес openstack-russ...@googlegroups.com.
Чтобы отправлять сообщения в эту группу, отправьте письмо на электронный адрес openstac...@googlegroups.com.
Чтобы зайти в группу, перейдите по ссылке http://groups.google.com/group/openstack-russia.
Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.

Илья Романов

unread,
Jul 9, 2014, 2:18:34 AM7/9/14
to openstac...@googlegroups.com
container.builder, build version 6
262144 partitions, 2 replicas, 2 zones, 6 devices, 0.00 balance
The minimum number of hours before a partition can be reassigned is 1
Devices:    id  zone      ip address  port      name weight partitions balance meta
             0     0   172.24.82.102  6001       sdc 100.00     113976    0.00
             1     0   172.24.82.102  6001       sdb  30.00      34192   -0.00
             2     0   172.24.82.102  6001       sde 100.00     113976    0.00
             3     1   172.24.82.103  6001       sdb  30.00      34192   -0.00
             4     1   172.24.82.103  6001       sdc 100.00     113976    0.00
             5     1   172.24.82.103  6001       sdd 100.00     113976    0.00


среда, 9 июля 2014 г., 10:15:41 UTC+4 пользователь Anton Buzdalkin написал:

Anton Buzdalkin

unread,
Jul 9, 2014, 2:20:44 AM7/9/14
to openstac...@googlegroups.com
А файлы кольца синхронизированы все ноды? Время везде правильное?


9 июля 2014 г., 13:18 пользователь Илья Романов <nas...@gorod76.ru> написал:

Илья Романов

unread,
Jul 9, 2014, 2:29:32 AM7/9/14
to openstac...@googlegroups.com
Да, заархивированные .gz файлы были скопированы на все ноды, рассинхронизация по времени в пределах 1 минуты

среда, 9 июля 2014 г., 10:20:44 UTC+4 пользователь Anton Buzdalkin написал:

Илья Романов

unread,
Jul 9, 2014, 2:49:40 AM7/9/14
to openstac...@googlegroups.com
устранил рассинхронизацию времени, проблема осталась.

Anton Buzdalkin

unread,
Jul 9, 2014, 2:53:31 AM7/9/14
to openstac...@googlegroups.com
Как я понимаю репликатор их почему-то удаляет:


account-replicator Found /srv/node/sdb/accounts/233800/a35/b36718b6492ea6810268065dee709a35/b36718b6492ea6810268065dee709a35.db for /AUTH_system when it should be on partition 183708; will replicate out and remove.

container-replicator Found /srv/node/sdc/containers/128448/9d8/b9f04262efceca157431a64262d499d8/b9f04262efceca157431a64262d499d8.db for /AUTH_system/myfiles when it should be on partition 190401; will replicate out and remove.

А другие ноды в это время в логи что-нибудь интересное пишут?


9 июля 2014 г., 13:49 пользователь Илья Романов <nas...@gorod76.ru> написал:
устранил рассинхронизацию времени, проблема осталась.

--

Илья Романов

unread,
Jul 9, 2014, 3:20:21 AM7/9/14
to openstac...@googlegroups.com
Вроде бы более интересного в логах ничего нет. Вот:

Прокси:
proxy-server - 172.24.82.2 09/Jul/2014/07/04/41 GET /auth/v1.0/ HTTP/1.0 200 - - - - - - - - 0.0006
proxy-server 172.24.82.2 172.24.82.2 09/Jul/2014/07/04/41 HEAD /v1/AUTH_system HTTP/1.0 204 - - system%2CAUTH_tke187c0b5a39945dfa7e9a3d0979714dd - - - tx16587c16454c4aaeb85fa7c33417a600 - 0.0177 -
proxy-server - 172.24.82.2 09/Jul/2014/07/04/54 GET /auth/v1.0/ HTTP/1.0 200 - - - - - - - - 0.0006
proxy-server 172.24.82.2 172.24.82.2 09/Jul/2014/07/04/55 PUT /v1/AUTH_system/test HTTP/1.0 201 - - system%2CAUTH_tke187c0b5a39945dfa7e9a3d0979714dd - - - tx24fc2a93c18d41f78059a1bf0d22b1e6 - 0.7671 -
proxy-server - 172.24.82.2 09/Jul/2014/07/04/55 GET /auth/v1.0/ HTTP/1.0 200 - - - - - - - - 0.0007
proxy-server 172.24.82.2 172.24.82.2 09/Jul/2014/07/04/55 HEAD /v1/AUTH_system/test/var/log/syslog.1 HTTP/1.0 200 - - system%2CAUTH_tke187c0b5a39945dfa7e9a3d0979714dd - - - txc665431a36324bcf8dd1953492e98a18 - 0.0036 -
proxy-server 172.24.82.2 172.24.82.2 09/Jul/2014/07/04/55 PUT /v1/AUTH_system/test/var/log/syslog.1 HTTP/1.0 201 - - system%2CAUTH_tke187c0b5a39945dfa7e9a3d0979714dd 1365261 - - tx8140e43a043c4215b27d355edbb2b33a - 0.0805 -
account-replicator Beginning replication run
account-replicator Копирование ЗАВЕРШЕНО
account-replicator Attempted to replicate 0 dbs in 0.00286 seconds (0.00000/s)
account-replicator Removed 0 dbs
account-replicator 0 успешно, 0 ошибочно
account-replicator no_change:0 ts_repl:0 diff:0 rsync:0 diff_capped:0 hashmatch:0 empty:0
account-replicator Beginning replication run
account-replicator Копирование ЗАВЕРШЕНО
account-replicator Attempted to replicate 0 dbs in 0.00283 seconds (0.00000/s)
account-replicator Removed 0 dbs
account-replicator 0 успешно, 0 ошибочно
account-replicator no_change:0 ts_repl:0 diff:0 rsync:0 diff_capped:0 hashmatch:0 empty:0

Хранилище 1

account-server 172.24.82.2 - - [09/Jul/2014:07:04:54 +0000] "HEAD /sdb/233800/AUTH_system" 404 - "tx24fc2a93c18d41f78059a1bf0d22b1e6" "-" "-" 0.0003 ""
account-server 172.24.82.2 - - [09/Jul/2014:07:04:54 +0000] "PUT /sdb/233800/AUTH_system" 201 - "tx24fc2a93c18d41f78059a1bf0d22b1e6" "-" "-" 0.0054 ""
account-server 172.24.82.102 - - [09/Jul/2014:07:04:55 +0000] "PUT /sdb/233800/AUTH_system/test" 201 - "tx24fc2a93c18d41f78059a1bf0d22b1e6" "PUT http://172.24.82.102:6001/sde/162733/AUTH_system/test" "container-server 999" 0.0011 ""
container-server 172.24.82.2 - - [09/Jul/2014:07:04:55 +0000] "PUT /sde/162733/AUTH_system/test" 201 - "tx24fc2a93c18d41f78059a1bf0d22b1e6" "-" "-" 0.6693
object-server 172.24.82.2 - - [09/Jul/2014:07:04:55 +0000] "HEAD /sdc/48782/AUTH_system/test/var/log/syslog.1" 200 1365261 "-" "txc665431a36324bcf8dd1953492e98a18" "-" 0.0005
container-server 172.24.82.2 - - [09/Jul/2014:07:04:55 +0000] "HEAD /sde/162733/AUTH_system/test" 204 - "tx8140e43a043c4215b27d355edbb2b33a" "-" "-" 0.0016
container-server 172.24.82.103 - - [09/Jul/2014:07:04:55 +0000] "PUT /sde/162733/AUTH_system/test/var/log/syslog.1" 201 - "tx8140e43a043c4215b27d355edbb2b33a" "PUT http://172.24.82.2:8080/sdc/48782/AUTH_system/test/var/log/syslog.1" "obj-server 24891" 0.0005
object-server 172.24.82.2 - - [09/Jul/2014:07:04:55 +0000] "PUT /sdc/48782/AUTH_system/test/var/log/syslog.1" 201 - "-" "tx8140e43a043c4215b27d355edbb2b33a" "-" 0.0725
object-auditor Object audit (ALL) "forever" mode completed: 7.88s. Total quarantined: 0, Total errors: 0, Total files/sec: 12.81 , Total bytes/sec: 9997171.31, Auditing time: 7.87, Rate: 1.00

object-replicator Starting object replication pass.
object-replicator 101/101 (100.00%) partitions replicated in 0.95s (106.17/sec, 0s remaining)

object-replicator 101 suffixes checked - 0.99% hashed, 0.00% synced
object-replicator Partition times: max 0.6752s, min 0.0022s, med 0.0024s
object-replicator Object replication complete. (0.02 minutes)

object-auditor Begin object audit "forever" mode (ZBF)
account-replicator Beginning replication run

account-replicator Found /srv/node/sdb/accounts/233800/a35/b36718b6492ea6810268065dee709a35/b36718b6492ea6810268065dee709a35.db for /AUTH_system when it should be on partition 183708;will replicate out and remove.
account-replicator Replication run OVER
account-replicator Attempted to replicate 2 dbs in 0.71388 seconds (2.80160/s)

account-replicator Removed 1 dbs
account-replicator 3 успешно, 0 ошибочно
account-replicator no_change:1 ts_repl:0 diff:2 rsync:0 diff_capped:0 hashmatch:0 empty:0
object-auditor Object audit (ZBF) "forever" mode completed: 2.00s. Total quarantined: 0, Total errors: 0, Total files/sec: 50.48 , Total bytes/sec: 0.00, Auditing time: 1.99, Rate: 0.99
container-replicator Beginning replication run
container-replicator Found /srv/node/sde/containers/162733/81c/4b752fd55e4d9f362fabcef74f9aa81c/4b752fd55e4d9f362fabcef74f9aa81c.db for /AUTH_system/test when it should be on partition 77268; will replicate out and remove.
container-replicator Replication run OVER
container-replicator Attempted to replicate 11 dbs in 0.14508 seconds (75.81914/s)
container-replicator Removed 1 dbs
container-replicator 11 успешно, 0 ошибочно
container-replicator no_change:11 ts_repl:0 diff:0 rsync:0 diff_capped:0 hashmatch:0 empty:0

object-auditor Begin object audit "forever" mode (ALL)
object-auditor Object audit (ALL) "forever" mode completed: 7.88s. Total quarantined: 0, Total errors: 0, Total files/sec: 12.82 , Total bytes/sec: 9997602.58, Auditing time: 7.87, Rate: 1.00


Хранилище 2

account-server 172.24.82.103 - - [09/Jul/2014:07:04:55 +0000] "PUT /sdb/233800/AUTH_system/test" 201 - "tx24fc2a93c18d41f78059a1bf0d22b1e6" "PUT http://172.24.82.103:6001/sdc/162733/AUTH_system/test" "container-server 24887" 0.0012 ""
container-server 172.24.82.2 - - [09/Jul/2014:07:04:55 +0000] "PUT /sdc/162733/AUTH_system/test" 201 - "tx24fc2a93c18d41f78059a1bf0d22b1e6" "-" "-" 0.7502
object-server 172.24.82.2 - - [09/Jul/2014:07:04:55 +0000] "PUT /sdc/48782/AUTH_system/test/var/log/syslog.1" 201 - "-" "tx8140e43a043c4215b27d355edbb2b33a" "-" 0.0705
container-server 172.24.82.102 - - [09/Jul/2014:07:04:55 +0000] "PUT /sdc/162733/AUTH_system/test/var/log/syslog.1" 201 - "tx8140e43a043c4215b27d355edbb2b33a" "PUT http://172.24.82.2:8080/sdc/48782/AUTH_system/test/var/log/syslog.1" "obj-server 1007" 0.0005
object-auditor Object audit (ALL) "forever" mode completed: 7.89s. Total quarantined: 0, Total errors: 0, Total files/sec: 12.80 , Total bytes/sec: 9988169.79, Auditing time: 7.88, Rate: 1.00

object-replicator Starting object replication pass.
object-replicator 101/101 (100.00%) partitions replicated in 0.82s (123.22/sec, 0s remaining)
object-replicator 101 suffixes checked - 0.00% hashed, 0.00% synced
object-replicator Partition times: max 0.5463s, min 0.0023s, med 0.0024s
object-replicator Object replication complete. (0.01 minutes)

object-auditor Begin object audit "forever" mode (ZBF)
object-auditor Object audit (ZBF) "forever" mode completed: 2.00s. Total quarantined: 0, Total errors: 0, Total files/sec: 50.47 , Total bytes/sec: 0.00, Auditing time: 1.99, Rate: 0.99
container-replicator Beginning replication run
container-replicator Found /srv/node/sdc/containers/162733/81c/4b752fd55e4d9f362fabcef74f9aa81c/4b752fd55e4d9f362fabcef74f9aa81c.db for /AUTH_system/test when it should be on partition 77268; will replicate out and remove.
container-replicator Replication run OVER
container-replicator Attempted to replicate 11 dbs in 0.71983 seconds (15.28132/s)
container-replicator Removed 1 dbs
container-replicator 12 успешно, 0 ошибочно
container-replicator no_change:10 ts_repl:0 diff:2 rsync:0 diff_capped:0 hashmatch:0 empty:0
account-replicator Beginning replication run
account-replicator Found /srv/node/sdb/accounts/233800/a35/b36718b6492ea6810268065dee709a35/b36718b6492ea6810268065dee709a35.db for /AUTH_system when it should be on partition183708; will replicate out and remove.
account-replicator Replication run OVER
account-replicator Attempted to replicate 2 dbs in 0.02748 seconds (72.77771/s)
account-replicator Removed 1 dbs
account-replicator 2 успешно, 0 ошибочно
account-replicator no_change:1 ts_repl:0 diff:1 rsync:0 diff_capped:0 hashmatch:0 empty:0

среда, 9 июля 2014 г., 10:53:31 UTC+4 пользователь Anton Buzdalkin написал:

Илья Романов

unread,
Jul 9, 2014, 7:35:45 AM7/9/14
to openstac...@googlegroups.com
Есть ли у кого-нибудь еще идеи?

Anton Buzdalkin

unread,
Jul 9, 2014, 1:09:54 PM7/9/14
to openstac...@googlegroups.com
Могу предложить обратиться на официальном трекере с вопросом

Самому теперь интересно =)


9 июля 2014 г., 18:35 пользователь Илья Романов <nas...@gorod76.ru> написал:
Есть ли у кого-нибудь еще идеи?

--

Anton Buzdalkin

unread,
Jul 10, 2014, 4:59:13 PM7/10/14
to openstac...@googlegroups.com

А  у вас rsync настроен и запущен? И убедитесь, что файлы кольца везде одинаковые.

10 июля 2014 г. 0:09 пользователь "Anton Buzdalkin" <het...@gmail.com> написал:

Thete Testest

unread,
Dec 18, 2014, 3:17:41 PM12/18/14
to openstac...@googlegroups.com
Идей нет. но проблема такая же есть. 

Как-нибудь разрешилась?

В моём случае всё на одном хосте, и прокси, и нода.... Никак не пойму почему их убивают (и почему партишн не правильный изначально)

Anton Buzdalkin

unread,
Mar 30, 2015, 12:32:35 PM3/30/15
to openstac...@googlegroups.com


пятница, 19 декабря 2014 г., 2:17:41 UTC+6 пользователь Thete Testest написал:
На виртуалке все находится? Образ можете выслать? 

rasn...@gmail.com

unread,
Apr 1, 2015, 9:39:49 AM4/1/15
to openstac...@googlegroups.com
В общем я решил решил проблему, поднял новый контроллер на Centos 7 и node на ubuntu и мигрировал все конфиг файлы.

понедельник, 30 марта 2015 г., 19:32:35 UTC+3 пользователь Anton Buzdalkin написал:
controller.7z
node.7z
Reply all
Reply to author
Forward
0 new messages