На сервере pinba нет статистики по использованию php через web, только по скриптам, выполненным через консоль

Александр Попов

unread,

May 27, 2015, 9:15:15 AM5/27/15

to pinba-e...@googlegroups.com

Добрый день.

Pinba-сервер установлен в локальной сети на сервере 192.168.1.70.

Окружение:

CentOS6, mysql5.6(из исходников), php 5.6, apache 2.2.

Пинба-сервер работает на 192.168.1.70 udp/3300. Команда запуска:

/usr/local/mysql/bin/mysqld_safe --no-defaults --user=mysql --datadir=/opt/mysql/mysql/data --port=3307 --pinba_port=3300 --pinba_address=192.168.1.70 --pinba_stats_gathering_period=10000 --pinba_stats_history=900 --pinba_temp_pool_size=10000 --pinba_request_pool_size=1000000

Видно, что демон слушает соответствующий порт:

mysqld 7045 mysql 14u IPv4 12460946 0t0 UDP 192.168.1.70:3300

В iptables есть необходимые разрешения:

47786 7015K ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 udp dpt:3300

На этом же сервере есть куча сайтов на php разработчиков, которые постоянно что-то дорабатывают и тестируют. Установлен модуль pinba для php. Настройки следующие:

extension=pinba.so

pinba.enabled=1

pinba.server=192.168.1.70:3300

Есть второй сервер в Интернет, на котором также установлен php pinba module, настройки его следующие:

extension=pinba.so

pinba.enabled=1

pinba.server=89.17.40.XXX:3300, где

89.17.40.XXX - внешний ip роутера, установленного в локалке, где стоит pinba-сервер. На роутере настроен NAT udp/3300 на пинба сервер.

Я вижу tcpdumpом трафик, который поступает с сервера в Интернет:

[root@dev php.d]# tcpdump -nn -i eth0 port 3300

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes

12:59:01.525357 IP 83.222.4.xxx.40521 > 192.168.1.70.3300: UDP, length 116

12:59:01.538494 IP 83.222.4.xxx.57645 > 192.168.1.70.3300: UDP, length 125

12:59:01.622753 IP 83.222.4.xxx.60454 > 192.168.1.70.3300: UDP, length 116

12:59:01.624571 IP 83.222.4.xxx.56557 > 192.168.1.70.3300: UDP, length 116

12:59:01.656323 IP 83.222.4.xxx.44700 > 192.168.1.70.3300: UDP, length 116

12:59:01.683908 IP 83.222.4.xxxx.51854 > 192.168.1.70.3300: UDP, length 124

12:59:01.728700 IP 83.222.4.xxx.46422 > 192.168.1.70.3300: UDP, length 116

12:59:03.533378 IP 83.222.4.xxx.47480 > 192.168.1.70.3300: UDP, length 126

В базе pinba я вижу некую статистику:

mysql -u pinba -p -P 3307

Например,

| 48304 | m.jpub | 1 | unknown | /var/www/html/contextor/www/bitrix/php_interface/cron_events.php | 0 | 9472 | 0.111 | 0.0959 | 0.0139 | 0 | 0 | 13928 | NULL | 0 | | 1432725422 |

| 48305 | m.jpub | 1 | unknown | /var/www/html/contextor/www/bitrix/php_interface/cron_events.php | 0 | 9472 | 0.11 | 0.0999 | 0.0109 | 0 | 0 | 14000 | NULL | 0 | | 1432725422 |

| 48306 | m.jpub | 1 | unknown | /var/www/html/m.jpub.ru/www/bitrix/php_interface/cron_events.php | 0 | 12288 | 0.139 | 0.1239 | 0.0119 | 0 | 0 | 16772 | NULL | 0 | | 1432725422 |

| 48307 | m.jpub | 1 | unknown | /var/www/html/m.jpub.ru/www/bitrix/php_interface/online_status_check.php | 0 | 12544 | 0.143 | 0.1119 | 0.0249 | 0 | 0 | 17088 | NULL | 0 | | 1432725422 |

Но вся эта статистика только для скриптов, который выполняются по cron. Статистику по скриптам, которые выполняются при обращении пользователей на сайт нет.

Я не могу понять где проблема. Когда я смотрю отчет report_by_server_name

mysql> select * from report_by_server_name;

+-----------+-------------+----------------+------------------+------------------+----------------+------------------+------------------+----------------+------------------+------------------+---------------+-----------------+-----------------+-------------+------------------------+--------------------------+-----------------+-------------+

+-----------+-------------+----------------+------------------+------------------+----------------+------------------+------------------+----------------+------------------+------------------+---------------+-----------------+-----------------+-------------+------------------------+--------------------------+-----------------+-------------+

| 136 | 136 | 2817.26 | 100 | 2817.26 | 303.663 | 100 | 303.663 | 0.125709 | 100 | 17.0964 | 1127.55 | 100 | 1127.55 | unknown | 2667800 | 100 | 0.136719 | unknown |

+-----------+-------------+----------------+------------------+------------------+----------------+------------------+------------------+-

Я вижу только server_name unknown, что еще, раз, на мой взгляд подтверждает, что статистика по скриптам выполняющимся через web почему-то не идет.

Прошу оказать помощь.

Спасибо!

Antony Dovgal

unread,

May 27, 2015, 9:22:56 AM5/27/15

to pinba-e...@googlegroups.com

> --pinba_address=192.168.1.70

По-дефолту пинба слушает *:<port>, поэтому вот эта настройка - она должна использоваться осознанно.

On 05/27/2015 03:42 PM, Александр Попов wrote:
>
> Например,
> | 48304 | m.jpub | 1 | unknown | /var/www/html/contextor/www/bitrix/php_interface/cron_events.php | 0 | 9472 | 0.111 | 0.0959 | 0.0139 | 0 | 0 | 13928 | NULL | 0 | | 1432725422 |
> | 48305 | m.jpub | 1 | unknown | /var/www/html/contextor/www/bitrix/php_interface/cron_events.php | 0 | 9472 | 0.11 | 0.0999 | 0.0109 | 0 | 0 | 14000 | NULL | 0 | | 1432725422 |
> | 48306 | m.jpub | 1 | unknown | /var/www/html/m.jpub.ru/www/bitrix/php_interface/cron_events.php | 0 | 12288 | 0.139 | 0.1239 | 0.0119 | 0 | 0 | 16772 | NULL | 0 | | 1432725422 |
> | 48307 | m.jpub | 1 | unknown | /var/www/html/m.jpub.ru/www/bitrix/php_interface/online_status_check.php | 0 | 12544 | 0.143 | 0.1119 | 0.0249 | 0 | 0 | 17088 | NULL | 0 | | 1432725422 |
>
> Но вся эта статистика только для скриптов, который выполняются по cron. Статистику по скриптам, которые выполняются при обращении пользователей на сайт нет.

Т.е. с localhost статистика собирается и обрабатывается.
Окей. Какие настройки в PHP, который работает?

> >Я вижу только server_name unknown, что еще, раз, на мой взгляд подтверждает, что статистика по скриптам выполняющимся через web почему-то не идет.

Очевидно же, что если по сети данные не идут, но при этом на самом сервере всё собирается, то проблема в сетевых настройках, нет?
Попробуйте очистить iptables вообще на сервере.

Если данные идут от одного процесса, но не идут от другого процесс *на том же сервере*, то явно как-то отличаются их настройки.
Вопрос - как отличаются?

--
Wbr,
Antony Dovgal
---
http://pinba.org - realtime profiling for PHP

Александр Попов

unread,

May 27, 2015, 10:17:25 AM5/27/15

to pinba-e...@googlegroups.com

Спасибо за ответ.

среда, 27 мая 2015 г., 16:22:56 UTC+3 пользователь tony2001 написал:

> --pinba_address=192.168.1.70

По-дефолту пинба слушает *:<port>, поэтому вот эта настройка - она должна использоваться осознанно.

Не совсем понял смысл этого предложения. Параметры запуска pinba включают два сетевых:

--pinba-port=3300 --pinba-address=192.168.1.70

Предлагаете как-то поменять?

On 05/27/2015 03:42 PM, Александр Попов wrote:
>
> Например,
> | 48304 | m.jpub | 1 | unknown | /var/www/html/contextor/www/bitrix/php_interface/cron_events.php | 0 | 9472 | 0.111 | 0.0959 | 0.0139 | 0 | 0 | 13928 | NULL | 0 | | 1432725422 |
> | 48305 | m.jpub | 1 | unknown | /var/www/html/contextor/www/bitrix/php_interface/cron_events.php | 0 | 9472 | 0.11 | 0.0999 | 0.0109 | 0 | 0 | 14000 | NULL | 0 | | 1432725422 |
> | 48306 | m.jpub | 1 | unknown | /var/www/html/m.jpub.ru/www/bitrix/php_interface/cron_events.php | 0 | 12288 | 0.139 | 0.1239 | 0.0119 | 0 | 0 | 16772 | NULL | 0 | | 1432725422 |
> | 48307 | m.jpub | 1 | unknown | /var/www/html/m.jpub.ru/www/bitrix/php_interface/online_status_check.php | 0 | 12544 | 0.143 | 0.1119 | 0.0249 | 0 | 0 | 17088 | NULL | 0 | | 1432725422 |
>
> Но вся эта статистика только для скриптов, который выполняются по cron. Статистику по скриптам, которые выполняются при обращении пользователей на сайт нет.

Т.е. с localhost статистика собирается и обрабатывается.

Статистика собирается с обоих серверов(выше приведена как раз с удаленного сервера в Интернет), но только, как я писал выше я не вижу статистику по скриптам, отрабатываемым через web, только от скриптов, отрабатываемых по cron или из консоль и всегда установлен server_name=unknown

Окей. Какие настройки в PHP, который работает?

> >Я вижу только server_name unknown, что еще, раз, на мой взгляд подтверждает, что статистика по скриптам выполняющимся через web почему-то не идет.

Очевидно же, что если по сети данные не идут, но при этом на самом сервере всё собирается, то проблема в сетевых настройках, нет?
Попробуйте очистить iptables вообще на сервере.

Если данные идут от одного процесса, но не идут от другого процесс *на том же сервере*, то явно как-то отличаются их настройки.
Вопрос - как отличаются?

Я выше отписал, что есть статистика с обоих серверов, но нет именно никакой информации по скриптам, обрабатываемым по web, что с локального сервера, что с удаленного. Везде server_name=unknown

Antony Dovgal

unread,

May 27, 2015, 10:39:56 AM5/27/15

to pinba-e...@googlegroups.com

On 05/27/2015 05:17 PM, Александр Попов wrote:

Спасибо за ответ.

среда, 27 мая 2015 г., 16:22:56 UTC+3 пользователь tony2001 написал:
> --pinba_address=192.168.1.70

По-дефолту пинба слушает *:<port>, поэтому вот эта настройка - она должна использоваться осознанно.

Не совсем понял смысл этого предложения. Параметры запуска pinba включают два сетевых:

--pinba-port=3300 --pinba-address=192.168.1.70

Предлагаете как-то поменять?

Вам правда важно, чтобы она слушала только на этом IP?
Если да - оставьте, если нет - то тогда, вероятно, эта опция вам не нужна.

On 05/27/2015 03:42 PM, Александр Попов wrote:
>
> Например,
> | 48304 | m.jpub | 1 | unknown | /var/www/html/contextor/www/bitrix/php_interface/cron_events.php | 0 | 9472 | 0.111 | 0.0959 | 0.0139 | 0 | 0 | 13928 | NULL | 0 | | 1432725422 |
> | 48305 | m.jpub | 1 | unknown | /var/www/html/contextor/www/bitrix/php_interface/cron_events.php | 0 | 9472 | 0.11 | 0.0999 | 0.0109 | 0 | 0 | 14000 | NULL | 0 | | 1432725422 |
> | 48306 | m.jpub | 1 | unknown | /var/www/html/m.jpub.ru/www/bitrix/php_interface/cron_events.php | 0 | 12288 | 0.139 | 0.1239 | 0.0119 | 0 | 0 | 16772 | NULL | 0 | | 1432725422 |
> | 48307 | m.jpub | 1 | unknown | /var/www/html/m.jpub.ru/www/bitrix/php_interface/online_status_check.php | 0 | 12544 | 0.143 | 0.1119 | 0.0249 | 0 | 0 | 17088 | NULL | 0 | | 1432725422 |
>
> Но вся эта статистика только для скриптов, который выполняются по cron. Статистику по скриптам, которые выполняются при обращении пользователей на сайт нет.

Т.е. с localhost статистика собирается и обрабатывается.

Статистика собирается с обоих серверов(выше приведена как раз с удаленного сервера в Интернет), но только, как я писал выше я не вижу статистику по скриптам, отрабатываемым через web, только от скриптов, отрабатываемых по cron или из консоль и всегда установлен server_name=unknown

PHP в консоли и PHP-FPM используют один и тот же php.ini?
В таблице request тоже только пакеты от крона?
В конце концов, UDP-пакеты содержат только данные от крона или данные и от web-скриптов?

Локализуйте это всё на одном сервере, если у вас НЕ работает даже на локалхосте, то зачем нам знать про NAT и внешние сервера?

Александр Попов

unread,

May 27, 2015, 10:58:34 AM5/27/15

to pinba-e...@googlegroups.com

среда, 27 мая 2015 г., 17:39:56 UTC+3 пользователь tony2001 написал:

On 05/27/2015 05:17 PM, Александр Попов wrote:

Спасибо за ответ.

среда, 27 мая 2015 г., 16:22:56 UTC+3 пользователь tony2001 написал:
> --pinba_address=192.168.1.70

По-дефолту пинба слушает *:<port>, поэтому вот эта настройка - она должна использоваться осознанно.

Не совсем понял смысл этого предложения. Параметры запуска pinba включают два сетевых:

--pinba-port=3300 --pinba-address=192.168.1.70

Предлагаете как-то поменять?

Вам правда важно, чтобы она слушала только на этом IP?
Если да - оставьте, если нет - то тогда, вероятно, эта опция вам не нужна.

Убрал эту опцию.

On 05/27/2015 03:42 PM, Александр Попов wrote:
>
> Например,
> | 48304 | m.jpub | 1 | unknown | /var/www/html/contextor/www/bitrix/php_interface/cron_events.php | 0 | 9472 | 0.111 | 0.0959 | 0.0139 | 0 | 0 | 13928 | NULL | 0 | | 1432725422 |
> | 48305 | m.jpub | 1 | unknown | /var/www/html/contextor/www/bitrix/php_interface/cron_events.php | 0 | 9472 | 0.11 | 0.0999 | 0.0109 | 0 | 0 | 14000 | NULL | 0 | | 1432725422 |
> | 48306 | m.jpub | 1 | unknown | /var/www/html/m.jpub.ru/www/bitrix/php_interface/cron_events.php | 0 | 12288 | 0.139 | 0.1239 | 0.0119 | 0 | 0 | 16772 | NULL | 0 | | 1432725422 |
> | 48307 | m.jpub | 1 | unknown | /var/www/html/m.jpub.ru/www/bitrix/php_interface/online_status_check.php | 0 | 12544 | 0.143 | 0.1119 | 0.0249 | 0 | 0 | 17088 | NULL | 0 | | 1432725422 |
>
> Но вся эта статистика только для скриптов, который выполняются по cron. Статистику по скриптам, которые выполняются при обращении пользователей на сайт нет.

Т.е. с localhost статистика собирается и обрабатывается.

Статистика собирается с обоих серверов(выше приведена как раз с удаленного сервера в Интернет), но только, как я писал выше я не вижу статистику по скриптам, отрабатываемым через web, только от скриптов, отрабатываемых по cron или из консоль и всегда установлен server_name=unknown

PHP в консоли и PHP-FPM используют один и тот же php.ini?

У нас apache и mod_php5. php.ini используется и для консоли и для web. Есть, конечно, в .htaccess кое-где настройки, которые переопределяют глобальные настройки, но они не касаются pinba.

В таблице request тоже только пакеты от крона?

В таблице request только пакеты от cron, больше никаких.

В конце концов, UDP-пакеты содержат только данные от крона или данные и от web-скриптов?

Вы имеете в виду попробовать проанализировать пакеты UDP Wiresharkом например?

Локализуйте это всё на одном сервере, если у вас НЕ работает даже на локалхосте, то зачем нам знать про NAT и внешние сервера?

Не работает даже на localhost статистика по web.

Antony Dovgal

unread,

May 27, 2015, 11:31:24 AM5/27/15

to pinba-e...@googlegroups.com

On 05/27/2015 05:58 PM, Александр Попов wrote:

В таблице request тоже только пакеты от крона?

В таблице request только пакеты от cron, больше никаких.

В конце концов, UDP-пакеты содержат только данные от крона или данные и от web-скриптов?

Вы имеете в виду попробовать проанализировать пакеты UDP Wiresharkом например?

Да нет, тот же tcpdump показывает же содержание пакетов.
Пакеты от web легко отличить по URL от битрикса.

Не работает даже на localhost статистика по web.

Ок, тогда давайте забудем пока про NAT и другие машины.

Я вижу пока три варианта:
1) данные по какой-то причине не уходят - это легко проверяется tcpdump.
2) данные по какой-то причине не приходят в пинбу - это сложнее проверить, т.к. каких-то логов нет.
Можно попробовать прицепиться к MySQL с помощью gdb и посмотреть вызывается ли функция request_copy_job_func() - если да, то пакеты приходят и перекладываются в основной пул.
Только надо отключить отсылку из крона на это время.
3) данные уходят, приходят, но по какой-то причине не отображаются (или отбрасываются) - разумно смотреть уже после того, как исследовали оба предыдущих варианта.

Чисто для эксперимента я бы еще попробовал повыполнять из web и cli такой вот скрипт:

<?php
var_dump(dl("pinba.so"));

ini_set("pinba.enabled", 1);
ini_set("pinba.server", "127.0.0.1:3000");
ini_set("pinba.auto_flush", 1);


?>

-- 
Wbr,
Antony Dovgal
---

Александр Попов

unread,

May 27, 2015, 3:58:56 PM5/27/15

to pinba-e...@googlegroups.com

Антон, добрый вечер.

Я подключил в качестве эксперимента к pinba еще один сервер. Отличия его от двух других:

1) php 5.3

2) apache стоит как фронтенд без nginx.

Типовой виртуалхост apache:

NameVirtualHost *:443

С этого сервера сразу же прилетела информация при подключении с server_name, то есть сразу видно к какому сайту подключались.

На серверах, с которых не прилетает информация(они идеинтичны):

1) php 5.6

2) nginx + apache cтоит.

Типовой virtual-host:

ServerName <имя сервера>

Проанализировал трафик с обоих серверов(нового, с которого приходит статистика и старого, с которого статистика не приходит). С нового при любом рефреше странице, сразу прилетает пакет со статистикой. Со старого не прилетает ничего за исключением статистики скриптов, запускаемых по cron.

Антон, может быть все же есть требования к конфигурации web-сервера для того чтобы все работало?

среда, 27 мая 2015 г., 18:31:24 UTC+3 пользователь tony2001 написал:

Slach

unread,

May 28, 2015, 12:36:28 AM5/28/15

to pinba-e...@googlegroups.com

Антон, может быть все же есть требования к конфигурации web-сервера для того чтобы все работало?

<?php
var_dump(dl("pinba.so"));

ini_set("pinba.enabled", 1);
ini_set("pinba.server", "адрес_сервера_с_pinba:3000");
ini_set("pinba.auto_flush", 1);

вы этот код выполняли?
phpinfo()
вообще при запуске на "старом сервере" из под apache+mod_php5 что говорит?

Александр Попов

unread,

May 28, 2015, 3:21:13 AM5/28/15

to pinba-e...@googlegroups.com

Доброе утро.

Да, код выполнял.

Из консоли:

bash-4.1$ php test_pinba.php

PHP Warning: dl(): Dynamically loaded extensions aren't enabled in /var/www/html/jcat/jcat.dev/www/test_pinba.php on line 2

В таблице request сразу появляется запись.

| 9837 | dev | 0 | unknown | test_pinba.php | 0.011 | 256 | 0 | 0 | 0 | 0 | 0 | 4916 | NULL | 0 | | 1432797375 |

При обращении к скрипту через web никаких записей в таблице не появляется, пакеты не гененируются.

В логах web-сервера обращения к скрипту фиксируются:

www.jcat.dev 192.168.1.1 - - [28/May/2015:10:16:35 +0300] "GET /test_pinba.php HTTP/1.0" 500 - "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.81 Safari/537.36"

www.jcat.dev 192.168.1.1 - - [28/May/2015:10:16:39 +0300] "GET /test_pinba.php HTTP/1.0" 500 - "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.81 Safari/537.36"

четверг, 28 мая 2015 г., 7:36:28 UTC+3 пользователь Slach написал:

Александр Попов

unread,

May 28, 2015, 3:33:48 AM5/28/15

to pinba-e...@googlegroups.com

Нашел ошибку. У нас стоит на всех серверах httpd-itk - для него модули подгружаются из директории /usr/lib64/php-zts/modules/.

Перекинул туда pinba.so, в phpinfo вижу, что конфиг подгружается Loaded Modules /etc/php-zts.d/pinba.ini
но далее по выводу не вижу никаких настроек pinba не вижу, хотя видимо должны быть. В таблицу request по-прежнему ничего не падает.

четверг, 28 мая 2015 г., 10:21:13 UTC+3 пользователь Александр Попов написал:

Александр Попов

unread,

May 28, 2015, 3:58:20 AM5/28/15

to pinba-e...@googlegroups.com

Антон, не подскажете работает ли pinba модуль с libphp5-zts.so.

среда, 27 мая 2015 г., 16:15:15 UTC+3 пользователь Александр Попов написал:

Александр Попов

unread,

May 28, 2015, 4:32:46 AM5/28/15

to pinba-e...@googlegroups.com

Перенастроили серверы на использование libphp5.so и статистика пошла.

По всей видимости libphp5-zts.so не поддерживается pinba php модулем.

четверг, 28 мая 2015 г., 10:58:20 UTC+3 пользователь Александр Попов написал:

Antony Dovgal

unread,

May 28, 2015, 10:18:13 AM5/28/15

to pinba-e...@googlegroups.com

On 05/28/2015 11:32 AM, Александр Попов wrote:
> Перенастроили серверы на использование libphp5.so и статистика пошла.
> По всей видимости libphp5-zts.so не поддерживается pinba php модулем.

Т.е. модуль не подгружался на самом деле и в phpinfo() его не было, хотя вы говорили, что всё есть.
Ну, что и требовалось доказать, как говорится.

Модули PHP для ZTS и non-ZTS собираются отдельно, нельзя собрать один модуль, который будет работать и с ZTS, и без.
Очевидно, вы собирали с заголовками от non-ZTS, поэтому он подгружается только с libphp5.so.

Slach

unread,

May 28, 2015, 10:26:13 AM5/28/15

to pinba-e...@googlegroups.com

Перенастроили серверы на использование libphp5.so и статистика пошла.
По всей видимости libphp5-zts.so не поддерживается pinba php модулем.

Антон, а кстати интересно
pinba.so по идее же по идее должна быть полностью thread safe ? Или ее в этом режиме не тестировали?

Но вообще есть подозрение что pinba.so собирается непонятно как и с совершенно другой версией php SAPI version отличной от libphp5-ztc

Antony Dovgal

unread,

May 29, 2015, 5:26:28 AM5/29/15

to pinba-e...@googlegroups.com

On 05/28/2015 05:26 PM, Slach wrote:

Перенастроили серверы на использование libphp5.so и статистика пошла.
По всей видимости libphp5-zts.so не поддерживается pinba php модулем.

Антон, а кстати интересно
pinba.so по идее же по идее должна быть полностью thread safe ? Или ее в этом режиме не тестировали?

Там нет ничего не-threadsafe (как и во всех экстеншенах, в общем-то).
Единственное возможное слабое место - это third-party libraries, которые могут быть не-threadsafe.

Reply all

Reply to author

Forward