RHVoice для debian

[илья пащук]

итак, рад представить скрипты, которым на моём arch при помощи docker
удалось собрать нечто, похожее на работоспособный RHVoice.

там файлы из каталогов debian и docker взяты из luwrain/RHVoice, но
многое переделано, ряд идей позаимствован из aur pkgbuild RHVoice.

файлы во вложении


как пользоваться

git clone --recursive https://github.com/RHVoice/RHVoice

да, к стати, теперь, похоже, только с этой опцией и следует клонировать.

потом распаковываем в образовавшийся каталог RHVoice содержимое из
архива, так чтобы в корне исходников появились каталоги debian и docker.

потом идём в docker и вызываем ./build.

понятно, что у вас должен быть docker, и ещё может потребоваться вызвать
docker pull debian:10


если всё отработает нормально, deb-файлы тоже должны оказаться в корне
исходников.

сейчас загружу куда-нибудь готовый deb и дам ссылку.

[илья пащук]

https://drive.google.com/open?id=1DBMaYuhjg4eT-vK3ckI9mZMwAIaa9Sym

[Michael Pozhidaev]

Илья, большое спасибо, что Вы подхватили процесс. Это большая помощь! У
меня два вопроса:

1. Пути Вы всё-таки поправили в сборке или это ещё требуется доделать?
2. Могу взять на себя обязательство поддерживать репозиторий с RHVoice
для подключения к апту, но тогда всем придётся возиться с
ключами. Процесс установки RHVoice будет содержать сначала регистрацию
ключа, потом подключение репозитория, потом установку пакета. Разумно ли
это в нашей ситуации? Хотя это с точки зрения традиции самое правильное.

илья пащук <ilusha....@gmail.com> writes:

> https://drive.google.com/open?id=1DBMaYuhjg4eT-vK3ckI9mZMwAIaa9Sym

--
Michael Pozhidaev (Mr.), Tomsk, Russia.
Russian: http://www.marigostra.ru | English: http://www.marigostra.com
The LUWRAIN project: http://luwrain.org
The LUWRAIN Books project: http://books.luwrain.org

[Michael Pozhidaev]

> 1. Пути Вы всё-таки поправили в сборке или это ещё требуется доделать?

Да, фиксы путей увидел. Вкоммитил их в luwrain/rhvoice. Давайте решим
вопрос с постоянным местом хранения пакета и тогда позовём Тимофея
тестировать.

[илья пащук]

я просто взял исходный гит с репов RHVoice и добавил туда свои папки
debian и docker.

все необходимые модификации делаются через опции scons.

у вас же, похоже, это достигалось модификацией каких-то файлов вне этих
двух каталогов.

так что проблема с теми путями, посути, отпала сама собой.


по поводу возни с ключами, разве это не единственный способ работы с
внешними репами apt, если не считать простого отключения проверки?

это, кроме того, очень легко автоматизируется при помощи всего
нескольких команд в маленьком скрипте.


в принципе, учитывая алгоритм сборки, можно вообще автоматизировать всё
так, что при выходе релиза на гитхабе мы сразу же будем это клонировать,
собирать, возможно автоматически тестировать и выкладывать, так что
пакет будет выходить спустя несколько минут после релиза, но это,
вероятно, уже слишком.


и ещё сегодня надо подумать над проблемой распакечивания в отдельные
пакеты синта и голосов.

[Michael Pozhidaev]

Илья, всё делаем только в автоматизированном режиме. Любой ручной труд
приведёт к тому, что всё протухнет незамедлительно. Никаких правок за
пределами debian и docker у меня нет. Это, опять же, довольно суровое
требование, чтобы вмерживание изменений никогда бы не требовало разбора
конфликтов. Параметры scons у Вас отличаются от моих, которые были
очевидно некорректны. Я их забрал, позже потестирую. Да, без ключей
сейчас можно ставить только вручную слив пакет и на нём dpkg -i. Если
иных предложений нет, заведу download.luwrain.org/repo/rhvoice/.

[Beqa Gozalishvili]

если интегрировать с github actions то и релизы будут
автоматизированы, благо такая возможность у нас есть.

> --
> Вы получили это сообщение, поскольку подписаны на группу luwrain-users-ru.
>
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес
> luwrain-users-...@googlegroups.com.
> Просмотреть это обсуждение в Сети можно по адресу
> https://groups.google.com/d/msgid/luwrain-users-ru/87wnwzo7pa.fsf%40blard.localdomain.
>


--
with best regards Beqa Gozalishvili
Tell: +995593454005
Email: beqap...@gmail.com
Web: https://gozaltech.org
Skype: beqabeqa473
Telegram: https://t.me/gozaltech
facebook: https://facebook.com/gozaltech
twitter: https://twitter.com/beqabeqa473
Instagram: https://instagram.com/beqa.gozalishvili

[илья пащук]

ещё можно передать путь к локальному deb команде apt install, такое тоже
работает.


просто полная автоматизация опасна тем, что при изменении в списке
зависимостей, в структуре сборки всё может отвалиться, и в пакете могут
неожиданно всплыть ошибки, даже если сборка выглядит прошедшей нормально.


и откуда берём код из master или всётаки из release?

[Beqa Gozalishvili]

думаю для тестирования сборок и нужно каждый пуш из мастера брать,
далее в разных докерах протестировать готовые пакеты, и если есть
ошибки сообщать об этом.

> --
> Вы получили это сообщение, поскольку подписаны на группу luwrain-users-ru.
>
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес
> luwrain-users-...@googlegroups.com.
> Просмотреть это обсуждение в Сети можно по адресу

> https://groups.google.com/d/msgid/luwrain-users-ru/fe2198af-ed96-5157-566f-ee41d5a11e18%40gmail.com.

[илья пащук]

реализовал пакетирование по следующей схеме:

ядро синта и папка languages в одном пакете, каждый голос в своём
отдельном deb.


при этом список голосов нигде не захардкожен, так что при добавлении
новых всё должно подхватиться автоматически.


если github actions, то надо что-то делать с github runner, поскольку
предоставляемых в бесплатной версии 500 мб нам вряд ли хватет.

то есть надо либо платить github, либо найти где-то сервер.

[Alexander Epaneshnikov]

30.12.2020 18:42, илья пащук пишет:

> реализовал пакетирование по следующей схеме:
>
> ядро синта и папка languages в одном пакете, каждый голос в своём
> отдельном deb.
>

а сколько весят языки? ябы их тоже в отдельный пакет отправил.

>
> при этом список голосов нигде не захардкожен, так что при добавлении
> новых всё должно подхватиться автоматически.
>
>
> если github actions, то надо что-то делать с github runner, поскольку
> предоставляемых в бесплатной версии 500 мб нам вряд ли хватет.
>

не понял о каких 500 мб идёт реч.

> то есть надо либо платить github, либо найти где-то сервер.
>

--

Sincerely, Alexander.

[Beqa Gozalishvili]

Да я тоже не понял.

стандартно runner имеет 14 gb ssd, и 7 db оперативной памяти.

о чем идет речь?

> --
> Вы получили это сообщение, поскольку подписаны на группу luwrain-users-ru.
>
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес
> luwrain-users-...@googlegroups.com.
> Просмотреть это обсуждение в Сети можно по адресу

> https://groups.google.com/d/msgid/luwrain-users-ru/4f7d43c1-0a4b-bb00-cdd6-6a2b2c003dcd%40gmail.com.

[илья пащук]

тут:

https://docs.github.com/en/free-pro-team@latest/github/setting-up-and-managing-billing-and-payments-on-github/about-billing-for-github-actions

указано, если я правильно это понял, что на github free даётся только
500 мб диска.


не думаю, что языки надо отделять, поскольку весь каталог languages без
сжатия в исходниках весит около 20 мб, а после упаковки 4 или 5 мб.

[Beqa Gozalishvili]

лимиты как я прочитал распостраняются на приватные репозитории

On 12/30/20, Alexander Epaneshnikov <aarn...@gmail.com> wrote:

> --
> Вы получили это сообщение, поскольку подписаны на группу luwrain-users-ru.
>
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес
> luwrain-users-...@googlegroups.com.
> Просмотреть это обсуждение в Сети можно по адресу

> https://groups.google.com/d/msgid/luwrain-users-ru/4f7d43c1-0a4b-bb00-cdd6-6a2b2c003dcd%40gmail.com.

[Alexander Epaneshnikov]

30.12.2020 19:04, илья пащук пишет:

> тут:
>
> https://docs.github.com/en/free-pro-team@latest/github/setting-up-and-managing-billing-and-payments-on-github/about-billing-for-github-actions
>
>
> указано, если я правильно это понял, что на github free даётся только
> 500 мб диска.
>

а ещё там написанно: GitHub Actions usage is free for public
repositories and self-hosted runners. For private repositories, each
GitHub account receives a certain amount of free minutes and storage,
depending on the product used with the account.

так что место и время у нас не ограниченны.

>
> не думаю, что языки надо отделять, поскольку весь каталог languages
> без сжатия в исходниках весит около 20 мб, а после упаковки 4 или 5 мб.
>

ну ладно. не надо, так не надо.

--
Sincerely, Alexander.

[илья пащук]

тогда вопросы такие:

1. где планируется хостить эти github actions: в luwrain/RHVoice или ещё
где-то?


планируется ли это оставить так, как в том же git, то есть форк с
веткой, которая суть копия исходника плюс debian и docker, или будет
как-то иначе?

тогда ещё возникает вопрос, как автоматизировать обновление форка из
исходного репа, если только мы в github actions не можем напрямую
получать события от другого репозитория.

тут ещё возможен такой вариант: отдельный реп со скриптами и action,
который делает git clone --recursive https://github.com/RHVoice/RHVoice
и далее по схеме.

тогда можно либо запланировать проверку по времени, либо попробовать
договориться с ольгой, чтобы добавила action, вызывающий наш webhook.


итак, это, получается, будет выглядить примерно так:

в репозитории появляется push или release

action запускает эти скрипты в подходящем docker окружении

тогда полученные, если всё проходит нормально, deb-пакеты надо как-то
передать на узел download.luwrain.org, тут ещё может быть какая-то
авторизация через github secrets.

и что с ключами для подписи делать?

и о насколько глубокой автоматизации мы говорим: всё должно быть на
автомате от начала и до конца, или какие-то шаги, особенно в конце,
оставить в ручном режиме?


P.S. с debian понятно, но с различными версиями ubuntu отношений в
последнее время особо не поддерживаю, но если очень надо, могу
попытаться завезти всё это и под ними, в этом сильно поможет то, что
различные jobs, если не имеют друг от друга зависимостей, работают
параллельно.

[Alexander Epaneshnikov]

30.12.2020 20:34, илья пащук пишет:

> тогда вопросы такие:
>
> 1. где планируется хостить эти github actions: в luwrain/RHVoice или
> ещё где-то?
>

насколько я понял - Михаил хочет отдать их нам. тоесть они будут в
RHVoice/RHVoice/

>
> планируется ли это оставить так, как в том же git, то есть форк с
> веткой, которая суть копия исходника плюс debian и docker, или будет
> как-то иначе?
>

это будит в основной ветке.

> тогда ещё возникает вопрос, как автоматизировать обновление форка из
> исходного репа, если только мы в github actions не можем напрямую
> получать события от другого репозитория.
>

как уже сказал выше, это будит в основном репозитории rhvoice.

> тут ещё возможен такой вариант: отдельный реп со скриптами и action,
> который делает git clone --recursive
> https://github.com/RHVoice/RHVoice и далее по схеме.
>

это усложнит всё КМК.

> тогда можно либо запланировать проверку по времени, либо попробовать
> договориться с ольгой, чтобы добавила action, вызывающий наш webhook.
>

достаточно договорится со мной. ))

>
> итак, это, получается, будет выглядить примерно так:
>
> в репозитории появляется push или release
>

лучше конечно собирать пакеты только при релизе.

> action запускает эти скрипты в подходящем docker окружении
>
> тогда полученные, если всё проходит нормально, deb-пакеты надо как-то
> передать на узел download.luwrain.org, тут ещё может быть какая-то
> авторизация через github secrets.
>

да надо над этим подумать. Михаил, есть какие идеи?

> и что с ключами для подписи делать?
>
и о насколько глубокой автоматизации мы говорим: всё должно быть на
автомате от начала и до конца, или какие-то шаги, особенно в конце,
оставить в ручном режиме?
>
>
> P.S. с debian понятно, но с различными версиями ubuntu отношений в
> последнее время особо не поддерживаю, но если очень надо, могу
> попытаться завезти всё это и под ними, в этом сильно поможет то, что
> различные jobs, если не имеют друг от друга зависимостей, работают
> параллельно.
>

вообще. этим должны заниматься сопровождающие пакетов в самом дистре...
но да ладно...

--
Sincerely, Alexander.

[Michael Pozhidaev]

Alexander Epaneshnikov <aarn...@gmail.com> writes:

> да надо над этим подумать. Михаил, есть какие идеи?

Коллеги, вы либо всё сразу забираете, включая выкладку и подпись
репозитория,либо даже заморачиваться со сборкой где-либо смысла нет,
потому что наша площадка вытянет это без затруднений. Остаётся вопрос
только передачи пинков на сборку после появления тега.

[Илья Пащук]

а вот эту передачу и можно попытаться повесить на github actions, хотя
можно и пинговать периодически github api..

[александр бердников]

привет всем!

а в чем причина для клонирования исходников по такой комманде git clone --recursive https://github.com/RHVoice/RHVoice?

среда, 30 декабря 2020 г. в 00:35:38 UTC+5, ilusha....@gmail.com:

[Beqa Gozalishvili]

Как я уже писал в одном из issue, --recursive нужен для того, что бы
подтянуть подмодули, например голос виктория.

On 1/2/21, александр бердников <yav...@gmail.com> wrote:
> привет всем!
> а в чем причина для клонирования исходников по такой комманде git clone
> --recursive https://github.com/RHVoice/RHVoice?

> <https://github.com/RHVoice/RHVoice>

>
> среда, 30 декабря 2020 г. в 00:35:38 UTC+5, ilusha....@gmail.com:
>
>> итак, рад представить скрипты, которым на моём arch при помощи docker
>> удалось собрать нечто, похожее на работоспособный RHVoice.
>>
>> там файлы из каталогов debian и docker взяты из luwrain/RHVoice, но
>> многое переделано, ряд идей позаимствован из aur pkgbuild RHVoice.
>>
>> файлы во вложении
>>
>>
>> как пользоваться
>>
>> git clone --recursive https://github.com/RHVoice/RHVoice
>>
>> да, к стати, теперь, похоже, только с этой опцией и следует клонировать.
>>
>> потом распаковываем в образовавшийся каталог RHVoice содержимое из
>> архива, так чтобы в корне исходников появились каталоги debian и docker.
>>
>> потом идём в docker и вызываем ./build.
>>
>> понятно, что у вас должен быть docker, и ещё может потребоваться вызвать
>> docker pull debian:10
>>
>>
>> если всё отработает нормально, deb-файлы тоже должны оказаться в корне
>> исходников.
>>
>> сейчас загружу куда-нибудь готовый deb и дам ссылку.
>>
>>
>

> --
> Вы получили это сообщение, поскольку подписаны на группу luwrain-users-ru.
>
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес
> luwrain-users-...@googlegroups.com.
> Просмотреть это обсуждение в Сети можно по адресу

> https://groups.google.com/d/msgid/luwrain-users-ru/8e69e035-27a2-4849-aecb-2601fd38f567n%40googlegroups.com.

[тимофей]

всем привет. бека, а что такое issue? и что такое pull request?

[илья пащук]

ещё, может быть, можно использовать для репа github pages, он ведь
предназначен для отдачи статических файлов.