Upgrade UE Version 5.0.1 vers 6

[Ludovic]

Salut, 

Suite à l'annonce de la nouvelle version d'UE, j'ai tenté de faire l'upgrade. 

J'ai donc téléchargé le zip sur le GitHub, mais à l'intérieur du répertoire install debian, il n'y a qu'un install.sh. 

Alors que sur l'ancienne version, il y a bien un debian_upgrade_ue.sh

Est-ce que j'ai raté un truc sur la procédure ? 

Merci bien 

[noel.m...@gmail.com]

Bonjour,

C'est maintenant un script unique qui permet de faire à la fois l'installation et les mises à jour. Il faut juste récupérer 'install.sh' et créer un répertoire 'custom' dans le même répertoire qui contient le fichier '.env' et éventuellement 'settings_local.py' comme celui du modèle 'custom.dist'. Il faut les modifier en indiquant les mêmes variables que celles utilisées auparavant (répertoires d'installation et venv, base de données, URL, etc.).

Et si on veut modifier la configuration, par exemple changer l'URL d'UE-server, alors il faut modifier la variable correspondante dans '.env' puis exécuter 'install.sh' qui recréera notamment 'settings.py'. Si on souhaite remplacer '/etc/apache2/sites-available/apache-updatengine.conf' ou le certificat SSL dans '${SSL_DIR}/updatengine.key', il faut au préalable supprimer/déplacer les anciens fichiers car, par sécurité, ils ne sont générés que s'ils n'existent pas.

Noël

[Ludovic]

Bonjour Noël, 

Merci pour la réponse rapide, mais ça ne passe pas.

J'ai bien la bonne arborescence.  

Encore merci pour l'aide

[noel.m...@gmail.com]

Bonjour,

C'est le résultat au premier lancement du script ? Normalement, ce message s'affiche lorsqu'il n'y a rien de nouveau à appliquer au niveau de la base et que celle-ci est déjà à jour selon les champs nouveaux ou modifiés.

Et l'accès à la page UE ne fonctionne pas ? Il faudrait mettre "DEBUG=True" dans le fichier .env, exécuter 'install.sh' et voir si une erreur est indiquée en ouvrant l'URL

[Ludovic]

Re, 

Oui, c'est bien cela. 

Par contre, j'avais laissé par défaut les répertoires d'installation dans le fichier debian_install_ue.sh lors de l'installation de la V5. 

Dans le fichier .env, les répertoires sont les mêmes (par default aussi). 

Peut-être qu'il ne trouve pas les répertoires d'origine. ?

[Ludovic]

J'ai modifié les chemins, 

mais maintenant, je me trouve avec cette erreur ;))

 

[noel.m...@gmail.com]

Il semble que l'environnent virtuel Python n'est pas créé. Il faut renseigner les variables en reprenant les variables telles qu'elles étaient indiquées dans l'ancien script 'debian_install_ue.sh'.

Par exemple, il faut mettre dans .env:

INST_DIR=/srv    # Emplacement dans lequel se trouve le repertoire 'updatengine-server'
VENV_DIR=/srv/venv-ue    # Répertoire de destination où est installé l'environnement virtuel Python (contient les répertoires bin, include, lib, lib64 et le fichier pyvenv.cfg)

En cas de problème de l'environnement virtuel, il est tout fait possible de supprimer l'ancien répertoire VENV_DIR, il sera recréé par le nouveau script 'install.sh'.

[Ludovic]

Réinstallation complète sur une autre VM ça roule comme un charme maintenant !!!! 

Merci bien 

Ps : si vous avez un tips pour que je puisse recup mon ancienne config du ue V5.01 je suis preneur ;)) 

[noel.m...@gmail.com]

Sur une nouvelle VM, je pense que ça devrait aller en ne restaurant que la base telle qu'elle était en 5.0.1 puis en exécutant 'install.sh' avec le contenu du répertoire 'custom' selon votre config. Il faudra aussi copier manuellement les répertoires et fichiers que contient 'updatengine-server/updatengine/media/package-file/'

[sebastien]

Bonjour, je rencontre également des soucis avec le script d'installation, pas mal d'erreurs ou avertissement dont certains bloquant :

Note : sélection de « libxslt1-dev » au lieu de « libxslt-dev »
Aucune version du paquet python3-distutils n'est disponible, mais il existe dans la base
de données. Cela signifie en général que le paquet est manquant, qu'il est devenu obsolète
ou qu'il n'est disponible que sur une autre source

./install.sh: ligne 171: python : commande introuvable
Apply database migrations
./install.sh: ligne 175: python : commande introuvable

Create database updatengine
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)

pourquoi root ? j'ai bien spécifié un utilisateur et mot de passe dans le fichier .env

 Le paquet « python3-distutils » n'a pas de version susceptible d'être installé

je suis sur une ubuntu 24.04 cela ne fonctionne pas avec ?

Merci

[noel.m...@gmail.com]

Bonjour,

Je n'ai pas essayé avec Ubuntu 24.04. Mais je viens de voir que python-distutils était déprécié et qu'il était planifié de le supprimer à partir de Python3.12. Je vais installer un Ubuntu server 24.02 et adapter le script d'installation. Je pense pouvoir le faire aujourd'hui. Je reviens vers vous.

[sebastien]

Bonjour, merci pour l'aide, j'essaierais également sur une ubuntu 22 pour voir si pas de souci, pour ce qui est de l'erreur sql une idée de pourquoi il essaye de se connecter en root et non avec le compte updatengineuser ? Car je n'ai pas vu d'endroit ou renseignait le compte root, ce qui me fait penser une fois l'installation effectuée y a t'il un fichier ou on peut modifier le mdp sql du compte ?

Merci encore

[noel.m...@gmail.com]

Le script d'installation debian est maintenant compatible avec Python 3.12 et testé sur Ubuntu 24.04. La version UE-server 6.0.1 intégre les modifications.

[sebastien]

Le script va plus loin mais j'ai toujours des erreurs : 

HEAD est maintenant à 0ef61a0 Fix error on users page and set version to 5.0.1
Basculement sur la branche 'master'
Votre branche est en retard sur 'origin/master' de 113 commits, et peut être mise à jour en avance rapide.
  (utilisez "git pull" pour mettre à jour votre branche locale)
HEAD est maintenant à 0a0886f Update README
Déjà à jour.
./install.sh: ligne 119: python : commande introuvable
./install.sh: ligne 120: /var/www/UE-environment/bin/pip : ne peut exécuter : le fichier requis n'a pas été trouvé
./install.sh: ligne 121: /var/www/UE-environment/bin/pip : ne peut exécuter : le fichier requis n'a pas été trouvé
Create database updatengine
Create database user updatengineuser
Create a self-signed SSL certificate
Considering dependency mime for ssl:
Module mime already enabled
Considering dependency socache_shmcb for ssl:
Module socache_shmcb already enabled
Module ssl already enabled
Create settings.py
Collect static files
./install.sh: ligne 172: python : commande introuvable
Apply database migrations
./install.sh: ligne 176: python : commande introuvable
chown: impossible d'accéder à '/var/www/UE-environment//updatengine-server/updatengine/static/': Aucun fichier ou dossier de ce nom

des idées ?

Merci

[sebastien]

Vu qu'il parle de python manquant j'ai essayé de faire un ln -s python python3 mais du coup d'autres erreurs : 

Python modules for the system python are usually handled by dpkg and apt-get.

    apt install python3-<module name>

Install the python3-pip package to use pip itself.  Using pip together
with the system python might have unexpected results for any system installed
module, so use it on your own risk, or make sure to only use it in virtual
environments.

./install.sh: ligne 120: /var/www/UE-environment/bin/pip : ne peut exécuter : le fichier requis n'a pas été trouvé
./install.sh: ligne 121: /var/www/UE-environment/bin/pip : ne peut exécuter : le fichier requis n'a pas été trouvé

Considering dependency mime for ssl:
Module mime already enabled
Considering dependency socache_shmcb for ssl:
Module socache_shmcb already enabled
Module ssl already enabled
Create settings.py
Collect static files

Traceback (most recent call last):
  File "/var/www/UE-environment/updatengine-server/manage.py", line 10, in main
    from django.core.management import execute_from_command_line
ModuleNotFoundError: No module named 'django'

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/var/www/UE-environment/updatengine-server/manage.py", line 21, in <module>
    main()
  File "/var/www/UE-environment/updatengine-server/manage.py", line 12, in main
    raise ImportError(
ImportError: Couldn't import Django. Are you sure it's installed and available on your PYTHONPATH environment variable? Did you forget to activate a virtual environment?
Apply database migrations
Traceback (most recent call last):
  File "/var/www/UE-environment/updatengine-server/manage.py", line 10, in main
    from django.core.management import execute_from_command_line
ModuleNotFoundError: No module named 'django'

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/var/www/UE-environment/updatengine-server/manage.py", line 21, in <module>
    main()
  File "/var/www/UE-environment/updatengine-server/manage.py", line 12, in main
    raise ImportError(
ImportError: Couldn't import Django. Are you sure it's installed and available on your PYTHONPATH environment variable? Did you forget to activate a virtual environment?

chown: impossible d'accéder à '/var/www/UE-environment//updatengine-server/updatengine/static/': Aucun fichier ou dossier de ce nom

[sebastien]

Alors je ne sais pas si c'est très propre mais pour m'en sortir j'ai du faire donc un ln -s du python mais egalement de pip3 vers pip dans le répertoire bin d'updatengine (a priori il n'avais pas maj l'installation précédente) en faisant cela ca fonctionne, je ne sais pas par contre d'ou vient le problème sur python et pip.

l'installation se passe bien update s'ouvre mais j'ai des erreurs apres qui semble lié a la nouvelle version, je vais faire un autre post sur cela pour ne pas tout melanger.

[sebastien]

Et dernier souci toute ma base ordinateurs et paquets sont vides tout a été effacé, de plus l'interface semble anormal je met un imprime écran il y a des n partout je met une pièce jointe.

[noel.m...@gmail.com]

À la base, j'ai bien l'impression que l'environnement virtuel python n'est pas disponible/créé et que vous utilisez le Python du système. Pour vérifier le venv, il faut voir si la commande 'source ${VENV_DIR}/bin/activate' fonctionne (changer la variable par celle de custom/.env) et après exécuter 'python' qui doit ouvrir le shell Python3.

Coté base, j'avais vu plus haut 'Create database updatengine', c'est qu'elle n'avait pas été trouvée et alors été créé vide. La vérification de présence de la base se fait avec : mysql -e "use updatengine". Si pas de retour d'erreur genre Unknown database 'updatengine' alors elle est créée. Ou faire un 'echo $?' apres la commande pour avoir le code de sortie de la commande précédente : 0=pas d'erreur->base existe, 1=erreur->base n'existe pas

[sebastien]

A priori il lance bien python dans le venv mais peut être a cause de mon ln -s /usr/bin/python3.12 python ?sinon peut être supprimer le répertoire (en sauvegardant le package-file) pour refaire créer l'env virtuel ?

Le problème d'interface est lié à ca aussi ?

[sebastien]

il le lance bien en tout cas

 source /var/www/UE-environment/bin/activate
python
Python 3.12.3 (main, Sep 11 2024, 14:17:37) [GCC 13.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>

[sebastien]

J'ai essayé de supprimer complétement l'environnement et tout recréer comme une installe neuve tout s'installe sans erreur mais internal error :

mod_wsgi (pid=11241): Failed to exec Python script file '/var/www/UE-environment/updatengine-server/updatengine/wsgi.py'.
mod_wsgi (pid=11241): Exception occurred processing WSGI script '/var/www/UE-environment/updatengine-server/updatengine/wsgi.py'.

 Traceback (most recent call last):

 File "/var/www/UE-environment/updatengine-server/updatengine/wsgi.py", line 52, in <module>
 from django.core.wsgi import get_wsgi_application

 ModuleNotFoundError: No module named 'django'

Pourtant j'ai relancé le pip requierement pas d'erreur etrange

question en parallèle le VENV et INST_DIR j'ai un peu de mal a comprendre la différence cela pose un problème si on met le même chemin sur les deux (a l'origine c'etait comme ca il me semble)

[sebastien]

Bon je ne sais pas d'où vient l'erreur précédente (si jamais une idée pour le régler) mais j'ai réinstallé complétement en supprimant le repertoire et tjrs la même interface 'étrange'  je mets un autre imprime ecran, toujours les n un peu partout et autre caractère spéciaux.

[noel.m...@gmail.com]

Django ne semble pas installé. Après la commande 'source...',  que donne un 'pip freeze' qui permet de lister les packages pip ? Il devrait y avoir 'Django==4.2.16'.

Concernant VENV et INST_DIR, il est possible de mettre le même chemin. Toutefois, afin de pouvoir recréer facilement le venv,, il vaut mieux l'isoler en mettant par exemple VENV=/var/www/UE-environment/.venv et INST_DIR=/var/www/UE-environment. Ainsi on peut supprimer le venv avec 'rm -rf /var/www/UE-environment/.venv' sans risque de toucher à d'autres fichiers.

Le venv contient uniquement une installation de Python pour une version particulière et les packages Python nécessaires pour une application donnée. On peut d'ailleurs déplacer le repertoire virtuel si on le souhaite, le tout est de l'indiquer avec 'source' ou pointer sur le chemin absolu du binaire python pour executer le programme souhaité.

[sebastien]

Je vois merci, pour django il marquait django installé pourtant, la j'ai tout refait cela marche sauf les bug interface les n et les [] mis dans les imprimes écrans mais pas sur que ce soit un problème d'installation mais si je suis le seul a l'avoir je ne comprends pas, testé sur edge et firefox pareil.

[sebastien]

Bonjour, par rapport à mon problème d'affichage que je n arrive pas a résoudre est il toujours possible d'installer la 5.0.1 pour l'instant ?  En changeant la GIT_BRANCH ?

Merci

[noel.m...@gmail.com]

Changer la branche ne sera pas suffisant pour rétrograder. Il faut aussi rétablir l'ancien venv. Si vous ne pouvez pas restaurer l'ancien venv et le repertoire updatengine-server, il faudrait refaire l'installation avec l'ancien script et remplacer "master" par "5.0.1". Mais il faut quand même restaurer la base utilisée en 5.0.1.

Autrement, je pense que la solution la plus simple serait la suivante :

1. Restaurer la base 5.0.1.
   
2. Installer le dernier UE-server en ayant au préalable déplacé ou renommé les anciens venv et updatengine-server. La base sera upgradée pour être compatible car elle contient une table 'django_migrations' qui permet de gérer les migrations.
   
3. Copier le contenu de l'ancien répertoire 'updatengine/media/package-file' vers le nouveau afin de remettre en place les fichiers à déployer.
   

[sebastien]

Bonjour, merci pour la réponse, pour la base pas de souci j'ai le backup de la 5.0.1, par contre pour le reste je l'ai déjà fait j'ai tout supprimé (venv rep d'installation  etc) et tout réinstallé (donc avec une base vierge vu que je n'avais pas encore remis le backup) et j'ai toujours le problème d'affichage, je vais tenter aujourd'hui de réinstaller une ubuntu de 0 pour être sur mais je ne vois pas d’où ça peut venir.

[sebastien]

Bon ben j'ai réinstallé une ubuntu 24.04.1 LTS de 0 et remis update (en 6.1.0) et exactement les même problèmes sur l'interface avec les caractères  [] dans machine et dans paquet de déploiement sous variables personnalisés pareil  "Variables personnalisées 

[] []           

ainsi que les "n" sous entité profil periode et commentaire cela m'etonne quej e sois le seul a avoir ca etant donné que la j'ai tout refais (sans remettre la base sql ou autre)

Des idées ?

Merci

[noel.m...@gmail.com]

J'ai réinstallé comme vous et, effectivement, j'ai la même chose au niveau des [] mais je ne vois pas de "n". Vous pouvez mettre une copie d'écran ?

[sebastien]

Oui je l'avais mis un peu plus haut je le remet ici (apparait uniquement quand il y a des ordinateurs dans la base)

Merci encore pour le travail fourni pour améliorer cet outil.

[noel.m...@gmail.com]

Avec ajout manuel ou une remontée via updatengine-client, c'est un peu différent pour moi, j'ai ça :

Je ne sais pas pourquoi nous n'avons pas le même affichage mais peut-être que le thème Django-Grappelli n'est pas 100% compatible avec Python 3.12 ? Je vais chercher.

Merci pour l'alerte et à bientôt.

[sebastien]

c'est vrai qu'en y regardant de plus près ce n'est pas un n mais bien la même chose le [] mais placé a endroit différent (original) 

Merci !

[noel.m...@gmail.com]

En effet, mêmes caractères et l'emplacement dépend de la taille de la fenêtre.

[noel.m...@gmail.com]

Le problème a aussi été signalé sur https://github.com/updatengine-ng/updatengine-server/issues/13 et solutionner par un correctif. L'origine vient du fait que le fichier ".env" a été enregistré avec l'encodage des fins de lignes Windows CRLF au lieu de l'encodage Linux LF. Le caractère Carriage Return (CR) en trop induit un saut de ligne indésirable qui provoque l'erreur rencontré.

[sebastien]

Bonjour, merci, comment appliquer le correctif ? Il est présent dans la version 6.1.0 ? (je suis retourné en 5.0.1 en attendant car ce bug était gênant).

Merci

[sebastien]

Bonjour, je viens de tenter une nouvelle installation, je suis bien en 6.1.0 mais toujours le bug d'affichage, quelle manipulation faut il faire pour le corriger ?

Merci

[sebastien]

Bonjour, petite précision par rapport a ce problème j'utilise bien le script install.sh qui contient 

"Check and convert the .env line endings style

 grep -l $'\r' ./custom/.env && sed -i 's/\r//g' ./custom/.env && echo "Information: The file './custom/.env' was converted from Windows-style line endings (CRLF) to Linux-style line endings (LF)."

si quelqu'un a une idée pourquoi malgré cela le problème est toujours la, merci.