Oui et non.
Non parce que ce qui se passe pour
$abcdefghijklmnopqrstuvwxyz$
est normal : une fonte math n’est pas faite pour écrire du texte les approches de ces caractères sont réglées pour permettre d’éviter les télescopages avec les indices exposants délimiteurs, etc. Ce sont des réglages délicats qui peuvent prendre beaucoup de temps.
Non parce que le matrix ne va pas, le f n’a pas assez de place pour vivre normalement. Libertine-Math est très perfectible, j’ai renoncé à m’en servir.
Je mets Daniel Flipo en copie, des fois qu’il aurait une idée, mais je ne pense pas que ça soit possible de corriger ça à partir du fichier source. Ce qui se passe c’est que la fonte math est mal réglée : ça peut se corriger en modifiant la table math de la fonte otf (après vous appelez ça comme vous voulez et vous le mettez sur ctan).
Lualatex est compatible avec latex et vous pouvez utiliser fontenc et les fontes type1. Mais vous perdez les fonctionnalités opentype.
Par ailleurs si vous n’appelez pas de package de fontes ou pas d’autres que modern, vous êtes en latin modern ou computer modern, donc il n’y a plus aucun problème (manquerait plus que ça et encore une fois, ce qui se passe pour $f$, $o$ et $r$ est normal, la fonte math n’est pas faite pour écrire du texte).
Voici un source qui utilise Lualatex et les fontes modern opentype et qui peut-être considéré comme le vrai comportement par défaut de Lualatex (j’ai ajouté amsmath pour que votre vmatrix compile).
En décommentant deux ou trois lignes, vous pouvez tester d’autres fontes maths qui fonctionnent mieux que libertinus.
Il n’est toutefois pas garanti (pas par moi en tout cas) que Garamond-Math soit d’ores et déjà parfait. C’est à tester !
% !TEX TS-program = LuaLaTeX
\documentclass{article}
\usepackage{amsmath}
%décommenter ces deux lignes pour fourier-erhewon
%\usepackage{unicode-math}% appelle fontspec et amsmath
%\usepackage{fourier-otf}
%décommenter ces trois lignes pour STIX
%\usepackage{unicode-math}% appelle fontspec et amsmath
%\setmainfont{STIXTwoText}
%\setmathfont{STIXTwoMath}
%%décommenter ces trois lignes pour EBGaramond
%\usepackage{unicode-math}% appelle fontspec et amsmath
%\setmainfont{EB Garamond}
%\setmathfont{Garamond-Math}