Você pode usar o comando \citeonline mesmo que o Overleaf não reconheça na interface, contanto que a documentclass seja abntex2.
Porém, pelo menos para mim, o Overleaf o reconhece, tanto na interface quanto ao executar.
Talvez fosse útil você postar um exemplo mínimo funcionando de forma que possamos ver se falta algo em sua configuração.
Algumas coisas que podem causar esse erro também são descritas em
https://groups.google.com/g/abntex2/c/9Jfn3bpMdTE?pli=1.
Elas incluem caracteres inválidos, esquecer de usar
\usepackage{abntex2cite} ou a falta do ano na referência.
Atenciosamente,
Geraldo Xexéo