Manoel,
Estou trabalhando um projeto que também precisei publicar imagens no Geoserver, no meu caso são ortofotos contendo resoluções variadas.
Após muitas pesquisas, acabei encontrando um livro em inglês chamado Mastering GeoServer que talvez possa te ajudar, bem como me ajudou.
No livro aborda muita coisa sobre o Geoserver e um dos capítulos é sobre como publicar imagens em grande formato. Então, a primeira dica é: processe suas imagens antes de publicar, por exemplo, se for imagens coloridas, basta as bandas RGB. Se tiver mais bandas, exclua. Depois é interessante criar pirâmides e tiles. Todos estes processamentos vc pode fazer com o QGis ou por linha de comando usando Gdal.
Comecei testando as orientações presentes no livro, neste caso, o uso dos plugins ImageMosaic. Também testei o ImagePyramid e GeoTIFF. Confesso que melhorou a performance do raster, mas quando havia mais pessoas acessando ao mesmo tempo, o Geoserver ficava muito instável.
Depois de muitos testes, o que realmente ficou ótimo no meu caso foi não publicar imagens no Geoserver. Acabei gerando tiles, nos níveis de zoom de interesse, e depois configurei um caminho dos mesmo para o servidor (Nginx) ser responsável para mostrar as imagens.
Utilizei a biblioteca Leaftet para mostrar as camadas (vetor) oriundas do Geoserver via wms (TileLayer.WMS) e as imagens via TileLayer.
Para gerar os tiles, tem 'n' formas. Acabei utilizando o QGIS 3.10, onde tem uma nova função para gerar tiles em diretórios. Este processo é bem demorado se o nível de zoom escolhido for alto e também a extensão da imagem ou imagens.
Qualquer dúvida é só chamar.
--
Anderson Roberto da Silva
Engenheiro Cartógrafo