Vc usa com a JVM da Oracle ou da OpenJVM? tem uma diferença grande de performance entre elas.
Da uma conferida na sua configuração, pois estou com 2 pycharms abertos e diversos arquivos abertos não chega nem a 400mb.
É importante lembrar que a JVM já faz uma pré alocação de memória para ela, então, muitas vezes o que é exibido no TOP do seu linux n é quanto o pycharm utiliza, mas sim, quando a JVM já reservou para aquela sua instancia.
Dentro do pycharm há uma configuração para mostrar quanto de memória ele está usando de verdade, este indicador fica visível o tempo todo na barra de status do pycharm, e vc pode clicar nele para força um garbage collector da JVM. Mas isto no diminui o quanto de memoria está alocada no seu computador, apenas libera a memória dentro da instancia da JVM que o pycharm está rodando.

Outra coisa que percebi que a JVM de 64bits está deixando todos os programas em java lentos e consumindo mais memória, então troquei para a 32bits.