FLOPS é a quantidade de operações de ponto flutuante feitas a cada segundo, GFLOPS é que este número na escala 10^9 (Giga).
Você precisa saber a frequência de clock da GPU e em quantos ciclos de clock são necessários para efetuar uma operação de ponto flutuante, faça a divisão do primeiro pelo segundo e multiplique pelo número de cores da GPU. Veja a especificação das Teslas (a NVIDIA costuma se gabar do GFLOPS destas GPUs) e tente entender.
Na verdade GFLOPS na maioria dos casos não é uma boa métrica de desempenho. Você pode estudar a respeito no livro do petterson e renessy. Por exemplo: Se um dispositivo A efetua 5 operações de ponto flutuante para chegar no resultado de 10 * log (100), e outro dispositivo B efetua 4 operações de ponto flutuante, qual dispositivo possui melhor desempenho? O dispositivo A possuiria um número de GFLOPS maior.
O Tharsis já publicou uma apresentação sobre métricas de desempenho aqui na lista, procure se desejar.
Alexsander Petry