Cara,
Tenho pouca experiência no assunto, mas a menos que você tenha um wifi desses bem caros, ele daria problema mesmo, um wifi domestico não foi projetado para lidar com tantas conexeções ao mesmo tempo.
Já acho mais difícil ser no servidor, por que a capacidade de processamento de um computador é muito superior ao de um roteador wifi, apesar de que não posso discartar ele antes de uma averiguação mais profunda.
Se você quiser a consultoria de um profissional pode entrar em contato com o Thiago Scherrer, ele é administrador de redes da Locaweb.
Thiago Scherrer