Bom... uma solução provisória que pode ser implementada, até você fazer melhorias no seu banco de dados como o @Juliomar Marchetti citou, seria instalar o Windows Server nesse computador e os usuários fazerem uso da Área de Trabalho remota.
Na estrutura que está hoje, você fica refém de variações de rede, como: oscilações da conexão, tráfego(downloads), e por aí vai... Isso explica essas situações aleatórias de lentidão.
Com Windows Server, você vai notar uma diferença grande. Aqui é regra pre-fixada que, caso se tenha 3 ou mais terminais, o cliente deve dispor de um servidor com Windows Server para que ele consiga trabalhar sem intercorrências.