Наверное вы задали повышенный приоритет своей игре. Но не учли тот факт что игра не работает на прямую с клавиатурой.
Оконная процедура окна (игра), котороя имеет фокус клавиатуры, принимает сообщения о нажатии клавиши, когда пользователь печатает на клавиатуре. Windows посылает сообщение, когда пользователь нажимает клавишу. Так вот тот сервис который посылает сообщение, имеет ниже приоритет чем игра. вот и тормоза.
Как то вот вот так наверное.