Судя по скриншоту 2, возможно, что разрешение 1920х1080 не является для монитора родным (и максимальным), можете попробовать 1920х1200. 3D-режим поддерживается только на Windows7 (думаю, вы и сами это знаете).
Даже если монитор и поддерживает 120 Гц, то в современных игрх в 3D режиме (в Windows 7) то видеокарта создает два похожих изображения с частотой 60 Гц, которые драйвер 3D-vision обрабатывает так, чтобы на 3D-мониторе онирасполагает в разных фазах поляризации. Если на семерке играете с выключенным 3D-режимом, то драйвер 3D-vision дублирует каждый прорисованный видухой кадр (а они рисуются с частотой 60 Гц), чтобы выдавать картинку на монитор с частотой 120 Гц. В ХР же драйвер 3D-vision отсутствует и не поддерживается, там нечему дублировать прорисовку двух картинок по 60 Гц, поэтому игра честно пишет в меню, что 60 Гц - максимально допустимая частота (сама игра в любом случае дает видеокарте запрос на рендеринг графики с частотой 60 Гц, а дублирование картинки или создание 3D-изображения - это уже работа драйвера 3D-vision, а не самой игры).
Получается, что в плане качества картинки нет никакой разницы между 60 Гц на ХР и так называемыми 120 Гц на семерке. Если разрешение экрана оказалось правильным но картинка на 60 Гц дребезжит, то на время игры ставьте частоту обновления экрана 60 Гц и даже можете отметить такой режим в настройках видеодрайвера (120 Гц для двухмернойграфики и переход на 60 Гц для обработки трехмерного изображения).
Поэтому, если хотите играть с объемной 3D-картинкой, - запускайте семерку. Если в данном случае нужна обычная трехмерная графика, зато хочется добиться больше fps - играйте на ХР GE (в любом случае ХР GE позволит добиться большего fps, чем любая семерка). При ваших параметрах железа оптимальным вариантом было бы ставить на комп XP вместе с Windows 7, и переключаться с одной винды на другую по мере необходимости.