Это вопрос к драйверам видеокарты и системе. Дело в том, что процессоры имеют много схожего. Разрядность шины данных еще с Pentium составляет 64 бита, вплоть до Core 2 Duo. Разрядность шины адреса у процессоров с PAE тоже 64 бита, хотя используются только 36 бит. Механизм защищенного режима у 32 и 64-х битных процессоров практически одинаков. Так что увеличение производительности на 64-х битных системах достигается за счет того, что параметры для функций API передаются в регистрах, а не в стэке, как это было на 32-х битных ОС. Учитывая огромное количество вызовов различных подпрограмм даже для отрисовки простого пикселя — это даст ощутимый прирост. PAE здесь ни при чем    

Говоря про упадок производительности, имелось в виду следующее:

1) При 64-х битной адресации в кэшах умещается меньше слов данных (в два раза!).

2) 64-х битное АЛУ по определению будет работать дольше 32-х битного, в силу обработки большего количества бит. Для примера, при создании Pentium-4 было решено перейти на 16-ти битное АЛУ, именно в целях повышения быстродействия, поскольку подавляющее большинство вычислений вполне умещается в 16 бит. В результате, на простых приложениях 16-ти битное АЛУ Pentium-4 с легкостью обставляло 32-х битное АЛУ Pentium-3. На 32-х битных вычислениях оно конечно проигрывало, но таких очень мало.

3) При 32-х битной адресации процессору нужно выбирать из памяти меньше байт на команду, чем при 64-х, что тоже сказывается на скорости. Программы под 32 бита в среднем меньше 64-х битных в 1.5-3 раза.

Единственный вариант повышения производительности 64-х битных машин — это увеличение кэша и добавление новых регистров. Вот последнее и позволяет наиболее эффективно нивелировать отставание от 32-х битных. Для примера, первые процессоры Z80 на схожей с 8080 частоте превосходили их в 1.5-3 раза, именно за счет увеличения в два раза регистров.

С другой стороны, а кто мешал добавить регистров в 32-х битные процессоры? Да никто, просто маркетологи сочли это бесперспективным, в отличии от перехода на 64-х битные — это же куда как круче звучит и можно срубить побольше бабла