Я вот читал мануал по архитектуре, но у меня такого понимая не возникло, может расскажете почему так? По идее с их регисторвыми окнами наоборот они должны быть менее чувствительными к капризам памяти.

Я не читал про Эльбрусе, но читал про Итаниюме и Трансмете. У Итаниюма должно быт гораздо больше кэш памяти чем на нормальних процесорах, потому что и бинарний код гораздо большие. Каналы памяты тоже помогут. На Трасмете тоже самое было нужно, но этого не было, и это одна из причина что Трансмета провалился.

Суть в том, что помимо команд и данных в vliv процессорах идет еще огромное кол-во служебной информации, из-за этого сам код становится "рыхлым"
простой пример например Вам надо сложить 4 числа. То-есть сделать FADD и FADD, в обычном процессоре, будь то интел ia32 или ARM вы указываете команду и операнды. а внутри процессора все расстановки внутри вычислительных блоков делает сам процессор. то-есть закидывает фадд на одно исполняющее устройство а другой фадд на другое. Или если данные связаны, ждет, пока один выполнит сложение, после этого запускает второй.
во влив процессорах, помимо самого действия надо еще указать куда именно запихнуть все. то-есть складываем числа на первом ф.у, другое на третем ф.у.
Из-за этого код сам по себе здорово увеличивается в объёме.