Как пересел с 32 битной windows 7 на windows 7 64bit в reaper VST плагин начал появляться в отдельном окне, на 32 бит все нормально. Может есть в настройках галочка как впихнуть окно в FX?