Разрешение "в игре" имеется в виду разрешение при записи? Если так, то да, идеально ставить в проекте такое же разрешение, если нужно другое, то лучше и при записи соответсвенно его менять. При выборе разрешения нельзя забывать, что все практически алгоритмы пожатия (x264 например) требуют чтобы разрешение было кратно 16.
Ставить в вегасе меньшее разрешение еще можно, хотя это и добавит проблем, но увеличивать - совершенно недопустимо - изображение будет масштабироваться, то есть терять в качестве. И да, дерганье моделек и есть то самое лагание, появляющееся при записи на высоких фпс.