Хотела узнать, не пустили в страну из-за неправильности студ визы в Малайзию, пришлось заехать как турист. можно ли в стране поменять на студ визу?

Нет, внутри страны визу сконвертировать нельзя.

вероятно, нужно с учебным заведением связываться и выяснять, как так вышло. Но выехать/заехать, я думаю, всё равно придётся

Вам надо связаться с институтом. Если виза была как-то не так оформлена, то процесс исправления может занять время. Но в любом случае это подразумевает, что вы находитесь за пределами страны.