Подскажите, устроит ли таможню Таиланда то, что мы не купили обратные билеты, а взяли билеты в Малайзию? Или всё-таки нужно ехать в родную страну?

Очень большая вероятность, что потребуют и обратные билеты в РФ. Причем, не только в Таиланде, а при посадке в России. Кстати, таможня здесь не причем. Они проверяют вещи и деньги. А билеты спрашивают представители авиакомпании при регистрации на рейс и пограничники при пересечении границы.