В каких случаях требуют обратный билет при вьезде в малайзию?

Во всех случаях. Могут, конечно, не проверить его наличие, но это уже на ваш страх и риск Билет может быть в третью страну, не обязательно в страну вылета в Малазийю.