Въехал в Казахстан с загранпаспортом, но на границе не поставили штамп. Смогу ли я открыть счёт в банке кроме Каспи? Смогу ли я вылететь из Казахстана в другую страну?

Да, но сходите в миграционную сделайте уведомление о прибытии и попросите распечатку, скажите что для банка нужно. Вылететь сможете, в базе пограничной вас отметили в любом случае, но когда уведомление миграционной сделаете, то будете уже на 100% уверены что вы легально тут находитесь, на случай если погранцы оплашали