Подскажите, пожалуйста, обязан ли иностранный гражданин всегда иметь при себе паспорт и документы, подтверждающие право находиться в Казахстане? Если да, то какая статья закона это утверждает?

Нет, ни удостоверение личности, ни паспорт иметь при себе человек не обязан. Однако, у полиции есть право задержать вас на срок до 2-х суток, по-моему, для установления личности. Выбирать вам, права есть не только у вас, но и у полиции:)