Я думал уволится с работы я гражданин Киргизии, приехал с визой в Венгрию, буду ли я оштрафован за увольнение?

Зависит от условий вашего контракта.

Как я понял, нужно в таком случае обратиться в миграционку, сказать об увольнении, сделать визу по поиску работы, найти другую работу и снова получить внж.