Подскажите пожалуйста, лучше брать машину в прокат и ездить самим всё смотреть или есть какие-то экскурсии с трансферов до основных достопримечательностей в Исландии?

В декабре тачки должны быть дешёвые, хостелы пустые. Я бы так сделал. 4 дня конечно маловато, но если будете не радиалки делать, а переночуете где нибудь в вике - можно и до ледяной лагуны доехать. А вот в рейкьявик можно не заезжать вообще.

Есть автобусные туры по самым туристическим местам столицы и золотого кольца.

Зависит от вас. Как выше сказали дневное световое время короткое поэтому я старался приезжать на место рано утром, и после 4 уже в сторону ночлега. Ночное вождение не из легких если не привыкли к такому. Поэтому тут комфорт или трудности вам решать.