Подскажите, пожалуйста, насколько рискованный будет путь через Финляндию в Сербию, если билеты с пересадками в Риге и Праге?

Не рискуйте. Пересадки в шенгене и так не разрешены в целом (говорят, что есть успешные случаи коротких, но лично таких кейсов не встречал). А тем более у вас длинная пересадка. Минимум - не впустят в Финляндию. Максимум - аннулируют визу. Лучше сразу через Стамбул летите из РФ.

Если билеты раздельные разных авиакомпаний, шанс стремится к нулю.

Летите прямым рейсом из Хельсинки в Тиват, оттуда уже в Сербию. Рейс прямой, шанс что пустят выше.