Han reiste til Kristiania (Oslo) som attenåring og arbeidet som håndverksmaler, inntil han bestemte seg for å satse på en kunstutdannelse.
Han studerte malerkunst i München under Heinz Heim og Carl F. Smith i perioden 1885 – 1886. I 1887 studerte han ved Academie Julian i Paris under Adolphe William Bougureau.
I 1889 reiste han til Henningsvær i Lofoten, en reise som la grunnlaget for mange av de malerier han malte med motiver fra Lofoten. Flere av disse maleriene henger i dag i Galleri Lofotens Hus i Henningsvær.
Ulving kom til å arbeide mye med motiver fra Lofoten i de neste femten årene, blant annet malte han flere bilder fra Lofotfisket. Hans malerier fra Lofoten regnes som noe av høydepunktene i hans omfattende produksjon og har i ettertid gitt ham en posisjon som en av Nord-Norges betydeligste malere.
I 1914 flyttet Ulving til Åsgårdstrand i Sør-Norge. Han produserte et stort antall bilder fra dette området og foretok også flere utenlandsreiser. Etter 1914 malte han ytterst få bilder fra Nord-Norge.