Som tiåring begynte han å ro fiske sammen med sin far og deltok etter hvert mange år under Lofotfisket. I 1910 arbeidet han som krambodsvenn i Tromsø og dro derfra til Svolvær hvor han startet egen forretning i 1913.
Han arbeidet senere som poståpner, skipsekspeditør og disponent i en fabrikk. I 1920 slo han seg ned som fiskehandler i Oslo, men gikk konkurs.
Uten noen form for formell utdannelse begynte han å male, og han vakte snart oppsikt som den mystiske naturbegavelse enkelte mente han var. De første årene reiste han selv rundt med sine malerier og solgte dem på gatene, uten videre økonomisk suksess. På plakater og annonser reklamerte han da med “Lofotmaleren Einar Berger”.
Men i 1933 lot en kunsthandler i Oslo Berger stille ut i sine lokaler. Bildene vakte oppsikt, salget gikk strykende, han fikk også invitasjon fra utlandet. Einar Berger ble geniforklart av noen, og da i særlig grad av den svenske kunsthistorikeren Bernd Lodewiges som skrev en egen bok om kunstneren.
Berger malte i følge egne utsagn på øyeblikkets inspirasjon. Han kunne bare lukke øynene et øyeblikk så dukket motivene fram, motiver fra årene sammen med sin far på Lofothavet. De aller fleste maleriene etter Einar Berger er fra Lofoten.
Einar Berger er en av de mer omdiskuterte nordnorske malerne fra denne perioden. Selvlært som han var hadde han vanskelig for å bli akseptert i de finere salonger, men han oppnådde etter hvert betydelig anerkjennelse og deltok på utstillinger i Berlin, Paris, Oslo, Nederland, New York, Chicago, Italia og Sverige.