Tollefsen tok til å spela trekkspel som sjuåring. Han fekk etter kvart Ottar E. Akre som lærar. Han spelte både folkemusikk og klassisk. I 1933 blei han engasjert av BBC og arbeidde for den engelske kringkastinga i fem år. Han heldt til i Noreg under andre verdskrigen, men drog tilbake til England etterpå og blei konsertmusikar. Han opptrådde mellom anna som solist med den einaste trekkspelkonserten skriven til då, av Pietro Deiro. Tollefsen turnerte seinare i Europa, Amerika og Australia.I 1977 vann Tollefsen juryen sin heidringspris under utdelinga av Spellemannprisen.