Peter Serkin was born in New York City and is the son of pianist Rudolf Serkin, and grandson of the influential violinist Adolf Busch, whose daughter Irene had married Rudolf Serkin. Peter was given the middle name Adolf in honor of his grandfather.