Halfdan Kjerulf var sønn av embetsmannen Peder Kjerulf. Opprinnelig studerte han juridikum for å bli embedsmann som sin far. Kort før han skulle ta eksamen i 1839 ble han alvorlig syk og dro sommeren 1840 til Paris på en rekreasjonsreise. Her kom han i kontakt med et aktivt musikkliv der wienerklassikerne og de tidlige romantikerne sto i fokus. Berlioz, som på den tiden var svært omstridt, fikk han også høre.
Vinteren 1840–41 døde Kjerulfs søster, Ida, og deres far (noen år senere, 1847, også broren Hjalmar), og som den eldste av søsknene måtte han støtte familien økonomisk og ble utenriksredaktør i Den Constitutionelle, en av tidens viktigste aviser. Han ga allikevel ikke opp musikken og ga ut sine første komposisjoner høsten 1841. 1845 sluttet han i avisen for å bli musikklærer. Han ble samme år den første dirigenten i Den norske Studentersangforening der han virket til 1849.
Da Carl Arnold kom til Christiania begynte Kierulf å studere musikkteori hos ham. Arnold hjalp ham også til å få et stipendium for å studere i utlandet, først i København hos Niels W. Gade, senere i Leipzig hvor han i en alder av 35 år avsluttet sin konservatorieutdannelse.
1851 kom han tilbake til Christiania og begynte som musikklærer igjen. De siste årene var han sterkt plaget av sykdom. Han døde 11. august 1868.