Jazz tar oss med til 1920-årene, jazzens ville tidsalder i New York, da de gamle verdiene begynte å gå i oppløsning. Vi møter det fargete ekteparet Joe og Violet Trace, og Joes unge elskerinne Dorcas. Handlingen veksler mellom nåtid og fortid og følger mønstrene og sammenhengene i personenes liv.