Nato nello Staffordshire, David Jackson (come era allora conosciuto) è cresciuto a Portsmouth nella zona di Paulsgrove e ha frequentato la City of Portsmouth Boys School. I suoi genitori si trasferirono poi a Gosport quando era adolescente. Inizialmente imparò a suonare il violino, ma presto passò al pianoforte e convinse suo padre a installarne uno nell'atrio della loro casa popolare di Paulsgrove. Dall'età di 16 anni suonò nei bar e vinse una borsa di studio per studiare composizione musicale alla Royal Academy of Music di Londra. La prima band di Jackson, a Gosport, fu Edward Bear (da non confondere con la band canadese degli anni '70 guidata da Larry Evoy). La band fu successivamente ribattezzata Edwin Bear e successivamente Arms and Legs, ma si sciolse nel 1976 dopo due singoli infruttuosi. Sebbene fosse ancora conosciuto come David Jackson mentre era in Arms & Legs, fu in questo periodo che Jackson prese il soprannome di "Joe", in base alla sua somiglianza percepita con il personaggio fantoccio Joe 90. Trascorse poi un po' di tempo nel circuito del cabaret. guadagnare soldi per registrare i propri demo. Tuttavia, a scuola, dal 1972 in poi, era conosciuto dai suoi compagni e insegnanti come "Joe". Nel 1978, un produttore discografico ascoltò la sua cassetta e gli fece firmare un contratto con la A&M Records. L'album Look Sharp! fu registrato subito e uscì nel 1979, seguito subito da I'm the Man (sempre del 1979) e Beat Crazy nel 1980. Collaborò anche con Lincoln Thompson nel reggae crossover.
Nel 1981, Jackson ha prodotto un album per il gruppo power pop britannico The Keys. The Keys Album era l'unico LP del gruppo.
La Joe Jackson Band fece un lungo tour. Dopo lo scioglimento della band, Jackson si prese una pausa e registrò un album di brani swing e blues vecchio stile, Jumpin' Jive, con canzoni di Cab Calloway, Lester Young, Glenn Miller e, soprattutto, Louis Jordan. L'album, e il singolo associato, sono stati accreditati a Jumpin' Jive di Joe Jackson.
L'album di Jackson del 1982 Night and Day ha reso omaggio all'arguzia e allo stile di Cole Porter (e indirettamente a New York City). Night and Day è stato l'unico album in studio di Jackson a raggiungere la Top 10 degli Stati Uniti o del Regno Unito, raggiungendo il 4° posto (USA) e il 3° posto (Regno Unito), e i brani "Steppin' Out" e "Breaking Us In Two" sono stati successi in classifica. I brani "Real Men" e "A Slow Song" hanno puntato indirettamente alla cultura gay della città dei primi anni '80. Jackson ha vissuto a New York per i successivi 20 anni, incorporando il suono della città nella sua musica negli anni '80 e oltre. Quasi due anni dopo, Jackson registrò l'album numero 14 nel Regno Unito Body and Soul, anch'esso fortemente influenzato da standard pop, jazz e salsa, presentando il singolo di successo numero 15 negli Stati Uniti "You Can't Get What You Want (Till You Know What You Want) )".
Nel 1986, ha collaborato con Suzanne Vega al singolo "Left of Center" dalla colonna sonora di Pretty in Pink (con Vega che canta e Jackson che suona il piano).
Jackson seguì l'album dal vivo Big World, un doppio disco a tre lati: il quarto lato consisteva in un unico solco centrale e un'etichetta che affermava "non c'è musica su questo lato". La strumentale "Will Power" ha posto le basi per le cose che sarebbero venute dopo, ma prima di lasciarsi alle spalle il pop, ha pubblicato altri due album, Blaze of Glory e Laughter & Lust.
Per alcuni anni si allontanò dallo stile pop, firmando un contratto con la Sony Classical nel 1997. Pubblicarono la sua Sinfonia n. 1 nel 1999, per la quale vinse un Grammy Award come miglior album strumentale pop nel 2001.
Nel 1995, Joe Jackson contribuì con la sua versione di "Statue of Liberty" ad un album tributo alla band inglese XTC chiamato "Testimonial Dinner" (pubblicato nel 1998).
Nel 2003, ha riunito il suo quartetto originale[2] per l'album Volume 4 e per un lungo tour. Come prima, il quartetto era composto da Jackson, Graham Maby, Dave Houghton e Gary Sanford. Nel 2004, Jackson ha eseguito una cover di "Common People" dei Pulp, con William Shatner per l'album di Shatner Has Been.
Jackson è stato in tournée in 45 città americane ed europee nel 2005 con Todd Rundgren e il quartetto d'archi Ethel, apparendo in Late Night con Conan O'Brien eseguendo la loro cover collaborativa di "While My Guitar Gently Weeps".
Successivamente, ha intrapreso un breve tour in formato trio piano-basso-batteria. Ha girato l'Europa nella primavera del 2007, sempre in formato trio. L'album di Jackson, Rain, è stato pubblicato da Rykodisc il 28 gennaio 2008 nel Regno Unito e il giorno dopo negli Stati Uniti.[6] L'album includeva un CD e un DVD bonus contenente oltre 40 minuti di materiale, inclusi concerti, filmati e interviste dietro le quinte. Jackson si è esibito in due spettacoli nel Regno Unito nella primavera del 2008, seguiti da un tour completo nel Regno Unito
