'It Serve You Right To Suffer' ble spilt inn i New York City sent i 1965 og utgitt i 1966. Hookers karriere-definerende singler ble vanligvis spilt inn uten mye bakgrunnsband - Hookers avslag på å begrense bluesen sin til strukturer som en enkelt toneart, tempo eller rytme skremte bort de fleste potensielle bandmedlemmer - men produsent Bob Thiele hadde en radikal idé: han parret Hooker med det beste av Impulse!s jazzmusikere. Resultatet er et artefakt som viser en sjelden kulturell dialog; delta bluesmannen som kjører i bilen med bebop jazzmusikeren.