Ruffin morreu em um hospital em Las Vegas, nos Estados Unidos. Segundo a imprensa local, a causa da morte não foi revelada. "Posso confirmar a morte da lenda da Motown, Jimmy Ruffin", disse à AFP Allen Rawls, diretor do Museu da Motown.
Nascido no Mississippi em 7 de maio de 1939, Ruffin lançou sua carreira solo, depois de rejeitar uma oferta da Motown para se juntar à banda The Tempations, que então contratou seu irmão David como solista e registrou grandes sucessos, incluindo a canção 'My Girl'.
Após o sucesso de 'What Becomes of the Brokenhearted', em 1966, ele gravou outros sucessos como 'Gonna Give Her All the Love I've Got', 'Don't You Miss Me A Little Bit Baby' e 'I've Passed Ths Way Before'.
Ruffin mudou-se para o Reino Unido na década de 70 e retornou ao cenário musical na década de 80 com 'Hold on to My Love', co-produzido por Robin Gibb, do Bee Gees.