Jimmy Ellis tiene 12 pérdidas contra 11 oponentes en su carrera de boxeo. Para una lista de las mejores peleas de Ellis, consulta "Mejores peleas de Jimmy Ellis".
El 2 de marzo de 1975 Jimmy Ellis se enfrentó a Joe Frazier a la edad de 35. Él entró con un récord de 39-12-1 (23), y Frazier tenía 31 años y un récord de 31-2 (26). Ellis perdió la pelea por 9º asalto TKO.
El 12 de noviembre de 1974 Jimmy Ellis se enfrentó a Joe Bugner a la edad de 34. Él entró con un récord de 39-11-1 (23), y Bugner tenía 24 años y un récord de 48-6-1 (29). Ellis perdió la pelea por 10º asalto decisión por puntos.
El 16 de julio de 1974 Jimmy Ellis se enfrentó a Ron Lyle a la edad de 34. Él entró con un récord de 39-10-1 (23), y Lyle tenía 33 años y un récord de 27-1-1 (19). Ellis perdió la pelea por 12º asalto decisión unánime.
El 12 de diciembre de 1973 Jimmy Ellis se enfrentó a Boone Kirkman a la edad de 33. Él entró con un récord de 39-9 (23). Ellis perdió la pelea por 10º asalto decisión dividida.
El 18 de junio de 1973 Jimmy Ellis se enfrentó a Earnie Shavers a la edad de 33. Él entró con un récord de 38-8 (22), y Shavers tenía 28 años y un récord de 44-2 (43). Ellis perdió la pelea por 1º asalto KO.
El 26 de julio de 1971 Jimmy Ellis se enfrentó a Muhammad Ali en un combate de completo a la edad de 31. Él entró con un récord de 30-7 (14), y Ali tenía 29 años y un récord de 31-1 (25). Ellis perdió la pelea por 12º asalto TKO.
El 16 de febrero de 1970 Jimmy Ellis, el campeón de la AMB, se enfrentó a Joe Frazier, el campeón de la CMB, en un combate de completo world-title. Ellis tenía 29 años y un récord de 27-6 (12), y Frazier tenía 26 años y un récord de 24-0 (21). Ellis perdió la pelea por 4º asalto retiro y perdió su título.
El 30 de noviembre de 1964 Jimmy Ellis se enfrentó a George Benton a la edad de 24. Él entró con un récord de 15-5 (6), y Benton tenía 31 años y un récord de 52-9-1 (30). Ellis perdió la pelea por 10º asalto decisión mayoritaria.
El 21 de octubre de 1964 Jimmy Ellis se enfrentó a Don Fullmer a la edad de 24. Él entró con un récord de 15-4 (6). Ellis perdió la pelea por 10º asalto decisión dividida.
El 28 de febrero de 1964 Jimmy Ellis se enfrentó a Rubin Carter a la edad de 24. Él entró con un récord de 14-3 (5). Ellis perdió la pelea por 10º asalto decisión unánime.
El 1 de septiembre de 1962 Jimmy Ellis se enfrentó a Henry Hank a la edad de 22. Él entró con un récord de 11-2 (4). Ellis perdió la pelea por 10º asalto decisión unánime.
El 29 de noviembre de 1961 Jimmy Ellis se enfrentó a Holley Mims a la edad de 21. Él entró con un récord de 5-1 (2). Ellis perdió la pelea por 10º asalto decisión unánime.