Buster Mathis tiene cuatro pérdidas contra cuatro oponentes en su carrera de boxeo. Para una lista de las mejores peleas de Mathis, consulta "Mejores peleas de Buster Mathis".
El 29 de septiembre de 1972 Buster Mathis se enfrentó a Ron Lyle a la edad de 29. Él entró con un récord de 30-4 (21), y Lyle tenía 31 años y un récord de 16-0 (14). Mathis perdió la pelea por 2º asalto KO.
El 17 de noviembre de 1971 Buster Mathis se enfrentó a Muhammad Ali en un combate de completo a la edad de 28. Él entró con un récord de 29-3 (20), y Ali tenía 29 años y un récord de 32-1 (26). Mathis perdió la pelea por 12º asalto decisión unánime.
El 24 de marzo de 1969 Buster Mathis se enfrentó a Jerry Quarry a la edad de 25. Él entró con un récord de 29-2 (20), y Quarry tenía 23 años y un récord de 30-2-4 (18). Mathis perdió la pelea por 12º asalto decisión unánime.
El 4 de marzo de 1968 Buster Mathis se enfrentó a Joe Frazier en un combate de completo a la edad de 24. Él entró con un récord de 23-1 (17), y Frazier tenía 24 años y un récord de 19-0 (17). Mathis perdió la pelea por 11º asalto TKO.
