Andy Lee tiene tres pérdidas contra tres oponentes en su carrera de boxeo. Para una lista de las mejores peleas de Lee, consulta "Mejores peleas de Andy Lee".
El 19 de diciembre de 2015 Andy Lee se enfrentó a Billy Joe Saunders en un combate de medio titulado por el título OMB. Lee tenía 31 años y un récord de 34-3-1 (24), y Saunders tenía 26 años y un récord de 22-0 (12). Lee perdió la pelea por asalto 12º decisión mayoritaria y perdió el título OMB.
El 16 de junio de 2012 Andy Lee se enfrentó a Julio César Chávez Jr. en un combate de medio titulado por el título CMB. Lee tenía 28 años y un récord de 28-2 (20), y Chávez Jr. tenía 26 años y un récord de 45-0-1 (31). Lee perdió la pelea por asalto 7º TKO.
El 21 de marzo de 2008 Andy Lee se enfrentó a Brian Vera a la edad de 23. Él entró con un récord de 15-1 (12). Lee perdió la pelea por TKO en el asalto 7º.