L'ancien champion du monde américain des poids lourds a commencé sa carrière en amateur en 1962. Déjà très puissant, l'apprenti boucher a remporté les "Golden Gloves" trois années de suite entre 62 et 64. 1964, l'année où "Smokin' Joe" a remporté le titre olympique à Tokyo. Lors de ces Jeux Olympiques, Frazier a été le seul boxeur américain à avoir été titré à seulement 20 ans. 
 
Durant sa longue carrière, l'Américain a disputé 13 championnats du monde des poids lourds. Il a remporté tous ses championnats sauf contre George Foreman le 22 Janvier 1973 par arrêt de l'arbitre à la 2e reprise. Son championnat du monde le plus célèbre était celui face à Mohammed Ali qui était à ce moment là, au sommet de son art. Malgré une fracture du pouce droit, "Smokin' Joe" a terrassé "Ali l'invincible" aux points. A la suite de ce combat, Frazier a décliné, ne disputant seulement que deux combats par an et en s'entrainant très mal pour un boxeur de haut niveau. 
 
Voulant reconquérir le titre mondial, Joe Frazier a combattu Mohammed Ali deux autres fois mais pas lors de championnats du monde. Il a perdu ses deux combats, le premier à New York en 1974 et le deuxième à Manille en 1975 dans un des combats les plus violents de l'histoire de la boxe. Ce combat, appelé "Thriller in Manilla" a été arrêté par l'entraîneur de Frazier car le visage de Smokin'Joe était complètement tuméfié et il voyait seulement d'un seul oeil. 
 
Après sa carrière, Joe Frazier est devenu entraîneur. Il a notamment entraîné ses fils Joe Hector et Marvis ainsi que sa fille Jackie, dont la seule défaite fut concédée face à la fille de Mohammed Ali, Laila.
 
Dès l'annonce de sa mort, les réactions n'ont pas tardé de la part des boxeurs. «J'aurai toujours du respect et de l'admiration pour Joe. Mes pensées vont à sa famille et ses proches», a déclaré Mohammed Ali. "Bonne nuit Joe. Je t'aime cher ami", a déclaré Foreman sur Twitter. Oscar De La Hoya est aussi allé de son petit mot :  "Tu vas me manquer mon ami. Repose en paix." Floyd "Money" Maywhether a déclaré que "son équipe payera les funérailles de Joe Frazier".
 
C'est finalement le cancer qui a vraiment mis KO ce boxeur d'exception qui a fait son entrée au Hall Of Fame 1990.