Josh otthagyta a Carnegie Mellont 1 év után, amikor lemezszerződési ajánlatot kapott a Warner Bros. Recordstól. 2000–2001-ben részt vett Sarah Brightman La Luna-koncertkörútján, a There For Me című számmal. Első lemez-debütálása Lara Fabiannal közös számuk, a For Always volt, mely az A.I.: Mesterséges Intelligencia című film egyik betétdala.

 

2001-ben feltűnt Malcolm Wyatt szerepében az Ally McBeal című sorozat évadzáró epizódjában, a You're Still You-t adta elő. Ezt a karaktert kizárólag rá szabta a sorozat rendezője. A projekt annyira sikeresnek bizonyult, – a rajongók visszajelzései alapján –, hogy a következő szezonban is visszatért, és a To Where You Are-t énekelte el.

 

Debütáló albuma a Josh Groban nevet kapta és 2001. november 20-án jelent meg. Foster hatására inkább a klasszikusokra koncentrált, olyan számokkal, mint a Gira Con Me vagy az Alla Luce Del Sole. A lemez a következő évben előbb arany-, majd dupla platinalemez lett. 2002. február 4-én Charlotte Church-csel közösen adták elő a The Prayert, a 2002-es Téli Olimpia záróműsorában.

 

Eddig 7 nagylemeze jelent meg, melyekből több mint 25 milliót adtak el világszerte. A legsikeresebb a Noël című karácsonyi kiadványa, mely a megjelenése után hét héttel lett első helyezett a Billboard 200-on. A lemez öt héten át vezette a 200-as listát, ezzel elnyerve minden idők legkedveltebb karácsonyi CD-jének címét. (Az előző rekorder Elvis Presley volt, aki 1959-ben három hétig volt listavezető.) 2007 legkeresettebb albuma lett az USA-ban, megjelenése után 11 héttel, 3,6 millió eladott lemezzel. 2016-ban a Natasha, Pierre & The Great Comet of 1812 című musicalben nyújtott alakításáért az év Broadway-sztárjának választották.