Po skončení The Naked Brothers Band se Kaye objevila v několika filmech a televizních pořadech, včetně filmu „The Wackness“ (2008) a televizní show „Royal Pains“ (2009-2010). Režíroval také několik krátkých filmů a dokumentů.
V posledních letech se Kaye soustředil především na svou hudební kariéru. Své debutové album „Alone Together“ vydal v roce 2012 a od té doby pokračuje ve vydávání hudby. Absolvoval také rozsáhlé turné, a to jak jako sólový umělec, tak se svou kapelou Josh Kaye Experience.
Kromě své hudební kariéry se Kaye také podílí na několika filantropických snahách. Je zastáncem duševního zdraví mládeže a spolupracoval s několika organizacemi na zvýšení povědomí o této problematice. Je také příznivcem umění a spolupracoval s několika školami a komunitními organizacemi, aby mladým lidem poskytl příležitosti k účasti na umění.