Je však pravda, že během své kariéry čelil kritice a kontroverzi, což vedlo k určitému napětí se sítěmi a diváky.
Zde je několik příkladů toho, co by k tomuto vnímání mohlo přispět:
* Kritika sportovců: Cosell byl známý tím, že kritizoval výkon sportovců, často tupým a nefiltrovaným stylem. To někdy vedlo k veřejným střetům s hráči.
* Rasový a sociální komentář: Byl také známý pro řešení sociálních a rasových otázek, někdy způsobem, který byl považován za necitlivý nebo urážlivý.
* střet se sítěmi: Měl poněkud bojový vztah se sítěmi, často zpochybnil jejich autoritu a posunul hranice s jeho komentářem.
I když nikdy nedošlo k jedinému incidentu, který vedl k jeho odstranění z vysílání, tyto faktory přispěly k jeho vnímání jako kontroverzní postavě. Nakonec odešel z vysílání v roce 1985, ale bylo to spíše kvůli jeho věku a zdraví než jakékoli konkrétní kontroverzi.