Předpokládá se, že tato fráze vznikla ve Spojených státech v 19. století, kdy byli šerifové volení úředníci odpovědní za vymáhání práva ve svých příslušných krajích. Když byl zvolen nový šerif, často přivedli své vlastní zástupce a provedli změny ve způsobu, jakým bylo vymáhání práva prováděno. To by mohlo vést k významným změnám v místní komunitě, protože nový šerif může mít jiný přístup k vymáhání práva nebo může upřednostňovat jiné záležitosti než předchozí šerif.
Postupem času se výraz „nový šerif ve městě“ začal používat šířeji a označoval jakoukoli novou osobu v pozici autority, která přináší změny nebo má významný dopad na jejich oblast. Nyní se běžně používá v různých kontextech, jako je politika, obchod a sport.