En enero de 1980, Setzer forma los Stray Cats junto a Lee Rocker (Leon Drucker) y Slim Jim Phantom (James McDonnell). Después de actuar desde Nueva York hasta Filadelfia, en junio de 1980 deciden ir a Londres donde pensaban que su música y su estilo iba a ser más apreciado. Tuvieron que vender sus instrumentos, en una tienda llamada "Sam Ash Music" en la calle 48, para poder comprar los tres billetes de avión. Los "Stray Cats llamaron la atención de un productor llamado Dave Edmunds y sacaron varios singles que tuvieron éxito. En 1982 consiguieron llamar la atención en América con el disco Built for speed, este incluía los singles "Rock This Town" (nº2 en el Top Ten) y "Stray Cat Strut" (nº3 en el Top Ten). El siguiente álbum Rant 'N Rave with te Stray Cats incluyó los singles "(She's) Sexy + 17" (nº5 en el Top Ten) y "I Won't Stand in Your Way" (nº 35 en el Top Ten).

Los Stray Cats se separaron en 1984, aunque se reunido ocasionalmente para grabar discos y hacer giras. En el año 2004 Brian Setzer se volvería a reunir junto con sus compañeros Slim Jim Phantom y Lee Rocker de los Stray Cats en una gira que les llevaría por toda Europa, incluyendo dos conciertos en España: el primero en la sala Razzmatazz de Barcelona, y el segundo en el marco del Crossroad Festival de Gijón. En la misma, Setzer pudo descubrir que la magia que desprende junto a estos dos monstruos del r´n´r, es difícilmente igualable a la de cualquier otra formación de este estilo, por lo que comenzando en Agosto de 2008, vuelven a los escenarios de Europa, abriendo en España. Esta será la gira de despedida del grupo, conocida como "Farewell Tour".

En 1986, Setzer saca su primer disco en solitario, The Knife Feels Like Justice, con este álbum se aleja del estilo rockabilly para caer en sonido rockero mas normal. Este disco tiene menos éxito llegando al puesto 45 de la lista de ventas de US. También, a mediados de los 80s, Setzer ocupó el lugar de guitarra solista en la gira de la banda de Robert Plant The Honydrippers. En 1987, Setzer, actuó como Eddie Cochran en la película que contaba la biografía de Ritchie Valens, La Bamba.

Setzer formó The Brian Setzer Orchestra a mediados de los 90s, dicha banda era un retorno al swing y al jump blues, fue un proyecto muy ambicioso con una orquesta de 17 músicos que sacaron 4 álbumes de estudio, un disco de Navidad y varios en directo entre 1994 y 2002. Su mayor éxito fue en 1998 con el lanzamiento de The dirty Boogie, que se metió en el Top Ten de ventas de US, y contenía un single llamado Jump, Jive an'Wail, que era una versión de Louis Prima.