Fue el cuarto de seis hermanos. Tres chicas mayores que él: Jean, Iris y Gillian, y dos chicos menores, Paul y Tony. Sus padres eran John Tomas y Lillian Osbourne. Tuvo una niñez pobre, en la cual llegó a trabajar como lustrabotas. Su familia era de clase trabajadora. Con continuos problemas económicos, las peleas conyugales eran habituales, sobre todo cuando su padre llegaba borracho.

Dejó la escuela a los 15 años, y se empleó en varios trabajos donde pagaban muy poco, optando por la vida delictiva, robando en casas hasta que lo arrestaron y fue condenado a 3 meses de cárcel. Ahí, él mismo con una aguja de coser y un trozo de grafito se hizo varios tatuajes: El de "OZZY" en sus nudillos y unas caritas felices en sus rodillas. Tras seis semanas de encarcelamiento salió libre. Fue cantante en pequeños grupos musicales de la zona de Birmingham, hasta que conoció a Tony Iommi, Bill Ward y Terence "Geezer" Butler y formaron la banda Polka Tulk Blues Band (nombre tomado de una tienda de ropa pakistaní del área), luego que viera un anuncio donde se buscaba a un vocalista, a la que cambiaron luego el nombre por Earth, con la que consiguieron cierta resonancia en la zona. Pero había otra banda con el mismo nombre, y decidieron ponerse otro.

Se llamaron Black Sabbath, una de las iniciadoras del Hard Rock y Heavy Metal. Nombre que Butler tomó de una vieja película de Boris Karloff de 1933. Este nombre de la banda surge ante la inesperada visión del baterista de la banda en su cuarto una, figura vestida de negro que lo miraba fijamente, de este suceso se origina uno de sus más grandes éxitos, la canción homónima de su álbum Black Sabbath