Sus primeros pasos musicales fueron en la universidad, aunque fue un mal estudiante. Fundó su primer grupo, Neil Young & The Squires, a mediados de los 60 en Winnipeg. Regresó a su ciudad natal, donde se encontró con Rick James y entró a formar parte de su banda, Mynah Birds, en la que conoció al que más tarde sería su road manager, Bruce Palmer.

Más adelante actuó en cafés, donde conoció a Joni Mitchell, Stephen Stills (en una gira de su grupo The Company) y Richie Furay.

En febrero de 1966 abandonó Winnipeg junto con Palmer a bordo de un coche fúnebre, recorriendo la distancia que les separaba de Los Ángeles, en busca de Stills, a quien encontró con Richie Furay, el 2 de marzo del mismo año, casualmente en un atasco, al día siguiente fundaron la banda Buffalo Springfield, en la que también estaba Dewey Martin. Editaron tres álbumes en dos años, Buffalo Springfield (Atco, 1966), Buffalo Springfield Again (Atco, 1967) y Last Time Around (Atco, 1968), éste último publicado cuando ya se había separado el grupo. En la última época de su unión con Stills fue detenido por la policía por situación irregular, recibiendo una paliza. Además, su amigo Pamer fue arrestado por posesión de drogas y deportado a Canadá

Su primer disco en solitario lo editó en 1969 y se tituló Neil Young. Poco más tarde entró a formar parte de Crosby, Stills, Nash & Young. Se le catalogó como el primer grunge debido a su aspecto y a la influencia que tuvo en bandas de ese estilo.