İki yaşındayken ailesi New York'a yerleşti, 1937'ye kadar ABD'de yaşadı. Annesi terzi, babası berberdi. Mahalle arkadaşı Rocky Marciano daha sonra dünya ağır sıklet boks şampiyonu olacak, bir grup arkadaşı Kaliforniya'da Alcadraz'da, bir kısmı New York'ta Sing-Sing'de oturmak zorunda (!) kalacaktı. Ama o kendini müziğiyle kurtardı. 10 yaşındayken tango orkestralarının önemli çalgısı bandoneonu ustaca çalışıyla ün kazandı, 1934'te tango şarkıcılarının kralı sayılan Carlos Gardel ile çalmaya başladı. Piazzolla bestelediği oda müzikleri, senfoniler, bale müzikleri ve tangolarında kendine özgü stiline her zaman sadık kaldı.
1954'te eğitim için bursla Paris'e gitti, ünlü Fransız eğitmen Nadia Boulanger'den ders aldı ve Gerry Mulligan ile de orada tanıştı. Bir yıl sonra Arjantin'e döndü, tangoyu monotonluktan kurtarmak için bir sekizli kurdu ve kendi tango stilini kabul ettirmeyi başardı. O günlerin en ünlü iki tango topluluğu için 200'den fazla parça düzenledi ve Buenos Aires Üniversitesi'nde konser veren ilk tango müzisyeni oldu. Kısa zaman sonra tiyatro toplulukları, film ve plak şirketlerinden beste siparişleri almaya başladı. Paris Opera Orkestrası Yaylı Çalgılar Topluluğu ve La Scala Opera Orkestrası müzisyenleriyle konserler verdi, 100'den fazla kayıt yaptı. Dünyanın en ünlü senfoni orkestraları onun bandoneon konçertolarını yorumladı.
