Mariano Passalaqua, mineur de charbon et ouvrier d’aciérie, avait décidé que son fils gagnerait sa vie moins péniblement que lui. Il a donné au jeune Joseph Anthony (plus tard connu sous le nom de Joe Pass) une guitare à cordes d’acier Harmony à table bombée pour son 9e anniversaire et lui a imposé des heures de pratique quotidienne. Il devait notamment jouer toutes les chansons que la radio diffusait fréquemment. Trois ans plus tard, Joe a obtenu une Martin équipée d’un pickup DeArmond et a commencé à vouloir jouer professionnellement. Il est devenu habile au point d’entrer dans le groupe de Tony Pastor à 14 ans, improvisant sur des standards comme Honeysuckle Rose et I Got Rhythmtout en appliquant les concepts de guitaristes qui l’influençaient, Charlie Christian, Django Reinhardt et Wes Montgomery, ou d’autres virtuoses tels le saxophoniste Charlie Parker et le pianiste Art Tatum.
À 20 ans, il s’est installé à New York où il a participé à des jams avec certaines de ses idoles, mais a également traversé une période de 12 ans de toxicomanie, ce qui comprend un séjour en prison. Tournant la page en 1960, il entra dans un centre de désintoxication en Californie et enregistra Sounds of Synanon, une pièce de collection de nos jours, avec d’autres patients. En 1963, sa réputation a grandi en tant que guitariste de haut calibre et il a commencé à enregistrer pour l’étiquette Pacific, s’adaptant même à la vague rock n’roll en offrant sa version de certains hits des Rolling Stones. A partir de là, Pass a participé à tous les types de groupes de musique, du duo à l’orchestre complet, mais ses projets solo et certaines rencontres illustres ont été particulièrement remarqués, surtout sur les enregistrement du label Pablo de Norman Granz dès 1972 (quatre volumes Virtuose, de 1972 à 1977, The Trio, avec Oscar Peterson et Neils-Hegging Orsted Pedersen, Take Love Easy, Live at Carnegie Hall, Portraits de Duke Ellington en 1974, The Giants en 1974, avec Oscar Peterson et Ray Brown, The Big 3 en 1975, avec Milt Jackson et Ray Brown, Fitzgerald and Pass… Again en 1976, ou Speak Love, aussi avec Ella Fitzgerald en 1983.
Au début, sa technique utilise principalement l’alternance vers-le-bas/vers-le-haut au médiator, suivie au cours des ans d’un hybride combinant médiator et doigts, pour en arriver enfin à une approche entièrement fingerstyle.
Établi comme l’un des grands du jazz, Pass a fait des tournées dans le monde entier et a commencé à offrir à d’autres guitaristes des aperçus des rouages internes de son art. Il a écrit des livres pour décrire minutieusement son style, son approche et sa technique : Joe Pass Guitar Style, Joe Pass Guitar Solos, Joe Pass Guitar Chords, et Joe Pass Chord Solos.