Largement autodidacte, c'est vers l'âge de douze ans que Zappa commence à être attiré par la batterie. En 1953, il s'inscrit à un cours d'été pour apprendre les rudiments du jeu. En 1954, il aurait réalisé sa toute première composition, une œuvre dont il ne reste apparemment rien. Sa deuxième composition, de la même époque, est une pièce pour caisse claire solo intitulée Mice, dont la partition aurait été conservée dans les archives du compositeur.

C'est également à l'âge de quatorze ans que Zappa découvre, par le disque, la musique d'Edgard Varèse et, grâce à un professeur de la Mission Bay High School de San Diego, la musique dodécaphonique. À quinze ans, il rejoint le groupe de rhythm'n'blues The Ramblers en tant que batteur, et donne ses premiers concerts. Il sera également batteur du groupe The Blackouts en 1957 et 1958. C'est à partir de ce moment-là que Zappa, qui aime beaucoup écouter les solos de guitare des musiciens de rhythm'n'blues dont il collectionne les enregistrements (Johnny "Guitar" Watson ou Clarence "Gatemouth" Brown, entre autres), décide d'apprendre à jouer de l'instrument.

En 1958, il dirige à quelques reprises sa propre musique interprétée par l'orchestre de la classe de William Ballard au Antelope Valley Junior College. En 1959, c'est un professeur d'anglais rencontré trois ans auparavant au Antelope Valley High School, Don Cerveris, qui offrira au jeune compositeur un premier contrat de musique orchestrale en lui demandant d'écrire la musique du film Run Home, Slow, dont il a conçu le scénario (le film, réalisé par Tim Sullivan, alias Ted Brenner, ne paraîtra qu'en décembre 1965). Après sa graduation en 1958, Zappa s'est bâti une éducation musicale comme il le pouvait avec ce qui s'offrait à lui : cours d'été à l'école de musique et d'arts d'Idyllwild (1958), harmonie durant quelques semaines au Chaffey Junior College d'Alta Loma (1960) et classes de composition de Karl Kohn au Pomona College de Claremont (1961).

Parallèlement à ses talents de musiciens, Zappa excelle aussi en arts visuels, remportant un concours régional d'affiche en 1955 et un concours de l'état de la Californie en 1958. En 1960, il est concepteur de cartes de vœux et de publicités. C'est aussi en 1960 qu'il rencontre Paul Buff, un ingénieur du son qui a construit son propre studio d'enregistrement, Pal Recording Studio. Lui-même multi-instrumentiste, Buff embauche Zappa pour le seconder en tant qu'ingénieur du son, instrumentiste et compositeur-maison, dans le but de faire carrière en produisant des hits de surf-music. L'entreprise n'ayant guère de succès, Buff se verra dans l'obligation de céder son studio à Zappa, ce dernier pouvant réaliser la transaction après avoir été payé pour l'enregistrement de la musique du film Run Home, Slow ; le premier août 1964, le studio sera renommé Studio Z.

Au début des années soixante, Zappa travaille au sein de différents groupes à titre de guitariste, mais il s'affirme aussi comme compositeur expérimental, apparaissant en mars 1963 à l'émission de télévision The Steve Allen Show pour interpréter avec l'orchestre-maison un Concerto pour deux bicyclettes, sons pré-enregistrés et ensemble instrumental et proposant en mai au Mount St. Mary's College (Los Angeles) un concert intitulé « La musique expérimentale de Frank Zappa ». En 1964, il élabore la trame d'un opéra-rock, I Was A Teen-age Malt Shop (il reviendra au genre avec Joe's Garage en 1979 et Thing Fish en 1984) et un premier scénario de film (Captain Beefheart vs. The Grunt People) ; il scénarisera, réalisera et produira quelques films durant sa carrière (200 Motels [1971], Baby Snakes [1979], Video From Hell [1987], etc.).

En mai 1965, le groupe de rock dont Zappa est le leader se rebaptise The Mothers (le terme pouvant être jugé offensant, on ajoutera « of Invention » lors de la sortie du disque Freak Out!, en 1966). La formation originale des Mothers of Invention, devenue un « ensemble de musique de chambre électrique », s'éteindra en 1969, mais Zappa dirigera tout au long de sa carrière des ensembles, considérés comme de véritables écoles de professionalisme musical, interprétant ses compositions : un mélange iconoclaste des types les plus variés de musiques populaires et de musiques savantes, assorti de paroles de chansons très critique de la politique américaine ou, plus largement, du american way of life, et distillant un humour qui frôle régulièrement les frontières de la vulgarité. Malgré une prédilection pour les grands ensembles et la musique instrumentale, Zappa aura magnifiquement su s'adapter aux contraintes financières l'obligeant à tourner avec de petits ensembles (son rockin' teenage combo) et à composer des « chansons ».

Zappa a exercé une influence certaine sur un grand nombre de musiciens (qu'ils soient issus du rock, du jazz ou des musiques savantes) qui cherchent à faire les choses autrement. Ceux de ses confrères qui se sont donnés la peine d'aller voir au-delà de l'image de clown obscène trop souvent véhiculée par les médias ont en effet découvert un compositeur méritant l'attention. Ainsi de Pierre Boulez, qui accepta au début des années quatre-vingt de collaborer avec Zappa à la création de certaines de ses œuvres au concert et sur disque (« Boulez Conducts Zappa: The Perfect Stranger », Angel, 1984). Cette reconnaissance de Boulez a fait ouvrir les yeux à beaucoup d'observateurs et a certainement contribué à faire évoluer les perceptions. De plus, c'est alors qu'il fréquentait l'Ircam que Kent Nagano a découvert, à travers les rumeurs de cette collaboration entre Boulez et Zappa, que ce dernier faisait aussi de la « musique sérieuse ». Après avoir contacté le compositeur, Nagano donnera la création en concert de plusieurs de ses pièces pour orchestre avec le London Symphony Orchestra et c'est aussi ce partenariat qui lui permettra d'enregistrer son premier disque (« London Symphony Orchestra Vol. 1 », Barking Pumpkin, 1983).

Zappa fera une dernière tournée mondiale dans le circuit rock avec un ensemble d'une douzaine de musiciens en 1988 et il participera à son tout dernier concert en dirigeant l'Ensemble Modern à Francfort en septembre 1992. Le 4 décembre 1993, il meurt des suites d'un cancer de la prostate. Sa discographie, que n'a cessé d'enrichir le Zappa Family Trust par des ajouts d'enregistrements inédits de toutes sortes, comptait déjà à son décès plus de soixante titres.