Am 5. November 1982 entschieden die Beach Boys schließlich, dass es genug war und Brian Wilson wurde aus der Band gefeuert, die er so entscheidend mitgestaltet hatte, indem er die Gruppe zu einem der besten amerikanischen Exporte aller Zeiten machte und dazu beitrug, die Popmusik der 1960er Jahre neu zu definieren.
Die Beach Boys waren nicht mehr dieselbe Band, die einen Hit nach dem anderen produzierte und einen dramatischen Niedergang sowohl in kommerzieller als auch in kritischer Hinsicht erlitten hatte. Die Band war nur noch ein Schatten ihres früheren Selbst. Ihr 1979er M.I.U.-Album war ein Tiefpunkt für die Gruppe, die Platte schaffte es nicht in die Top 150 der Charts und ihre nächsten beiden Alben vor 1982 machten es nicht viel besser, ihre Relevanz war ihnen endgültig entglitten.
In einem Interview im April 1980 reflektierte Carl Wilson über den Niedergang der Gruppe: „Die letzten zwei Jahre waren die wichtigste und schwierigste Zeit in unserer Karriere. Wir standen am ultimativen Scheideweg“, bemerkte Carl. „Wir mussten entscheiden, ob das, womit wir uns seit unserer Jugend beschäftigt hatten, seinen Sinn verloren hatte. Wir stellten uns und einander die schwierigen Fragen, die wir in der Vergangenheit oft vermieden hatten.“
Er verließ die Gruppe dann innerhalb eines Jahres, nachdem er sich über das Nostalgie-Format der Band aufgeregt hatte, und sein Weggang setzte die Räder in Bewegung, als Brian dann seine P45 erhielt. Brians Wohlbefinden war der Sucht erlegen und er war nicht mehr der Mann, der körperlich auf demselben hohen Kreativitätslevel funktionieren konnte, wie er es einst tat.
Nach einem Jahr Abwesenheit kehrte Carl zur Band zurück und er wollte, dass Brian wieder auf allen Zylindern feuert, um die Band von der faulen Nostalgie zu befreien, die sie geworden war. Brian nahm daraufhin eine Überdosis eines Cocktails aus Alkohol, Kokain und einer Fülle anderer Drogen zu sich, während seine Bandkollegen alles daran setzten, ihn wieder ganz gesund zu machen. Der Therapeut Eugene Landy wurde angestellt und sie entfernten ihn offiziell am 5. November aus der Gruppe, als eine Art harte Liebe, nachdem alles andere versagt hatte.
Die Entlassung geschah während eines Treffens im Büro des Anwalts der Band, wo ihm ein Brief übergeben wurde, in dem stand: „Hiermit teilen wir Ihnen mit, dass Ihre Dienste als Angestellter von Brother Records Inc. und anderweitig hiermit mit sofortiger Wirkung beendet sind. Diese Maßnahme wird in Ihrem besten Interesse getroffen und ist nicht rückgängig zu machen. Wir wünschen Ihnen beste Gesundheit.“
Landy wurde sehr kontrollierend über jedes winzige Detail in Brians Leben, was kurzfristig mit Wilson funktionierte, aber es hatte auch einen negativen Effekt, da sich der Musiker aufgrund der Art, wie Landy ihn behandelte, zunehmend gefangen fühlte. Es folgte ein erbitterter Rechtsstreit, in dessen Verlauf Landy von der Band gefeuert wurde, nachdem er die Höhe seines Gehalts bestritten hatte, da er fast 500.000 Dollar pro Jahr forderte.
Im darauffolgenden Jahr kam Dennis Wilson auf tragische Weise ums Leben und die Beach Boys konnten sich nie ganz davon lösen, ein Nostalgie-Act zu sein. Die 1980er Jahre verbrachte die Band, deren beste Tage wahrlich hinter ihnen lagen, hauptsächlich am Abgrund.