Op nieuwjaarsdag 1976 heeft wereldkampioen zwaargewicht boksen Apollo Creed zijn titel met succes verdedigd in een split decision tegen uitdager Rocky Balboa. Hij en Rocky worden naar hetzelfde ziekenhuis gebracht. Ondanks hun wederzijdse overeenkomst om geen rematch te zoeken, daagt Apollo Rocky opnieuw uit, maar Rocky weigert en trekt zich terug uit het professionele boksen. Zijn vriendin Adrian steunt zijn keuze, evenals zijn artsen, die onthullen dat hij geopereerd zal moeten worden aan een netvliesloslating, een aandoening die kan leiden tot blijvende blindheid. In een privé-moment gaat Rocky naar een herstellende Apollo, en wil een eerlijk antwoord op zijn vraag of Apollo alles heeft gegeven in het gevecht; Creed bevestigt dat hij dat heeft gedaan. Nadat Rocky uit het ziekenhuis is ontslagen, geniet hij van de voordelen van de veranderingen in zijn leven: Rocky’s nieuwe roem trekt een agent aan die Rocky ziet als een potentiële goudmijn voor sponsoring, en zijn plotselinge rijkdom moedigt hem aan Adrian ten huwelijk te vragen. Zij accepteert het gelukkig, en ze trouwen in een kleine ceremonie. Niet lang daarna onthult Adrian dat ze zwanger is.
Terwijl, aangewakkerd door haatmail waarin wordt beweerd dat hij het gevecht heeft vervalst om zijn titel te beschermen, raakt Apollo geobsedeerd door het idee dat een rematch de enige manier is om te bewijzen dat Rocky’s prestatie gewoon een toevalstreffer was. Vastbesloten om de enige smet op zijn bokscarrière recht te zetten, negeert Apollo alle smeekbeden van zijn vrienden en familie om het gevecht te vergeten, en in plaats daarvan eist hij van zijn team dat ze alles doen wat nodig is om Rocky uit zijn pensioen te lokken.
Rocky lijkt in eerste instantie geen last te hebben van Apollo’s lastercampagne, maar zijn onervarenheid met geld zorgt ervoor dat hij in financiële problemen komt. Na een aantal mislukte pogingen om werk te vinden, bezoekt Rocky Mickey Goldmill, zijn trainer en manager, in zijn sportschool om te praten over de mogelijkheid om weer te gaan vechten. Mickey weigert uit bezorgdheid om Rocky’s gezondheid, maar hij accepteert al snel nadat Apollo Rocky publiekelijk heeft beledigd. Adrian confronteert Rocky met het gevaar van terugkeer in het boksen en herinnert hem aan het risico voor zijn gezichtsvermogen. Rocky argumenteert dat hij niets anders weet, dus dit is de enige manier waarop hij voor hen kan zorgen. Adrian, woedend op Rocky omdat hij zijn belofte heeft gebroken, weigert hem te steunen.
Rocky en Mickey beginnen met trainen, maar Rocky is ongeconcentreerd door Adrian’s afkeuring. Adrian’s broer, Paulie, confronteert zijn zus met het feit dat ze haar man niet steunt, maar ze valt flauw tijdens de confrontatie en wordt met spoed naar het ziekenhuis gebracht, waar ze gaat bevallen. Ondanks dat de baby te vroeg geboren is, is hij gezond, maar Adrian raakt in een coma. Rocky geeft zichzelf de schuld voor wat er gebeurd is en weigert Adrian’s bed te verlaten totdat ze wakker wordt, en wil zijn nieuwe baby niet gaan zien totdat de baby samen kan zijn met zijn moeder. Wanneer Adrian uit haar coma komt, vindt ze Rocky aan haar bed, en het koppel krijgt hun nieuwe baby te zien, een jongen, die ze Robert “Rocky Jr.” noemen. Adrian geeft haar zegen aan de rematch, en Rocky raakt snel in vorm voor het gevecht.
Op Thanksgiving, de avond van de wedstrijd, maakt Apollo een publiek doel om Rocky te verslaan in niet meer dan twee rondes om te bewijzen dat de eerste wedstrijd die op afstand ging een toevalstreffer was. Rocky, die rechtshandig vecht om zijn oog te beschermen in plaats van zijn natuurlijke zuidpoot, wordt twee keer neergeslagen door Creed en overtroeft hem voor een groot deel van het gevecht. In de vijftiende en laatste ronde staat Creed op punten voor en hoeft hij alleen maar uit de buurt van Balboa te blijven om het gevecht met een beslissing te winnen. Maar Creed, die het gevecht niet wil laten eindigen zoals de eerste keer, negeert de smeekbede van zijn trainer om weg te blijven en probeert Rocky te verslaan door knock-out. In de laatste ronde schakelt Rocky terug naar zijn natuurlijke houding en geeft op dramatische wijze een serie tegenstoten op Creed af, waardoor het tij keert. Beide mannen, uitgeput, wisselen stoten uit tot ze elkaar neer slaan. Terwijl beide mannen worstelen om overeind te komen, kan Rocky zichzelf overeind houden op de tel van 9, terwijl Apollo in elkaar zakt van uitputting, waardoor Rocky wint door knock-out, waardoor hij de nieuwe zwaargewicht kampioen wordt. Rocky geeft dan een hartstochtelijke toespraak tot het publiek en houdt de gordel boven zijn hoofd met een boodschap voor zijn vrouw, die het gevecht op TV volgt: “Yo, Adrian, ik heb het gedaan!”