Door haar decennialange werk voor de National Association for the Advancement of Colored People (NAACP) en later voor het Student Non-Violent Coordinating Committee (SNCC), ontpopte Ella Baker zich als een van de belangrijkste vrouwen in de burgerrechtenbeweging. Baker werd geboren op 13 december 1903 in Norfolk, Virginia. Na het gymnasium schreef haar moeder haar in bij Shaw University in Raleigh, North Carolina. Ze studeerde af als de valedictorian van zowel haar middelbare school als college eindexamenklassen. Deze onderscheiding was des te opmerkelijker omdat ze zich door de school heen werkte als serveerster en scheikundelaborant. Baker studeerde in juni 1927 af aan de Shaw University met een B.A.
Na haar afstuderen verhuisde Baker naar New York City, waar ze serveerster werd en zich als gemeenschapsorganisator inzette voor radicale politiek. Later dat jaar (1927) werd ze journaliste bij de American West Indian News. In 1930 werd ze benoemd tot office manager van de Negro National News.
In 1930 richtten Ella Baker en George Schuyler samen de Young Negroes Cooperative League (YNCL) op. Zij was de eerste secretaris-penningmeester van de organisatie, en voorzitter van de New York Council. In 1931 werd Baker de nationale directeur van de YNCL. Schuyler, de voorzitter van de organisatie, beval haar vervolgens aan bij de NAACP.
In 1941 werd Ella Baker assistent-veldsecretaris van de NAACP. Ze werd ook adviseur van de New York Youth Council van de NAACP. Aan het eind van de jaren 1940 was Baker, een veldsecretaresse, de meest effectieve organisator van de NAACP toen zij door het Zuiden reisde om nieuwe afdelingen op te richten. In 1956 organiseerde ze In Friendship, een groep die geld inzamelde voor de Montgomery Bus Boycott.
Jaren van werk onder jongeren – zowel binnen als buiten de NAACP – leidde tot haar opdracht een conferentie te coördineren die richting moest geven aan de snel opkomende sit-in beweging die op 1 februari 1960 begon in Greensboro, North Carolina. In april 1960 organiseerde Baker een conferentie op haar alma mater, Shaw University, die leidde tot de oprichting van het Student Non-Violent Coordinating Committee (SNCC). Hoewel ze nooit lid werd van SNCC, regelde en coördineerde Baker sit-ins voor de nieuwe burgerrechtenorganisatie. Baker bleef tot in de jaren zeventig studenten organiseren die betrokken waren bij politiek activisme. Als erkenning voor haar werk kreeg ze in mei 1985 een doctoraat in de letteren van het City College of New York. Ella Baker overleed op haar verjaardag, 13 december 1986 op 83-jarige leeftijd.