Dzięki dekadom pracy w National Association for the Advancement of Colored People (NAACP), a później w Student Non-Violent Coordinating Committee (SNCC), Ella Baker stała się jedną z najważniejszych kobiet w ruchu praw obywatelskich. Baker urodziła się 13 grudnia 1903 r. w Norfolk, w stanie Wirginia. Po ukończeniu gimnazjum, matka zapisała ją na Uniwersytet Shaw w Raleigh, w Północnej Karolinie. Ukończyła szkołę jako valedictorian zarówno w klasie maturalnej, jak i w klasie kończącej college. Wyróżnienie to było tym bardziej godne uwagi, że w trakcie nauki pracowała jako kelnerka i asystentka w laboratorium chemicznym. Baker ukończyła Shaw University z tytułem B.A. w czerwcu 1927 r.
Po ukończeniu studiów Baker przeniosła się do Nowego Jorku, gdzie została kelnerką i organizatorką społeczną zaangażowaną w radykalną politykę. Jeszcze w tym samym roku (1927) została dziennikarką w American West Indian News. W 1930 roku została kierownikiem biura w Negro National News.
W 1930 roku, Ella Baker i George Schuyler współzałożyli Young Negroes Cooperative League (YNCL). Była pierwszym sekretarzem i skarbnikiem organizacji, a także przewodniczącą Rady Nowojorskiej. W 1931 r. Baker została dyrektorem krajowym YNCL. Schuyler, prezes organizacji, zarekomendował ją następnie do NAACP.
W 1941 roku Ella Baker została asystentką sekretarza terenowego NAACP. Objęła również stanowisko doradcy nowojorskiej Rady Młodzieży NAACP. Pod koniec lat 40-tych Baker, sekretarz terenowy, była najbardziej efektywnym organizatorem NAACP, podróżując po Południu i zakładając nowe oddziały. W 1956 roku zorganizowała grupę In Friendship, która zbierała pieniądze na bojkot autobusów w Montgomery.
Lata pracy wśród młodych ludzi – zarówno wewnątrz, jak i na zewnątrz NAACP – doprowadziły do tego, że powierzono jej koordynację konferencji, która miała nadać kierunek szybko rodzącemu się ruchowi sit-in, który rozpoczął się 1 lutego 1960 roku w Greensboro w Północnej Karolinie. W kwietniu 1960 r. Baker zorganizowała konferencję w swojej macierzystej uczelni, Shaw University, która doprowadziła do powstania Student Non-Violent Coordinating Committee (SNCC). Chociaż nigdy nie wstąpiła do SNCC, Baker organizowała i koordynowała nasiadówki dla nowej organizacji walczącej o prawa obywatelskie. Baker kontynuowała organizowanie studentów zaangażowanych w aktywizm polityczny przez całe lata 70. W uznaniu jej pracy, w maju 1985 r. otrzymała tytuł doktora liter z City College of New York. Ella Baker zmarła w dniu swoich urodzin, 13 grudnia 1986 roku w wieku 83 lat.