De kerk werd in 1886 gesticht door dominee John A. Parker en acht mensen. De naam van de kerk is afgeleid van het boek Samuel, waar Samuel een plaats “Ebenezer” noemt, wat “steen van hulp” betekent, ter herinnering aan de hulp van God aan de Israëlieten bij het verslaan van de Filistijnen.
Adam Daniel Williams (grootvader van moederszijde van Martin Luther King Jr.) werd predikant in 1894, en de kerk telde slechts 13 leden. In 1903 groeide het aantal leden tot 400 en in 1913 telde de kerk 750 mensen. In 1922 werd het gebouw ingewijd. In 1927 werd Martin Luther King Sr., samen met zijn schoonvader, hulppredikant. Later werd hij de hoofdpredikant toen ds. Williams in 1931 overleed. In 1960 werd Martin Luther King Jr. samen met zijn vader hoofdpredikant van de kerk, totdat hij in 1968 werd vermoord.
In 1999 werd een nieuw kerkgebouw met 1700 zitplaatsen, het Horizon Sanctuary, in gebruik genomen in het Martin Luther King Jr. Nationaal Historisch Park.
Sinds 2005 is U.S. Senator Raphael Warnock de senior pastor van Ebenezer Baptist Church; hij is de vijfde persoon die als senior pastor van Ebenezer fungeert sinds de oprichting. Op 30 januari 2020 kondigde Warnock zijn campagne aan voor de senaatszetel van Kelly Loeffler tijdens de speciale verkiezingen van 2020. In een speciale tweede ronde op 5 januari 2021, versloeg dominee Warnock Loeffler met 51% van de stemmen. Met deze overwinning schreef Warnock geschiedenis door de eerste zwarte senator van de staat Georgia te worden.
De begrafenis van Martin Luther King Jr. werd in de kerk gehouden op 9 april 1968. De begrafenis van Rayshard Brooks werd op 23 juni 2020 in de kerk gehouden. De begrafenis van John Lewis werd op 30 juli 2020 in de kerk gehouden.