Das Meharry Medical College in Nashville entstand 1876 als medizinische Abteilung des Central Tennessee College, einer von der Freedman’s Aid Society der Methodist Episcopal Church gegründeten Institution. Die Gründungsmotivation war, angehende Pflegekräfte auszubilden, die nicht nur den neu befreiten Afroamerikanern dienen sollten, sondern auch allen, die in Not waren und medizinische Hilfe benötigten. Der Gründer und erste Präsident des Meharry Medical College war der aus New Hampshire stammende George Whipple Hubbard (1841-1921), ein ehemaliger Unionssoldat, der seinen medizinischen Abschluss an der Universität von Nashville gemacht hatte. Noch während seines Studiums begann Hubbard mit dem Aufbau von Meharry, wobei er als einziger Dozent, religiöser Berater und Superintendent fungierte.
Die zahnmedizinische und pharmazeutische Abteilung von Meharry wurden 1886 bzw. 1889 gegründet. In der ersten Abschlussklasse 1890 gab es nur einen Absolventen; er hatte den Grad eines Master of Arts. Im Jahr 1910 wurde die Krankenpflegeschule des Mercy Hospitals nach Meharry verlegt. Das Hubbard Hospital wurde 1912 gebaut. Am 13. Oktober 1915 erhielt das Meharry Medical College eine eigene Satzung, getrennt vom Central Tennessee College, das 1900 seinen Namen in Walden University geändert hatte.
Am 1. Februar 1921 wurde John J. Mullowney, ein Absolvent der University of Pennsylvania von 1908 und ehemaliges Fakultätsmitglied des Girard College in Philadelphia, der zweite Präsident von Meharry. Unter seiner Führung wurden die Zulassungsvoraussetzungen streng gehandhabt, die Zahl der Fakultätsmitglieder erhöht, die Forschungs- und Krankenhauseinrichtungen ausgebaut und die Bettenkapazität auf hundert erhöht, die Ambulanzen nach Fachgebieten reorganisiert und ein Krankenhaus-Superintendent eingestellt. Im Jahr 1923 erhielt Meharry ein „A“-Rating.
Mit Beiträgen des General Education Board und der Rockefeller-, Rosenwald-, Eastman- und Carnegie-Stiftungen sowie mit Unterstützung der Stadt Nashville und von Meharry-Alumni zog das College Ende der 1920er Jahre von South Nashville an seinen heutigen Standort in North Nashville, eine Straße westlich der Fisk University. So begann eine lange, für beide Seiten vorteilhafte Beziehung zwischen den beiden Schulen. Anfänglich dienten einige Gebäude beiden Institutionen. Die spätere neugotische und college-gotische Architektur der Gebäude der beiden Schulen sollte die symbiotische Beziehung zwischen Fisk und Meharry widerspiegeln. In den 1930er Jahren hatten viele angehende Mediziner ihr Grundstudium und ihre vormedizinische Ausbildung in Fisk absolviert und später ihren medizinischen Abschluss in Meharry gemacht.
Im Jahr 1938 übernahm der angesehene Gelehrte Edward L. Turner das Amt des Präsidenten. Turner änderte den Lehrplan der medizinischen Fakultät, indem er auf einem wissenschaftlicheren Ansatz bestand und die Bedeutung der richtigen klinischen Verfahren betonte. Während dieser Zeit geriet Meharry in finanzielle Schwierigkeiten, die die Institution in den 1940er Jahren plagten. Turner trat 1944 zurück. Dr. M. D. Clawson war von 1945 bis 1950 Präsident von Meharry.
Ein Interim-Verwaltungsausschuss leitete die Geschäfte bis 1952, als Dr. Harold D. West, der erste schwarze Präsident der Schule, seine Amtszeit begann. Unter West startete die Schule eine 20-Millionen-Dollar-Spendenaktion, kaufte ein an den Campus angrenzendes Grundstück und baute einen Flügel an das Krankenhaus an. Die Schule definierte ihren Zweck neu, indem sie die Krankenpflegeschule und die Abteilung für Zahntechnik in den frühen 1960er Jahren auflöste. Von 1966 bis 1968 leitete ein Interimskomitee Meharry, bis der ehemalige Dekan der medizinischen Fakultät, Lloyd Elam, zum Präsidenten ernannt wurde. Meharry gründete dann eine Graduiertenschule, die den Doktortitel in den Grundlagenwissenschaften anbietet, und eine School of Allied Health Professions in Zusammenarbeit mit der Tennessee State University und der Fisk University. In den 1970er Jahren wurden neue Gebäude für die Schulen für Medizin und Zahnmedizin und ein neues Krankenhaus gebaut. Elam leitete Meharry dreizehn Jahre lang fortschrittlich und setzte seinen Dienst an der Schule als angesehenes Mitglied der lehrenden Fakultät fort.
Im März 1981 übernahm Richard Lester, Vorsitzender der Abteilung für Radiologie des University of Texas Science Center und Mitglied des Kuratoriums von Meharry, für ein Jahr die Aufgaben des Interimspräsidenten. Im Juli 1982 wurde David Satcher der dritte Schwarze, der das Amt des Präsidenten innehatte. Satcher stieg zu nationaler Prominenz auf und wurde 1993 zum Direktor des United States Center for Disease Control in Atlanta ernannt. 1997 nominierte Präsident Bill Clinton Satcher für das Amt des Chirurgischen Generalarztes der Vereinigten Staaten; er wurde im folgenden Jahr bestätigt.
Die Leitung von Meharry wurde an Dr. John E. Maupin Jr. übergeben, den ersten Alumnus und Absolventen der zahnmedizinischen Fakultät von Meharry, der zum obersten Verwalter der Institution wurde. Maupin wurde am 1. Juli 1994 der neunte Präsident. Seine Aufgabe war es, den Bau und die Renovierung von Einrichtungen zu beaufsichtigen, das jeweilige klinische Personal zusammenzuführen und die monumentale Aufgabe zu bewältigen, die nationale Gemeinschaft für den Fortbestand des Meharry Medical College zu gewinnen. Maupin inszenierte auch die Einweihung der zusammengelegten Einrichtungen am 1. Januar 1998.
Das Meharry Medical College umfasst die School of Medicine, die School of Dentistry, die School of Graduate Studies and Research, die School of Allied Health Professions, das Metropolitan General Hospital of Nashville-Davidson County, zwei Gesundheitszentren und das Harold D. West Basic Sciences Center.