El Meharry Medical College de Nashville se originó en 1876 como la división médica del Central Tennessee College, una institución establecida por la Freedman’s Aid Society de la Iglesia Metodista Episcopal. La motivación fundacional era formar a los aspirantes a cuidadores para que sirvieran no sólo a los afroamericanos recién liberados, sino también a todos los que carecían y necesitaban atención médica. El fundador y primer presidente del Meharry Medical College fue George Whipple Hubbard (1841-1921), natural de New Hampshire, un antiguo soldado de la Unión que se había licenciado en medicina en la Universidad de Nashville. Mientras aún estaba en la escuela, Hubbard comenzó la labor de construir Meharry con él mismo como único instructor, consejero religioso y superintendente.
Los departamentos de odontología y farmacia de Meharry se organizaron en 1886 y 1889, respectivamente. Sólo había un miembro en la primera clase que se graduó en 1890; tenía el grado de Maestro de Artes. En 1910 la Escuela de Enfermería del Hospital Mercy se trasladó a Meharry. El Hospital Hubbard se construyó en 1912. El 13 de octubre de 1915, el Meharry Medical College recibió un estatuto independiente del Central Tennessee College, que había cambiado su nombre por el de Walden University en 1900.
El 1 de febrero de 1921, John J. Mullowney, graduado en 1908 por la Universidad de Pensilvania y antiguo miembro del cuerpo docente del Girard College de Filadelfia, se convirtió en el segundo presidente de Meharry. Bajo su dirección, se administraron rigurosamente los requisitos de admisión; se incrementó el número de miembros de la facultad; se ampliaron las instalaciones de investigación y del hospital, aumentando la capacidad de camas a cien; se reorganizaron las clínicas para pacientes externos según la especialidad; y se contrató a un superintendente del hospital. En 1923 Meharry recibió una calificación de «A».
Con las contribuciones de la Junta de Educación General y de las fundaciones Rockefeller, Rosenwald, Eastman y Carnegie, junto con la ayuda de la ciudad de Nashville y de los ex alumnos de Meharry, la universidad se trasladó del sur de Nashville a su actual ubicación en el norte de Nashville, una calle al oeste de la Universidad Fisk, a finales de la década de 1920. Así comenzó una larga relación mutuamente beneficiosa entre las escuelas. Al principio, algunos edificios servían a ambas instituciones. La posterior arquitectura neogótica y gótica de los edificios de las dos escuelas reflejaría la relación simbiótica entre Fisk y Meharry. En la década de 1930, muchos aspirantes a médicos habían obtenido su educación universitaria y pre-médica en Fisk y posteriormente se graduaron en medicina en Meharry.
En 1938, el distinguido académico Edward L. Turner asumió el cargo de presidente. Turner modificó el plan de estudios de la facultad de medicina, insistiendo en un enfoque más científico y destacando la importancia de los procedimientos clínicos adecuados. Durante esta época, Meharry comenzó a experimentar dificultades financieras, que afectaron a la institución durante toda la década de 1940. Turner dimitió en 1944. El Dr. M. D. Clawson fue presidente de Meharry de 1945 a 1950.
Un comité administrativo interino dirigió los asuntos hasta 1952, cuando el Dr. Harold D. West, el primer presidente negro de la escuela, comenzó su mandato. Bajo el mandato de West, la escuela lanzó una campaña de recaudación de fondos de 20 millones de dólares, compró terrenos adyacentes al campus y añadió un ala al hospital. La escuela redefinió su propósito, poniendo fin a la Escuela de Enfermería y a la División de Tecnología Dental a principios de la década de 1960. También se realizaron importantes mejoras en el plan de estudios y en las instalaciones de las facultades de medicina y odontología.
De 1966 a 1968 un comité interino dirigió Meharry hasta que el antiguo decano de la facultad de medicina, Lloyd Elam, fue nombrado presidente. Meharry creó entonces una escuela de postgrado que ofrecía el título de doctorado en ciencias básicas y una Escuela de Profesiones Sanitarias Afines en colaboración con la Universidad Estatal de Tennessee y la Universidad de Fisk. En la década de 1970 se construyeron nuevos edificios para las facultades de medicina y odontología y un nuevo hospital. Elam proporcionó a Meharry trece años de liderazgo progresivo y continuó su servicio a la escuela como miembro distinguido del profesorado.
En marzo de 1981 Richard Lester, presidente del Departamento de Radiología del Centro Científico de la Universidad de Texas y miembro del consejo de administración de Meharry, asumió las funciones de presidente interino durante un año. En julio de 1982, David Satcher se convirtió en el tercer hombre negro en ocupar el cargo de presidente. Satcher alcanzó relevancia nacional y fue nombrado director del Centro de Control de Enfermedades de Estados Unidos en Atlanta en 1993. En 1997, el presidente Bill Clinton nombró a Satcher para el cargo de cirujano general de los Estados Unidos; fue confirmado al año siguiente.
Las riendas de Meharry pasaron a manos del Dr. John E. Maupin Jr., el primer ex alumno y graduado de la Facultad de Odontología de Meharry en convertirse en el máximo administrador de la institución. Maupin se convirtió en el noveno presidente el 1 de julio de 1994. Se le encargó la supervisión de la construcción y renovación de las instalaciones, la fusión de las respectivas plantillas clínicas y la realización de la monumental tarea de consolidar la comunidad nacional en torno a la viabilidad continuada del Meharry Medical College. Maupin también orquestaría la inauguración de las instalaciones fusionadas el 1 de enero de 1998.
El Meharry Medical College incluye la Facultad de Medicina, la Facultad de Odontología, la Facultad de Estudios de Posgrado e Investigación, la Facultad de Profesiones Sanitarias Aliadas, el Hospital General Metropolitano del Condado de Nashville-Davidson, dos centros de salud y el Centro de Ciencias Básicas Harold D. West.