Todavía existía vida más allá del mainstream, del gangsta rap, del pop rap o de cualquier otro subgénero que había colmado el éxito. En los suburbios, en lo subterráneo, empezaba a forjarse el hip hop alternativo o underground, donde los artistas tenían una conciencia social muy marcada (generalmente con tonos optimistas) que se vería reflejada en sus letras. Su éxito comercial no fue, ni es, ni será comparable al de los artistas mainstream, pero ellos se conforman con hacer el Hip hop que ellos han decidido, real, manteniendo los orígenes y la identidad del Rap. Sin embargo, en sus inicios (antes que el gangsta rap), este movimiento adquirió bastante éxito y un gran reconocimiento entre los críticos y el público. Es más, artistas con la etiqueta Underground como Common o A Tribe Called Quest, están más cercanos a la línea de pioneros como Afrika Bambaataa y Grandmaster Flash.
En 1988 y 1989, los álbumes de De La Soul (Three Feet High and Rising), Divine Styler (Word Power), A Tribe Called Quest (People's Instinctive Travels and the Paths of Rhythm) y de The Jungle Brothers (Straight Out the Jungle) son considerados los primeros álbumes de Rap alternativo, con samples y bases de Jazz, algunas de ellas estrafalarias pero buenas, y con unas letras referentes a diversos tópicos sociales y fuertemente influido por el mensaje de Afrika Bambaataa de paz y respeto. Digable Planets también tuvieron éxito iniciados los 90 gracias al single "Cool Like Dat" del álbum Reachin' (A New Refutation Of Time & Space), aunque este movimiento alternativo se esfumó mediada la década de los 90, con la separación de A Tribe Called Quest y De La Soul, The Jungle Brothers y Gang Starr se retiraron del Hip hop Underground. Sin embargo, a finales de la década, justo cuando el gangsta rap y el pop rap estaban consumando un gran éxito comercial, el Hip hop Underground resucitó. El movimiento nu-soul (conocido también como neo-soul) fue influido por artistas como Mos Def (Black on Both Sides), Talib Kweli (Train Of Thought), The Roots (Things Fall Apart), Erykah Badu (Baduizm) y Slum Village (Fantastic Vol. 2).
Mientras tanto, otra rama del subgénero estaba creciendo en popularidad gracias a Kool Keith (Dr. Octagonecologyst) y Company Flow (Funcrusher Plus), que desarrollaron un sonido basado en instrumentales extrañas y complejas letras. La discográfica Rawkus, casa de gente tan importante como Mos Def, Talib Kweli, Company Flow o Pharoahe Monch es seriamente reconocida con el resurgimiento del subgénero. La influencia del Jazz en el Rap alternativo estuvo menos pronunciada en los 90, con algunas excepciones, como Guru y su Jazzmatazz. El Jazz rap tuvo también especial importancia en el Reino Unido, ya que fue una de las influencias que desembocó en el Trip hop (fusión de Hip hop, Jazz y Música electrónica), movimiento comenzado por Massive Attack (Blue Lines en 1991), Portishead también obtuvo reconocimiento con su combinación de Billie Holiday (voces de Jazz con samples lo-fi de Hip hop, incluido turntablism), mientras tanto, DJ Shadow (con Endtroducing) ayudaba a repopularizar el Hip hop instrumental, además de tener una enorme influencia en la producción (Beatmakin) de Hip hop. Sin embargo, el éxito del álbum The Chronic de Dr. Dre, mostró que el gangsta rap era una forma de hip hop con mas viabilidad comercialmente hablando.
