Başarılı bir banker olan Junius Spencer Morgan'ın oğluydu. 1871'de New York'taki Drexel, Morgan ve Company'nin ortağı oldu. Kısa sürede ABD yönetiminin en önemli mali destekçisi durumuna gelen şirket, 1895'te J.P. Morgan and Company adını aldı ve dünyanın en güçlü bankerlik kuruluşları arasına girdi.
1885'te Amerikalı demiryolu kralı William H. Vanderbilt'in rakip New York demiryolları şirketleriyle birleşmesini sağlayan Morgan, daha sonra Pennysylvania ve Ohio demiryollarına el attı. 1893'teki paniğin ardından da Southern Railroad, Erie Railroad ve Northern Pacific gibi büyük demiryolu şirketlerinin durumlarını düzeltme işini üstlendi. Mali destek sağladığı demiryolu şirketlerine ait hisse senetlerinin büyük bölümünü ele geçirerek dünyanın en güçlü demiryolu patronlarından biri durumuna geldi. 1898'den sonra şirket birleşmelerini finanse etmeye başlayarak Federal Steel Company'nin ve dönemin en büyük şirketi United States Steel Corporation'ın (1901) kuruluşuna önayak oldu. 1902'de Internetional Harvester Company'ye ve transatlantik deniz taşımacılığı şirketlerinin büyük çoğunluğunun birleşmesiyle ortaya çıkan International Merchant Marine'e kredi açtı. 1907'de büyük miktarda resmi mevduatı kendi bankerlik kuruluşuna ve bağlı bankalara çekerek ciddi bir mali bunalımın atlatılmasını sağladı.
ABD'deki para tröstü'nün başı olarak önde gelen şirketlerin ve mali kuruluşların iplerini elinde tutan Morgan, aynı zamanda ünlü bir sanat koleksiyoncusuydu. Topladığı sanat yapıtlarının büyük bölümünü sonradan New York'taki Metropolitan Sanat Müzesi'ne bağışladı.
1913'te şirketin başına geçen oğlu John Pierpont Morgan, Jr. (1867-1943), I. Dünya Savaşı sırasında Müttefiklerin ikmal ve kredi gereksinmesinin karşılanmasında önemli rol oynadı. Savaş sonrasında Avrupa'nın yeniden inşası için 1.7 milyon ABD Doları tutarında kredi açtı.