Pärast seda korraldust rajas toomkiriku kogudus uue kalmistu Mõigule, vene kogudused rajasid uue kalmistu Juhkentali. Selle lähedusse rajati 18. sajandil veel katoliku ehk, nagu rahvasuus nimetati, poola kalmistu, samuti juudi ja muhamediusuliste kalmistud. Pühavaimu kogudusele jäi alles Kalamaja kalmistu.

Esimene matus 16. oktoobril 1774

Niguliste ja Oleviste kiriku kogudusele eraldati praeguse Maleva tänava alguses asunud Kopli mõisa juurest kalurikülla suunduva tee äärde 2–3 ha suurune maatükk. Esialgne kalmistu maa paiknes ümbruskonnast veidi kõrgemal. Kalmistu ümbruses olid liigniisked alad, kus kasvasid lepad ja kased.

Kopli kalmistu õnnistas 30. septembril 1774 sisse superintendent Gotthard Johann Jäger. Sama aasta 16. oktoobril toimus esimene matus.

1774. aastal koostas arhitekt Johann Schultz kabelite asendi-plaani, mis markeeris kalmistu esialgseid piire. Hiljem laienes kabelirivi lõuna, seejärel ida ja veidi ka lääne suunas. Ainuke kalmistule suunduv värav asus põhjapoolsel küljel, praeguse Kopli tee ääres. Sellest väravast suundus läbi kalmistu põhja-lõunasuunaline peatee. Peateest lääne poole asus Niguliste ja ida poole Oleviste koguduse kalmistu.

1833. aastal otsustati laiendada kalmistut nii ida kui ka lääne suunas. Uus kalmistuosa õnnistati sisse 1842. aastal. Laiendusi tehti veel 1868. ja 1869. aastal, mil Kopli kalmistu omandas lõpliku suuruse: Niguliste koguduse kalmistu 4,33 ha ja Oleviste koguduse kalmistu 5,7 ha. Koos kalmistu laiendamisega rajati ka piirdeaed, mida on näha vanematel fotodel.

Vabadussõja ajal paiknesid Koplis Vene Loodearmee laatsaretid ning 1919. aasta lõpus 1920. aasta kevadeni levis seal plekiline soetõbi, millesse suri palju ravil viibinud valgekaartlasi.

Koplisse, vanast kalmistust lõuna poole, otsustati rajada nakkushaigustesse surnud loodearmeelastele õigeusu kalmistu. Hiljem rajati sinna arhitekt Aleksandr Vladovski projekti järgi kena paekivist kabel.

Kalmistu paistis silma kabelirohkusega

Kalmistul oli suur väärtus arhitektuuriajaloo seisukohast. Siin asus üle 30 kabeli, millest vanim, parun Tiesenhauseni oma, ehitati 1777. aastal. Põhiline ehitustegevus oli 19. sajandi esimesel poolel. Kopli baroksetele ja varaklassitsistlikele kabelitele oli iseloomulik arhitektuursete detailide (kapiteelid fassaadil, kunstipärased sepisuksed ja vaasid) rohkus. Kopli kalmistu oli kabelite rohkuse poolest rikkalikum nekropol Tallinnas ja kogu Eestis. Tõenäoliselt kavandas osa kabelitest arhitekt Johann Schultz.

Lisaks kabelitele oli kalmistule püstitatud rohkesti väärtuslikke monumente. Nii stiililt kui ka teostuselt olid nad Euroopa tasemel. Märkimisväärne osa siinsetest hauamonumentidest valmistati C. Kopijowski kivitööstuses, mis asus Koplis ja alustas tegevust juba 1820. aastatel.

Kopli kalmistu kujunes aja jooksul ka liigirikkaks pargiks, kus istutatud puude ja põõsaste vahel kasvas ka põlistammesid. Kahe vanema tamme ümbermõõt oli 1930. aastatel 412 ja 358 cm. 1930. aastate lõpuni oli Kopli kalmistu hästi hooldatud piirkond, kus viibis sageli palju rahvast, vaatlemas vanu kabeleid ja ilusaid hauamonumente.

Olukord muutus kardinaalselt nõukogude ajal. Juba 1940. aastal tõusis päevakorrale Kopli kalmistu likvideerimine. 1. juulil 1941 otsustas Tallinna TSN Täitevkomitee sulgeda Kopli ja Kalamaja kalmistu. Sõja tõttu lükkus kalmistu lammutamine edasi. Pärast sõda polnud Kopli kalmistu likvideerimisest otsesõnu juttu, kuid võimud vaatasid läbi sõrmede ning seega ka soosisid kalmistul vandaalitsemist.

1950. aastal tõusis uuesti päevakorrale Kopli kalmistu likvideerimine. Algul püüdsid aateliselt meelestatud ametnikud säilitada pargiks muudetud kalmistul mitmeid monumente, millel oli ajalooline, kultuurilooline või kunstiline väärtus. Kommunistliku partei liini pidi see kava nurjati. Formaalselt oli kalmistu täieliku hävitamise aluseks tolleaegse Kalinini Rajooni TSN Täitevkomitee esimehe subjektiivne seisukoht.

Järgmise paari aasta jooksul alustati kalmistu pargiks ümberkujundamisega, mille käigus hävitati kõik, mis väärtuslik. Kõik metallist detailid, sealhulgas ka kunstiline sepis, määrati vanarauaks, kivist monumente veeti suurel hulgal Russalka piirkonda pinnatäiteks ning rannamüüri ehitamiseks. Pargi rajamisel ignoreeriti enamasti vana teedevõrku, kalmistule ehitati suurem tantsuplats ning hiljem ka õllepaviljon.

Kopli kalmistule on maetud

• Gertrud Elisabeth Mara, laulja, kellele Goethe pühendas luuletuse

• Charles Leroux, ilmakuulus ameerika aeronaut, langevarjur ja langevarjukonstruktor, kes hukkus 1889. aastal oma 239. langevarjuhüppel Tallinna lahes

• Ludwig Sigismund Jakob Heyden, Navarino merelahingu kangelane, admiral

• Alexander Heinrich Neus, üks esimesi eesti rahvaluule populariseerijaid

• Johann Jacob Nocks, haridustegelane

• Wilhelm Russwurm, baltisaksa ajaloolane, etnograaf ja folklorist

• Carl Julius Albert Paucker, esimene kodu-uurimise organiseerija Tallinnas

• Johannes(VIII) Burchart, Raeapteegi omanikepere tuntuim esindaja

• Franz Kluge, raamatukaupmees ja kirjastaja

• Rudolf Carl Georg Lehbert, botaanik, farmatseut ja Eesti taimestiku uurija

• Artur Korjus, lauljatar Miliza Korjuse isa

• Carl Ferdinand v Kügelgen, kunstnik

• Johannes Hau, kunstnik

• Gustav Adolf Hippius, kunstnik

• Gustav Kunnos, kindralmajor

• Konstantin Türnpu, helilooja

• Netty Pinna, näitleja

• Eduard Bornhöhe, kirjanik, jpt