Der älteste bekannte Besitzer war Wernherus de Prunne, der mitsamt seiner Burg 1037 erstmals urkundlich erwähnt wurde. 1147 ging die Burg an die Herren von Laaber aus der Seitenlinien der Praiteneck, von denen zahlreiche Bautätigkeiten ausgingen. Auf sie geht die älteste heute erhaltenen Bausubstanz, bestehend aus Bergfried und Palas, zurück.
1288 wurde die Burg an Herzog Ludwig II. von Bayern verkauft, der sie dem Verkäufer Wernherr von Praiteneck als Lehen zurückgab.
Die Erwähnung eines Hauses Fraunberger zu Prunn 1311 lässt darauf schließen, dass die Burg Prunn im frühen 14. Jahrhundert den Besitzer gewechselt hat. 1338 wurde die Anlage an die Familie Fraunberger verkauft. Die Fraunberger stammen aus Fraunberg bei Erding und saßen auch auf der Burg Haag - leicht zu erkennen am Schimmelwappen (Gurrenwappen), das an beiden Burgen gut sichtbar angebracht ist. Unter Hans VI. von Fraunberg erfolgte eine spätgotische Erweiterung der Anlage in der Zeit von 1426 bis 1476. Als Wolf Fraunberger dem Löwlerbund beitrat, soll dies der bayerische Herzog Albrecht IV. zum Anlass genommen haben, die Burg im Dezember 1491 durch seine Truppen erstürmen zu lassen. Sollte die Erstürmung tatsächlich stattgefunden haben, muss sie ohne Beschädigung oder gar Schleifung der Burg vonstatten gegangen sein, denn Nachrichten über einen Wiederaufbau in der Nachfolgezeit sind nicht überliefert.
Im 15. Jahrhundert war Burg Prunn vorübergehend im Besitz des Geschlechts von Gumppenberg, kehrte jedoch in den Besitz der Fraunberger zurück. Mit dem Erlöschen des Hauses Fraunberg vom Haag zu Prunn fiel die Burg zurück an den bayerischen Herzog, der sie aber schon 1570 für 18.000 Gulden an Karl Köckh zu Mauerstetten und Bodenmais verkaufte.
1567 oder 1569 fand Wiguleus Hundt, Humanist und Geschichtsschreiber Herzog Albrechts V. von Bayern, auf der Burg eine Handschrift des Nibelungenliedes, den sogenannten Prunner Codex, und schenkte sie 1575 seinem Arbeitgeber. Die Handschrift befindet sich heute in der Bayerischen Staatsbibliothek in München.
Aus der Zeit um 1600 stammt die erste erhaltene Abbildung der Burganlage. Ihre Südseite ist auf einer Grenzkarte der Herzogtums Pfalz-Neuburg zu sehen. Die Köckhs zu Mauerstetten erweiterten die Burg in der Zeit ab 1604 durch einen neuen schlossartigen Anbau, der den Palas mit dem Bergfried verband. Dabei wurde die romanische Ringmauer als östliche Außenmauer des neuen Gebäudes genutzt.
Weitere Instandsetzungsarbeiten folgten 1631 im Stil der Renaissance, wobei weniger auf Authentizität als auf Wohnlichkeit Wert gelegt wurde. Von diesen Arbeiten, die vor allem im Inneren vorgenommen wurden, zeugt eine Inschrift sowie das Allianzwappen Christoph von Köckhs zu Prunn und seiner Frau Maria am gotischen Wohnbau. Burg Prunn nahm zu dieser Zeit immer mehr Schlosscharakter an. Heute findet sich deshalb oft auch der Name Schloss Prunn, obwohl die Anlage wegen der mittelalterlichen Entstehung und der ursprünglichen Bausubstanz eindeutig eine Burg ist.
Der Dreißigjährige Krieg setzte dem finanziellen Wohlstand der Köckhschen Familie ein Ende, und so ging die verschuldete Hofmark 1646 in den Besitz des Feldmarschalleutnants Georg von Truckmiller über, der die beschädigten Gebäude reparieren ließ.
Bereits 1672 fand ein erneuter Besitzerwechsel statt: Die Jesuiten aus Ingolstadt kauften „Schloss und Hofmark“. Der Orden führte weitere Umgestaltungen und Erweiterungen am Baubestand durch. Nach Aufhebung des Jesuitenordens 1773 wurde Burg Prunn den Johannitern überlassen. Deren Kommende wurde jedoch 1822 aufgelöst, womit die Burg ein weiteres Mal zurück an die bayerische Krone fiel.
1827 setzte sich König Ludwig I. von Bayern in der Epoche der Romantik für den Erhalt der Burganlage als historisches Denkmal ein. Er ließ Sicherungsarbeiten und Ende des 19. Jahrhunderts weitere Instandsetzungsmaßnahmen durchführen. Trotzdem verwahrloste die Anlage zusehends.
1946 kam die Burg in den Besitz der Bayerischen Verwaltung der staatlichen Schlösser, Gärten und Seen. Sie ließ 1950/51 Restaurierungsarbeiten durchführen, in deren Zuge spätgotische Merkmale wiederhergestellt und zahlreiche Bauelemente aus der Zeit des 19. Jahrhunderts entfernt wurden. Dabei wurden vereinzelte Putzspuren mit nachgeahmten Mauerfugen entdeckt.