Frederik, gedoopt als Friedrich Adrian, was lid van de familie Van der Goltz en zoon van Bernard Wilhelm Graf von der Goltz (1738-1795), een Pruisische generaal-majoor en Pruisisch minister van Oorlog. Zijn moeder was Cornelia Jacoba Steengracht, vrouwe van Oost- en West-Souburg[bron?] (1752-1821), een dochter uit een Zeeuwse familie. In 1781[bron?] erfde hij van zijn grootvader van moeders zijde kasteel Slangenburg en huis Broekhuizen. Na het overlijden van zijn schoondochter verkochten de erven beide landgoederen.
Hij trouwde in 1794 met Isabella Agneta de Perponcher Sedlnitzky, vrouwe van Ellewoutsdijk (1767-1837), hofdame van de prinses van Oranje en lid van de familie De Perponcher Sedlnitsky; uit dit huwelijk had hij behalve een jong gestorven kind een zoon. Als weduwnaar hertrouwde hij in 1841 met Antonetta Maria Bergers (1793-1857); uit dit huwelijk werden geen kinderen geboren. De familie Van der Goltz woonde in Den Haag en gebruikte Slangenburg als buitenplaats.
Militaire loopbaan
Op 15-jarige leeftijd, in 1785, trad Van der Goltz als cadet in Statendienst. In 1786 werd hij benoemd tot vaandrig met de rang van luitenant. Ten einde ervaring op te doen in een buitenlands leger trad hij 1787 in Oostenrijkse krijgsdienst om in 1790 opnieuw in het Staatse leger te dienen, als 2e luitenant, vanaf 1791 als kapitein titulair. Na de Franse tijd en de totstandkoming van het Koninkrijk der Nederlanden in 1813 werd Van der Goltz in 1814 tot kolonel benoemd en even daarna tot provinciaal commandant van Zuid-Holland en gouverneur der Residentie. In 1815 werd hij bevorderd tot generaal-majoor. In 1816 werd hij bevorderd tot luitenant-generaal. Per 1 januari 1841 werd hij als militair op pensioen gesteld.
Hofdienaar
In 1792 werd Van der Goltz benoemd tot adjudant van de erfprins van Oranje. Na de invallen van de Fransen trok hij in 1795 naar Engeland om zich bij de erfprins te voegen. Hij maakte onderdeel uit van het gevolg van de erfprins toen deze in 1795 in Noord-Holland aan land ging maar die landing een fiasco werd. Willem Frederik trok naar Engeland terug, Frederik Adriaan naar Duitsland. In 1813 meldde Van der Goltz zich bij de nieuwe souverein die op 2 december tot vorst was uitgeroepen. Van der Goltz werd daarop tot diens hofmaarschalk benoemd.
Politicus
Op 28 augustus 1814 werd Van der Goltz erkend als edele van Zeeland, met homologatie van de titel van graaf. Hij werd toen tevens benoemd tot lid van provinciale staten (namens de ridderschap). In 1815 werd hij als generaal-majoor benoemd tot commissaris-generaal van oorlog ad interim (vergelijkbaar met de tegenwoordige functie van minister). In die laatste functie hield hij zich vooral bezig met de reorganisatie van het leger. Na een conflict met de kroonprins in 1817 trad hij in 1818 af. Hij werd daarna tot Eerste Kamerlid benoemd, waarvan hij tot zijn overlijden deel bleef uitmaken. Hij was de laatste jaren echter steeds afwezig.
J.W.G. Cornet en D. Langendijk, Leven en bedrijf van de gouverneurs van de koninklijke residentie 's-Gravenhage 1813-1963. ['s-Gravenhage, 1963], p. 17-21.
Jan Vredenburg [eindredactie], Kastelen in Gelderland, Uitgeverij Matrijs, Utrecht, 2013
Jeroen Koch, Koning Willem I 1772-1843. Amsterdam, 2013, p. 331-333 [over het conflict met de kroonprins].
