Um das Jahr 1800 wählte die junge Königin die um sechzehn Jahre ältere Frau von Berg zur Freundin. Tatsächlich konnte Caroline ihr die ersehnte geistige Anregung und Bildung vermitteln, besonders, da sie nicht belehrend auftrat. In den Jahren der Not wurde Caroline von Berg dann zur unentbehrlichen Trösterin und moralischen Stütze, wie die Briefe der Königin eindrucksvoll zeigen.

Doch legte Frau von Berg wert auf ihre Unabhängigkeit - sie folgte nicht dem Hof nach Königsberg, sondern führte am Tiergarten in Berlin nach wie vor ein großes Haus, wo sie die geistige und politische Prominenz um sich versammelte. Als kluge und eigenwillige Persönlichkeit war sie u.a. befreundet mit dem Freiherrn vom Stein und Wilhelm von Humboldt, aber auch mit Herder und Jean Paul.