Tā pirmsākumi saistāmi ar 1812.gadu, kad Riekstu kalna un ordeņa pilsdrupu teritorijā sāka veidot parku. Tas ir vairākas reizes pārbūvēts un uzlabots. Parka kāpņu lejasdaļas malās novietotas astoņas bērnu skulptūras. Pie dīķa apskatāmas skulptūras – zvejnieki, kas velk tīklus, bet tā centrā izvietota dekoratīva skulptūra strūklakas veidā – jaunekļa figūra ar lielu zivi. Riekstu kalns ir vieta, kur XI–XIII gs. atradusies vendu koka pils. Viņu vārds devis pilsētas vācisko nosaukumu – Wenden. Ap pilskalnu senatnē veidojies pirmais ciems un vēlāk pilsēta.