Na terenie wzgórza zamkowego, na zachodniej skarpie nad pradoliną Wisły, już z XI w. stwierdzono ślady osadnictwa przedkrzyżackiego. Po zajęciu przez Zakon wzgórza, rozpoczęto tam pierwsze prace budowlane. Z 1242 r. pochodzi wzmianka o znajdującej się tam kaplicy. Dwa lata później wymieniony został pierwszy kontur starogrodzki - Eberhard. Zamek w Starogrodzie był siedzibą konturii do 1454 r.

W 1410 r. zamek został zdobyty przez wojska polskie, a w 1454 r. - przez Związek Pruski. Od 1479 r. stanowił własność królewską, odbudowano go natomiast po zniszczeniach wojennych w roku 1495. Od 1505 r. znajdował się w posiadaniu biskupów chełmińskich. Wkrótce jednak zaczął popadać w ruinę, a w 1623 r. wzmiankowano jego zły stan zachowania. W czasie wojen szwedzkich dokonały się dalsze zniszczenia. W latach 1682-1693 został częściowo odnowiony za sprawą biskupa Kazimierza Jana Opalińskiego. W 1772 r. ponownie popadł w ruinę, a z 1777 r. pochodzi wzmianka o jego znacznym zniszczeniu. Wkrótce został sprzedany i rozebrany (za czasów biskupa Karola Jana Hohenzollerna, 1785-1795). W 1963 r. podjęte zostały prace wykopaliskowe, których nie ukończono.

Od strony wschodniej i północnej zlokalizowana była fosa zamkowa, dalej od wschodu znajdowała się owalna platforma przedzamcza.

• Katalog Zabytków Sztuki w Polsce, s. 126