Ruiny zamku Olsztyn malowniczo położone na grzędzie skalnej zwanej Słonecznymi Skałami, należą do największych warowni Jury Krakowsko-Częstochowskiej. W czasach swojej świetności dzieje warowni przeplatały się z ważnymi dla losów Polski wydarzeniami i łączyły się z najznamienitszymi nazwiskami osobistości ówczesnej Rzeczpospolitej.
Pierwotny zamek, wniesiony w miejscu wcześniejszego grodu, datowany jest na 2 poł. XIII w. Na szczycie wzgórza, wzniesiono wówczas dominującą nad okolicą murowaną wieżę cylindryczną oraz szereg obiektów o charakterze mieszkalnym i militarnym, a całość otoczono systemem murów obronnych.
Pierwotny zamek określano w źródłach jako castrum Przymiłowice. W 1304 r. zamek były w posiadaniu księcia Władysława Łokietka († 1333 r.). W nauce istnieje hipoteza, że biskup krakowski Jan Muskata († 1320 r.) podczas walk z Władysławem Łokietkiem w latach 1304-1306 wykorzystywał zamek Przymiłowice dla rozprawienia się ze zwolennikami Władysława Łokietka. Zdaniem J. Laberscheka, w planach Władysława Łokietka, a później jego syna Kazimierza Wielkiego († 1370 r.), warownia w Przymiłowicach miała odgrywać rolę zapory obronnej przed najazdami łupieżczymi i wojennymi z Czech i Śląska i dlatego obaj władcy chcieli ją umocnić i zmodernizować. Modernizacja zamku przebiegała etapami. Pierwszy etap przeprowadzono z inicjatywy Kazimierza Wielkiego przed 1341 r., kiedy to zamek wymieniony jest w źródłach i jest ośrodkiem dystryktu. Zamek wzmiankowano w dokumencie wystawionym w 1349 r. Wymieniono wówczas burgrabiego „Sdiscone burgrabio de Olsten”, którym był niejaki Zdzisek.
Prace budowlane przy założeniu, wiązane z osobą Kazimierza Wielkiego († 1370 r.), najprawdopodobniej polegały na rozbudowie i dostosowaniu warowni do rosnących potrzeb obronnych niż na rzeczywistej budowie zamku, jak przyjęło się ogólnikowo określać działania związane z fundacjami królewskimi. Znikome pozostałości materialne i lakoniczne wiadomości źródłowe na temat tego etapu budowy nie pozwalają na ścisłe odróżnienie faz powstawania obiektów gotyckich, poza wieżami oraz murami obronnymi. Przed 1360 r. w lochach olsztyńskiego zamku uwięziono i ukarano śmiercią głodową Maćka Borkowica, wojewodę poznańskiego, który w 1353 r. zamordował kasztelana gnieźnieńskiego Beniamina. Zdaniem A. Gąsiorowskiego król Kazimierz Wielki dość często mógł (1354 r., 1356 r., 1357 r., 1364 r.) gościć na zamku w Olsztynie przy okazji objazdów po północno-zachodniej Małopolsce. Pobyt króla w Olsztynie odnotowany jest w 1369 r., czyli rok przed jego śmiercią. Prawdopodobnie za panowania Kazimierza Wielkiego przez Olsztyn biegła droga z Krakowa do Wielkopolski i na Śląsk.
Jak wiemy z przekazu Jana z Czarnkowa, w 1370 r. król Ludwik Węgierski († 1382 r.) z okazji koronacji nadał zamek w Olsztynie (wraz za całą ziemią wieluńską) Władysławowi Opolczykowi († 1401 r.). Za czasów księcia opolskiego olsztyńska warownia zyskała na znaczeniu. Była bowiem odtąd ośrodkiem klucza dóbr książęcych i ośrodkiem dystryktu sądowego, obejmującego wszystkie rodzaje własności. Na zamku rezydowali mianowani przez Władysława Opolczyka starostwie olsztyńscy i sędziowie oraz burgrabiowie zarządzający warownią. Ich identyfikacją zajął się głównie J. Sperka. Z jego ustaleń wiemy, że w tym okresie poświadczeni są następujący starostowie olsztyńscy: Jerzy Swosz ze Zwozu i Pawąkowa (1385-1388), Konrad Smyl z Chróściny koło Opola i Borśnic w 1391 r. Sędzią w latach 1381-1382 był Tasz z Malus, a zarządcą dóbr poświadczonym w 1388 r. niejaki Stefan.
Większość badaczy za inicjatora wielkiej rozbudowy warowni uznaje króla Polski Kazimierza Wielkiego. Przebudowa ta miała mieć związek z pełnieniem przez twierdzę olsztyńską w XIV-XV w. istotnej roli pod względem strategicznym na pograniczu śląsko – małopolskim.
Niektórzy jednak budowę systemu obronnego w części północno-zachodniej Jury przypisują Władysławowi Opolskiemu. Zdaniem m.in. S. Kołodziejskiego to właśnie książę opolski wykorzystał zbudowany przez króla Kazimierza Wielkiego zespół zamków na Jurze i zaadaptował go do obrony przed atakami ze strony Królestwa Polskiego. Do konfliktu zbrojnego między księciem Władysławem Opolczykiem a królem Polski Władysławem Jagiełło († 1434 r.) doszło w 1391 r. Wojska wierne Jagielle odzyskały zamek w Olsztynie w 1391 r. po trzech dniach oblężenia, a wiernego Opolczykowi starostę Borśnica wzięto do niewoli.
Od początku XV w. zamek był siedzibą starostwa. Kolejni starostowie zmieniali jego wygląd – w samym tylko XVI w. warownię trzykrotnie przebudowywano. Z zamkiem w Olsztynie wiążą się dwa znane z podręczników historii wydarzenia militarne. W grudniu 1587 r. zamek został oblężony przez wojska arcyksięcia Maksymiliana III Habsburga (1558-1618), pretendenta do tronu polskiego, który wycofywał się spod Krakowa i został pokonany 24 stycznia 1588 r. przez wojska hetmana Jana Zamoyskiego pod Byczyną. Zamku w Olsztynie broniła załoga burgrabiego Kaspra Karlińskiego. Jego bohaterstwo i determinacja przeszły do historii.
W 1655 r. zamek został częściowo zniszczony przez wojska szwedzkie w czasie potopu szwedzkiego. W 1702 r. warownia doświadczyła kolejnego napadu Szwedów dowodzonych przez króla Karola XII (1682-1718). Zamek został ograbiony i podpalony. Od tego czasu popadał w ruinę.
Dalsze dzieje zamku związane są z takimi znaczącymi rodami polskimi jak Opalińscy, Lubomirscy i Potoccy. Przed 1729 r. ruiny olsztyńskiego zamku częściowo rozebrano w celu pozyskania materiału na budowę spalonego kościoła w Olsztynie. Budowę tę popierał książę Jerzy Lubomirski, starosta olsztyński. W XIX i XX w., wraz z grabieżą ruin zamku zaczęto dostrzegać ich unikalność i potrzebę zachowania dla potomnych.

Do chwili obecnej zamek zachował się w formie trwałej ruiny. Z dawnej warowni najlepiej zachowały się średniowieczne wieże, w tym cylindryczna na terenie tzw. Zamku Górnego oraz baszta południowo – zachodnia Zamku Dolnego. Fragmentarycznie zachowane odcinki murów obronnych wraz z odkrytymi w trakcie badań archeologicznych fundamentami w południowej części wzgórza, pozwalają na teoretyczną rekonstrukcję przebiegu nieistniejącego systemu obronnego. W północno-zachodniej części wzgórza istnieją natomiast nadal zabudowania XVI-wiecznych skrzydeł Zamku Górnego. W ostatnich latach, w trakcie badań ratowniczych na terenie Zamku Górnego odkryto XIV-wieczną cysternę na wodę. Obecnie zamek jest własnością Spółki do Zagospodarowania Wspólnoty Gruntowej Wsi Olsztyn. Ruiny udostępniane są turystom za pobraniem opłat. Ich promocją zajmuje się głównie Urząd Gminy w Olsztynie.