Średniowieczne kroniki wskazują, że zamek początkowo nosił nazwę Laudis Palatium lub Lausepelz. Według niektórych interpretacji nazwa ta mogła wywodzić się od łużyckiego Lausche Polske, co oznaczało „Łysą Górę”. Z czasem przekształciła się w Läusepelz.

Dokładna data powstania zamku pozostaje nieznana, choć przypuszcza się, że pod koniec XIII wieku wzniesiono tu siedzibę rodu von Reibnitz, wzmiankowanego w dokumentach z 1288 roku. Istnieją również przekazy sugerujące, że już w X wieku w Rybnicy osiedliły się siostry beginki. Potwierdzać to miała inskrypcja z rokiem 1234, wyryta na jednej z kamiennych ścian zamku. Odkryta podczas remontu w połowie XVIII wieku, niestety później uległa zniszczeniu.

W 1345 roku książę świdnicko-jaworski Henryk przekazał rycerzowi Konradowi von Czirnowi dochody z Rybnicy i okolicznych wsi, co może świadczyć o istnieniu w tym miejscu siedziby rycerskiej.

Tradycja przypisuje budowę murowanego zamku cesarzowi Karolowi IV Luksemburskiemu w latach 60. XIV wieku, choć brak jednoznacznych dowodów na potwierdzenie tej tezy. Wiadomo jednak, że cesarz odwiedził to miejsce w 1365 roku.

Przypuszcza się, że w latach 20. XV wieku warownia została zdobyta i zniszczona przez husytów. Wkrótce jednak podjęto jej odbudowę, przy czym zakres prac musiał znacząco zmienić pierwotny układ i formę zamku. Obecnie zachowane relikty wskazują, że większość murów pochodzi z XV i XVI wieku. Nie wiadomo dokładnie, kto był inicjatorem odbudowy ani kiedy ją ukończono, jednak możliwe, że inwestycję przeprowadził Hans von Zedlitz, znany również jako von Reibnitz, który w drugiej połowie XV wieku był właścicielem wsi. W 1532 roku jego wnuk, Hans III, sprzedał rybnickie dobra Christophowi von Redern z Nielestna. Przez kolejne dwieście lat losy zamku pozostają nieznane.

Ponowne wzmianki o Rybnicy pojawiają się w 1756 roku, kiedy wraz z pobliską Starą Kamienicą stała się własnością jeleniogórskiego kupca Georga Friedricha Schmidta. Rozpoczął on lub kontynuował prace modernizacyjne, jednak stan budowli najprawdopodobniej nie pozwalał już na jej pełne użytkowanie jako rezydencji mieszkalnej.

Po śmierci Schmidta jego żona, Margarethe Elisabeth z domu Gottfried, w 1765 roku przekazała majątek swojemu drugiemu mężowi, Christianowi Benedicto Kahlowi. W 1770 roku dobra, wraz z Maciejowcem, przeszły na własność Fundacji Świętojańskiej Legnickiej Akademii Rycerskiej (Königliche Stifts-Amt zu Sankt Johann), a w 1786 roku zostały zakupione przez hrabiego Karla von Röder ze Skały. W tym okresie przeprowadzono kolejne prace remontowe, prawdopodobnie w celu dostosowania zamku do potrzeb funkcjonującego u jego podnóża folwarku.

Osiem lat później majątek objął Gottlieb Wilhelm von Bressler, właściciel dóbr Lauske w Saksonii. Jego potomkowie i spadkobiercy utrzymywali folwark w Rybnicy aż do 1937 roku, choć nigdy nie rezydowali tu na stałe.

Ostatnimi przedwojennymi właścicielami działki z ruiną zamku byli wyższy radca budowlany Rautenberg (1937–1939) oraz Herbert Stabrin (1939–1945), współwłaściciel fabryki likierów Echt Stornsdorfer-Bitter Fabrik. Stabrin wybudował w pobliżu wzgórza zamkowego dom dla siebie i swojej rodziny.

Po wojnie zamek pozostał bez gospodarza. Choć formalnie podlegał władzom Kombinatu Rolno-Przemysłowego, nie podjęto żadnych działań mających na celu ochronę jego murów przed dalszą degradacją. Tym samym, opuszczony już w pierwszej połowie XIX wieku, zamek stopniowo popadał w ruinę.