Przez cały okres istnienia starostwa, Czaplinek pozostawał w cieniu Drahimia, pełniąc funkcję służebną w stosunku do zamku. Kolejne wydarzenia, które zdecydowały o losach ziemi czaplineckiej rozpoczęły się 21 lipca 1655 roku najazdem szwedzkim. Wojska najeźdźców przekroczyły granicę starostwa w okolicach Siemczyna, a po splądrowaniu miasta i pogromie mieszkańców wyruszyły w kierunku Wałcza. W roku 1657 po serii niepowodzeń, główne siły szwedzkie wycofały się z Polski paląc za sobą Drahim.

Jan Kazimierz na mocy traktatu bydgoskiego, oddał starostwo stronie brandenburskiej w zastaw za werbunki w toku trwającej wojny. Pomimo usilnych starań prowadzonych m.in. przez hetmana polskiego Stanisława "Rewery" Potockiego, nie udało się odzyskać starostwa aż do pierwszego rozbioru Polski w 1772 roku, po którym ziemie te znalazły się pod zaborem pruskim.

Wiek XVII okazał się dla Czaplinka korzystny m.in. ze względu na wyraźny rozwój gospodarczy i urbanistyczny. Miasto posiadało wtedy jeden z największych na Pomorzu Zachodnim ośrodek rzemiosła sukienniczego, młyny, wiatraki, tartak, oraz cegielnię. Czaplinka nie omijały jednak wielkie pożary, które niszczyły miasto prawie w całości. W II połowie XVIII wieku Drahim stopniowo tracił znaczenie na rzecz miasta, a zamek zaczął popadać w ruinę. Pod koniec XIX wieku doprowadzono do miasta linię kolejową. Rozpoczęła się budowa dróg, brukowanych ulic, sieci gazowniczej, powstała poczta wraz z telegrafem. W okresie II wojny światowej w Czaplinku i jego okolicach, utworzono obóz pracy dla jeńców radzieckich, a spora grupa Polaków była zatrudniona przez Niemców jako robotnicy przymusowi.

Miasto znajdowało się na linii niemieckiego oporu zwanej "Pommersche Seenstelung" i było bronione przez oddziały SS z brygady "Schneider". Po przełamaniu głównych pozycji Wału Pomorskiego w kierunku Czaplinka nacierały oddziały 7 pułku 3 Dywizji Piechoty. Z rozkazu majora Stanisława Rusijana, trzy bataliony wspierane przez pododdziały artylerii zdobyły miasto 3 marca 1945 roku. Po trzystu latach byli to pierwsi polscy żołnierze. Po wojnie miasto powoli traci swój rolniczy charakter, pełniąc funkcję zaplecza rolniczego, a główny przemysł oparł się o elektronikę i turystykę.