Padasjoelta on löydetty useita kivikautisia asuinpaikkoja ja rautakautisia kalmistoja, Virmailan Linnasaaressa on ollut muinaislinna. Padasjoen kylistä useat ovat keskiaikaisperäisiä, ja niistä on mainintoja 1400-luvulta. Padasjoen hallintopitäjästä ensimmäinen tieto on vuodelta 1442.
Padasjoen Nyystölässä käytiin nuijasodan taistelu tammikuussa 1597, jolloin Hämeen nuijamiehet kohtasivat Arvid ja Ivar Tawastin joukot. Aluksi menestyksellisesti puolustautuneet nuijamiehet kärsivät tuhoisan tappion, ja noin 400 miestä sai surmansa. Taistelun paikalla on 1930-luvulla pystytetty muistomerkki.
Padasjoella on ollut monipuolista teollisuutta 1800-luvun puolivälistä lähtien. Erityisen runsasta teollinen toiminta on ollut Arrakoskella, jossa teollinen toiminta alkoi 1850-luvun alussa. Arrakosken teollisuuskylässä ovat säilyneet mm. myllyn, meijerin ja sähkölaitoksen rakennukset 1900-luvun alusta. Toritun kylässä voi tutustua paikalliseen käsityöläisperinteeseen kyläsepän museossa. Paikalla on asunut seppiä 1700-luvulta 1950-luvulle asti.
