Začiatky kolonizácie hornej Oravy na valaskom práve môžeme datovať 16. storočím. Valasi ako prví obyvatelia Brezy sa usadili v zúženom údolí Bielej Oravy v miestach, kde sa do nej vlieva potok Kýčera. Prvá známa zmienka o obci Breza je v daňovom súpise z roku 1593. Palatín Juraj Thurzo pridelil v roku 1615 jednotlivým osadám patriacim k oravskému panstvu pastviny, určil im počet oviec a poddanské povinnosti.Prvým známym šoltýsom v Breze bol Pavol Lokčanský, ktorý bol v čele dediny v roku 1619, keď urbár oravského panstva zaznamenáva v Breze už aj mlyn a pílu.

V roku 1774 bol na generálnej kongregácii Oravskej stolice zverejnený armáles rodu, ktorý dostal 7.11.1773 od panovníčky Márie Terézie Michal Matejčík. Bola to jeho odmena za to, že z poverenia oravského panstva postavil cestu z Párnice do Kraľovian cez neschodné skaliská, útesy a bralá. On dal postaviť aj prvý most cez rieku Oravu v Dolnom Kubíne.

Relatívne pokojný život a rozvoj obce narúšali takmer každoročne povodne, rozmary počasia, ale aj požiare. Brezu však neobišli ani veľké epidémie.  V rokoch 1831 a 1873 to boli veľké epidémie cholery. 

Od čias Márie Terézie stáli na čele obce richtári. Po zrušení poddanstva bola nutná úprava vzťahov medzi oravským panstvom a urbárnikmi Brezy. Dňa 28.6.1878 pred kráľovským súdom v Ružomberku sa kodifikovala „urbárska dobrovoľná dohoda“. Obec zastupovalo 127 občanov na čele s richtárom Jánom Šimekom. 

V Breze, tak ako vo väčšine oravských obcí bolo rozvinuté len základné, tzv. ľudové školstvo, ktoré v najstaršom období malo cirkevný charakter. Aj tu bola  rímskokatolícka cirkevná škola, pretože obyvatelia obce boli skoro výlučne rímsko-katolíckeho vierovyznania. Bol tu jeden učiteľ: Ján Zborek ktorý vyučoval počas Rakúsko - Uhorska aj po vzniku  Československej republiky v rokoch 1878 – 1932. Patril medzi známe postavy oravského školstva a podľa uhorských školských zákonov učil aj po maďarsky. V roku 1882 mala Breza 191 domov, v ktorých bývalo 210 rodín a dovedna 1 203 obyvateľov. Obec sa postupne rozvíjala a v r.1894 sa dokonca stavala rímskokatolícka škola s celkovým nákladom 2913 zlatých. 

Začiatok 20. storočia aj roky 1. sv. vojny priniesli ľudu Brezy biedu a utrpenie. Muži odišli na front a všetky poľnohospodárske práce museli robiť starci, ženy a deti. Vojnoví zajatci – Taliani, pridelení do Brezy stavali pre oravský komposesorát  úzkokoľajnú železničnú trať z Lokce do Mutného a Zákamenného . Za zabratú pôdu dostali Brezania lesy Paseku a Háj. Dlhým trvaním vojny začala byť núdza o potraviny a základné potreby. Základné potraviny sa vydávali len na poukážky.

Hladinu politického života  rozvírili len agitácie pre plebiscit, ktorým sa obyvateľstvo Hornej Oravy malo rozhodnúť, či chce patriť k Poľsku alebo k Československej republike. Poľská agitácia bola neúspešná, ale aj tak vláda ČSR musela Poľsku odstúpiť časť severnej Oravy a Spiša. 

Bieda, rekvirácie a nedostatok pracovných síl nútil ľud Brezy hľadať živobytie vo vyspelejších krajinách. Veľa ľudí z Brezy sa vysťahovalo do USA, Kanady, Argentíny, Brazílie a Juhoslávie.

Počas 2. svetovej vojny opäť odchádzajú muži na front. Mená Štefan Dudášik, Jozef Janík, František Janík patria k tým, ktorí sa pridali na opačnú stranu a bojovali proti Nemcom. Dňa 3.4. 1945 bola obec Breza oslobodená.

V Breze bol národný výbor založený 12.4.1945 a týmto dátum sa začína budovateľské / socialistické/ obdobie. Za jeho predsedu bol zvolený dovtedajší starosta obce Jozef Matejčík. Vybudoval sa vodovod, elektrifikovala sa obec. V roku  1954 bol v Breze založený požiarny zbor. Zdravotnú starostlivosť pre všetkých občanov zabezpečoval na zdravotnom stredisku MUDr. Fornúsek. Kultúrny dom s kanceláriami pre MNV bol postavený v roku 1957. V roku 1961 je postavená nová budova základnej školy. V akcii Z sa následne postavila materská škola, nákupné stredisko.

Nová epocha vo vývoji obce sa začína po roku 1989. Demokratizácia spoločnosti, nové usporiadanie majú vplyv aj na dianie u nás v obci.  Prvým starostom sa stal Ing. J. Volček.

Do popredia sa dostáva medzinárodná spolupráca. Hlavnými oblasťami spolupráce sú:

• o  vzdelávanie,
• o  kultúra,
• o  šport, turistika, rekreácia,
• o  výmena skúseností v samospráve,
• o  podpora hospodárskeho rozvoja,
• o  vzájomná podpora a propagácia partnerských obcí.