Les invasions des peuples germaniques des premiers siècles de notre ère sont suivies d'autres invasions tout aussi désastreuses dans nos régions celles des Normands (IXe siècle), celles des Hongrois (Xe siècle).

Les souverains carolingiens sont faibles, l'autorité se dissout. Elle passe aux seigneurs petits ou grands qui s'appuient sur leurs châteaux forts. C'est le temps de la féodalité qui voit se constituer des seigneuries qui parfois se combattent et entretiennent l'insécurité.
La colline escarpée détachée au sud du Mont Orgier offre un bon poste d'observation et un site facile à défendre qui a déjà pu être occupé après la conquête romaine. Un château fort y est édifié et sans doute agrandi par la suite. Au XIIIe siècle il est imposant. Une première muraille entoure le donjon carré couvert de plomb, les logis et les communs, une seconde ferme, sauf une ouverture au sud, la basse cour aménagée pour le retrait des habitants d'un large périmètre an cas de péril.
C'est au pied de la colline du château, sous sa protection, que vient s'établir la communauté d'Orgelet qui tire son nom du Mont Orgier qui la domine : maisons de bois et maisons de pierre. Elle est pour la première fois citée en 1227.
C'est alors que Jean de Chalon l'Antique, d'illustre famille, acquiert de grands domaines dans le sud du Comté. Il réside occasionnellement au château quand il s'agit pour lui de résoudre ou arbitrer des conflits.
Son héritier Jean de Chalon-Auxerre s'installe au château. Il commence par donner à Orgelet, en 1267, une charte de franchises, ce qui prouve l'importance qu'il attache au site. L'administration est confiée à quatre consuls élus chaque année et à un conseil de douze membres. Ce qui n'empêche pas le seigneur de conserver l'essentiel de ses droits : la justice haute, moyenne et basse, une imposition sur les " fronts des maisons et jardins ", des droits d'éminage sur les grains, de fours et moulins, de boucherie, des cens divers, les contributions dans les quatre cas, sans oublier les droits de mutations au lods.

Dès le début du XIIIe siècle vient l'idée de construire une muraille protectrice : elle est de l'intérêt du seigneur comme de celui des habitants. Le seigneur en fera les frais, les habitants veilleront à l'entretien. Un vaste chantier s'ouvre. La muraille entoure le premier noyau habité, descend du château vers l'église, un peu plus loin remonte à la forteresse. L'entrée est appelée porte du Bourg.
Au même temps est bâtie la première église, on suppose de 1270 à 1290. C'est un grand et bel édifice. Ses murs ouest et sud servant de rempart ne sont percés que de rares ouvertures. L'entrée est placée au nord, du côté des habitations.
Pour aider et soigner les pauvres malades, recueillir les voyageurs en difficulté, un hôpital est construit. Il est déjà signalé en 1292. Il est doté par le seigneur et son administration est confiée à l'hôpital du Saint Esprit à Besançon chargé d'en recruter le personnel et assurer le fonctionnement. C'est pourquoi il est nommé l'hôpital Notre Dame ou du Saint Esprit.
En 1349 passe la peste noire. On ignore ses conséquences à Orgelet. La guerre de Cent ans qui sévit en France trouve une trêve avec le Traité de Brétigny (1360). Les bandes de mercenaires français et étrangers sans emploi forment de Grandes compagnies qui se battent et pillent à leur profit ou celui de ceux qui les paient. Elles vont échouer devant les bons murs d'Orgelet.
Louis II de Chalon-Auxerre, seigneur d'Orgelet, ayant provoqué un scandale à la cour de Bourgogne est sanctionné par le Duc Jean sans Peur qui confisque ses domaines en 1418. Ils ne seront rendus qu'en 1479 aux Chalon-Arlay.

Le XVe siècle apporte de grands changements et embellissements à l'église. On y ajoute les chapelles du côté du nord. Surtout on élève un grand carré de cinq étages marqués par des bandeaux de pierre, flanqué d'une tourelle qui permet d'accéder au sommet, sommé sans doute par une flèche. On l'appelle aussi le beffroi car il permet de bien surveiller la ville et les environs.
Le bourg continue à se développer et divers quartiers se trouvent donc hors des murailles et très exposés. Alors la muraille est reprise et étendue pour englober un plus large périmètre. A l'ouest, avant d'arriver aux habitations elle descend dans la combe jusqu'à la tour carrée que l'on observe au coin de la place au vin puis revient à l'église, passe en arrière et arrive à la porte du bourg de Merlia, se poursuit jusqu'au dernières maisons et remonte au château. Sont ainsi intégrés les quartiers de la place au vin, de la place de la boucherie aujourd'hui place Marnix, du bourg de Merlia et de la grande rue.
Les murailles sont hautes et percées de meurtrières. De loin en loin des tours carrées ou rondes forment des points forts et assurent les flanquements. On comptera deux tours carrées et sept tours rondes. Des portes sont aménagées pour entrer et sortir de la ville : trois portes principales, la porte des Ormes ou du faubourg, la porte du bourg de Merlia, la porte de la grande rue et une secondaire, la porte de la Combe.
Devant les murailles, de la place au vin à la porte de la grande rue, sont creusés de profonds fossés. On accède aux portes grâce à des ponts-levis jetés sur les fossés. Les portes de chêne bien ferrées sont toujours fermées la nuit. Une herse de bois ou de fer complète la défense.
C'est à la porte des Ormes qu'en 1422 se présente le Duc Philippe Le Bon avec son escorte. Le magistrat sourcilleux, avant de lui ouvrir la porte à deux battants, lui demande de jurer de maintenir les franchises de la ville. Le Duc vexé s'y prête mais passe vite se dérobant aux festivités prévues.
En cette fin du Moyen-Age l'activité est grande à Orgelet. Autour de la ville s'affairent les laboureurs qui cultivent avant tout les blés qui donneront le pain. En ville de nombreux artisans et commerçants ont ouvert atelier ou boutique. La spécialité est longtemps la fabrication des draps de laine à partir de la toison des moutons des alentours. Ces draps sont peut-être grossiers mais ils sont solides et trouvent preneurs même dans les régions voisines. L'activité est surtout marquée lors des samedis jours de marchés et des cinq foires annuelles tenues le premier samedi de Carême , le 2 mai, le 30 juin, le 30 septembre et le 9 décembre. Vendeurs et acheteurs se pressent, venus parfois de loin. Les transactions ont amené la présence de juifs ou d'italiens dits Lombards spécialistes du change et du prêt, sans doute à usure. C'est la preuve de leur importance.

En 1477 le Duc Charles le Téméraire, l'adversaire du roi Louis XI, trouve la mort devant Nancy. Saisissant l'occasion, le Roi de France essaie de conquérir la Bourgogne. Il réussit au duché, moins bien au Comté. En 1479 ses troupes s'emparent d'Orgelet sans grand combat, occupent le château ; elles ne le quitteront qu'après avoir détruit la plupart des défenses.
Le Comté revient à la fille du Duc, Marie de Bourgogne. Elle épouse l'archiduc Maximilien de Hasbourg qui deviendra empereur. Le Traité de Senlis leur rend le Comté (1493). Orgelet passe ainsi avec la province sous la domination ou au moins sous la tutelle des Hasbourg.