Le nom de la commune apparaît dans un document antérieur au VIIème siècle, la Charta Vetus : une certaine dame chrétienne, Aspasie donne Vinezac à l’Eglise de Viviers. En 1168 : Etienne Frotbert vend aux Templiers de Jalès une faysse de terre. Parmi les témoins : Artinanz de Vinazac. En 1244-1254 : Arnaud, évêque de Viviers, échange avec le chapitre de Viviers les églises de Saint-Vincent, de Gras et de Larnas et tout ce que le chapitre possédait à Valvignères contre les églises de Jaujac, Joannas, Mirabel, Saint-Germain, Vinezac, Saint-Remèze et Saint-Thomé.
En 1256 (v-s) : Dalmas, fils de feu Guillaume de Casteljau, avec Mabille et Amansa, ses sœurs, et Guido de Saint-Quintin, mari d’Amansa, vendent à Pierre de Laudun et à Aymar Julien, fils de Pierre Julien, tous leurs droits sur les castra de Vinezac, Uzer et Balazuc. La vente est faite au prix de 8000 deniers et 10 livres monnaie de Viviers, dont les vendeurs se disent payés. Guillaume de Balazuc, fils de Jarenton des Éperviers, et Pierre des Éperviers, tuteur de Guillaume de Balazuc, approuvent et confirment la vente sous réserve des droits du seigneur de Balazuc et investissent les acquéreurs des biens achetés. Hommage rendu en 1263 par Pierre Alvirgie à Guillaume Dalmas pour divers manses dans le mandement de Vinezac.
En 1287 : Hugues, évêque de Viviers, reçoit l’hommage d’Aymar et Arnaud Julien, seigneurs de Vinezac. Partage du château en 1297 et de la seigneurie de Vinezac entre Arnaud Testamelhe et Aymar Julien. Aldebert de Peyre, évêque de Viviers, reçoit l’hommage de Pierre Julien, fils d’Aymar, seigneur de Vinezac. En 1311 : Alzias Testamelhe (sic), coseigneur de Vinezac, rend hommage au seigneur de Balazuc. La veuve de Pierre Julien, coseigneur de Vinezac, comme tutrice de leurs enfants, rend hommage en 1329 à Guillaume de Balazuc, pour tout ce qui leur appartenait dans les castra de Vinezac et d’Uzer. Henri de Villars, évêque de Viviers, reçoit l’hommage en 1333 d’Aymar Julien, seigneur de Vinezac.
Malgré la présence de cette fortification, le village de Vinezac n’est pas d’origine castrale ; en effet, le lieu de Vinezac est mentionné dès le VIe ou le VIIe siècle dans le premier cartulaire de l’Église cathédrale de Viviers. Comme le laisse supposer l’étude du parcellaire du début du XIXe siècle, l’habitat primitif s’est sans doute développé autour de l’église Sainte-Marie relevant de l’Église de Viviers ; le château développant ensuite à son tour un habitat dans une basse-cour qui s’étendait au nord. L’ensemble a enfin été réuni dans un dernier temps.
À l’origine, l’ancien château de Vinezac, est bâti sur le modèle des autres châteaux vivarois du XIIe siècle. De taille modeste, sa défense repose sur l’usage maximal des potentialités du relief. Le château fortalicium présente un aspect massif et ramassé. Le triptyque donjon-chemise-aula définit pour l’essentiel le château. Le donjon, cœur du château, est un bâtiment de plan carré de 15 m de hauteur pour des dimensions situées aux alentours de 6 à 7 m de côté. L’accès se fait au 1er ou au second étage, le rez-de-chaussée étant constitué d’une basse-fosse aveugle. Les ouvertures sont réduites au strict minimum. Les niveaux sont souvent planchéiés et la circulation se fait en général au moyen d’échelles en bois. Il ne reste de ce château féodal qu’un important donjon carré datant de la fin du XIIe - début du XIIIe siècle.
Entre le XVe et le XVIIe siècle, le donjon a été réhabilité en demeure seigneuriale et un corps de logis a été construit adossé à l’ancien rempart. Il conserve cependant quelques éléments de son appareil défensif, une bretèche et une meurtrière. Sa face occidentale donne sur une cour très modifiée : une porte a été percée et une belle fenêtre Renaissance ouverte. Au premier étage, un salon dans lequel se trouve une cheminée médiévale à prisme a été créé ainsi qu’une chambre pour son hôte. Pour accéder au second étage, un superbe escalier à vis, qui mène dans une magnifique chambre voûtée, a été aménagé et des ouvertures ont été réalisées afin de permettre à la lumière de pénétrer dans l’édifice.
Enfin, au XVIIe siècle, fut construit, par Louis de Jullien, seigneur de Vinezac, un vaste corps de logis résidentiel avec notamment des fenêtres à meneaux formés de simples blocs de grès soigneusement taillés. Un escalier monumental en pierre de quatre volées, orné d’une rampe à balustres, dessert les deux étages du bâtiment. La grande salle, qui était le salon du seigneur, est décorée de quatre cariatides : statues féminines à gaine, imageant les quatre saisons, soutenant les retombées de la voute. Au-dessus du trumeau, entre les deux fenêtres se dessinent deux petits amours sur une délicate guirlande de jasmins et en regard sur la muraille opposée, apparaissent, enveloppées dans une guirlande de roses, deux danseurs tenant chacun un tambour basque à la main. Le dessin des portes, qui sont au nombre de trois, est orné de joueurs de viole, de cornemuse, de flûte et de guitare. Sur la cheminée au-dessus d’un écusson surmonté d’une couronne de marquis, se détache le génie de l’amour tenant un flambeau à la main. La pièce voisine, qui devait être le boudoir de la châtelaine, n’est pas moins décorée. On y voit le génie de l’amour, le beau Narcisse cueillant la fleur qui porte son nom, deux figures de la Folie, l’un avec un tambour de basque et l’autre sa marotte. Ces décoctions rappellent celles qui peuvent être admirées dans le boudoir du palais de Chantilly.
Le Château Julien est remarquablement préservé, présente un bel appareil régulier et montre sans doute deux phases de construction avec un usage abondant de blocs à bossage dans la seconde phase. Par ailleurs, les traces d’ancrage d’un hourd couronnant la plate-forme sommitale sont encore très nettement visibles.
Il reste du château féodal un important donjon carré en partie caché par les bâtiments ultérieurs ; on le date généralement de la fin du XIIe ou du début du XIIIe siècle pour ses parties les plus anciennes. Sa face occidentale, qui de nos jours donne sur une cour, a été très modifiée : une porte a été percée, un escalier à vis construit, une belle fenêtre Renaissance ouverte. Il conserve cependant quelques éléments de son appareil défensif, une bretèche et une meurtrière. Ce donjon est privé
Immédiatement au sud du donjon, on peut remarquer un vestige de la chemise maçonnée qui lui était associée.
Enfin, au XVIIe siècle, fut construit un vaste corps de logis résidentiel, contemporain donc et de même style que le château Charbonnel, avec notamment ses fenêtres à meneaux formés de simples blocs de grès soigneusement taillés. Un escalier monumental en pierre de quatre volées, orné d’une rampe à balustres, dessert les deux étages du bâtiment. Vous pouvez aussi admirer la façade méridionale, très bien ordonnée, donnant sur ce qui était la cour d’honneur. Au rez-de-chaussée, dans une salle qui était le salon du seigneur, décorée de quatre cariatides à gaine, représentant les quatre saisons, travail de gypserie, probablement du XVIIIe siècle. On peut aussi apprécier les peintures aux murs : guirlandes et danseurs à tambourin.
De la rue du Puits, on peut apercevoir la partie supérieure de la face nord du château qui apparaît au-dessus d’une terrasse. Bâtie en gros appareil régulier de calcaire gris granuleux, son bossage rustique est conservé sur les assises supérieures. Il subsiste aussi une petite tour circulaire, qui appartenait sans doute à des bâtiments du XVe siècle, aujourd’hui disparus. On remarque des bouches à feu à sa partie inférieure, qui se trouvent presque au ras du sol actuel, celui-ci ayant été surélevé de 1,50 à 2 mètres par rapport à son niveau ancien. La présence d’oubliettes suggère qu’elle a servi à certaine période de prison seigneuriale.
Le château de Julien auquel appartient le donjon plus ancien, est comme l’église romane, un des plus anciens monuments historiques classés en Ardèche (1906). En partie racheté par la commune en 1998 dans le but de disposer d’un espace à vocation culturelle pluridisciplinaire, il a été réhabilité tout en lui conservant son aspect extérieur. Le château Jullien est une propriété privée, ne se visite pas, visible de l'extérieur.