En 1622 se inició la construcción del Castillo San Carlos para la defensa de la Bahía de Pampatar, en la Isla de Margarita. Cuarenta años después, en 1662, fue destruido el castillo y la población saqueada por piratas holandeses. En este mismo lugar, según los planos del ingeniero militar Don Juan Betín, el Capitán Carlos Navarro inicio la reconstrucción del castillo en 1664 y finalizó 20 años después, en 1684, como el CASTILLO SAN CARLOS DE BORROMEO. Posteriormente el castillo fue destruido y reconstruido en diferentes ocasiones durante la época de la colonia y la independencia. Igualmente, como Monumento Histórico Nacional ha sido restaurado en diversas oportunidades, como la que está recibiendo actualmente, por lo que el acceso a algunas áreas del mismo esta limitada; sin embargo, la visita de esta fortaleza militar de la época colonial bien vale la pena.

El castillo esta situado en la playa frente a la Bahía de Pampatar en lo que se puede considerar el centro histórico de Pampatar . Su objetivo, junto con el Fortín La Caranta, ubicado al otro lado de la bahía, era el de proteger, con su fuego cruzado, el puerto y la aduana de los corsarios y piratas de la época, que continuamente acosaban a la Isla de Margarita y el Mar Caribe en general. El castillo es un ejemplo clásico de la arquitectura militar de la época, con la planta en forma cuadricular y una garita de observación en cada una de las esquinas. Este diseño es muy característico de las construcciones militares de la época que se realizaron en la costa de Venezuela. El Castillo de San Carlos de Borromeo además tiene un foso a su alrededor que por razones practicas nunca tuvo agua .

Durante la Guerra de Independencia, Luisa Caceres de Arismendi también estuvo detenida en el castillo durante su traslado de 1816 desde el Castillo de Santa Rosa, en la Asunción, hacia la prisión de La Guaria. El 3 de noviembre de ese mismo año, los españoles se vieron obligados a evacuar la Isla de Margarita. Durante la noche, después de embarcar todos los pertrechos y soldados, en los sótanos del castillo, dejaron encendida una mecha que haría estallar un polvorín con catorce quintales de pólvora, que destruiría el castillo y a todos los patriotas que en ese momento se encontraban en él. Pero sucedió que la mecha fue vista por casualidad por un soldado patriota e inmediatamente apagada, salvándose las vidas y el castillo.

Dentro del castillo se encuentra el MUSEO DEL CASTILLO SAN CARLOS DE BORROMEO. En él se pueden apreciar valiosas piezas de colección de la época independentista de Venezuela, que plasmadas en diferentes cuadros y retablos representan la revolución que hubo en la isla. También existe toda una colección de recuerdos de luchas y torturas padecidas por la heroína independentista Luisa Caceres de Arismendi cuyos restos reposan en el Panteón Nacional, en Caracas.

Desde el castillo se puede disfrutar de una amplia vista panorámica de la Bahía de Pampatar y sus alrededores .