El marqués de Carpio, don Diego López de Haro, mandó construir el castillo de San Andrés para evitar el contrabando de cristianos.

Los bajeles corsarios les obligaban a embarcar como esclavos hacia la costa de Argel. El castillo se empezó a construir en 1583 y se finalizó en 1681. Antes de esta fecha, allí no había población estable, porque la costa era solitaria e inaccesible.

De modo tradicional, Carboneras se ha dedicado a la pesca. En algunas zonas del interior, también se practicaba la agricultura y la ganadería.

Sin embargo, el turismo ha cambiado la fisonomía y las fuentes de riqueza de Carboneras. En el pueblo se ha impuesto el sector de los servicios.

La Torre del Rayo es el elemento artístico más antiguo de Carboneras. Se edificó en la época nazarí y fue muy retocada en el Renacimiento.