马祖岛原名南竿塘，而列岛以“马祖”为名，系始于宋代。相传宋时，福建省兴化府莆田县湄州岛，东螺搓渔民林愿之六女默娘，秉性贤淑、事亲至孝，且热心公益，每于黑夜，辄燃薪为火，为渔舟导航，深获乡民感佩。某日乃父出海捕鱼，不幸遇风罹难，默娘痛不欲生，乃投海寻父，卒负父尸漂至南竿岛。乡人感其孝行足式，厚葬立庙祭祀，尊称之为“妈祖”。民间为避讳，因将“妈祖”改为“马祖”，作为列岛总名。马祖的开发最早始与元朝，是大陆渔民出海捕渔时休憩避风之所，明末清初期间当地为倭寇所盘踞。到了清朝初期才又有福州沿海渔民移居此地，并逐渐形成具血缘关系的村落，其中以陈、林、曹、王、刘为大姓族群。今日南竿是马祖第一大岛和人口最集中地区，为连江县县治所在是马祖的政经文教中心。

马祖地区的风土民情承袭於大陆福建闽东地区，当地语言为福州话（长乐口音居多），当地人多称为“平话”或“马祖话”。马祖因四周环海又多风，当地居民多利用花岗岩块，沿著山坡地兴建，其结构多为方正双层独栋建筑，窗户小开於高处，窗棂以石条为骨架，屋脊为曲线造型如火焰燃烧般的“封火山墙”，屋顶以红或灰瓦覆盖并於接缝处压上石头，以防强烈海风吹刮侵袭。部分房屋受到南洋的欧式建筑影响，俗称“洋楼”或“蕃囝搭”。

原属无人荒岛，元朝世祖至元14年，迄顺帝至正27年（1277年～1367年）期间，闽浙沿海渔民，始发现群岛有天然港湾，可资避风补给淡水，遂利用为渔船停泊休息之所。明太祖洪武元年（1368年）以后，始有渔民陆续迁入，自成村落。中华民国成立后，政府先后于南竿、北竿、东犬、西犬各岛分设盐仓，计划发展渔业。1934年，首在南竿设联保办事处，推行保甲制度。1937年抗日战起，群岛为日军占据。1945年胜利后，福建海上保安总队及国军进驻西犬，负责恢复秩序，维持治安。

马祖于1950年12月15日成立“马祖行政公署”，下分设南竿区、北竿区、白肯区、东涌区、四礵区、岱山区、西津区、浮鹰区等8区。1952年台湾当局放弃四礵、岱山、西津、浮鹰4区，余下4区依原县恢复建制。

1953年2月连江县、罗源县、长乐县恢复县建制，将连江县所属的南竿区、北竿区改制为乡。同年9月长乐县所属的白肯区划分为白肯镇及东肯乡。1954年长乐县所属的东涌区改制为乡。1955年设立“闽东北行政公署”，就近督导连江、长乐、罗源3县政务。闽东北行政公署后改名为“福建省第一区行政督察专员公署”。

1956年6月，台湾当局决定在金马地区实施战地政务，撤销“福建省第一区行政督察专员公署”，将长乐及罗源2县并入连江县，原长乐县的白肯镇、东肯乡改名为西犬乡及东犬乡，原罗源县的东涌乡改名为东引乡，由连江县管辖，此时连江县共辖有南竿乡、北竿乡、西犬乡、东犬乡、东引乡等5乡。1971年西犬、东犬合并为莒光乡。现今连江县共管辖南竿、北竿、莒光、东引4乡，总面积约28.8平方公里。