在台湾出土的新石器时代的文物，与中国福建的新石器文物关系密切，台湾人主要的应是从中国大陆迁移过去的。
高山族世代相承的传统习俗中，有许多华南古文化的特质，诸如巢居、公廨、舟楫、杵臼、木鼓、生食海产、嗜槟榔、嚼米酿酒、竹筒饮酒、跣足、蹲踞、羽冠、卉服、珠贝、贯头衣、筒裙、断发文身、凿齿、涅齿、穿耳、琴箫挑逗、构屋笄居、崖葬、洗骨葬、歌舞、秋千、木雕、猎头、祭祀、巫术、太阳与蛇和鸟崇拜、祖先崇拜、洪水神话、射日神话、连名制度，等等。其中巢居、舟楫、断发文身、凿齿、穿耳、生食海产、崖葬、蛇崇拜等都是古越人典型的文化特质，印证了高山族与古越人；习气共俗，源出一脉。
高山族过去长期处于原始社会发展阶段。据史载，三国时期，高山族的先民分成若干部落，部落成员称为“弥麟”，公共事务由部落成员共同管理。他们使用石斧、石锛、石环、用鹿角为矛，用青石为镞，以采集、狩猎为主，畜牧业尚不发达。盛行男嫁女家的婚姻制度，大约尚处在母系氏族社会阶段。至7世纪，已有了农耕、畜牧，生产工具仍以石器为主，有少量铁器。部落有酋长，无赋税，公共事务仍由部落成员管理，有人犯罪，由部落成员根据习惯法共同议决制裁办法，轻者杖责，重则处死。无文字，不知历法，崇拜山神、海神。集会时多举行歌舞。已有雕刻与绘画。历北宋、南宋、元朝、明、清代各代，台湾与内地的联系日益增多。据陈第《东番志》等书记载，当时高山族的农业、畜牧业和狩猎，虽较以前有了进一步发展，且已有部分特产与大陆沿海居民进行贸易，大陆人以玛瑙、瓷器、布、盐、铜、簪环之类易高山族的鹿脯、鹿皮、鹿角等，但各部落之间依然“老死不与他夷相往来”，仍过着朴素的生活。
17世纪以后，由于大量汉族迁居台湾，以及郑成功政权采取有利于发展高山族经济文化的一系列措施，加速了高山族社会经济发展。居住在西南部平原的高山族，有一部分发展进入封建社会。从16世纪开始，台湾高山族多次遭受外国侵略。1563年，倭寇侵入北部鸡笼(基隆)一带烧杀抢掠，当地高山族被迫迁居山区。以后又有荷兰殖民者、西班牙殖民者、美日侵略者侵略台湾，高山族人民给予了坚决抵抗，开展了英勇顽强，不屈不挠的斗争，表现出了誓死保卫家园的爱国主义情操。
长期以来高山族和汉族人民共同抵御外国侵略者的侵略，共同开发了台湾。在日本帝国主义侵占台湾50年间，反抗斗争尤为激烈，以1930年的雾社起义规模最大。1947年又参加了以汉族为主的“二二八”起义。
