三国时期，吴国的孙权曾派兵前往台湾，据此而写成的《临海水土志》中有了关于台湾高山族的最早记载。书中称台湾为“夷州”，高山族先民为“山夷”。隋朝炀帝亦曾两次派兵渡海赴台，称高山族先民为“流求人”。唐、宋、元时期，大陆与台湾间的相互交流与了解更日渐增多。此时，在台湾土著文化继续生存发展的同时，随着大陆及南洋等地移民的进入，也出现了多种文化的交汇与融合。在此基础上，到了明代，高山族的文化特点已基本形成。当时被称为“东番”、“番夷”、“土番”、“土民”等。但社会形态仍处于原始社会时期，继续保留着浓厚的原始文化特点。
清朝统一台湾以后，统称高山族为“番族”。又因分布地域的不同而分为“东番”、“西番”、“南番”、“北番”，或以居住地势的差异分为“高山番”、“平埔番”，或以发展水平及其与汉人关系亲疏分为“野番”、“生番”和“熟番”。日本帝国主义侵占台湾期间，称高山族为“高砂族”、“蕃族”。台湾光复以后，台湾当局曾使用过“高山族”这一名称，后来又称“山地同胞”、“山胞”、“先住民”、“原住民”等。目前台湾学术界仍无定论，“先住民”、“原住民”、“土著族”、“九族”、“高山族”、“南岛语系诸族”等名称均有主张和使用。1945年抗日战争胜利后，祖国大陆的出版物开始称台湾世居少数民族为“高山族”。1953年，这个名称得到了国家的确认，并一直沿用至今。
当然，关于高山族的族源、族称、族体的划分等问题，学术界尚存诸多争议与分歧。不过，祖国统一大业实现以后，经过科学的民族调查与识别，这些问题都会逐步得到解决的。
