上古的人们在选择和打磨石器时，发现了一些美丽的彩石，它们质地细腻温润，色泽柔和晶莹，中国古人遂称之为“玉”。
最初，一切温润而有光泽的美丽彩石都被视为玉。中国古代第一部汉字字典――东汉人许慎的《说文解字》中称，“玉，石之美者”。其实严格说来，当时人称的美石，并不完全是今天矿物学意义上的玉。矿物学上的玉分为硬玉和软玉两类，大体以摩氏硬度７的玻璃为界，低于玻璃硬度的称为软玉，反之就是硬玉。硬玉俗称翡翠，颜色从翠绿、苹果绿到白、红都有，红者为翡，绿者为翠，有珍珠或玻璃样的光泽。软玉是一种交织成毡状的阳起石或透闪石，颜色有乳白、苹果绿至墨绿等，琢磨后可呈现灿烂的蜡样光泽，质坚韧，不易压碎，是上好的雕刻和观赏材料。
中国原始社会内涵广泛的美玉（或称彩石玉），发展到商周时期（前16―前3世纪），便逐渐被这种质地更为上乘的软玉所取代，此后历代沿用不衰，成为中国古代玉器的主体用材。
由于玉料来源的制约，加之玉器加工需要相当的时间与耐力，人们一开始就对玉十分珍爱，很少用玉制作生产工具，而常常是将它们精雕细琢成各种首饰和特殊的装饰品。已知时代最早的玉器，便是管、珠、耳坠等首饰，距今约7000年，发现于长江下游河姆渡遗址第四层和陕西西安半坡遗址中。
从诞生时起，玉器便有一种高于石、木、骨、陶等器实用功能之上的审美价值，并迅速演变成王权（军事首领）与神权（巫师）的身份标志。近30年来，大量出土的新石器时代红山文化玉器、良渚文化玉器，乃至商周到秦汉间的考古发现均表明，玉器主要出土于贵族墓葬的陪葬品中。
