严格意义上的玉器，产生于新石器时代，至今已有8000多年的历史了。新石器时代的玉器种类，主要有各种型制的佩戴在身上的装饰品、佩戴或执持以表征权力的瑞玉，祭祀祖先神灵的祭玉以及专门为殉葬而制作的葬玉等。这些玉器具有特殊的功能，象征着拥有者的身份、地位和财富，有的还具有深刻的宗教寓意，在意识形态领域占据重要的地位。因此，从新石器时代开始，玉器就有别于当时的石器、陶器等普通的生产和生活用品，倍受重视，被当作珍宝加以收藏。
在新石器时代晚期的红山文化和良渚文化大型墓葬中，都发现有随葬玉器。红山文化玉器型制多样，磨制精美，而且在墓中置放有序，如勾云形佩和筒形器主要置于尸骨的胸部或头部，环主要置于腕部，鸟形饰都有可穿缀的小孔，它们不是专为殉葬而制作的，而应是墓主生前使用并收藏的瑞玉和装饰品。在浙江余杭反山良渚文化墓地的11座墓葬中，出土玉器1100余件（组），单件计数达3200余件，其中部分可能是专为殉葬而制作的，但绝大多数是墓主生前使用和收藏的。为了让死者在地下过着与生前一样的生活，将其生前使用的玉器一同入葬，是当时人对玉器珍爱与收藏意识的体现。
夏商周时期，贵族阶层已注意收藏当时制作和使用的玉器，同时对前代流传下来的玉器更为珍视。红山文化是新石器时代晚期北方的制玉中心，其玉器流传的地域广，时间久。在相当于夏代的内蒙古敖汉旗大甸子夏家店下层文化遗址中，出土了多件红山文化玉器，如璧、勾云形器、勾形器、筒形器等，都是红山文化常见的器型，是墓主人生前收藏红山文化玉器的例证。
1976年发掘的安阳殷墟妇好墓出土了755件玉器，其中标本964号和标本1120号与内蒙古巴林右旗那斯台出土的勾形器形制相同，标本948号与辽宁建平牛河梁第二地点9号墓出土的椭圆形带齿玉饰形制相同，均为红山文化遗物；标本350号玉凤与湖北天门石家河出土的团凤造型相似，琢纹工艺相同，应为石家河文化的遗物。
在北京琉璃河西周燕国墓地和河南三门峡西周虢国墓地中也都出土了红山文化的玉器。在山西侯马曲村西周中晚期晋侯墓地中，也出土了很多商代玉器。这些都是墓主人生前收藏的古代玉器。
春秋战国至汉代，玉器生产在前代基础上不断发展，玉器收藏的规模也较商周时期有很大进展。这一阶段的玉器收藏者仍和以前一样，主要限于帝王贵族阶层。
1986年在江苏吴县发现了一个玉器窖藏，出土遗物包括玉器、彩石器和料器共402件，其中玉器204件，占出土遗物总数的50.7％，其器型种类主要为璧、环、璜等礼器和虎形佩、鸟形佩、珠等各种形状的装饰品。除了时作玉器，其中6件可能是吴王夫差收藏的良渚文化玉器。
1976年在河北平山县战国中山国王及其陪葬墓中，出土玉器800余件，其中除了战国风格的玉器，还有西周和春秋时期的玉器。一些玉器上有墨书文字“集玉”、“集它玉”，表明这些玉器是中山国王长期收藏的珍物。
1983年在广州象岗山发现了西汉南越王墓，墓中出土玉器达200多件。在西耳室西侧北墙根存放的一个漆盒里盛放有43件玉剑饰，包括剑首10件、格16件、〓9件、〓8件，根据它们在盒中的存放位置和玉质玉色，并参照形制、纹饰特点，可大体分辨出8套，余下11件不成套。每件剑饰表面都粘附朱砂和朱绢，估计随葬时是以朱绢逐件包裹后放入漆盒的。这批玉剑饰玉质雕工均属上乘，且其中仅少数有使用痕迹，从其出土状况来看，毫无疑问是南越王的收藏品。
由于多种原因，三国两晋南北朝时期，玉器的生产和收藏曾一度处于低谷，隋唐时期逐渐复兴。在陕西唐永泰公主墓出土的10件玉器中，有7件是唐代玉佩的配件；另外3件中，1件为战国晚期至西汉的谷纹玉珩，1件为东汉时期的镂雕螭纹出廓璧残件，1件为魏晋时期的走兽游鱼佩。可见此期的玉器收藏仍是以时作玉为大宗，新旧并蓄。
北宋时期，产生了以古器物和碑刻为研究对象的金石学。金石学的兴起，极大地提高了人们鉴赏和收藏古代器物的兴趣，古代玉器与三代青铜器一起成为文玩和“骨董”。
宋代的皇帝是当时最大的玉器收藏家，宫廷宗正寺玉牒所、文思院上界和修内司玉作碾磨的玉器以及地方属国、州郡进贡的玉器，是其玉器收藏的主要来源，如当时出产和阗美玉的于阗国就时常向宋室进贡玉器。南宋周密《武林旧事》卷九记载：绍兴二十年（1150）十月，宋高宗赵构临幸清河郡王张俊府第，张俊进奉果品宝器、书画、匹帛等物，宝器中时作玉44件，古玉17件。皇帝所藏玉器之丰，由此可见一斑。
在皇帝的倡导和金石学研究风气的影响下，文人士族阶层亦购买收藏古玉，并对其进行考证研究，收藏玉器成为上层社会的一种时尚。北宋学者吕大临精于文物鉴赏，在宫内兼职监管文物，由他编纂的《考古图》10卷。收录皇宫中收藏的铜器210件，玉器14件，这是中国最早的收录玉器的图书，开中国玉器研究之先河。
从商周至汉代，玉器是以礼制化、理念化、系统化、等级化的玉礼器和组佩饰为主，用玉阶层只局限于王公贵族，国王是最大的玉器占有者，其他人通过赏赐或馈赠的方式从国王那里获得玉器，所以基本不存在买卖玉器的情况。隋唐时期，玉器手工业开始复苏，并走向世俗化的道路，生产出适于平民百姓使用的、富有生活气息的玉器皿和玉佩饰。宋代玉器在唐代的基础上，继续沿着生活化、世俗化的道路发展。此时的城市经济非常发达，北宋的都城汴梁大相国寺是民间商业的大市场，每月5次开放，热闹异常，其中有出售民间旧货古董的交易市场。除了收藏的古玉器，民间玉作坊生产的各种时作玉器也在市场上出售，玉器市场已经非常普遍。这一点可以在宋人的笔记中得到反映。
辽、金、元用玉制度追仿宋朝。在辽宁朝阳北塔辽代地宫出土的玉器中，除了玉龙、玉飞天、玉鹅、玉雁等辽代玉器，还有玉斧、玉〓、玉璧等新石器时代和商周时期的玉器。元代朱德润编辑的《古玉图》二卷，著录有璧、环、带钩、剑饰、耳环等39件玉器，对每件玉器绘图，记述尺寸、玉色、纹饰、来源及其收藏者。
明代是中国玉器史上相当繁荣的时期。考古和文献资料显示，明代玉器生产和使用的规模都胜过宋元，玉器收藏更是空前兴盛。在北京明万历皇帝的定陵中出土了大批玉器，除了冠服用的玉带、玉带钩、玉佩、玉圭、还有壶、爵、盂、碗等玉器皿上，还有耳环等玉首饰。在山东、江西等地发现50位明代藩王墓葬，共出土玉器2000余件。《天水冰山录》中记载查抄明朝权相严嵩财物，其中有857件装饰、陈设、实用玉器和202条玉带的名称。明人宋应星《天工开物》、曹昭《格古要论》、高濂《燕闲清赏笺》、文震亨《长物志》、张应文《清秘藏》、陈继儒《妮古录》等著作都有论及玉器使用和收藏等方面的情况。
明代中后期，商品经济更加发达，城市里有出售古玩玉器的古董店、集市，还有流动的商贩。玉器收藏的人数大增，已不局限于帝王、仕宦、文人，一些商人、市民、工匠、僧侣甚至奴仆也都加入了收藏爱好者的行列，玉器市场出现了供不应求的现象。于是，一些商人找人仿做古玉，以假充真，在市场上出售，牟取暴利，伪古玉应运而生。明末收藏家高濂在《燕闲清赏笺·论古玉器》中记载：“近日，吴中工巧，模拟汉宋螭〓钩环，用苍黄、杂色、边皮、葱玉或带淡墨色玉，如式琢成，伪乱古制，每得高值。”从此，伪古玉一直在玉器收藏史上占据一席之地。
清代玉器生产从中叶即乾隆二十四年（1759）至嘉庆十八年（1803）进入了鼎盛时期。乾隆皇帝爱玉成癖，耗费了大量的人力和财力致力于玉器的生产和收藏，因此乾隆朝收藏的玉器甚丰。今北京故宫博物院有上万件玉器，多半是乾隆时期收藏的，在台北故宫博物院和一些收藏家的藏品中，也有很大数量的玉器可能来自于清宫旧藏。
乾隆尤其喜爱“三代”古玉，亲自组织收集，并鉴别定级，对其中佳品题诗咏赞，并命玉工将诗镌刻在该件玉器上。在乾隆御题的约800首咏玉诗中，有60余首是咏周或汉代玉璧的。乾隆还命宫廷造办处玉作仿制古玉，有的刻“乾隆年制”或“乾隆仿古”款识，有的则刻假款。据养心殿造办处记载，他于乾隆八年（1743）一月二十七日命造办处按《考古图》所载玉辟邪二件、〓玉马一件、玄玉骢一件、琥一件、仙人一件之尺寸、各仿做一件；同年十一月初七日，命在一件碧玉虎右腿里怀刻“十三”，在木座上面刻隶字“宣和玉玩”，底面刻篆字“伯时珍藏”。
乾隆皇帝的爱玉，藏玉行为必然带动全国上下的玉器收藏风气。后来有名的琉璃厂古玩街和廊房二条玉器街都是在乾隆年间形成的。
清朝后期，由于国力衰退，从嘉庆十八（1813）起，贡玉减半。道光时期停止贡玉，宫廷玉器生产衰微，玉器的质量与乾隆时期玉器相差甚远。但这一时期民间玉器生产的地域范围扩大了，民间玉业相对繁荣。因此，从朝廷至民间的玉器收藏并未受到太大影响，尤其是社会中层的收藏行为得到很大发展。
一些热衷于玉器收藏的学者兼收藏家，还对所藏、所见或经手过的玉器进行研究，并著录成书。其中最为优秀的是光绪十五年（1889）了版的吴大〓的《古玉图考》，采用实物与文献相结合的方法研究古玉，具有划时代的意义。此外，还有瞿中溶的《亦载堂古玉录图》、端方的《陶斋古玉图》和陈性的《玉纪》等。
清末至民国时期，是中国玉器市场上一次空前繁荣的时期。1860年和1900年外国侵略军两次攻进北京，掠夺圆明园和清宫的玉器珍宝；1911年清朝末代皇帝溥仪逊位，将宫中的玉器携出皇宫，这些玉器成为这一阶段中国玉器市场的重要货源。同时伪古玉及时作玉器也进入市场，对玉器市场的繁荣起到了推波助澜的作用。因此，当时京城的骨董市场玉器买卖火热，揿起了收藏玉器的热潮。
清末民初的玉器市场主要有廊房二条玉器街、琅璃厂古玩街、青山居和“鬼市”。廊房二条玉器街位于北京商业繁华区前门大街大栅栏，不但吸引了国内的达官贵人、富商大贾和珠宝同行，还引来了很多的外国商人，外国人称廊房二条为“JadeWareStreet”，即“玉器街”，其中的店铺有主要做国内人生意的“中国庄”，还有主要做外国人生意的“洋庄”。琉琉厂古玩街兴始于乾隆三十七年（1772）开馆纂修《四库全书》以后，清末民国时期是其黄金时代，不但中国的许多文人学者、达官贵人光顾琉璃厂，一些外国的巨商、富豪、学者、官员和平民百姓也到琉璃厂购买包括玉器在内的古玩文物，他们将琉璃厂称为“AntiqueStreet”，即“古董街”，琉璃厂成为中国文物的集散地。青山居位于崇文门外、花市以东，主要是珠宝玉器行行内交易的市场。“鬼市”又叫“晓市”或“小市”，是清末至民国时期对一种出售古玩、旧货、杂品的地摊市场的称呼。由于“鬼市”经营者和经营条件的特殊性，那里出售的古玩玉器要较琉璃厂、廊房二条店铺里的便宜得多，因此这里是玉器店铺的货源之一，许多收藏家和文人也到这里觅宝或搜集素材。
民国时期玉器著述颇丰，学者从多种角度对玉器进行研究，如章鸿钊的《石雅》是从矿物学角度研究古玉，郭宝钧的《古玉新诠》是运用考古学方法研究古玉，王国维的《说珏朋》是从古文字学角度研究古玉。一些玉器收藏家将他们的玩玉经验辑录成书，如李凤雅的《玉雅》、李〓宣的《玉说》、刘大同的《古玉辨》、赵汝珍的《古玩指南》、邓之诚的《骨董琐记全编》等都属于此类。民国年间在北京专门收售古玉的古董商黄浚和卢芹斋也将他们经手的重要玉器著录成书，黄浚在《古玉图录初集》中收录玉器471件，在《衡斋藏见古玉图录》中收录200件；卢芹斋于1925年在伯希和的帮助下出版了法文版的《中国古玉》一书，收录经其手收售的玉器。
综上所述，中国玉器收藏的历史滥觞于新石器时代，商周时期已开始收藏古玉。但宋代以前的玉器收藏，都是以时作玉器为大宗，古玉处于次要地位，收藏者主要是帝王和仕宦阶层。大约从北宋开始，人们有意识地进行“骨董收藏”，虽然在收藏的数量上，古玉不一定占多数，但它们是收藏家追逐的目标，一些文人、商人和普通百姓加入收藏行列。清末民国时期，京城的玉器市场火爆，玉器货源丰富，不但国内的达官文人、富商平民踊跃参与，还吸引了外国人来京购买玉器，达到了中国古玉收藏史上的高峰
