磨料磨具的歷史可以上溯到人類的遠古時期。
　　
　　在我國黃河流域曾多次發掘出經過研磨加工的很好的石斧、石箭、刀器及裝飾用的動物骨和角等；以及已存在五千多年由砍平并經過拋光的砂巖壘迭而成的著名埃及金字塔，這些都充分說明研磨加工早在石器時代就被人類用來為生產服務了。
　　
　　我國是應用磨料磨具最早的國家，奴隸制社會就出現了用研磨法制成的青銅鏡。
　　
　　十三世紀時用天然橡膠將貝殼粉磨粘于羊皮紙上制成了磨擦工具 ，比起用天然金剛砂作磨料制成砂紙的法國要早五個世紀之久。
　　
　　在很長時間內，研磨技術僅限于拋光和刃磨這兩個工序。
　　
　　1846年出現了簡易的外圓磨床，用天然的石頭作磨具，開始初具磨具的形式。
　　
　　在此之前，印度人還用蟲膠把金剛砂粘在一起做成油石。
　　
　　美國在1823年就已有一個天然油石廠，1857年比利時人用橡膠和天然礦石做成了橡膠砂輪。
　　
　　直到1859年才出現了將天熱磨料用燒結方法制成了人造磨具，這種磨具可以在較高的速度下工作。
　　
　　由于西方的產業革命，使機器生產代替了手工生產，這時磨具才用于機器上。
　　
　　1877年美國諾頓公司前身在陶器作坊中把天然金剛砂用粘土粘在一起，燒成世界第一片陶瓷砂輪。1880年，美國又用樹脂做出砂輪。1885年正式建立用天然磨料生產陶瓷磨具的企業。
　　
　　在此之前的磨料磨具，都是用天然的磨料制成。直到1891年、1893年美國卡普倫登公司和諾頓公司分別制造出碳化硅和剛玉，自此人造磨料在世界上第一次產生。
　　
　　1900年，磨床已開始進入機械加工工序，對磨料磨具的要求日益迫切。1901年，剛玉大批投產，并生產出白剛玉。從此由于機床工業的較大發展，外圓磨床、平面磨床相繼出現。到1920年磨床的液壓傳動已比較完善，給磨具的使用創造了更有利的條件。1921年，碳化硅生產在原來的基礎上發展為綠碳化硅和黑碳化硅兩種。同年磨齒機產生，這樣螺紋磨削、齒輪磨削、平面磨削等各類型磨削全面鋪開。白剛玉、棕剛玉、綠碳化硅、黑碳化硅等多種磨料磨具也日臻完備。
　　
　　1934年，又出現了硬度高于剛玉和碳化硅的碳化硼。1936年出現了介于白剛玉和棕剛玉之間的半脆剛玉。于此同時，產生了金屬結合劑天然金剛石砂輪。1946年，單晶剛玉問世。1954年，美國GE公司、卡普倫登公司和諾頓公司合作制成了可重復生產金剛石的裝置。1957年制出氮化硼。1962年前后產出鉻剛玉。1963年又生產出主要用語在磨削壓力大的情況下打磨鋼坯等材料的鋯剛玉。1970年出現了釩剛玉。
　　
　　自遠古以來，磨料磨具從天然到人工制成乃至發展，經歷了一個漫長的歷史時期，但自制成人造磨料磨具之后，從使用磨床到現在只有短短一百多年的歷史，而磨加工卻已經成為機械加工不可缺少的基本工藝。
　　
　　在當今的世界上，磨具的使用雖然仍以機械制造業為主，但磨料的用途已遠遠超出本身的磨削范圍而朝著煉鋼、耐火材料、建筑工程、電熱元件等工業擴展。伴隨著科技的飛速發展，磨料磨具在其他領域也將開拓出更多更新的途徑。