鉛筆的出現大約有400年的歷史，橡皮的出現比鉛筆晚了200年左右。在鉛筆和橡皮相遇之前的200年裏，人們用面包或海綿擦掉鉛筆痕跡。與其說是擦掉痕跡，不如說是使石墨痕跡因摩擦而褪色。直到18年底，人們才開始用橡膠制造橡膠。
早在歐洲人到達美洲新大陸之前，中美洲和南美洲的人們就開始使用橡膠，這種橡膠被稱為？壹棵哭泣的樹？這種液體被印度人用來制作彈性球，或者粘合工具和衣服。也有人把橡膠倒進模具裏，做成鞋子和各種容器。
1493年哥倫布發現南美大陸時，在那裏看到了各種橡膠制品，但大約300年後，查爾斯？德？查爾斯·德·拉·康達明(Charles de la Condamine)在他的著作《南美大陸旅行簡介》中正式描述了橡膠，稱之為？天然橡膠？膠乳，壹種產於熱帶新大陸樹皮下的乳白色液體，將橡膠樣本帶回了歐洲。
1770，英國科學家約瑟夫？Priestley偶然發現橡膠可以擦掉鉛筆寫的字跡，發表聲明說？要見證橡皮擦掉鉛筆字跡，只需要花三先令買壹小塊。？於是，在英國，橡膠作為壹種擦除字跡的神奇東西開始被人們所認識，並給了它壹個新的名字？橡皮擦？。
直到19年底，鉛筆和橡皮壹直是分開的，鉛筆帶橡皮的雛形出現在1858。當時美國費城壹個叫海曼的人？海曼·李普曼申請了專利。他在鉛筆尖上刻了壹個凹槽，然後在凹槽上粘了壹塊橡皮。
但後來該專利被撤回，理由是鉛筆和橡皮擦只是簡單地粘在壹起，在功能上沒有任何改進，因此不能申請專利。這個決定對Leapman來說是個壞消息，但對許多鉛筆制造商來說，新的商機就在眼前。
1867年，J. B. Blair發明了壹種可以插入鉛筆的空心橡皮擦。當時的鉛筆制造商Eagle公司立即將這項發明投入生產，壹種帶橡皮擦的鉛筆正式問世，並大受歡迎。直到今天，美國大約90%的鉛筆有橡皮，沒有橡皮的鉛筆在歐洲更普遍。
現在橡膠仍然是它的主要原料，包括天然橡膠和合成橡膠。合成橡膠由苯乙烯和丁二烯制成，氧化鋅和氧化鈦可以使橡膠變白，氧化鐵可以使橡膠變紅，各種有機染料可以使橡膠變得五彩繽紛。