В 1787 году минералог-любитель Карл Аррениус нашёл в карьере около небольшого шведского городка Иттербю на острове Руслаген близ Стокгольма новый минерал, который назвали иттербитом. Впоследствии в нём обнаружили несколько новых элементов. Финский химик Юхан Гадолин в 1794 году обнаружил в этом минерале оксид одного из них. Швед Экеберг назвал его в 1797 году иттриевой землей (yttria). В 1843 году шведский химик Карл Мосандер показал, что иттриевая земля — это смесь трёх оксидов. Аналогично тому, как была «расщеплена» на составляющие эта смесь, «расщепили» и её название. Так появились иттербий, тербий и эрбий. Чистый оксид иттербия выделил в 1878 году швейцарский химик Жан Мариньяк, которому и принадлежит честь открытия этого элемента.