La première documentation à propos d'une balance remonte à l'Égypte antique, autour de l'an 3500 av. J.C. Les graffitis et les papyrus montrent, en effet, des balances à fléau pour peser des matériaux divers et des métaux précieux. Le même instrument était utilisé en Mésopotamie; mais fameuses elles aussi les balances des marchands phéniciens, qui se distinguaient des autres par les poids en forme de tête de cheval. La balance arriva en Europe à l'âge des métaux, de l'île de Crète et de Chypre. Dans le palais de Cnossos (2000/1500 av. J.C.) à Crète fut en effet retrouvée une tablette avec, gravée, une balance.

Les Grecs eux aussi connaissaient la balance, comme l'attestent les représentations sur les monuments et sur d'autres oeuvres d'art. Les Romains perfectionnèrent la balance à fléau en ajoutant l'index et l'utilisaient pour les pesées exactes de petits objets, tandis qu'ils utilisaient la balance romaine (ou crochet-bascule) , originaire de la Campanie, pour les marchandises grossières. La balance romaine est formée d'une tige à bras inégaux et sur le bras le plus long se déplace un poids constant appelé "romain". Curieusement, ce nom n'est pas lié aux Romains, mais à la langue arabe car la forme de ce poids déplaçable ressemble à celle du fruit du grenadier qui en arabe se dit "rumen". La balance est tenue en l'air avec un crochet et à l'extrémité du bras le plus court se trouve un plateau pendu par une chaînette, ou l'on dépose la marchandise à peser.

Très rapidement, la balance servit aussi pour des recherches scientifiques et le savant de la Grande-Grèce Archimède l'utilisa pour chercher à connaître le poids spécifique des corps. Au cours du Haut Moyen-âge, le physicien arabe Al Khazin utilisa des balances perfectionnées pour déterminer le poids spécifique des métaux précieux. Le temps passant, différents types de balance furent inventés : scientifiques, commerciales, de précision, capables de mesurer un millionième de gramme, un poids très inférieur à celui d'un cheveu humain.