所谓徽州商人，并不是所有属于安徽祖籍的商人都称为徽商。徽商地区，就是今安徽省黄山市、绩溪县及江西婺源县地区。胡雪岩的祖籍便是安徽绩溪县，这里是典型的徽商聚居地。徽州商人的那种百折不挠、永不放弃的精神在胡雪岩的生命里早已经烙下了印记。
早在东晋时期徽州商人就已经形成，那时候的徽州人经常外出经商。在唐宋时期，徽商就得到了很好的发展，人们就已经对徽商有了一定的概念和传承，比如，徽州当地生产的生漆、茶叶等频繁地运往全国各地销售，尤其是在宋代，徽州的文房四宝（汪伯立笔又称徽笔、徽墨、歙砚、澄心堂纸）尤其著名，这极大地推动了徽商的发展。
到了明朝时期徽商的发展最为强盛，当时徽州商人的商号遍布全国各地，甚至一度垄断了盐、米、丝、茶、纸、墨等行业。那时候徽州商人为了进一步扩大经营规模便引聚宗族，还不断地建宗祠，立会馆，筑书院，培养士子等，因而，后辈的徽州商人不但在经商方面有着惊人的能力，在文学修养上也是博学多才。从明中叶到乾隆年间的三百余年，徽州商人所经营的商业最为繁华，并达到了黄金时期。