在威廉姆斯建立之初，一度经营困难。威廉姆斯上校在马萨诸塞州最北端拥有一片土地，准确地说，是片荒地。这个地方除了把守的军队，一无所有。要在荒地上建大学？遗产执行人都不相信自己有这个本事，在最开始的几年，他们想的最多的不是如何经营这所学校，而是怎么关门大吉。

1819 年，学校投资人希望把威廉姆斯学院迁移到南安普顿。就在威廉姆斯学院生死存亡的关头，一些社会机构和个人开始捐助威廉姆斯学院。靠着这些捐赠，学校勉强能招生。而正是看到了公众对于威廉姆斯学院的支持，两年之后，迁移学校的提议遭到了议会的否决。校长摩尔因此愤然出走，“地理位置？赞助？入学率？这所学校要什么没什么！”他带走了一群学生，翻过群山，来到了康涅狄格河谷。在这里，摩尔校长创办了艾姆赫斯特学院。日后，威廉姆斯学院和阿默斯特学院成为美国最顶尖的两所文理学院，在福布斯美国大学排行榜上，阿默斯特学院位列第三。

校长的出走，使得威廉姆斯学院再次陷入危机之中，就在此时校友们站了出来。1821 年，一群毕业了的校友在威廉姆斯镇集合，成立了校友会。决心为学校未来的发展而贡献财富。威廉姆斯校友会因此是历史上最早成立的校友会。

1859 年，恢复元气的威廉姆斯和成立不久的艾姆赫斯特进行了美国第一次校际棒球赛，开创了校际体育对抗的先河，并延续至今。威廉姆斯学院还是美国第一所使用毕业典礼和学士毕业服装的学校。

1970 年，威廉姆斯学院由单一男校变为男女混合校。尽管已经度过了217 岁的生日，但是威廉姆斯学院仍然保留了许多来自英国教育制度的优点，比如导师责任制度等等 [4]  。