西米恩·诺思在调查中惊讶地发现，人口普查局前任局长威廉·梅里亚姆（William Merriam）曾与霍尔瑞斯商定了许多既有利可图，又令人费解的合同。威廉·梅里亚姆离开美利坚人口普查局仅一年多，霍尔瑞斯就雇用他为制表机公司的总经理。而后，耿耿于怀的西米恩·诺思便不屈不挠地谴责起美利坚人口普查局的代理商，呵斥他们过分依赖于霍尔瑞斯系统，并着手追查那些可疑的收费。诺思想得到答案。“我只希望，联邦政府能像其他的商业机构，甚至他国政府一样，获得同样公平与自由的合同条款。”诺思对霍尔瑞斯说。
霍尔瑞斯不喜欢他人挑战自己的权威。因此，他不仅没有息事宁人、安抚诺思，反倒与这个最重要的客户展开了一场恶战。霍尔瑞斯不仅在国会，甚至还在委任诺思的老罗斯福（Theodore Roosevelt）总统面前斥责了诺思。霍尔瑞斯认为制表机公司的技术是不可或缺的。他也认为自己能够自由地向美利坚政府施压，甚至随意地抨击联邦政府。随后，诺思开始反攻，并下定决心摆脱霍尔瑞斯那双扼住美利坚人口普查局命脉的双手。诺思知道霍尔瑞斯的专利权在1906年到期，于是便请人试验开发了一台新机器。1905年7月，诺思最终将霍尔瑞斯彻底赶出了美利坚人口普查局。制表机公司也因此失去了最重要的客户。
同一时间，美利坚人口普查局的另一名技术员詹姆斯·鲍尔斯（James Powers）发明的制表机派上了用场。鲍尔斯的机器比霍尔瑞斯的机器快得多。较之后者，鲍尔斯发明的机器还具备几个自动化方面的优势，价格也更便宜。最重要的是，鲍尔斯的机器能够让美利坚人口普查局彻底摆脱制表机公司的控制。
霍尔瑞斯一手造就了这次灾祸，他为此沮丧了几个月。其间，他的脾气更加暴躁，也不愿处理其他糟糕的商业讯息，比如，多个策略性投资的亏损以及几个重要铁路商的背叛。不过，通过发明新设计，提高旧有技术，开发更多客户以及与国外签订更多的人口普查合同，制表机公司的盈利开始回升。然而，1910年，霍尔瑞斯又做出了一个相当自负的举动。他试图阻止美利坚政府执行宪法要求的职务——人口普查。霍尔瑞斯声称，美利坚人口普查局即将投用的机器在某种程度上侵犯了他的专利权。他提起诉讼，而且莫名其妙地成功说服了一名华盛顿联邦法官，使对方对第13次人口普查开出禁令。但法院最终做出了不利于制表机公司的裁定。这次，霍尔瑞斯一败涂地。然而，富有的赫尔曼·霍尔瑞斯继续无视现实，在公司处于水深火热之时，还在捣鼓新的奇妙装置，沉迷于不相干的消遣。此时，赫尔曼·霍尔瑞斯的医生坚持让他离开商界，好好休养。而挫败的股东与管理层也非常同意这条建议，纷纷劝告霍尔瑞斯退休。怀着矛盾的心情，赫尔曼·霍尔瑞斯开始分配自己的股份。
一开始是德意志。1910年，这位发明家将所有的专利授权给一名德意志的加法机推销员威利·海丁格尔（Willy Heidinger）。随后，海丁格尔成立了德意志霍尔瑞斯机器公司（German Hollerith Machine Corporation，即德霍梅格）。除了几位亲戚持有象征性的股份外，海丁格尔一手控制着这家公司。作为获得制表机公司特许的公司，德霍梅格只在德意志境内出租霍尔瑞斯的机器。制表机公司除了收取专利费用，还享有德霍梅格业务的股份。海丁格尔是一位传统的德意志人，对自己的德意志血统十分自豪，非常忠于家庭。和霍尔瑞斯一样，海丁格尔也喜怒无常，情绪时常会像火山一样爆发，此外，他还热衷于商业战争。
第二年，苦恼的霍尔瑞斯幻想破灭，只得将公司彻底卖掉。此时，坚定的个人主义者查尔斯·弗林特（Charles Flint）登场了。弗林特活跃于19世纪末期，是一名典型而富有的投机资本家。他属于首批拥有汽车并乘坐过飞机的美利坚人，也是一名贪婪的狩猎者、渔夫。弗林特通过国际贸易成为百万富翁，而武器就是他贩卖的产品之一，而他并不在乎是谁购买了这些武器。弗林特大发战争横财的野心永无止境。他曾组织私人舰队去协助巴西当局残酷镇压海军起义，使巴西当局得以重掌大权；也曾将莱特兄弟新发明的飞机的生产权授予恺撒·威廉二世（Kaiser Wilhelm II），德意志因此建立了军用航空，并在一战时组建了王牌空军。不仅如此，弗林特还十分乐意将枪炮和军舰售给恶战中的双方。例如，在秘鲁与智利的边境冲突中，弗林特与智利达成交易后，转而又去和秘鲁做买卖；他还在本与沙俄多次发生冲突时，将武器卖给作战双方。
关于弗林特，有人写道：“如果某个人用‘军火商’来称呼弗林特，弗林特会好奇这个家伙到底在想什么。这反映出了一战前西方世界的本质。”弗林特还完善了一种臭名昭著的商业模式——托拉斯（Trust）。托拉斯是一种反竞争的产业联合体，时常会悄无声息地吞噬市场中的竞争者，不过，它最终受到了政府的镇压。著名的谢尔曼反托拉斯法就是为打击这种权力滥用而颁布的。当时的报纸将弗林特戏称为“托拉斯之父”。这个头衔让弗林特一度成为那个时代的迷人传奇，以及无耻恶棍。
这位著名的工业联合大师还十分擅长在橡胶业与化工业中建立卡特尔式经济实体（Cartel-like Entities）。1911年，弗林特开始尝试新花样。他盯上了制造业中四家毫无瓜葛的公司，接近了其重要股东与管理人员。弗林特想将这四家公司整合成一个小型的多样化企业集团。而这一企业集团的核心将是霍尔瑞斯的公司。
弗林特毫无理由地选择了四家萎靡不振的公司，试图将它们合并起来。这四家公司分别是：国际时间记录公司（International Time Recording Company）——生产记录工人出勤情况的打卡钟；计算尺公司（Computing Scale Company）——零售附有定价表的普通天平，以及一种用于处理肉类与奶酪的切片机；邦迪制造公司（Bundy Manufacturing）——生产一种需用钥匙开锁的小型考勤钟，更重要的是，该公司在纽约恩迪科特拥有位置极佳的房产；最后是霍尔瑞斯的制表机公司，它在四家公司中规模最大，也是这个企业集团的主要成员。
与弗林特洽谈过后，霍尔瑞斯同意出售公司。赫尔曼·霍尔瑞斯以约121万美元卖掉股份，并签订了一份为期十年的咨询合约，每年额外收取2万美元。这在当时可是一笔巨款。通过组合四家公司名称，新公司最后得到了一个奇怪而平凡的名字，即计算－制表－记录公司（Computing-Tabulating-Recording Company，以下简称CTR）。在当时，多数民众将这个新经济实体解释为“协同集团”，因为这四家公司看似可以存活，实际上都因有限的增长潜力与糟糕的经济状况而饱受冲击。“协同集团”的产生为它们提供了所需的现款和全新的国际销售团队。弗林特并非只是想通过合并这四家公司，以实现规模扩大化，他真正想要的，是构建起新的产业结构，进而让这四家萎靡不振的公司变得强大。
卖了公司的霍尔瑞斯显得很超然。某天，他来到位于乔治城的车间，车间的每个角落都塞满了机器部件。就在这里，霍尔瑞斯实事求是地向工人宣布：“我卖了公司。”随后，他走近员工，依次给他们做了一两句简短的评语。他对比尔·巴恩斯很亲切，因为巴恩斯在安装皮带机转向装置时丢了一条胳膊。而对一个名叫乔的年轻工人，霍尔瑞斯则张扬地给了他一张50美元的钞票。有些工人甚至从未见过这