李家兄弟把袁方一行带到香山主薄的府衙，这座公署就在澳门街上，澳门街是一条狭长的街，百年后被改为营地大街的商业街。
进到府衙袁方看到这里的葡萄牙人比国人多，李家兄弟告诉袁方，他们是来这里交税的。
袁方问李元庆：“李主薄，你们一年能够收多少？”
李元庆高兴地答道：“早几年我们收五百两银子，现在我们能够收到两千两。”
袁方却一脸的忧患，道：“这能说明什么？是不是他们从我大明运走的东西越来越多了？”
一旁的李元功解释道：“袁大人您可能误会了，他们所做的都是公平买卖，我们这几年所增收的并不全部是葡人的税金，有很大部分是议事会交给我们的合约费。”
袁方不明白了，问：“什么合约？”
李元庆向袁方解释，大明每年要向葡萄牙收取五百两白银，他们才能够在香山澳住下着贸易，而且必须接受大明的严格管治，不能买卖土地，只能够单纯地从事贸易活动。
李元庆还告诉袁方，现在大明允许他们在香山澳成立议事会，这个议事会是有他们的民政长、治安制事、贸易船队长官和市民组成，这个议事会负责每年向大明缴纳五百两白银，有香山县设在香山澳的办事机构负责收取，这个办事机构就是李元庆在香山澳的主薄府衙。
袁方大概了解了香山澳目前的情况，现在这里的主权还是大明的，并没有发生租借给葡萄牙的事情。袁方心想，自己来了，就绝不允许香山澳被租借出去的情况发生。
他正在李元庆的主薄衙门里喝茶，此时，李元庆的一个手下匆匆忙忙闯了进来。
“主薄不好啦！不好啦！”
李元庆喝道：“何事如此慌张？”
来人道：“回禀主薄，葡人派了一名总督过来，现在这个总督正在船上，我们的人拦着没让他下来，主薄你还是去看看吧！”
袁方问：“什么总督？”
李元庆道：“六年前，葡萄牙任命了一个叫做卡洛告的人担任我们澳门的总督，我们是坚决反对他们派什么总督过来的，因为这个叫做卡洛告的人从未来上任，这件事就这样不了了之了。谁想到这次他们又派了一个新的总督过来，我们正准备与葡方交涉，阻止他们派人过来，现在这人既然就来了。”
袁方又问：“现在谁在码头处理这件事？”
李元庆问他的手下：“是谁派你来禀报的？”
来人道：“是广州府海防刘同知在码头上，他正在码头上看着那个葡人呢！”
袁方道：“李主薄，我们决不能让那个所谓的总督上岸，这里是我们大明的国土，不需要什么总督来这里指手画脚。”
李元庆点头道：“袁大人说得是，我们现在就去码头上看看。”
袁方道：“我跟你们一起去！”
李元庆立即对李元功道：“带齐你的人马，一定要保护好袁大人的安全！”