表面上是没有隔阂的。
那么，为何在他们刚一离开京都，两家的关系就突然急速恶化呢？
首先是上杉景胜重臣之一的藤田信吉突然率领家族及家臣离开上杉家，或者说是逃离上杉家。他们跑到下野国(位于关东，属于德川家康势力范围)，向德川家康寻求庇护；
接着，位于会津西邻的越后国春日山城主堀秀治的重臣堀直政向德川家康告密，指上杉家领内有不寻常的举动，如大量动员去进行土木工事，似有不轨企图。
上杉家进行大量的土木工程是否真有不轨企图呢？事实上，上杉家庆长三年春天受丰臣秀吉之命，从老家越后迁移到会津不足半年，丰臣秀吉便撒手人寰。
“天下人”丰臣秀吉的死对日本而言自然是天大的大事，上杉景胜身为顾命大臣之一，自然不可能在这紧急关头回领地去。他跟重臣直江兼续一直待到庆长四年八月下旬，才有机会回到新领国。
按照丰臣秀吉生前的指令，大名家在没有批准下，是不可以私自在领地里大搞基建的。但是，考虑到上述上杉家的情况，实在也是情有可原，因此没有人去追究。
另一方面，德川家康目前明面上的继承人德川秀忠在三月的时候，就已经知道上杉家正在领地内进行建设，在写给上杉景胜的信中也表示理解之意。换句话说，上杉家进行领地建设一事，其实早已通知周边，就连不接壤的德川家同样知道此事。
更重要的是，所谓堀直政告发的说法，在后世只出现在上杉家的史料、军记小说，以及大名鼎鼎的“直江状”里。如果真有这样的大动作，足以惊动远在百多公里外、没有跟会津直接接壤的堀家的话，那么与会津接壤的大名也应该会报告才对，但在史料上却丝毫没有找到这方面的记录。
因此，德川家康与上杉景胜之间出现的矛盾，最大的焦点显然并不在于上杉家的领内建设问题上。
真正的问题有两个，一个与藤田信吉有关。这位出逃的上杉家臣逃到德川家康的领国后，没有任何动向可循，他逃出上杉家的原因也是扑朔迷离。一般相信他是因为当时的上杉家完全由直江兼续以及他的党派控制，出身他国的藤田信吉日渐被孤立，最终出走上杉家以求发展。
同时后世还有个