1926年11月，19岁的杨尚昆赴苏联，入莫斯科中山大学学习，比他早一年，张闻天被派往莫斯科中山大学学习。1928年，张闻天中山大学毕业后留校任教员，以后又被选送到红色教授学院深造，并且担任共产国际执委会中国组的成员。两人在苏联结下了深厚的友谊。1931年2月，杨尚昆和张闻天一起离开莫斯科回国。共产国际原本安排他们走欧洲线路，只是办护照需要些时间，为了能够尽快回国，他们决定偷越国境回国!

在苏联交通员的护送下。他们从莫斯科出发，乘火车先到了海参崴，海参崴有许多华侨，当中有不少认识的熟人。中山大学停办后，吴玉章、林和、江浩等人由联共分派到远东工作，林伯渠在党校担任教员，吴玉章先是在伯力党校任中国部主任，苏联科学院海参崴分院成立后，他调任分院的中国部主任。难得见面的他们很想去看看同志们，但是，为了保密，护送他们的交通员不允许，连上街也不许，只好换乘驶向绥芬河边界去的列车。

在绥芬河下车后，他们被带到一个设在农村的秘密交通站。为了避免途中遇到检查时引起麻烦，他们先换上中式的棉袍、棉鞋，然后把带来的东西全部留在交通站，甚至连杨尚昆随身带来的一张妻子李伯钊的相片，也都烧掉了。张闻天还把眼镜也收了起来，生怕打碎了。两个人的穿戴一模一样，连皮帽子和皮耳朵的两根带子也一样。交通站发给他们每人一根腰带，说缝在带子里的是途中使用的钱，包括三种纸币：从绥芬河到哈尔滨这一段，使用哈代 (哈尔滨地区流通的代价券)；长春到大连，坐南满铁路，使用的是日本的军票；大连到上海，乘坐中国招商局的轮船，这才通用国民政府的货币。交通站的同志还叮嘱：“缝在腰带里的钱是一段一段分开的，用时拆开就是了；钱数比路费多一些，是准备你们到上海后万一找不到组织关系时的生活费用。”安排得十分周到。一路上要穿越军警特务严密控制的国民党统治区，所以每一步都得十分小心，防止暴露身份。在车上，他们不谈政治，只聊聊西伯利亚的森林，贝加尔湖的渔情等沿途的风光。

因为没有护照，他们只能偷越国境。在交通站等到天黑，一个苏联向导领着他们，坐了一段马车，然后踏着很深的积雪，翻山越岭，来到一个苏军的巡逻兵哨所。一路上越走越冷，简直要把人冻僵了，直到进入哨所，烤了一会儿火，才暖和过来。当天晚上10点左右，向导又把他们带出哨所，从山上下来，到绥芬河附近的铁路旁，前来接应的是一个住在哈尔滨的俄国人，他们跟在俄国人后面，张闻天在前，杨尚昆在后，彼此相隔二十步，一句话都不敢说。来到中国边境后，哨兵问：“哪儿来的?”向导回答：“山后来的。”哨兵也就不再问了。

他们被带到绥芬河的一个国际联络站，就是一个小商店为掩护的地下交通站，里面卖香烟、火柴等日常用品。巧合的是，杨尚昆和张闻天进去一看，发现里面的人竟是自己的同学。是在法国勤工俭学后又去苏联的。他们在小店里睡了一晚，两个人都睡在柜台上，一觉睡到第二天中午。站上的同志领他们买了去哈尔滨的火车票，临走时嘱两人到哈尔滨后，在道外找个小店休息，当天晚上就有车去长春。还告诉他们路上怎样买票，要注意什么事情。后来他们得知，走后不久，这个联络站就被破坏了。    

哈尔滨到长春这段路程，两人乘坐的是没有座位的闷罐子车。当时正是农历腊月底，车上旅客特别拥挤，没有暖气设备，只在车厢中间烧一个炉子。刚上车时，人挤人不觉得冷，开车后，风驰电掣，炉里的火苗越来越小，快到长春时火灭了，冻得够呛。车上没有厕所，只在角落里放一只尿桶，又脏又臭。好在路程不远，到长春后，改坐南满铁路，三等车，窗上有两层玻璃，两人在车上吃了一份日式的盒饭便当，一边是饭，一边有一块卤成鱼，两根卤咸萝卜，还买了一壶热茶喝，这才舒坦过来。

接着两人在大连住了一夜，买了统舱的船票，就是船底层装货的地方，里面挤得很，进去就出不来了。船在青岛停了两个钟头，也不敢上去玩。2月17日，轮船到达上海，两人走出又闷又热的统舱。这时，正是农历新年。从此，二人开始了新的革命征程。