宋高宗南渡时，首先来到了杭州的西溪市，想要在这里建造行宫。后来走到凤凰山之后改变了主意，并留下了一句名言：“西溪且留下。”据说，从此以后西溪市也改为了留下市。
但是对这个故事的真实性，历来意见不一。《乾隆杭州府志》作者已经注意到了这个问题，里边提到“……旧志无留下，而《梵隐志》遽称为镇，皆非也。市因商贾凑集而成镇，必经前代设官而立名。”但是作者比较后面来了句和稀泥的话“義各有所取，当遵《一统志》。”“遵《一统志》”的结果就如上文所引，把西溪镇和留下市同时摆了出来，是真是假，自个猜去吧。
西溪全书系列的《西溪留下》一书中写道：“西溪后改名为留下镇，明代杭州文人田汝成《西湖游览志》卷十说：‘西溪，居民数百家，聚为村市，俗称留下。相传宋高宗初至杭时，以其地丰厚，欲都之，后得凤凰山，乃云：“西溪且留下”。后人遂以为名。’此后留下镇名一直沿用至2007年撤镇建街。”可见其基本上是采信了这一说法。