晚清时，乌镇渔民中，有一半来自鲁南苏北，称为“江北帮”。“本地帮”渔民数代生活在船上，渔船有好几种，专门以“摸鱼鸟”(鸬鹚鸟)捕鱼的叫“木鸭船”，放黄鸭的叫“黄鸭船”，以放丝网、鱼钓为主的叫“脚划船”，最多的是捻网船，专门用网捕鱼，捻鱼的网有八尺宽，用二个篙子操作，底下用四个竹爿固定，整张网有5尺左右深。外出捕鱼时，基本上单家独户作业，有时二三户联合在一起。

　　江北渔民有自己的语言和风俗习惯，比如每天早晨开船捕鱼时，先用篙子把船头水面划上几下，表示破浪而行，一帆风顺。如果与别的渔船发生矛盾，用竹竿把船头水划划，表示宁事熄火，张网捕鱼去。由于语言不通，生活习惯也不同，本地渔民与江北渔民互不来往，也不通婚。

　　渔民在水里漂来漂去讨生活，捕捞一些小鱼小虾，大多数日子里，靠捕鱼为生是非常艰苦的。渔民之间偶尔也会有磕磕碰碰的事情，当这个事情互相解决不了的时候，双方就会达成一致，那就是“划河彩”。

　　“划河彩”只在渔民之间存在，就好像是现在的民间纠纷，事情不大，双方都不愿去衙门解决，两户事主就相约其他渔民们到岸上的某家茶馆或酒店里，双方把事情在桌面上摊开，最后请大家评判谁对谁错。俗话说，当事者迷旁观者清，渔民们心中各自有杆秤，对事不对人，最后形成统一意见，理亏的一方把大家的茶钱付清，如果双方的纠纷比较大，解决后还需请大家去茶馆隔壁的小饭店吃一餐，餐费也是输的一方付。划过河彩后，双方从此化解矛盾，不再结怨，这是约定俗成的规矩。对此行为渔民们称为去“小法场”说理。

　　乌镇渔民的“划河彩”形式是由上代传下来的，起源何时已不可考证。民国后，“划河彩”渐渐消失，时至今日，还有为数不多的老渔民从父辈口中听说过“划河彩”。