清代、民国时期，甘南县内没设司法机构，刑事、民事案件的审判都由设治员（县长）亲自办理。
   日伪时期，刑事案件由县伪公署警务科司法股办理，需要判决的案件送黑龙江省（齐齐哈尔）地方法院审判，一般民事案件由当地村公所承办。
     1948年春，甘南县人民政府设司法科（甘南县人民法院前身），处理刑事、民事案件，是年10月成立甘南县人民法院，设审判组，承办刑事、民事案件。1950年分设刑事审判组、民事审判组和司法行政组。1952年司法机构进行改革，法院下设两个巡回法庭，开展巡回审判。法院内部增设接待室和办公室，由接待室处理来信来访和简易纠纷。1954年将两个巡回法庭合并为固定的平阳人民法庭，设在平阳区政府所在地。
     1958 年大跃进时期，公检法三机关合署办公，对外保留法院名称，对内统称政法局，法院为司法科，设刑事、民事两个审判组，平阳法庭保留。1959年撤销政法局，实行公检法分别办案，恢复了甘南县人民法院，编制9人。“文化大革命”开始后，政法三机关被砸烂，成立保卫委员会，不久成立军管小组。县革命委员会成立后，设人民保卫部，统管三机关的职能业务。
     1973年恢复人民法院，设刑事审判庭、民事审判庭和接待室。1978年，设甘南镇、查哈阳农场、长吉岗种牛场、双河农场四个法庭。1983年以后双河农场隶属关系不变，其余三个场的法庭归嫩江农场管理局法院管辖。
     1982年县法院增设经济审判庭，1984年增设中兴、宝山、兴隆和甘南镇人民法庭，进一步解决了人民群众打官司告状难的问题。