A Balog-Semjén nemzetségbeli Kállay nemzettség ősi fészke. A faluban megtelepedett család itt építette ki birtokközpontját, s emelte az azóta nyomtalanul eltűnt várát. Kálló környékén régen két Semjén állott: Kis- és Nagysemjén. Egy 1471-ből származó oklevél szerint a két Semjén egyike Oppidum Semyen néven volt írva. Mindkét Semjén a Kállay család birtoka volt. 1446-ban a Sztrittey család tagjainak volt itt birtoka. A XVII. században, a török dúlás idején elnéptelenedett pusztára a XVIII. század elején görög katolikus román jobbágyokat is telepítettek, akik azóta teljesen elmagyarosodtak. A XVIII. század második felében és a XIX. század első felében a Kállay család mellett még birtokos volt itt az Eördögh és a gróf Dessewffy család is. Itt élt Kállay Miklós miniszterelnök is, akinek hamvait 1993-ban hozták vissza a családi kriptába. Jelenleg 41 hektár áll védelem alatt a Mohos-tónál, mely csodaszép kirándulóhely.