남산은 원래 동네 이름이 아니었다. 지금의 남산 동네 뒤에 있는 산이 관아(官衙)에서 보아 남쪽에 있는 산이라 해서 남산이라 했는데 언제부터인지 그 산 아래에 있는 마을을 남산이라 부르게 되었다.

19세인 열을 판서공, 희를 승지공이라 부르는데 이 판서공과 승지공의 후손이 주로 새올(신곡)을 본거지로 삼고 있다. 판서공의 후손은 주로 안마와 거리마에 거주하였고, 승지공의 후손은 ‘새마(새로 생긴 마을)’를 중심으로 거주하였다.

그에 앞서 인동 입향조인 사천공(泗川公, 15세 俁)이 큰집(현 대종가)에서 남산 아래로 분가한 연대를 추정해 보면 1450년경이다. 그 근거를 찾을 만한 기록이 없고 오직 사천공 묘비에서 찾을 수 있는데 그것도 오랜 세월의 풍상으로 인하여 마모되어 전면은 그런대로 알아 볼 수 있으나 후면의 음기(陰記)는 전연 알아 볼 수 없고 다만 ‘성화 16년 장사하다(成化十六年葬, 1480년)’라는 것만 겨우 판독할 수 있어 이것으로 추정할 수밖에 없다.

남산 아래에서 몇 년을 살았는지 알 수 없으나 사천공의 아들 승량(承良)은 성주(星州) 암포(巖浦, 성주군 월항면 안포리)로 이주하였는데 그 연대는 알 수 없다. 암포에서도 얼마를 살았는지 알 수 없으나 그 아들[俊] 아니면 손자[繼曾] 대에 서울 남문 밖으로 이사하였다. 그리고 거기서도 얼마나 살았는지 확실치 않으나 판서공[烈] 형제가 20세가 넘어서 성주로 돌아왔다고 한다. 성주로 돌아온 참판공[繼曾] 삼부자(三父子)는 거기서 몇 년을 살다가 둘째아들 승지공[熙]을 성주에 남겨 두고 맏아들 열(烈)을 데리고 인동의 고택(古宅)으로 돌아온 것이다. 여기에서 여헌(旅軒) 선생(先生)이 나신 것이다.