서울행정법원 2004. 4. 22. 선고 2000구8010 판결 [종합소득세부과처분취소]

1. 처분의 경위

가. 원고들의 지위

원고 윤맹철, 윤광자, 윤대일, 윤영희, 윤용자, 윤수미는 망 윤익성(이하 망인이라고 한다)의 자식들이고, 원고 석진순, 윤용훈 및 망 윤호는 망인보다 먼저 사망한 망인의 장남 윤맹진의 처 및 그 자식들인바, 망인이 1996. 10. 19. 사망함에 따라 원고들 및 윤호가 망인의 재산을 공동상속하게 되었다(그 중 원고 석진순, 윤용훈, 망 윤호는 망 윤맹진의 상속지분에 관하여 대습상속을 하였다).

한편 그 법정 상속지분은, 원고 윤맹철, 윤광자, 윤대일, 윤영희, 윤용자, 윤수미가 각 7/49지분, 원고 석진순이 3/49 지분, 원고 윤용훈 및 망 윤호가 각 2/49 지분이었는데, 윤호가 그 후 1999. 5. 6. 사망함에 따라 윤호의 법정 상속지분인 2/49 지분은 그 어머니인 원고 석진순에게 다시 상속되었다(이에 따라 원고 석진순의 법정 상속지분은 5/49 지분이 되었다).

나. 회사의 설립

망인은 일본에서 상당한 부를 축적한 자로서 국내에 귀국하여 골프장을 건설해서 이를 운영할 계획을 가지고 사위인 오영두 등을 발기인으로 하여 1986. 8. 22. ‘서울국제관광개발 주식회사’라는 상호의 회사(그 후 1988. 1. 25. 현재의 상호인 ‘주식회사 서울레이크사이드’로 상호가 변경되었다. 이하 이 사건 회사라고 한다)를 설립하였는바, 이 사건 회사는 망인이 실질적으로 100%의 주식을 소유하면서 지배하고 있는 회사였다.

다. 망인이 부동산을 취득한 경위

망인은 당초 이 사건 회사의 명의로 골프장 부지인 용인시 모현면 능원리 일대의 토지(그 중 주된 부분은 같은 면 능원리 산 5-12 임야 3,208,087㎡와 같은 면 능원리 산 10-1 임야 857,657㎡였다)를 매수할 목적으로 그 소유자들(능원리 산 5-12의 소유자는 영일 정씨 포은공파 종약원이고, 능원리 산 10-1 임야의 소유자는 해주 오씨 추유공파 종중이었다)과 매수 협상을 하였으나 결렬되었다.

그런데 당시 골프장업은 외국인 투자 금지 업종이었기 때문에 망인으로서는 골프장업을 영위할 부동산을 매입하기 위하여 필요한 자금을 일본으로부터 들여오기 곤란한 상태에 있었을 뿐만 아니라, 당시 세법상으로는 법인에게 부동산을 양도하는 경우 실지거래가액에 의하여 양도소득세가 부과됨이 원칙이어서 이 사건 종중의 입장으로서는 법인에게 매도하는 것보다는 개인에게 매도하는 것이 세제상 유리한 상황이었다{구 소득세법(1990. 12. 31. 법률 제4561호로 개정되기 전의 것) 제23조 제4항 단서, 제45조 제1항 제1호 단서, 구 소득세법시행령(1989. 8. 1. 대통령령 제12767호로 개정되기 전의 것) 제170조 제1항 단서, 제4항 제1호, 제115조 제1항 제1호의 (다)목의 규정에 의하면, 법인에게 양도하는 경우 양도 당시의 실지거래가액이 확인되는 경우에는 그 실지거래가액을 양도가액으로 삼고, 취득가액도 실지거래가액에 의하되 만약 취득 당시의 실지거래가액이 확인되지 아니하면, 실지양도가액에 인근 지역의 지가상승율을 감안하여 재무부령이 정하는 방법에 의하여 환산한 가액을 취득가액으로 보아 이를 기초로 양도차익을 산정하도록 규정되어 있었다}.

이에 영일 정씨 종중 등 토지 소유자들은 망인에게 이 사건 회사의 명의가 아니라 망인 개인의 명의로 토지를 구입한다면 매각하겠다는 의사를 밝혔고, 망인은 토지 소유자들과 매수협상이 결렬된 적이 있을 뿐만 아니라 위에서 본 바와 같은 외화 반입 문제도 있어 결국 그 제의를 받아들기로 하여, 당초 계획을 수정하고 이 사건 회사의 명의가 아니라 망인 개인의 명의로 골프장 부지를 매수하기로 하였다.

한편 망인은 대중골프장인 36홀 골프장과 회원제인 18홀 골프장(이하 회원제 18홀 골프장을 이 사건 골프장이라고 한다) 등 골프장 2개를 건설할 계획을 가지고 있었는데 그 중 36홀 골프장을 먼저 건설하기로 하여 1987. 4.경 36홀 골프장의 부지가 된 위 능원리 산 5-12 임야를 망인 명의로 매수하였고, 이 사건 골프장의 부지가 된 위 능원리 산 10-1 임야 857,657㎡를 비롯한 별지 3 토지내역서의 ‘골프장 편입토지’란 기재와 같은 인근의 토지 총 166필지 면적 합계 2,389,831㎡(그 중 일부만이 골프장에 편입되었다, 이하 골프장 편입토지라고 한다)에 대하여는 1987.경부터 1990. 7.경까지 사이에 매수하여 그 중 지목이 임야인 토지는 망인의 앞으로 소유권이전등기를 마쳤고, 지목이 전답대지인 토지는 소유권이전등기를 보류하거나 현지 주민에게 명의신탁을 하여 주민앞으로 소유권이전등기를 마쳤다.

라. 골프장 시설의 설치 및 운영

이 사건 회사는 1989. 12. 21. 이 사건 골프장 건설 사업계획승인을 받았고, 1993. 9.경 부지 조성 및 골프장 건설공사에 착공하여 1997. 9. 9. 회원제 골프장으로 체육시설업 등록을 마쳤다.

망인은 위와 같이 골프장 편입토지를 매수한 후 1989년경 이 사건 회사에게 골프장 편입토지 소유자들 명의의 사용승낙서를 작성해 주는 방법으로 이 사건 회사가 골프장편입토지 중 일부를 이용하여 이 사건 골프장을 건설하도록 하였는데, 골프장 편입토지 중 적어도 별지 3 토지내역서의 ‘과세된 토지’란 기재와 같은 69필지 토지(이하 이 사건 토지라고 한다)에 대하여는 임대차계약을 체결하거나 매매계약을 체결하지 않았다(한편 36홀 골프장의 주요 부지인 위 능원리 산 5-12 임야에 관하여는 이 사건 회사와 임대차계약을 체결하고 소정의 임료를 지급받았다).

마. 이 사건 토지의 소유권 양도

망인은 사망을 앞두고서 장차 골프장 부지를 둘러싸고 있을지 모르는 분쟁을 미연에 방지하기 위하여 1993. 12. 31.경부터 1997. 12. 31.경까지 사이에 여러 차례에 걸쳐 이 사건 토지 중 일부는 이 사건 회사에게, 나머지는 망인의 사망 후 이 사건 회사의 대표이사직을 승계할 아들 원고 윤맹철에게 매매 또는 증여의 방법으로 양도하였다.

바. 피고의 과세처분

(1) 피고는, 망인이 특수관계자인 이 사건 회사에게 이 사건 토지를 포함한 총 218필지의 토지 면적 합계 1,034,882㎡(을 13호증의 1 내지 2의 기재와 같다, 이하 과세대상토지라고 한다)를 무상임대하였다고 보아, 부당행위계산 부인 조항인 구 소득세법(1994. 12. 22. 법률 제4803호로 전문 개정되어 1996. 1. 1.부터 시행되기 전의 것) 제55조를 적용하여(다만 1996년도 귀속분에 대하여는 위와 같이 전문 개정된 이후의 소득세법 제41조를 적용) 피고가 계산한 임대료를 1992년도부터 1996년도까지 사이의 망인의 총수입금액에 산입하였는바, 각 연도별 임대료 수입금액의 결정 방법 및 그 액수를 살펴보면 다음과 같다.

(가) 임대료의 산정 방식

① 1992년도부터 1995년도까지 귀속분 : 지방세과세시가표준액 × 10％

② 1996년도 귀속분 : 개별공시지가 × 5％

(나) 산출한 임대료

① 1992년도분 : 219,885,553원 ＝ 2,198,855,530원(과세대상토지 전체에 대한 지방세과세시가표준액의 합계액, 이는 골프장으로 조성된 이후의 상태를 기준으로 한 것이다, 이하 같다) × 10％

② 1993년도분 : 262,370,404원 ＝ 2,623,704,040원(과세대상토지 전체에 대한 지방세과세시가표준액의 합계액) × 10％

③ 1994년도분 : 125,941,756원 ＝ 1,259,417,560원(과세대상토지 중 1993. 12. 31.까지 소유권이 이전되지 않은 171,741㎡에 대한 지방세과세시가표준액의 합계액) × 10％

④ 1995년도분 : 148,446,221원 ＝ 1,484,462,210원(과세대상토지 중 1994. 12. 31.까지 소유권이 이전되지 않은 167,740㎡에 대한 지방세과세시가표준액의 합계액) × 10％

⑤ 1996년도분 : 43,466,400원(과세대상토지 중 1995. 12. 31.까지 소유권이 이전되지 않은 51,279㎡에 대한 적정 임대료)

(2) 피고는 위와 같은 과정을 거쳐 상속인들 중 원고 윤맹철에게, 1998. 5. 1. 1992년도 귀속 종합소득세 130,640,860원, 1998. 7. 6. 1993년도 귀속 종합소득세 157,293,810원, 1994년도 귀속 종합소득세 74,823,280원, 1995년도 귀속 종합소득세 93,671,020원, 1996년도 귀속 종합소득세 124,837,190원의 각 부과처분을 하였을 뿐 나머지 상속인들에 대해서는 아무런 부과처분을 하지 않았다가, 원고 윤맹철이 이 사건 소(2000구8010)를 제기하자 1998. 7. 6.자 부과처분 중 원고 윤맹철에 대한 1994년도 귀속 종합소득세 부과처분을 취소하고, 원고들에게 각자 납부할 종합소득세액을 명시하여 2000. 5. 12.자로 원고 윤맹철에게 1994년도 귀속 종합소득세 10,689,040원(이는 당초의 1994년도 종합소득세 74,823,280원 중 윤맹철의 상속지분 7/49에 해당하는 금액이다), 2000. 7. 3.자로 원고들에게 별지 1 기재와 같이 1995년도 귀속 종합소득세 합계 93,671,020원, 별지 2 기재와 같이 1996년도 귀속 종합소득세 124,837,190원의 각 부과처분(이하 1992년도부터 1996년도 귀속 종합소득세 부과처분들을 모두 합하여 이 사건 처분이라고 한다)을 하였다.

사. 이 사건 회사가 무상 사용한 토지에 대하여 골프장으로 개발되기 전의 토지가격을 기준으로 한 연간 임대료는 1992년도 169,411,933원, 1993년도 143,301,187원, 1994년도 40,626,667원, 1995년도 54,061,264원, 1996년도 15,567,296원이다.

【증거】 다툼 없는 사실, 갑 1호증의 1 내지 5, 갑 2호증의 1 내지 4, 갑 3호증의 123, 갑 4호증의 1 내지 69, 갑 5호증의 12, 을 1 내지 5호증의 각 12, 을 7호증, 을 12호증, 을 13호증의 12, 을 14호증의 123, 을 15호증의 1 내지 4, 을 1617호증의 각 12, 을 18호증의 123, 을 21호증, 임료감정결과

2. 처분의 적법 여부

가. 당사자들의 주장

망인이 위와 같이 이 사건 회사의 100％ 주식을 실질적으로 가지고 경영을 완전히 장악함으로써 이 사건 회사는 망인과의 관계에서 구 소득세법시행령(1994. 12. 31. 대통령령 제14467호로 전문 개정되기 전의 것) 제111조 제1항 제5호(당해 소득자가 단독으로 또는 제1호 내지 제3호에 게기하는 자와 공동으로 총발행주식 또는 총출자지분의 100분의 50 이상을 출자하였거나 그 소득자가 대표자인 법인, 위 시행령이 개정된 이후에는 제98조 제1항 제4호가 이에 해당한다) 소정의 특수관계에 있는 자에 해당함은 당사자 사이에 다툼이 없다.

피고는, 망인이 이와 같이 특수관계에 있는 이 사건 회사에게 과세대상토지 전부를 무상임대하였으므로 부당행위계산부인 규정을 적용한 이 사건 처분은 적법하다고 주장하고, 이에 대하여 원고들은 망인이 이 사건 회사에게 골프장 부지로 사용하도록 승낙한 토지는 과세대상토지 전부가 아니라 이 사건 토지 69필지임을 전제로 하여, ① 망인이 이 사건 회사에게 이 사건 토지를 사용하도록 한 것은 이 사건 회사가 자신의 비용으로 골프장을 건설할 경우 토지의 가치가 상승하는 이익을 얻기 위한 것이므로 망인이 아무런 대가를 받지 않고 사용승낙을 하였다 하여 비정상적인 거래행위라거나 부당하게 조세를 감소시킨 것이라고 할 수 없고, ② 가사 부당행위계산 부인 규정이 적용된다 하더라도 이 사건 회사가 이 사건 토지를 골프장 건설을 위하여 사용하기 시작한 것은 이 사건 골프장 착공시점인 1993. 9.경이기 때문에 그 전에는 정상적으로 거래를 하였다 하더라도 임대료 상당의 소득이 발생하지 않았다고 보아야 하므로 1992년도 귀속 종합소득세 과세처분 및 1993년도 귀속 종합소득세 중 1993. 8. 31.까지 발생한 것으로 계산한 임대소득에 대한 종합소득세 과세처분은 위법하며, ③ 적정 임대료를 계산함에 있어 골프장으로 개발하기 전의 소지(素地) 상태의 토지에 대한 임대료로 계산하여야 하므로 골프장으로 조성된 이후의 지방세과세시가표준액 또는 개별공시자가를 기준으로 한 피고의 임대료 계산 방법은 부당하고, ④ 원고 윤맹철은 공동상속인 중의 1인으로 상속분에 따라 안분한 범위 내에서만 종합소득세를 납부할 의무가 있으므로 피고가 원고 윤맹철에게 망인의 종합소득세 전액을 과세처분한 1992년도 및 1993년도 귀속 종합소득세 부과처분은 원고 윤맹철의 상속분을 초과하는 범위에서는 위법하다고 주장한다.

나. 관계 법령

별지 기재와 같다.

다. 판단

(1) 과세대상토지 전부에 대한 부당행위계산부인의 적법 여부에 대하여

피고가 과세대상토지 전부에 대하여 구 소득세법 소정의 부당행위계산부인 규정을 적용하여 종합소득세 과세처분을 하기 위해서는 망인이 이 사건 회사에게 과세대상토지 전부를 이 사건 골프장 건설을 위하여 무상으로 대여 또는 제공한 결과 이 사건 회사가 그 토지 전부를 사용한 사실이 인정되어야 하는데 이를 인정할 자료가 없을 뿐만 아니라 위에서 인정한 바와 같이 피고가 부당행위계산부인 규정을 적용하여 종합소득세 과세처분을 한 과세대상토지 중 이 사건 골프장 부지로 편입된 토지는 이 사건 토지 69필지에 불과하므로, 이 사건 처분 중 이 사건 토지에 대한 적정 임대료 상당의 소득을 초과하는 범위의 소득을 과세표준으로 하여 한 부분은 위법하다.

(2) 이 사건 토지에 대한 사용승낙이 부당한 행위계산이 아니라는 주장에 대하여

구 소득세법(1994. 12. 22. 법률 제4803호로 전문 개정되기 전의 것) 제55조 및 구 소득세법(위와 같이 전문 개정된 것) 제41조의 부당행위계산부인 규정은 거주자의 행위 또는 계산이 객관적인 사실에 합치되고 법률상 유효적법한 것이라 하더라도 그 행위나 계산이 특수관계자 사이의 거래이고, 무상임대 등 객관적으로 조세의 부담을 부당하게 감소시키는 거래유형에 해당되는 경우에는 세법상 이를 부인하여 과세권자가 객관적으로 타당하다고 인정되는 소득이 있었던 것으로 의제하여 과세함으로써 실질과세원칙을 보충하여 공평과세를 실현하고자 하는 것이므로, 부당행위계산은 특수관계자 사이의 일정한 거래가 사회통념이나 관습에 비추어 볼 때 합리적인 경제인이 취할 정상적인 거래로 볼 수 없어 조세의 부담을 부당하게 감소시킨 것으로 인정되는 때에 할 수 있는 것인바(대법원 2002. 1. 11. 선고 2000두1799 판결 참조), 이 사건에서 보면, 골프장 건설은 토지 소유자로부터 부지를 매입하거나 사용승낙을 받은 후 사업계획승인을 얻어 골프장 완성에 이르기까지 상당한 기간이 소요되고 그 기간 동안 토지사용승낙을 한 토지소유자는 토지에 대한 처분권의 제한을 받는 것이 통상적인 일인데, 이러한 소유권의 제한을 감수하여야 할 토지소유자가 골프장 개발로 인한 장래의 토지가격 상승만을 기대하면서 무상으로 토지사용을 승낙하는 것은 사회통념상 합리적인 경제인이 취할 정상적인 거래로 볼 수 없으므로 망인의 무상임대행위는 조세의 부담을 부당하게 감소시킨 행위라고 봄이 상당하다.

따라서 원고들의 위 주장은 이유 없다.

(3) 적정 임대료 산정 시기(始期)에 대하여

거주자가 특수관계에 있는 자에게 토지를 무상으로 대여하거나 제공한 행위를 부인하고 그로 인한 거주자의 임대료 상당 소득금액을 추계의 방법으로 계산하여 공평과세의 원칙을 실현한다는 부당행위계산부인 규정의 입법취지에 비추어 볼 때, 정상적인 거래가 있었던 경우 거주자에게 임대료 상당의 소득이 발생하기 시작한 시점은 특수관계에 있는 자가 그 토지를 현실적으로 사용하기 시작한 때로 볼 것이 아니라 거주자가 토지를 무상으로 대여 또는 제공함으로써 소유권의 제한을 받기 시작한 때로 보아야 할 것이다.

따라서 이 사건에서 보면, 망인이 이 사건 회사에게 이 사건 토지에 대한 사용승낙을 하고, 이 사건 회사가 관할 관청으로부터 이 사건 골프장 건설사업에 대한 사업계획승인을 받은 때인 1989. 12. 21.부터는 망인에게 임대료 상당의 소득이 발생하기 시작하였다고 보아야 하므로 원고들의 위 주장도 이유 없다.

(4) 적정 임대료의 산정 방법에 대하여

(가) 위 구 소득세법 제55조 제1항(또는 제41조)에 의하면, 관할세무서장은 부동산임대소득이 있는 거주자의 행위 또는 계산이 그 거주자와 특수관계 있는 자와의 거래로 인하여 당해 소득에 대한 조세의 부담을 부당하게 감소시킨 것으로 인정되는 때에는 그 거주자의 행위 또는 계산에 관계없이 당해 연도의 소득금액을 계산할 수 있다고 규정하고 있고, 구 소득세법시행령 제111조(또는 제98조) 제2항 제2호에 의하면, ‘조세의 부담을 부당하게 감소시킨 것으로 인정되는 때’의 하나로 ‘특수관계 있는 자에게 자산 또는 용역을 무상 또는 낮은 이율 등으로 대부하거나 제공한 때’를 규정하고 있다.

따라서 당해 소득자가 그 소유의 부동산을 특수관계 있는 자에게 무상 임대한 경우에는 그 부동산에 대한 적정요율의 임대료를 당해 연도의 소득금액으로 계산할 수 있다고 할 것이다.

(나) 한편 당해 부동산에 대한 적정요율의 임대료는 당해 부동산의 ‘시가’에 일반적으로 인정되는 기대이익률을 곱하여 산정하여야 할 것이다. 이 때 임대료산정의 기준이 되는 당해 부동산의 ‘시가’는, 특별한 사정이 없는 한 원고가 이 사건 토지를 임차한 후 자기의 비용으로 골프장을 조성한 현 상태를 기준으로 할 것이 아니라, 그 부과시점에서 골프장 조성 이전의 현실이용상태인 임야상태를 상정하여 이를 기준으로 평가한 가격으로 봄이 상당하다 할 것이므로(대법원 1996. 11. 8. 선고 96다6127판결 참조), 임차인인 이 사건 회사가 개발되지 아니한 임야를 소지 상태로 임차한 후 임차인 스스로 이를 골프장으로 개발하여 운영하는 이 사건의 경우에 있어서는, 골프장으로 조성되기 이전의 소지가격(素地價格)에 적정 임대료율을 곱하여 계산한 금액을 부당행위계산의 기준으로 적용하여야 할 것이다.

(다) 그리고 이 사건에서 피고가 위와 같은 소지가격(素地價格)의 주장 및 입증책임을 다하지 않고 있는 반면, 원고들이 이 사건 토지의 소지가격을 기준으로 산출한 임대료로 이 법원의 정일감정평가법인에 대한 임료감정결과를 적용할 것을 인정하고 있으므로 원고들의 주장에 따라 원고들이 납부하여야 할 종합소득세액을 산출하면 별지 과세처분 및 정당세액 내역서 기재와 같다.

(라) 위와 같은 종합소득세액을 기초로 원고들의 상속분에 따라 안분한 세액은 다음과 같다.

① 1992년도 귀속

원고 윤맹철 : 14,358,075원 ＝ 100,506,527원 × 7/49

② 1993년도 귀속

원고 윤맹철 : 12,698,665원 ＝ 88,890,661원 × 7/49

③ 1994년도 귀속

원고 윤맹철 : 4,108,267원(원고들이 구하는 바와 같다, 이하 같다)

≒ 28,757,867원 × 7/49

④ 1995년도 귀속

원고 윤맹철, 윤광자, 윤대일, 윤영희, 윤용자, 윤수미 : 각 5,496,515원

＝ 38,475,608원 × 7 /49

원고 윤용훈 : 1,570,434원 ≒ 38,475,608원 × 2/49

원고 석진순 : 3,926,084원 ≒ 38,475,608원 × 5/49

합계 38,475,608원

⑤ 1996년도 귀속

원고 윤맹철, 윤광자, 윤대일, 윤영희, 윤용자, 윤수미 : 각 17,430,907원

＝ 122,016,354원 × 7 /49

원고 윤용훈 : 4,980,261원 ≒ 122,016,354원 × 2/49

원고 석진순 : 12,450,651원 ≒ 122,016,354원 × 5/49

합계 122,016,354원

라. 원고들이 납부하여야 할 종합소득세

(1) 원고 윤맹철이 납부하여야 할 1992년 내지 1994년도 귀속 종합소득세

국세기본법 제24조 제2항의 규정에 의하면 상속인이 2인 이상인 때에는 각 상속인은 피상속인에게 부과될 국세 등을 그 상속분에 따라 안분하여 계산한 금액을 납부할 의무를 지도록 되어 있으므로 원고 윤맹철에게 부과될 종합소득세도 상속인들의 상속분에 따라 안분하여 부과되어야 할 것인바, 원고 윤맹철의 상속분이 7/49임은 앞서 본 바와 같으므로 원고 윤맹철이 납부하여야 할 1992년도 내지 1994년도 귀속 종합소득세 역시 7/49에 한정하여 그 납부의무가 있다 할 것이다.

따라서 원고 윤맹철이 납부하여야 할 1992년도 귀속 종합소득세는 14,358,075원이고, 1993년도 귀속 종합소득세는 12,698,665원이며, 1994년도 귀속 종합소득세는 4,108,267원이므로 이를 초과하는 이 사건 처분은 위법하다.

(2) 원고들이 납부하여야 할 1995년도 및 1996년도 종합소득세

위에서 본 바와 같이 원고들이 납부하여야 할 1995년도 귀속 종합소득세는 별지 1 기재와 같이 합계 38,475,608원이고, 1996년도 귀속 종합소득세는 별지 2 기재와 같이 합계 122,016,354원이므로 이를 초과하는 이 사건 처분은 위법하다.

3. 결론

그렇다면 원고 윤맹철의 이 사건 청구는 일부 이유 있어 이를 인용하고, 나머지는 이유 없어 이를 기각하고, 나머지 원고들의 청구는 모두 이유 있어 이를 인용하기로 하여 주문과 같이 판결한다.