제 목 : 아사달 6.11 웹호스팅 서비스 장애 사과 및 보상 방안

이 름 : 아사달

날 짜 : 2004.06.14. 15:41:59

아사달 6.11 웹호스팅 서비스 장애 사과 및 보상 방안
- 2004년 6월 14일 -

안녕하십니까? (주)아사달 대표이사 서창녕입니다.

2004년 6월 11일에 발생한 아사달 웹호스팅 서비스 접속 장애에 대해 진심으로 사과의 말씀을 드립니다. 현재 모든 웹호스팅 계정이 복구 완료되어 홈페이지가 정상적으로 접속되고 있습니다. 앞으로 다시는 이런 사태가 재발하지 않도록 주의하겠으며, 피해를 입으신 고객님들께 웹호스팅 서비스 이용 기간 무료 연장 등의 피해 보상 조치를 취하겠습니다.

1. 사건 현황

2004년 6월 11일 새벽 3:40분경부터 아사달 전체 웹호스팅 계정 15,000여개 중에서 5,867개의 계정에 장애가 발생하였습니다. 장애가 발생한 대부분의 계정은 새벽 3:40경부터 오후 2:00경까지 10시간 이상 동안 정상적인 홈페이지 접속이 되지 않았습니다. 아이뉴스24(inews24.com) 등 언론에 보도된 바와 같이, 이 날 오후 2시경에는 장애가 발생한 계정 중 약 90% 이상이 복구 완료되어 정상적으로 홈페이지 접속이 되었습니다. 하지만, 일부 계정의 경우에는 수작업으로 복구하는데 시간이 걸려서 6월 12일 토요일 저녁까지 작업하여 약 99%의 계정이 복구 완료되었으며, 나머지 특이한 경우는 일요일 밤까지 작업하여 현재 저희가 파악한 바로는 완전히 복구 완료된 상황입니다.

모든 계정이 복구 완료되었으나 약 5% 이하의 고객님들은 일부 자료의 유실이 있을 수 있습니다. 전체 5,800여 개의 장애 계정 중 약 95%의 경우는 데이터 유실이 전혀 없이 완벽하게 복구되었습니다. 하지만, 약 4.5%의 계정은 1-2일 전의 백업 자료로 복구하였기 때문에 하루나 이틀 정도의 자료가 유실되었습니다. 또한, 당시 시스템 점검 중이었던 기가형 01번과 02번에 있었던 일부 계정을 포함하여 약 0.5%의 계정은 1주일-1개월 전의 백업 자료로 복구가 되었습니다. 이로 인해 고객님의 소중한 자료가 일부 유실된 것에 대해 죄송하게 생각합니다. 한편 장애 복구 과정에서 아사달이 보관하고 있던 예전 패스워드로 덮어쓰는 과정에서 이메일과 FTP 및 DB 패스워드가 맞지 않는 경우가 생겼는데, 고객님께서 아사달 내정보 페이지에서 직접 패스워드를 변경해 주시거나 아사달로 연락을 주시면 저희가 변경해 드리겠습니다.

이번 사태가 발생한 원인은 웹호스팅 서비스 기간 만료일을 설정하는 자동 프로그램의 오류 때문입니다. 아사달은 현재 180여대의 서버를 일일이 관리자가 수작업으로 관리하지 않고, 중앙에 별도의 서버를 두고 자체 기술력으로 개발한 시스템 관리 프로그램을 이용해 서버를 자동으로 관리하고 있습니다. 이 프로그램의 오작동으로 인해 정상적인 계정임에도 불구하고 서비스 만료일이 지난 것으로 잘못 인식하여 자동으로 홈페이지 접속을 차단함으로써 장애가 발생하였습니다. 예를 들어, 웹호스팅 서비스 만료일이 2005년 6월인 계정을 2003년 6월로 잘못 인식하여 서비스 이용기간이 지난 것으로 잘못 판단하여 홈페이지 접속을 자동으로 차단하였던 것입니다.

이번 서버 장애로 인해 피해를 입으신 쇼핑몰 운영자, 회사 홈페이지 운영자, 동호회 운영자 등 여러 고객님들께 진심으로 죄송하게 생각합니다. 앞으로 다시는 이런 유사한 일이 재발하지 않도록 주의하여 고객님들께 불편을 드리지 않도록 최선을 다하겠습니다.

2. 대응 과정

2004년 6월 11일 새벽 3:50분경에 첫 접속장애 신고를 받았습니다. 24시간 당직 근무 담당자가 즉시 이 사실을 알고 복구를 시도하였으나 장애를 일으킨 계정의 수가 너무 많아서, 새벽 4:30분경에 회사 비상연락망을 가동하여 사태 수습에 나섰습니다. 서버관리자들이 새벽에 연락을 받고 확인한 결과 무려 5,800여 개의 계정에 장애가 발생한 사실을 알게 되었습니다. 사건 발생 신고를 접수 받고 신속히 장애 복구 작업에 착수하여 오후 2:00경에 약 90% 이상의 계정을 복구 완료하였습니다. 하지만, 나머지 10% 정도의 계정은 백업 파일에서 해당 자료를 찾아내어 일일이 수작업으로 복구를 하느라 복구 완료에까지 오랜 시간이 걸린 점에 대해 사과의 말씀을 드립니다.

6월 11일 하루 종일 전화 및 게시판을 통한 문의가 폭주하여 고객지원이 정상적으로 이루어지지 못 하였습니다. 보통 하루에 200-300통 정도의 전화를 처리하고 있으나, 이 날은 수백, 수천 통의 전화가 걸려 왔기 때문에 해당 부서 직원들뿐 아니라 아사달 전체 40여명의 직원들이 총동원되어 전화상담을 했음에도 불구하고, 부득이하게 하루 종일 전화 연결이 잘 안 되거나 계속 “통화 중”으로 나온 경우가 많았습니다. 또한 6월 11일 하루 동안에만 평상 시 게시물 숫자의 10배가 넘는 약 1,000여 개 이상의 게시물이 아사달 홈페이지에 올라왔기 때문에 저희 직원들이 즉시 답변을 달지 못 하였습니다. 사건 발생 당일 고객지원이 원활하게 이루어지지 못 했던 점에 대해 거듭 사과의 말씀을 드립니다.

직원들이 사태 수습을 위해 애쓰는 한편, 회사는 고객님들께 이번 사태의 진행 상황을 알리고자 6월 11일 새벽 7:30분경에 아사달 홈페이지에 1차 공지를 내어 장애가 있음을 알렸고, 오후 2:00경에 2차 공지를 내어 약 90% 이상의 계정이 복구 완료되었음을 알렸으며, 저녁 8:00경에 3차 공지를 내어 진행 상황을 알려 드렸습니다. 또한 다음날과 그 다음날에도 홈페이지 게시판을 통해 복구 진행 상황과 응급 처리 방안을 여러 차례 공지하였습니다.

비상 상황인 만큼 아사달 직원들이 식사도 제대로 하지 못한 채 컴퓨터 앞에서 김밥 한 줄로 배를 채우고, 홈페이지 복구를 위해 최선을 다하였습니다. 또한 복구 마무리 작업을 위해 서버관리자 대부분이 밤낮 구별 없이 일하였으며, 금, 토, 일요일 3일간 집에도 들어가지 못하고 잠도 자지 못 한 채 사무실 책상에 쪼그려 앉아 잠시 눈을 붙이면서 최대한 빠른 시간 안에 장애를 복구하기 위해 노력하였습니다.

6월 11일 서비스 장애가 발생한 당일 새벽부터 복구 작업에 착수하였습니다. 피해를 당한 전체 5,800여개의 계정 중에서 500여개의 계정은 단지 서비스 만료기간만 수정함으로써 즉시 조치가 완료되었습니다. 나머지 5,300개 정도의 계정들은 오전 9시, 10시경 서버관리자들에 의해 급한 것부터 수동으로 작업하여 홈페이지 접속이 정상화되기 시작하였습니다. 오후 2시경에는 장애가 발생한 계정 중 자동 복구 프로그램에 의해 약 90% 이상이 복구 완료되어 정상적으로 홈페이지 접속이 되었습니다. 또한 복구가 되지 않은 나머지 10% 정도의 계정은 이 날 밤과 다음 날 저녁까지 작업하여 6월 12일 토요일 오후에 약 99%의 계정이 복구 완료되었으며, 나머지 1%에 해당하는 특이한 경우는 토요일 밤까지 작업하여 완전히 복구 완료된 상황입니다. 또한 6월 13일 일요일에는 홈페이지는 복구되었으나, 게시판, 방명록, 회원관리 등 데이터베이스 패스워드가 틀려서 홈페이지의 일부 페이지가 정상적으로 보이지 않는 경우를 조사하여 거의 대부분 복구를 완료하였습니다. 또한 이메일 계정이 누락되어 복구되지 않은 경우, FTP 패스워드가 틀린 경우 등 여러 가지 경우에 대한 대처 방안을 마련하여 일요일 저녁 7시에 공지사항을 올렸습니다.

아사달은 고객을 가장 소중한 사람으로 생각하고 고객님들께 최선을 다해 봉사하고자 합니다. 이번 사태에 대해 밤낮 구별 없이, 그리고 휴일도 없이 최대한 신속하게 대응하여 처리하려 하였으나 장애를 일으킨 계정의 수가 많아 복구에 시간이 오래 걸렸으며, 이로 인해 고객님들께 본의 아닌 피해와 불편을 드리게 된 점을 다시 한번 죄송하게 생각합니다.

3. 확인 요청

장애가 발생한 전체 5,800여개의 계정에 대해 복구를 완료하였습니다. 하지만, 일부 계정의 경우에는 홈페이지 접속은 잘 되지만 일부 자료가 없어졌거나, 이메일이나 FTP 접속이 안 되는 등 오류가 있을 수 있습니다. 이런 경우를 찾기 위해 저희 직원들이 일일이 하나씩 접속하여 확인하고 있지만, 고객님들께서 직접 자신이 운영하는 홈페이지를 살펴보시고, 문제가 있는 부분을 저희들에게 알려 주시면, 최대한 신속히 해결해 드리겠습니다. 아사달 호스팅 문의 게시판에 글을 남기거나 전화로 연락을 주시기 바랍니다.

(1) 홈페이지 접속이 되지 않는 경우

현재까지 저희가 파악한 바로는 복구가 되지 않은 홈페이지가 존재하지 않는 상황입니다. 다시 말씀 드려서 홈페이지 접속 자체는 완벽히 복구 완료된 상황입니다. 지금까지 몇 건의 연락을 받았으나 6월 11일 서버 장애 때문에 홈페이지 접속이 안 된 것이 아니라 다른 이유로 홈페이지 접속이 되지 않았던 것입니다. 예를 들면 도메인 사용기간이 만료된 경우, 웹호스팅 이용기간이 정상적으로 만료된 경우, 아사달에서 웹호스팅을 받고 있지 않은 경우 등입니다. 하지만, 저희가 미처 파악하지 못한 경우가 있을 수 있으므로, 만약 홈페이지 접속이 되지 않는다면 즉시 저희 아사달로 연락 주시기 바랍니다.

(2) 홈페이지는 접속되지만 예전 백업 자료로 복구된 경우

아사달은 총 3개의 백업자료를 가지고 있습니다. 1차 백업은 6월 11일 장애 발생 직전인 새벽 3시의 백업자료입니다. 장애가 발생한 5,800여 계정의 95%는 1차 백업자료로 복구하였으므로 자료 유실이 없습니다. 하지만 백업 공간 용량 초과로 1차 백업이 실패한 계정이 약 5% 정도 있습니다. 이 계정들은 2차 백업에서 자료를 찾아 복구하였습니다. 2차 백업은 1-2일 전 자료로서 이 과정에서 유실된 데이터에 대해서는 죄송하게 생각합니다. 고객님께서 보관하고 있는 자료로 다시 올려주시기 바랍니다. 약 0.5%의 경우에는 백업 시스템을 점검 중에 있어서 2차 백업을 받지 못했기 때문에, 부득이하게 3차 백업된 자료로 복구하였습니다. 3차 백업자료는 1주일-1개월 전의 자료로서 이 기간 동안 유실된 자료에 대해서는 복구가 불가능합니다. 가능한 한 고객께서 보관한 자료로 다시 올려주시기 바랍니다. 이 점에 대해서는 대단히 죄송하게 생각합니다.

(3) 홈페이지는 복구되었으나 게시판 등 DB 에러가 있는 경우

홈페이지는 부분적으로 복구되었으나 게시판, 방명록, 회원관리 등 데이터베이스를 사용하는 부분이 복구되지 않은 경우가 있습니다. 이 현상은 DB 패스워드가 맞지 않아서 생기는 문제이므로 패스워드만 변경하면 정상적으로 사용 가능합니다. 아사달은 지금까지 DB 패스워드가 일치하지 않는 계정을 일일이 찾아서 패스워드를 변경하는 작업을 진행하여 모두 완료한 상태입니다. 그러나 패스워드를 일치시켜야 하는 계정의 수가 많아서 혹시라도 누락된 경우가 있을 수 있으니, 게시판 등 DB 에러가 나는 고객님들은 아사달로 연락을 주시면 즉시 처리해 드리겠습니다.

(4) FTP 또는 텔넷(telnet) 접속이 안 되는 경우

홈페이지는 복구되었으나 FTP 또는 텔넷(telnet) 접속이 안 되는 경우가 있습니다. 이것은 FTP 패스워드가 맞지 않아서 생기는 문제이므로 패스워드만 변경하면 정상적으로 접속 가능합니다. 고객님께서 직접 아사달에 회원 로그인을 하신 후 내정보의 도메인 목록 페이지에 있는 "웹호스팅" 버튼을 누르면, 자세한 웹호스팅 정보 페이지가 나옵니다. 이 페이지에서 FTP 패스워드 옆에 있는 "변경" 버튼을 클릭하여 새창이 뜨면 직접 원하는 패스워드(비밀번호)로 변경하십시오. 변경 후 1-2분 정도 뒤에 FTP나 텔넷(telnet) 접속을 시도하시면 정상적으로 접속이 될 것입니다. 만약 위의 방법으로 시도했으나, 잘 되지 않는 경우에는 아사달로 연락을 주시기 바랍니다.

(5) 홈페이지는 복구되었으나 이메일을 받아볼 수 없는 경우

홈페이지는 복구되었으나 이메일을 받아볼 수 없는 경우가 있습니다. 이것은 이메일 패스워드가 맞지 않아서 생기는 문제이므로 패스워드만 변경하면 정상적으로 그 동안 받은 이메일을 열어볼 수 있습니다. 고객님께서 직접 아사달에 회원 로그인을 하신 후 내정보의 도메인 목록 페이지에 있는 "웹호스팅" 버튼을 누르면, 자세한 웹호스팅 정보 페이지가 나옵니다. 이 페이지 맨 아래쪽을 보면 이메일 목록이 있습니다. 해당 이메일의 오른쪽 끝에 있는 "관리" 버튼을 클릭하여 직접 원하는 이메일 아이디와 패스워드(비밀번호)로 변경하십시오. 변경 후 1-2분 뒤에 접속하면 그동안 쌓인 모든 이메일을 받아보실 수 있습니다. 혹시 이용 중인 이메일 계정이 없어진 경우가 있다면, 위와 마찬가지 방법으로 “메일추가” 버튼을 누른 뒤 이메일 계정을 생성하면 그 동안 받은 이메일을 열어보실 수 있습니다. 만약 위의 방법으로 시도했으나, 잘 되지 않는 경우에는 아사달로 연락을 주시기 바랍니다.

4. 보상 방안

이번 6월 11일 아사달 서버 장애로 인해 피해를 입으신 고객님들께 회사 차원의 보상을 하고자 합니다. 한국웹호스팅기업협회(KORWA)의 표준 약관 초안을 참고하여 작성한 아사달의 호스팅 서비스 이용약관에 따르면, 장애가 발생한 시간에 해당하는 이용요금의 5배에 해당하는 금액을 보상하게 되어 있습니다. 하지만, 그 액수가 굉장히 적기 때문에 이런 보상을 하기보다는 실제 고객님들께 도움이 되는 방식으로 보상을 하고자 합니다.

기가형과 실속형 및 고급형 서비스 이용자 중에서 이번 사태로 피해를 입으신 고객님들께는 웹호스팅 서비스 이용기간을 1개월 무상으로 연장해 드리겠습니다. 프리미엄형, 단독서버형, 트래픽추가형 서비스 이용 고객님들 중 피해를 입으신 고객님들께도 마찬가지로 서비스 이용기간을 1개월 무상으로 연장해 드리겠습니다. 피아호스트 100년 및 평생 호스팅 고객님들께는 현재 운영 중인 웹호스팅 계정에 한해 아사달의 이미지몰(image mall)을 무료로 이용하실 수 있는 권리를 드리겠습니다. 이번 보상 조치는 고객님들이 겪으신 그 엄청난 불편함과 피해에 비하면 만족스럽지 않으실 수도 있습니다. 하지만, 고객님들의 넓은 마음으로 이해해 주시면 감사하겠습니다. 앞으로 다시는 이런 유사한 사태가 재발하지 않도록 아사달 전체 임직원이 최선을 다하겠습니다.

앞으로 아사프로(asapro) 통합 솔루션 프로그램의 기능을 개선하고, 6월 중으로 사진관리 프로그램을 배포하며, 뒤이어 웹빌더 자동 홈페이지 제작 마법사를 배포하고, 이미지몰에 인물 및 아이콘 일러스트 이미지를 계속 추가하는 등 홈페이지 운영에 필요한 제반 서비스를 제공해 드리겠습니다. 저희 아사달이 자체 기술력으로 개발한 아사프로는 기존의 회원관리, 게시판, 접속통계, 설문조사 등의 프로그램을 하나로 통합한 것으로서, 지금까지 나온 어떤 웹 프로그램에 비해서도 결코 뒤지지 않는다고 자부할 수 있습니다.

앞으로 아사달은 고객님이 운영하는 소중한 홈페이지에 조금이라도 피해가 없도록 서비스 관리에 만전을 기하겠습니다. 이번 사태를 전화위복의 계기로 삼아 고객님들께 더 좋은 웹호스팅 서비스로 찾아뵐 수 있도록 분골쇄신의 노력을 기울이겠습니다.

감사합니다.