웹 상에 A-B Test를 할 수 있는 구조를 만들긴 했지만, 실제 니즈가  있는 예비 사용자 집단을 모집하고, 이들을 대상으로 지속적인 피드백을 받을 단계가 아니기에 개발 내용을 오프라인에서 실험하고 검증해야할 필요가 있었다.

설 연휴도 대부분 반납하며, 사이트의 부족한 부분들에 대한 개발을 진행하였고,

이 후 각 단계를 캡쳐하였으며, 실제 단계별로 삽입된 구성 요소들을 개별적으로 출력하였다.

이후 오프라인 A-B 테스트 및 콘텐츠 구성과 관련된 인터뷰를 위해

첫번째 대상으로 학교의 소속 연구실인 fma lab 연구원과 대학원 연구원들을 대상으로 한 인터뷰 실험을 진행하였다.

본 콘텐츠 구성요소들을 통해 하나의 사이트가 만들어진다는 것과 누구나 쉽게 만들고, 참여할 수 있게 하는 것을 목표로 한다는 설명과 한 후 실험을 진행하였다.

실험은 크게 두가지로 진행하였고,

첫번째로는 구성요소들을 실험군이 자유롭게 4-5개 단계로 구분 및 우선 순위로 배치하도록 하였으며, 그 배치 이유에 대해 묻는 형태로 진행하였고, 

이후 기 개발된 A-B 타입의 캡쳐 이미지를 보여준 후, 두개의 타입 중 어떤 유형이 더욱 쉽게 느껴지는 지에 대해 선택하게 하고, 그 이유를 묻는 형태로 진행하였다.

A-B 타입 선호도 측정을 두번째로 진행힌 이유는 본 서비스 모델에 생소한 사용자가 컨셉만 들었을때 구성요소들로 어떤 조합을 만드는지에 대해 궁금하였으며, 이를 통해 각 구성요소에 대한 중요도 등의 가중치를 측정할 수 있게 된다면, 이를 기반으로 하여 더욱 사용성 높은 서비스를 개발할 수 있을 것이라 기대했기 때문이다.

첫번째 구성요소 자유배치에서는

각 실험군들이 자신의 기존 경험에 기반하여 화면을 구성하는 것을 볼 수 있었고,

블로그 유 경험자의 경우 해당 경험에 기반하여 화면 구성 및 배치를 한다는 점을 확인할 수 있었다.

권박사님의 배치도가 특히 재밌었는데, 기존의 내가 서비스를 개발하는 데 있어서 접근 방향은 모든 준비가 된 상태에서, 사이트의 필요성을 느낀 사용자가 우리 서비스를 이용한다고 전제했다면,

권박사님의 경우 프로젝트에 대한 발상단계에서부터 본 서비스를 이용하는 것으로 두고, 실제 사이트 완성까지의 시간을 조금 더 장기적인 관점에서 두고 화면과 단계를 구성한 점이 신선했던 것 같다.

또한 디자이너 입장에서는 로고 개발이 쉬운 일이지만, 비 전공자의 경우 이 또한 높은 장벽임을 이야기 해 주시고, 이를 처음보다는 뒤쪽에 배치하거나 다른 대체제로 구성하는 편이 좋을 것 같다는 의견을 주었는데, 이는 전혀 생각해보지 못했던, 일반 사용자의 관점이었다. 

이러한 경험은 아직 내가 만드는 서비스가 일반 사용자에게는 벽이 있음을 느끼는 계기가 되었고, 향후 수정단계에서 반영하도록 해야겠다.

A-B 선호도 측정에서 재미있었던 점은 전원 모두 B에 대한 선호도가 높았다. 그 이유로는 개요작성 이후에 배치한 데모보기 단계가 실제 사용자들에게 추가 입력에 대한 동기부여 효과를 줄 수 있을 것이라 생각했던 부분이 긍정적으로 작용하였다.

또한 부담감없이 개요부분에서 작성한 기본 정보와 본문 구성 등에 대한 노력이 스스로에게 마무리에 대한 2차 동기부여제가 됨으로써 최종 생성단계에서 조금 많아 보이는 기입해야 하는 구성 요소들 또한 충분히 감내할 수 있는 양이라고 인지하게 하는 것 같았다.

이는 Type B의 설계에 있어 고민했던 내용이 긍정적으로 받아들여진 것 같아 참 기뻤다.

Type A는 사이트 개발 경험이 있는 전문가들이 선호할 것 같다는 의견 또한 있었는데, 이는 서비스를 개발하며 나의 주관적 편의성이 반영되었기 때문으로 보여진다.

정작 모두가 쓰기 편한 툴을 만들겠다는 목적이 있었지만, 개발자로써의 내 경험과 일반 사용자의 경험의 차로 인해 나와 비슷한 개발자에게만 편하고 익숙하게 느껴진 것 같다.

이번 주는 다양한 사용자들을 직접 만나 이러한 실험을 추가로 진행해봐야겠다. 귀를 많이 여는 한주. 시작 :)

#2 우주형 인터뷰

대회 수상자 출신, sk 컴즈 동지, 창업 등 공통점이 꽤 많은 우주형.

그래서 그런지 형의 배치 순서는 내가 처음 서비스를 기획했을때와 참 비슷했다.

A-B 선호도는 역시나 B가 나왔다.

확실히 Type B는 콘텐츠 입력만 지속하기보다 중간에 삽입한 데모보기 페이지와 템플릿 선택 페이지 등이

실제 접하는 사람에게 호기심을 주는 요소로 작용함을 알 수 있었다.

우주형은 여기서 한발짝 더 나아가 두번째 요소에 애니메이션 효과를 주는 등의 방식을 통해 조금 더 재밋게

표현하면 좋겠다는 코멘트를 추가해주셨다. Type B가 조금 더 재밌는 형태가 될 것으로 생각된다. 오늘도 두근 :)

가치있는 정보를 보다 쉽게 공유할 수 있게 해준다.

만드는 사람도 그 과정에서 재미를 느끼고, 그렇게 만들어진 콘텐츠가 정보를 접하는 사람에게도 재밋게 느껴지도록 한다.

이게, 기본 방향일 것 같다.

#3 성원이 인터뷰

사회적 기업 운영, 봉사활동 관련 프로젝트 기획

최초로 이 서비스를 생각하고 기획할 때 내가 설정한 유저 타입은 프로젝트 기획자였는데, 이 집단의 특징을 기획력과 실행력이 우수한 집단이라 설정하였었다.

단순히 아이디어 단계가 아니라 실제 실행까지 옮길 정도라면, 이 두가지는 기본적으로 가진 성질이라 생각했기 때문에..

이 설정 캐릭터와 관련하여 가장 비슷한 실험자가 성원이였던 것 같고, 그가 정리한 사이트 개발 단계는 초기 나의 기획과 유사한 성격을 띄었는데,

홈페이지가 필요한 단계는 기본적인 방향설정과 기획이 된 상태니까, 최대한 빨리 불필요한 단계를 제외하고 빨리 사이트를 만드는 것이 좋기 때문이라며, A 유형을 선택하였다.

내가 설정한 코어타깃 유저층의 대답이 기존의 대답들과는 다른 방향을 띄웠길래, 잠시 고민했지만, 조금 더 많은 실험군 인터뷰를 진행하여 이게 개인적 견해인지 유형이 같은 공통 견해인지에 대한 확인이 필요했다.

이후 인터뷰는 코이카 협력요원 출신이며, 사회적경제 영역 혹은 유사 카테고리에서 활동한 경험이 있는 동기들을 인터뷰 해야겠다는 생각을 하게되었다.

#김낙현

봉사 재단 근무, 코이카 튀니지

급히 잡은 점심 약속. A 유형을 선택했지만 그 이유는 Type B의 데모에 만족할 경우 추가 데이터 입력은 귀찮게 느껴져 건너띌 것 같다며 중간에 선택권을 주지 않는 게 좋을 것 같다는 의견을 제시하였고, 이러한 이유에서 Type A를 선택하였다고 했다. 데모가 사용자들의 동기부여제로써 효과를 기대했지만, 이 단계에 대한 부정적 의견을 개선할 방법에 대해 고민해야겠다. 지금 생각으로는 데모과정을 없애고 바로 본문 구성단계로 넘어가되, 팝업창을 통해 건너띌 수 있도록 해야 할까에 대한 고민이 들긴한다. 정기적으로 단원을 선발하고, 파견을 보내고. 이후 결과보고를 받는데, 마지막 제출 보고서의 퀄리티가 좋지 못함. 이는 활동에 대한 기록 및 제출이라는 의미만이 사용자에게 주어지기 때문인데, 우리가 제공할 서비스는 그 결과물을 통해 경험을 사이트로 만들어 주기 때문에 도입하게 되면, 자신들의 경험을 기록하고 주변에 공유할 수 있다는 동기가 생기기 때문에, 보다 완성도 높은 결과 기록물을 얻을 수 있을 것으로 기대한다는 피드백. 이 부분에 대해서 적절한 기능을 초기 대응해준다면, 연관 기업들과의 협업의 시기를 조금 더 빨리 당길 수 있을 것 같다.

#한정우

웹 개발자

전체 13개의 정보를 입력해야하기 때문에, 부담스럽다는 의견을 주셨다. 확실히 입력해도 되고, 안해도 되는 부가 정보는 사이트 생성 이후, 이메일 혹은 마이프로젝트 영역 등에서 알림 창 등을 통해 추가 삽입할 수 있는 형태로 구성하는 것에 대해 고민해야겠다.

또한 이제는 일단 오픈해서 반응을 볼 필요가 있을 것 같다는 의견.

#김성경

사회적 기업 운영, 코이카 스리랑카

입력과정에 있어 처음은 무조건 간단하게 구성해야 입력하는 입장에서 안질린다. 공감가는 말이었다. 기존에 진행했던 인터뷰에서 실제 부담감을 느끼는 것을 확인할 수 있었으니까... Type B는 이에 대해 지속적으로 동기부여를 해주는 구조인 것 같다는 의견.

#박호근

석사과정, 도시 개발, 코이카 에콰도르

Type A 선택. Demo 단계가 작성 중간단계에 있어 선택을 하게 하기 때문에 혼란을 야기할 것 같다는 의견. 아예 작성 최초 단계에 어떤 유형의 사이트가 필요한지 묻는 형태로 가야할지.. 고민해봐야겠다.

10분안에 사이트 만들기. 이런 게 오히려 사용자들의 접근에 있어 기대심리를 낮추게 되는 것 같다. 빨리 개발하는 게 과연 좋은 게 맞는 것일지에 대한 물음.. 

#박용준

석사과정, 경제, 코이카 에콰도르 

Type B 선택. User friendly 하게 느껴짐. 본문 작성 건너 띄기 등으로 표현하면.. 데모과정에서 고민하게 되는 것을 조금은 덜 수 있을 것 같다는 의견.

좀 서둘러 더욱 많은 사용자 인터뷰를 진행해봤다.

1대1 인터뷰를 기준으로 하였기에 양은 적지만, 질적으론 만족스러운 한주간의 인터뷰 시간이었던 것 같다.

이들의 의견을 대충 요약해보자면..

• 데모보기 페이지-> 선택에 대한 부담감 줄일 방법은?
• 추가정보 입력페이지-> 부가 정보는 페이지 생성 후 관리영역에서 입력할 수 있도록..
• 결제,게시판,사진첩 등의 모듈 개발 순서 정하기
• Caja 도입하기
• 템플릿 개발하여 빨리 시범운영해보기
• 카테고리 추가하기-> 너무 진지한 내용들만 들어가면.. 재미없음
• 구성요소별 사용자가 인식하는 단계별 가중치 계산해보기
• 단순히 사이트 제작단계는 이제 슬슬 1차 마무리 짖고, 운영과 사이트 재방문 및 추가 콘텐츠를 소비할 수 있는 구조적 편의성을 고민할 단계.
• 작성 페이지 문서형태로 보기 및 pdf 출력하기 등 (재단, 기업과의 업무 협약시 이에 대한 필요성이 존재)
• PPT 기능 개선 - 이건 보여주는 사람들에게 반응이 썩 괜찮았다.