10. 애플리케이션 테스트 관리

10. 애플리케이션 테스트 관리

keywords	Log4j 로거강도 테스트개별 테스트 케이스 항목 요소결함 등록결함 집중결함 확인결합도경곗값 분석 테스트경과 시간구문 커버리지단순성단위 테스트동등분할 테스트동적 테스트베타 테스트부하 테스트분기(결정) 커버리지블랙박스 테스트블랙박스 테스트 기법 유형살충제 패러독스상태 전이 테스트상향식 테스트샌드위치 통합 테스트샘플링 오라클소스 코드 최적화스파이크 테스트알파 테스트오류-부재의 궤변외계인 코드원인 - 결과 그래프 테스트원인-결과 그래프 테스트응답 시간응집도인수 테스트인스펙션정적 분석 도구정황 의존성조건 커버리지조건/결정 커버리지처리량테스트 드라이버테스트 슈트테스트 스크립트테스트 스텁테스트 시나리오테스트 오라클통합 테스트 수행 방법페어와이즈 테스트화이트 박스 테스트회귀 테스트회복 테스트
pageNum	204-277

애플리케이션 테스트 케이스 설계

애플리케이션 테스트 케이스 작성

애플리케이션 테스트 시나리오 작성

애플리케이션 통합 테스트

애플리케이션 테스트 수행

애플리케이션 테스트 결과 분석

애플리케이션 개선 조치사항 작성

애플리케이션 성능 개선

애플리케이션 성능 분석

애플리케이션 성능 개선

애플리케이션 테스트 케이스 설계

애플리케이션 테스트 케이스 작성

1. 소프트웨어 테스트의 이해
   1. 소프트웨어 테스트 개념
      • 소프트웨어 테스트는 개발된 응용 애플리케이션이나 시스템이 사용자가 요구하는 기능과 성능, 사용성, 안정성 등을 만족하는지 확인하고, 노출되지 않은 숨어있는 소프트웨어의 결함을 찾아내는 활동이다.
   2. 소프트웨어 테스트 필요성
      • 소프트웨어 테스트는 오류 발견 관점, 오류 예방 관점, 품질 향상 관점에서 필요하다.

      구분	오류 발견 관점	오류 예방 관점	품질 향상 관점
      설명	프로그램에 잠재된 오류를 발견하고 이를 수정하여 올바른 프로그램을 개발하기 위해 필요	프로그램 실행 전에 동료 검토, 워크 스루, 인스펙션 등을 통해 오류를 사전에 발견하는 예방 차원의 필요	사용자의 요구사항 및 기대 수준을 만족하도록 반복적인 테스트를 거쳐 제품의 신뢰도를 향상하는 품질 보증을 위해 필요

   3. 소프트웨어 테스트의 기본 원칙 [2020년 1회]
      1. 소프트웨어 테스트 원리

         원리	설명
         결함 존재 증명	• 결함이 존재함을 밝히는 활동 • 결함이 없다는 것을 증명할 수는 없음 • 결함을 줄이는 활동
         완벽 테스팅은 불가능	• 완벽하게 테스팅하려는 시도는 불필요한 시간과 자원낭비 • 무한 경로（한 프로그램 내의 내부 조건은 무수히 많을 수 있음）, 무한 입력값（입력 이 가질 수 있는 모든 값의 조합이 무수히 많음）으로 인한 테스트 어려움
         초기 집중	• 조기 테스트 설계 시 장점: 테스팅 결과를 단시간에 알 수 있고, 테스팅 기간 단 축, 재작업을 줄여 개발 기간 단축 및 결함 예방 • SW 개발 초기 체계적인 분석 및 설계가 수행되지 못하면 그 결과가 프로젝트 후 반에 영향을 미치게 되어 비용이 커진다는 요르돈의 법칙 적용（Snowball Effect, 눈덩이 법칙）
         결함 집중	• 적은 수의 모듈에서 대다수의 결함이 발견됨 • 소프트웨어 테스트에서 오류의 80%는 전체 모듈의 20% 내에서 발견 • 파레토 법칙（Pareto Principle）의 내용인 80 대 20 법칙 적용
         살충제 패러독스	• 동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못함 • 테스트 케이스의 정기적 리뷰와 개선 및 다른 시각에서의 접근이 필요
         정황 의존성	• 소프트웨어의 성격에 맞게 테스트 실시 • 정황과 비즈니스 도메인에 따라 테스트를 다르게 수행
         오류-부재의 궤변	• 요구사항을 충족시켜주지 못한다면, 결함이 없다고 해도 품질이 높다고 볼 수 없음

      2. 소프트웨어 테스트 프로세스
         • 일반적인 테스트 프로세스는 테스트 계획, 테스트 분석, 테스트 디자인, 테스트 케이스 및 시나리오 작성, 테스트 수행, 테스트 결과 평가 및 리포팅의 절차로 이루어진다
      3. 소프트웨어 테스트 산출
         • 소프트웨어 테스트 산출물에는 테스트 계획서, 테스트 베이시스, 테스트 케이스, 테스트 슈트, 테스트 시나리오, 테스트 스크립트, 테스트 결과서가 있다

           산출물	설명
           테스트 계획서	테스트 목적과 범위, 대상 시스템 구조 파악, 테스트 수행 절차, 테스트 일정 등을 정의한 문서
           테스트 베이시스	분석 및 설계 단계의 논리적인 Case로 테스트 설계를 위한 기준이 되는 문서
           테스트 케이스	응용 소프트웨어의 사용자 요구사항을 준수하는지 확인하기 위한 입력값, 실행 조건, 기대 결과를 포함한 테스트 항목의 명세서
           테스트 슈트	테스트 케이스를 실행환경에 따라 구분하여 정리한 테스트 케이스의 집합
           테스트 시나리오	애플리케이션의 테스트 되어야 할 기능 및 특징, 테스트가 필요한 상황을 작성한 문서 테스트 시나리오에는 하나 이상의 테스트 케이스들이 포함될 수 있음
           테스트 스크립트	테스트 케이스의 실행 절차를 작성한 문서
           테스트 결과서	테스트 프로세스를 리뷰하고, 테스트 결과를 평가하고 리포팅하는 문서

2. 소프트웨어 테스트 유형

   소프트웨어 테스트 유형은 프로그램 실행 여부, 테스트 상세 기법, 테스트에
   대한 시각, 테스트의 목적, 테스트의 종류에 따라 분류할 수 있다.
   

   1. 프로그램 실행 여부에 따른 분류
      • 프로그램 실행 여부에 따라 정적 테스트와 동적 테스트로 나눌 수 있다
   2. 테스트 기법에 따른 분류
      1. 화이트박스 테스트
         • 화이트박스 테스트는 각 응용 프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테스트이다.
         • 화이트박스 테스트는 코드 분석과 프로그램 구조에 대한 지식을 바탕으로 문제가 발생할 가능성이 있는 모듈 내부를 테스트하는 방법이다.
         • 소스 코드의 모든 문장을 한 번 이상 수행함으로써 진행되고, 산출물의 기능 별로 적절한 프로그램의 제어 구조에 따라 선택, 반복 등의 부분들을 수행함으로써 논리적 경로를 점검한다.
         • 화이트박스 테스트는 내부 소스 코드의 동작을 개발자가 추적할 수 있기 때문에. 동작의 유효성뿐만 아니라 실행되는 과정을 확인할 수 있다.
         • 화이트박스 테스트는 구조 기반 테스트, 코드 기반 테스트, 로직 기반 테스트, 글래스(Glass) 박스 테스트라고 부른다.

         유형	내용
         구문 커버리지 =문장 커버리지	• 구문 커버리지는 프로그램 내의 모든 명령문을 적어도 한 번 수행하는 커버리지 • 조건문 결과와 관계없이 구문 실행 개수로 계산
         결정 커버리지 = 선택 커버리지(Decision Coverage) = 분기 커버리지(Branch Coverage)	• 결정 커버리지는 (각 분기의) 결정 포인트 내의 전체 조건식이 적어도한 번은 참(T)과 거짓(月의 결과를 수행하는 테스트 커버리지 • 구문 커버리지를 포함
         조건 커버리지	각 분기의 결정 포인트 내의 각 개별 조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 테스트 커버리지
         조건/결정 커버리지	전체 조건식과 개별 조건식이 각각 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 테스트 커버리지
         변경 조건/결정 커버리지	조건식이 독립적으로 영향을 주도록 함으로써 조건/결정 커버리지를 향상시킨 커버리지
         다중 조건 커버리지	결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장하는 커버리지
         기본 경로 커버리지	수행 가능한 모든 경로를 테스트하는 기법
         제어 흐름 테스트	프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직을 테스트하는 기법
         데이터 흐름 테스트	제어 흐름 그래프에 데이터 사용현황을 추가한 그래프를 통해 테스트하는 기법
         루프 테스트	프로그램의 반복(Loop) 구조에 초점을 맞춰 실시하는 테스트 기법

      2. 블랙박스 테스트
         • 블랙박스 테스트는 프로그램 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트(기능 테스트)이다.

         유형	내용
         동등분할 테스트= 동치 분할 테스트, 균등 분할 테스트,동치 클래스 분해 테스트	입력 데이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트하는 기법
         경곗값 분석 테스트	등가 분할 후 경곗값 부분에서 오류 발생 확률이 높기 때문에 경곗값을 포함하여 테스트 케이스를 설계하여 테스트하는 기법 최솟값 바로 위, 최대치 바로 아래 등 입력값의 극한 한계를 테스트하는 기법
         결정 테이블 테스트 (Decision Table Testing	요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트하는 기법
         상태 전이 테스트	테스트 대상 - 시스템이나 객체의 상태를 구분하고, 이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 수행하는 테스트 기법
         유스케이스 테스트	시스템이 실제 사용되는 유스케이스로 모델링 되어 있을 때 프로세스 흐름을 기반으로 테스트 케이스를 명세화하여 수행하는 테스트 기법
         분류 트리 테스트	SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트하는 기법
         페어와이즈 테스트	테스트 데이터값들 간에 최소한 한 번씩을 조합하는 방식으로, 상대적으로 적은 양의 테스트 세트를 구성하기 위한 테스트 기법
         원인-결과 그래프 테스트	그래프를 활용하여 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스를 선정하여 테스트하는 기법
         비교 테스트	여러 버전의 프로그램에 같은 입력값을 넣어서 동일한 결과 데이터가 나오는지 비교해 보는 테스트 기법
         오류 추정 테스트	개발자가 범할 수 있는 실수를 추정하고 이에 따른 결함이 검출되도록 테스트 케이스를 설계하여 테스트하는 기법

      • 블랙박스 테스트는 소프트웨어의 특징, 요구사항, 설계 명세서 등에 초점을 맞춰 테스트가 이루어진다.
      • 블랙박스 테스트는 기능 및 동작 위주의 테스트를 진행하기 때문에 내부 구조나 작동 원리를 알지 못해도 가능하다.
      • 블랙박스 테스트는 명세 테스트라고도 불린다
   3. 테스트 시각에 따른 분류

      분류	설명
      검증	이전 단계에서 설정된 개발 규격과 요구를 충족시키는지 판단 개발자 혹은 시험자의 시각으로 소프트웨어가 명세화된 기능을 올바로 수행하는지 알아보는 과정
      확인 (Validation)	• 소프트웨어 결과를 테스트 • 만들어진 제품이 제대로 동작하는지 확인 • 최종 사용자 요구 또는 소프트웨어 요구에 적합한지 판단 • 사용자 시각으로 올바른 소프트웨어가 개발되었는지 입증하는 과정

   4. 테스트 목적에 따른 분류
      • 테스트 목적에 따른 분류에는 회복 테스트, 안전 테스트, 성능 테스트, 구조테스트, 회귀 테스트, 병행 테스트가 있다.
      • 또한, 성능 테스트의 상세 유형에는 부하 테스트, 스트레스 테스트, 스파이크 테스트, 내구성 테스트가 있다.

        분류	설명
        회복 테스트	시스템에 고의로 실패를 유도하고, 시스템의 정상적 복귀 여부를 테스트하는 테스트 목적에 따른 분류
        안전 테스트	불법적인 소프트웨어가 접근하여 시스템을 파괴하지 못하도록 소스 코드 내의 보안적인 결함을 미리 점검하는 테스트 기법
        성능 테스트	사용자의 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량, 사용자 요구에 시스템이 반응하는 속도 등을 측정하는 테스트 기법
        구조 테스트	시스템의 내부 논리 경로, 소스 코드의 복잡도를 평가하는 테스트 기법
        회귀 테스트	회귀 테스트는 오류를 제거하거나 수정한 시스템에서 오류 제거와 수정에 의해 새로이 유입된 오류가 없는지 확인하는 일종의 반복 테스트 기법
        병행 테스트	변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트 기법
        부하 테스트	시스템에 부하를 계속 증가시키면서 시스템의 임계점을 찾는 테스트
        강도 테스트	시스템 처리 능력 이상의 부하, 즉 임계점 이상의 부하를 가하여 비정상적인 상황에서 시스템의 동작 상태를 확인하는 테스트
        스파이크 테스트	짧은 시간에 사용자가 몰릴 때 시스템의 반응 측정 테스트
        내구성 테스트	오랜 시간 동안 시스템에 높은 부하를 가하여 시스템 반응 테스트

   5. 테스트 종류에 따른 분류
      • 테스트 종류에 따른 분류에는 명세 기반 테스트, 구조 기반 테스트, 경험 기반 테스트가 있다

        분류	설명	유형
        명세 기반 테스트	프로그램의 요구사항 명세서를 기반으로 테스트 케이스를 작성하고 확인하는 테스트 기법	• 동등분할 테스트, 경곗값 분석 테스트, 결정 테이블 테스트, 상태 전이 테스트, 유스케이스 테스트, 분류 트리 테스트, 페어와이즈 테스트, 원인-결과 그래프 테스트, 비교 테스트
        구조기반 테스트	소프트웨어 내부 논리 흐름에 따라 테스트 케이스를 작성하고 확인하는 테스트 기법	• 구문 커버리지, 결정 커버리지, 조건 커버리지, 조건 • 결정 커버리지, 변경 조건 • 결정 커버리지, 다중 조건 커버 리지, 기본 경로 커버리지, 제어 흐름 테스트, 데이터 흐름 테스트
        경험 기반 테스트	유사 소프트웨어나 유사 기술 평가에서 테스터의 경험을 토대로 직관과 기술 능력을 기반으로 수행하는 테스트 기법	• 탐색적 테스트, 오류 추정

3. 정적 테스트
   • 테스트는 크게 정적 테스트와 동적 테스트로 나눠질 수 있고, 정적 테스트는 리뷰(Review)와 정 적 분석 (Static Analysis)으로 분류할 수 있다
   1. 리뷰
      1. 리뷰 프로세스

         IEEE1028—2008에서 정의한 리뷰 프로세스는 경영진 준비, 리뷰 계획, 리
         뷰 절차 개요 설명, 작업물 개요 설명, 개별 준비, 그룹 검토, 재작업, 후속
         작업 순으로 이루어져 있다.
         

      2. 리뷰의 유형

         리뷰의 유형에는 동료 검토(Peer Review), 인스펙션(Inspection), 워크 스루(Walk Through)7]- 있다.

         1. 동료 검토
            • 동료 검토는 2‑ 3명이 진행하는 리뷰의 형태로 요구사항 명세서 작성자가 요구사항 명세서를 설명하고, 이해관계자들이 설명을 들으면서 결함을 발견하는 형태로 진행하는 검토 기법이다.
         2. 인스펙션
            • 인스펙션은 소프트웨어 요구, 설계, 원시 코드 등의 저작자 외의 다른 전문가 또는 팀이 검사하여 문제를 식별하고 문제에 대한 올바른 해결을 찾아내는 형식적인 검토 기법이다.
            • 인스펙션은 개발 초기에 검사해야만 개발 초기 작업물에서 문제를 발견할 수 있다.
         3. 워크 스루
            • 워크 스루는 검토 자료를 회의 전에 배포해서 사전 검토한 후 짧은 시간 동안 회의를 진행하는 형태로 리뷰를 통해 문제 식별, 대안 조사, 개선 활동, 학습 기회를 제공하는 가장 비형식적인 검토 기법이다.
            • 워크 스루는 결함을 검출할 뿐만 아니라 참가자들의 교육이나 지식 공유를 위해 수행하기도 한다.
            • 위크스루는 작성자 본인이 보통 회의를 주재하며 기록자 역할도 담당할 수 있고, 인스펙션과 마찬가지로 관리자 직책을 담당하는 사람은 멤버로 참여 하는 것을 금지한다.
   2. 정적 분석
      • 리뷰는 사람이 직접 수행하는 수작업 중심의 방법이지만, 정적 분석은 도구의 지원을 받아 정적 테스트를 수행하는 방법 이다.
      • 정적 분석은 자동화된 도구를 이용하여 산출물의 결함을 검출하거나 복잡도를 측정한다.
      • 정적 분석으로는 코딩 표준 부합, 코드 복잡도 계산, 자료 흐름 분석 등이 있다.

4. 동적 테스트
   1. 화이트박스 테스트(구조 기반 테스트)
      • 화이트박스 테스트는 각 응용 프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테스트이다.
      • 화이트박스 테스트는 구조 기반 테스트, 코드 기반 테스트, 로직 기반 테스트, 글래스(Glass) 박스 테스트라고 부른다.
      1. 기본 구문
         • 결정 포인트가 2개 있는 프로그램과 제어 흐름도는 아래와 같다.
         • IF 문이 2개, 분기가 2개이고, 문장（구문） 2개로 이루어져 있다
         • 제어 흐름 그래프는 프로그램 구조를 효과적으로 나타낼 수 있는 도구이다.
         • 화이트박스 테스트 시에 우선 프로그램을 기본 블록과 제어 흐름으로 구성된 제어 흐름 그래프를 그린 후에 테스트 케이스를 추출한다.
         • 가장 좋은 화이트박스 테스트는 프로그램의 모든 경로를 최소한 한 번은 테스트하는 방법이지만, 프로그램 경로가 많기 때문에 불가능에 가깝다.
         • 대안으로 일부 경로만 테스트하는 방법을 화이트박스 테스트에서는 주로 사용하고 있다.
      2. 테스트 커버리지 개념
         • 테스트 커버리지는 프로그램의 테스트 수행 정도를 나타내는 값으로 테스트 수행의 완벽성을 측정하는 도구이다.
         • 테스트 커버리지는 주어진 테스트 케이스에 의해 수행되는 소프트웨어의 테스트 범위를 측정하는 테스트 품질 측정 기준이다.
         • 테스트의 정확성과 신뢰성을 향상시키는 역할을 한다.

         유형	설명
         기능기반 커버리지	테스트 대상 애플리케이션의 전체 기능을 모수로 설정하고, 실제 테스트가 수행된 기능의 수를 측정하는 방법

      3. 테스트 커버리지의 구성
         • 테스트 커버리지는 구문（문장, Statement）, 결정（Decision）, 조건（Condition）, 결정 포인트（Decision Point）로 구성되어 있다
         • 소스 코드는 구문（문장）으로 구성되어 있고, 조건문에 대한 결정이 있고, 결정에 대한 각 조건식이 있다.
         • 참과 거짓에 대한 결정 포인트（분기 노드）가 있는데, 소스 코드상의 if, while, for, switch 문이 결정 포인트라고 할 수 있다.
         • 전체 조건식은 소스 코드에서 결정 포인트（분기 노드） 내에 있는 모든 조건문이고, 개별 조건식은 전체 조건식에 연산자 (AND, OR 등）로 구분한 각각의 조건식이다
      4. 구문(문장)커버리지
         • 구문 커버리지는 프로그램 내의 모든 명령문을 적어도 한 번 수행하는 테스트 커버리지이다.
         • 구문 커버리지는 조건문 결과와 관계없이 구문 실행 개수로 계산한다
      5. 결정 커버리지
         • 결정 커버리지는 (각 분기의) 결정 포인트 내의 전체 조건식이 적어도 한 번은 참(T)과 거짓(F)의 결과를 수행하는 테스트 커버리지이다.
         • 결정 커버리지는 선택 커버리지(Decision Coverage), 분기 커버리지 (Branch Coverage) 라고도 한다.
         • 결정 커버리지는 구문 커버리지를 포함한다
      6. 조건 커버리지
         • 조건 커버리지는 (각 분기의) 결정 포인트 내의 개별 조건식이 적어도 한 번은 참(T)과 거짓(F)의 결과가 되도록 수행하는 테스트 커버리지이다. (전체 조건식의 영향은 고려하지 않음)
   2. 블랙박스 테스트(명세 기반 테스트) [2021 년 1회
      • 블랙박스 테스트는 프로그램 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트(기능 테스트)이다.
      • 블랙박스 테스트는 곧 명세 테스트이다.
      • 모든 종류의 소프트웨어 시스템에 대해 테스트가 가능하다.
      • 전체 소프트웨어 테스트 레벨（단위, 통합, 시스템, 인수）에서 적용할 수 있는 기법이다.
      1. 동등분할 테스트（Equivalence Partitioning Testing
         • 동등분할 테스트는 입력 데이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트하는 기법이다.
         • 동등분할 테스트는 동치 분할 테스트, 균등 분할 테스트, 동치 클래스 분해 테스트라고도 한다
      2. 경곗값 분석 테스트(Boundary Value Analysis Testing) [2022년 3회
         • 개념
           • 경곗값 분석 테스트는 등가 분할 후 경곗값 부분에서 오류 발생 확률이 높기 때문에 경곗값을 포함하여 테스트 케이스를 설계하여 테스트하는 기법이다.
           • 최솟값 바로 위, 최대치 바로 아래 등 입력값의 극한 한계를 테스트하는 기법이다.
           • 한곗값 테스트라고도 한다
         • 특징
           • 다수의 오류들이 입력 영역의 경계에서 발생한다.
           • 대부분의 경우 동등분할 테스트와 함께 사용한다.

           선택 기준	설명
           경계값 선택 기준	범위의 끝에 속하는 유효 입력값과 범위 바로 바깥에 속하는 유효하지 않은 값의 범위를 결정하는 기준
           입력값	- 입력값의 최솟값과 최댓값 - 최솟값과 최댓값의 바로 아래와 바로 위의 값
           파일, 리스트, 테이블과 같은 정렬된 집합 형태	• 첫 번째 항목과 마지막 항목
           그 외	- 개인의 독창성과 직관에 따라 경계에 해당하는 여러 값 선택

           방법	설명
           2-value	- 경계에 있는 값 - 바로 위 또는 아래 중 하나의 값 ※경계가 유효하면 유효하지 않은 값, 유효하지 않으면 유효한 값 선택
           3-value	- 경계에 있는 값 - 경계 바로 위의 값 - 경계 바로 아래의 값

      3. 결정 테이블 테스트
         • 결정 테이블 테스트는 요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트하는 기법이다.
         • 입력 조건의 모든 조합에 대한 시스템의 액션을 고려하여 테스트 케이스를 도출하는 기법이다.
         • 특징으로는 복잡한 논리적 관계를 표현하기 좋고, 누락된 요구사항 검사에 용이하다
      4. 상태 전이 테스트
         • 상태 전이 테스트는 테스트 대상/시스템이나 객체의 상태를 구분하고, 이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 수행하는 테스트 기법이다.
         • 시스템을 상태 전이도로 모델링 한 후 상태 전이도에서 테스트 케이스를 도출하는 기법이다.
         • 상태 전이도는 시스템 외부에서 들어오는 일련의 이벤트들에 대해 시스템 상태가 어떻게 전이되고 어떤 식으로 반응하는가를 나타내는 도구이다.
      5. 유스케이스 테스트
         • 유스케이스 테스트는 시스템이 실제 사용되는 유스케이스로 모델링 되어 있을 때 프로세스 흐름을 기반으로 테스트 케이스를 명세화하여 수행하는 테스트 기법
      6. 분류 트리 테스트
         • 분류 트리 테스트는 SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트하는 기법이다.
         • 시스템 또는 SW의 입력 및 동작을 다양한 기준으로 구분한 트리를 이용해서 테스트 케이스를 설계한다.
         • 동등분할 영역을 구분하는 것과 유사하며, 동등분할 테스트 커버리지 측정 원리와 동일하다.
      7. 페어와이즈 테스트
         • 페어와이즈 테스트는 테스트 데이터값들 간에 최소한 한 번씩을 조합하는 방식이며, 이는 커버해야 할 기능적 범위를 모든 조합에 비해 상대적으로 적은 양의 테스트 세트를 구성하기 위한 테스트 기법이다.
         • 페어와이즈 테스트는 대부분의 결함이 두 입력값의 상호 작용에 기인하므로, 가능한 모든 입 력값의 조합을 테스트한 것과 비슷한 효과를 얻는다.
         • 페어와이즈 테스트는 상대적으로 적은 량의 테스트 세트 구성이 용이하고, 입력 변수 개수와 입력 가능 값이 많을수록 테스트 케이스 도출 복잡도가 높다.
   3. 경험 기반 테스트
      • 경험 기반 테스트는 유사 소프트웨어나 유사 기술 평가에서 테스터의 경험을 토대로 한, 직관과 기술 능력을 기반으로 수행하는 테스트 기법이다.
      • 경험 기반 테스트의 유형에는 탐색적 테스트, 오류 추정이 있다.

      유형	설명
      탐색적 테스트	- 경험에 바탕을 둔 탐색적으로 기능을 수행하면서 테스트하는 기법 사전에 구체적으로 테스트 케이스를 설계하고 이를 바탕으로 테스트를 수행하는방식이 아니라, 테스트 대상에 대한 이해, 테스트 케이스 설계, 테스트 실행을 병 행하는 방식 • 무작위 테스팅이 아닌 중대한 테스트 위주, 테스트 엔지니어의 휴리스틱한 능력 필요, 제품을 익히면서 테스트를 설계하고 테스트 수행 • 구성요소는 테스트 차터, 시간 제한(Time Boxing), 노트(Note), 회고
      오류 추정	- 개발자가 범할 수 있는 실수를 예상하고 이에 따른 결함을 노출하는 테스트 기법 • 특정 테스트 대상이 주어지면 테스터의 경험과 직관을 바탕으로 개발자가 범할 수 있는 실수들을 나열하고, 해당 실수에 따른 결함을 노출하는 테스트 수행 • 오류 추정은 일반적으로 예상되지 않는 상황이 사용자 입력값으로 적절히 처리 되고 있는지 확인할 때 유용 • 필수 입력, 입력 항목의 길이, 입력 항목의 형식, 입력값의 명시적 제약사항, 입력 값의 묵시적 제약사항 등을 확인할 때 유용

5. 테스트 케이스
   1. 테스트 케이스 개념
      • 특정 요구사항에 준수하는 지를 확인하기 위해 개발된 입력값, 실행 조건, 예상된 결과의 집합이다
   2. 테스트 케이스 작성 절차
      • 테스트 케이스의 정확성, 재사용성, 간결성 보장을 위해 아래의 절차에 따라 작성한다

        순서	작성 절차	설명
        1	테스트 계획 검토 및 자료 확보	• 테스트 대상 프로젝트 범위와 접근 방법 이해를 위하여 테스트 계획 을 검토 • 테스트 대상 시스템 자료와 정보를 확보하여, 시스템 요구사항과 기 능 명세서를 검토
        2	위험 평가 및 우선순위 결정	결함 해결에 있어 상대적 중요성을 지니는 대상 및 테스트의 초점을 결정
        3	테스트 요구사항 정의	• 시스템 요구사항, 테스트 대상 재검토, 테스트할 특성, 조건, 기능을 식별 및 분석
        4	테스트 구조 설계 및 테스트 방법 결정	• 테스트 케이스의 일반적 형식을 결정하고, 테스트 케이스 분류 방법 을 결정 • 테스트 절차, 장비, 도구, 테스트 문서화 방법을 결정
        5	테스트 케이스 정의 및 작성	• 각 요구사항에 대해 테스트 케이스를 작성하고, 입력값, 실행 조건, 예상 결과를 기술
        6	테스트 케이스 타당성 확인 및 유지보수	• 기능 또는 환경 변화에 따라 테스트 케이스를 갱신하고, 테스트 케 이스의 유용성을 검토

   3. 테스트 케이스 필요 항목
      • 테스트 케이스 작성에 필요한 공통 작성 항목 요소와 개별 테스트 케이스 항목 요소로 나누어 작성한다.
      1. 공통 작성 항목 요소

         항목	설명
         테스트 단계명	단위/통합/시스템/인수 테스트 등의 테스트 단계와 테스트 케이스 작성자, 승인자, 작성 일자, 버전 등을 작성
         대상 시스템	테스트 대상이 되는 애플리케이션 개발 서버 또는 시스템명을 기록
         변경 여부	테스트 케이스가 변경되었는지 여부와 변경 사유를 기록
         테스트 범위	테스트 대상 애플리케이션의 기능별 및 업무별 테스트 범위를 기록
         테스트 조직	테스트 케이스 작성 및 테스트 수행을 담당할 조직을 식별

      2. 개별 테스트 케이스 항목 요소

         항목	설명
         테스트 ID	테스트 케이스를 식별하는 고유한 ID를 작성
         테스트 목적	테스트 케이스의 목적을 작성
         테스트할 기능	애플리케이션의 특정 기능 또는 기능 집합을 간략하게 작성
         테스트 데이터	테스트 실행 시 사용할 입력 데이터를 작성
         예상 결과	테스트 실행 후 기대되는 결과를 작성
         테스트 환경	테스트 실행에 필요한 물리적, 논리적 환경 정보를 작성
         테스트 조건	테스트 수행 시 고려해야 할 조건이나 전제 조건을 작성
         성공/실패 기준	테스트 케이스의 성공과 실패를 판단하는 조건을 작성
         기타 요소	테스트 수행 시 특별히 고려해야 할 사항을 작성

6. 테스트 오라클
   1. 테스트 오라클의 개념
      • 테스트 오라클은 테스트의 결과가 참인지 거짓인지를 판단하기 위해서 사전에 정의된 참값을 입력하여 비교하는 기법이다.
   2. 테스트 오라클 종류

      유형	설명
      참(True) 오라클	모든 입력값에 대해 기대하는 결과를 생성하여 오류를 검출하는 오라클
      샘플링 오라클	특정한 몇 개의 입력값에 대해서만 기대하는 결과를 제공하는 오라클
      휴리스틱 오라클	특정 입력값에 대해 올바른 결과를 제공하고, 나머지 값들에 대해서는 휴리스틱으로 처리하는 오라클
      일관성 검사 오라클	애플리케이션 변경이 있을 때, 수행 전과 후의 결괏값이 동일한지 확인하는 오라클

애플리케이션 테스트 시나리오 작성

1. 테스트 레벨
   1. 테스트 레벨 개념
      • 테스트 레벨은 함께 편성되고 관리되는 테스트 활동의 그룹이다.
      • 테스트 레벨은 프로젝트에서 책임과 연관되어 있다.
      • 각각의 테스트 레벨은 서로 독립적이다.
   2. 테스트 레벨 종류
      • 애플리케이션 테스트는 소프트웨어의 개발 단계에 따라 분류할 수 있고, 이렇게 분류된 것을 테스트 레벨이라고 한다.
      1. 테스트 레벨 종류
         • 테스트 레벨의 종류에는 단위 테스트, 통합 테스트, 시스템 테스트, 인수 테스트가 있다
         • 분석, 설계, 개발 단계에서 부과된 조건을 만족하는지 검증을 수행하고, 단위 테스트, 통합 테스트, 시스템 테스트, 인수 테스트 단계에서 최종 산출물에 대한 확인을 한다.

         종류	설명	기법
         단위 테스트	사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트하는 단계	자료 구조 테스트, 실행 경로 테스트, 오류 처리 테스트, 인터페이스 테스트
         통합 테스트	단위 테스트를 통과한 모듈 사이의 인터페이스, 통합된 컴포넌트 간의 상호 작용을 검증하는 테스트 단계	빅뱅 테스트, 샌드위치 테스트, 상향식 테스트, 하향식 테스트
         시스템 테스트	통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행되는지를 검증하는 테스트 단계	기능 비기능 요구사항 테스트
         인수 테스트	계약상의 요구사항이 만족되었는지 확인하기 위한 테스트 단계	계약 인수, 규정 인수, 사용자 인수, 운영상의 인수, 알파 베타 테스트

      2. 단위 테스트
         • 단위 테스트는 소프트웨어 설계의 최소 단위인 모듈이나 컴포넌트에 초점을 맞춘 테스트이다.
         • 단위 테스트는 사용자의 요구사항을 기반으로 한 기능성 위주의 테스트를 수행한다.
         • 단위 테스트는 명세 기반 테스트(블랙박스 테스트)와 구조 기반 테스트(화이트박스 테스트)로 나누어지지만 주로 구조 기반 테스트 위주로 수행한다
      3. 통합 테스트
         • 통합 테스트는 소프트웨어 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 체계적인 테스트 기법이다.
         • 단위 테스트가 끝난 모듈 또는 컴포넌트 단위의 프로그램이 설계 단계에서 제시한 애플리케이션과 동일한 구조와 기능으로 구현된 것인지를 확인하는 테스트이다.
      4. 시스템 테스트
         • 시스템 테스트는 통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행 되는지를 검증하는 테스트이다.
         • 컴퓨터 시스템을 완벽하게 검사하기 위한 목적 또는 성능 목표를 가지고 테스트한다.
      5. 인수 테스트
         • 인수 테스트는 최종 사용자와 업무의 이해관계자 등이 테스트를 수행함으로 써 개발된 제품에 대해 운영 여부를 결정하는 테스트이다.
         • 시스템의 일부 또는 특정한 비기능적인 특성에 대해 인수 테스트를 통해 확인한다.
         • 인수 테스트의 종류는 다음과 같다.
           • 알파 테스트 : 선택된 사용자가 개발자 환경에서 통제된 상태로 개발자와 함께 수행하는 인수테스트
           • 베타 테스트 : 실제 환경에서 일정 수의 사용자에게 대상 소프트웨어를 사용하게 하고 피드백을 받는 인수 테스트

2. 테스트 시나리오
   1. 테스트 시나리오 개념
      • 테스트 시나리오는 테스트 수행을 위한 여러 테스트 케이스의 집합으로서, 테스트 케이스의 동작 순서를 기술한 문서이며 테스트를 위한 절차를 명세한 문서이다.
      • 테스트 수행 절차를 미리 정함으로써 설계 단계에서 중요시되던 요구사항이나 대안 흐름과 같은 테스트 항목을 빠짐없이 테스트한다.
   2. 테스트 시나리오 작성 시 유의점
      • 테스트 시나리오 분리 작성: 테스트 항목을 하나의 시나리오에 모두 작성하지 않고, 시스템별, 모듈별, 항목별 테스트 시나리오를 분리하여 작성한다.
      • 고객의 요구사항과 설계 문서 등을 토대로 테스트 시나리오를 작성한다.
      • 각 테스트 항목은 식별자 번호, 순서 번호, 테스트 데이터, 테스트 케이스, 예상 결과, 확인 등의 항목을 포함하여 작성한다.

애플리케이션 통합 테스트

애플리케이션 테스트 수행

1. 단위 테스트
   1. 단위 테스트(Unit Test) 개념
      • 단위(컴포넌트) 테스트는 개별적인 모듈(또는 컴포넌트)을 테스트한다.
      • 구현 단계에서 각 모듈을 구현한 후 수행한다.
      • 개별적인 모듈에 대해 컴포넌트 테스트를 수행하려면 모듈을 단독으로 실행 할 수 있는 테스트 배드(Test Bed)라는 환경이 필요하다.
   2. 단위 테스트 수행 도구

      구분	설명
      테스트 드라이버	모듈 테스트 수행 후의 결과를 도출하는 시험용 모듈
      테스트 스텁	필요 테스트를 인자를 통해 넘겨주고, 테스트 완료 후 그 결괏값을 받는 역할을 하는 가상의 모듈 하위 모듈을 호출하는 상위 모듈의 역할

   3. 단위 테스트의 원칙
      • 단위(컴포넌트) 테스트는 빠르게 수행되어야 하고, 다른 컴포넌트에 의존하지 않도록 해야 한다.
      • 테스트를 몇 번 실행해도 동일한 결과가 나와야 하고, 사람의 개입 없이 테스트가 통과되었는지 알 수 있도록 작성해야 한다.

2. 통합 테스트
   1. 통합 테스트(Integration Test) 개념
      • 애플리케이션 통합 테스트는 소프트웨어 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 체계적인 테스트 기법이다.
      • 단위 테스트가 끝난 모듈 또는 컴포넌트 단위의 프로그램이 설계 단계에서 제시한 애플리케이션과 동일한 구조와 기능으로 구현된 것인지를 확인하는 테스트이다.
   2. 통합 테스트 수행 방법의 분류
      • 일반적으로 점증적인 방법과 비점증적인 방식으로 나눌 수 있다. 비점증적인 빅뱅 방식은 모든 컴포넌트를 사전에 통합하여 전체 프로그램을 한꺼번에 테스트하는 것을 말하며, 점증적인 방법은 다시 상향식 통합과 하향식 통합 방식으로 구분할 수 있다.
   3. 하향식 통합(Top Down) 개념
      1. 하향식 통합 개념
         • 메인 제어 모듈（프로그램）로부터 아래 방향으로 제어의 경로를 따라 이동하면서 하향식으로 통합하면서 테스트를 진행하며, 메인 제 모듈에 통합되는 하위 모듈과 최하위 모듈은 ‘깊이-우선’ 또는 ‘너비-우선’ 방식으로 통합된다.
      2. 하향식 통합 수행 단계

         단계	설명
         1 단계	메인 제어 모듈은 작성된 프로그램을 사용하고, 아직 작성되지 않은 하위 모듈을 제어함. 위에서 아래로 내려오기 때문에 검사 초기에 시스템의 구조가 파악되어야 함.
         2 단계	모듈 및 모든 하위 컴포넌트를 대신하여 더미 모듈인 스텁 개발.
         3 단계	깊이-우선 방식 또는 너비-우선 방식에 따라, 하위 모듈인 스럽이 한 번에 하나씩 실제 모듈로 대체.
         4 단계	각 모듈 또는 컴포넌트를 통합하면서 테스트 수행.
         5 단계	테스트가 완료되면 스텁이나 실제 모듈 또는 컴포넌트로 작성.

   4. 상향식 통합
      1. 상향식 통합의 개념
         • 애플리케이션 구조에서 최하위 레벨의 모듈 또는 컴포넌트로부터 위쪽 방향으로 제어의 경로를 따라 이동하면서 구축과 테스트를 수행한다
      2. 상향식 통합 수행 단계

         단계	설명
         1 단계	하위 레벨의 모듈 또는 컴포넌트들이 하위 모듈의 기능을 수행하는 클러스터로 결합됨.
         2 단계	상위의 모듈에서 데이터의 입력과 출력을 확인하기 위한 더미 모듈인 드라이버를 작성함.
         3 단계	각 통합된 클러스터 단위 테스트를 수행함.
         4 단계	테스트가 완료되면 각 클러스터들은 프로그램의 위쪽으로 결합되며, 드라이버는 실제 모듈 또는 컴포넌트로 대체됨.

   5. 샌드위치 통합
      1. 샌드위치 통합의 개념
         • 샌드위치 통합은 상향식 통합 테스트와 하향식 통합 테스트 방식을 결합한 테스트 방식이다.
         • 하위 프로젝트가 있는 큰 규모의 통합 테스트에서 사용하는 방식이다.
         • 병렬 테스트가 가능하고 시간 절약이 가능하다.
         • 스텁과 드라이버의 필요성이 매우 높은 방식이고, 비용이 많이 소요된다.
      2. 샌드위치 통합 수행 단계

         단계	설명
         1 단계	상위 모듈 M1은 W, W, M4에 해당하는 테스트 스럽을 사용하여 테스트함.
         2 단계	M5, M6, M7을 클러스터링하여 테스트 드라이버를 사용하여 테스트함.
         3 단계	모듈에 대한 테스트가 완료되면 실제 모듈 M2를 통합하고, 나머지 컴포넌트 M3, M4도 추가 통합하여 완전한 시스템을 구축함.

   6. 통합 테스트 수행 방법 간 비교

      방법	빅뱅 테스트	상향식 테스트	장점	단점
      테스트 수행 방법	모든 모듈을 동시에 테스트	최하위 모듈부터 점진적으로 상위 모듈 과 함께 테스트	• 최상위 모듈부터 하위 모듈들을 통합하면서 테스트	상위는 하향식+하위는 상향식 테스트
      드라이버/스텁	• 드라이버/스텁 없이 실제 모듈로 테스트	• 테스트 드라이버 필요	테스트 스텁 필요	테스트 스텁, 드라이버 필요
      장점	• 단시간 테스트가능 • 작은 시스템에 유리	• 장애 위치 파악 쉬움 • 모든 모듈 개발 시간 낭비 필요 없음	• 장애 위치 파악 쉬움 • 이른프로토타입 가능 • 중요 모듈의 선 테스트가능	병렬 테스트가 가능하고 시간 절약 가능 •큰 규모의 통합 테스트에 활용
      단점	• 장애 위치 파악이 어려움 • 모든 모듈이 개발되어야가능	중요 모듈들이 마지막 테스트 가능성 높음 • 이른 프로토타입 어려움	•많은스텁이필요 • 하위 모듈들의 불충분한 테스트 수행	비용이 많이 소요

3. 테스트 자동화 도구
   1. 테스트 자동화 도구의 개념
      • 테스트 도구를 활용하여 반복적인 테스트 작업을 스크립트 형태로 구현함으로써, 테스트 시간 단축과 인력 투입 비용을 최소화하는 한편, 쉽고 효율적인 테스트를 수행할 수 있는 방법이다.
   2. 테스트 자동화 도구의 장단점

      장점	단점
      반복되는 테스트 데이터 재입력 작업의 자동화	- 도구 도입 후 도구 사용 방법에 대한 교육 및 학습 필요
      사용자 요구 기능의 일관성 검증에 유리	- 도구를 프로세스 단계별로 적용하기 위한 시간, 비용, 노력이 필요
      테스트 결괏값에 대한 객관적인 평가 기준 제공	- 상용 도구의 경우 고가, 유지 관리 비용이 높아 추가 투자가 필요
      테스트 결과의 통계 작업과 그래프 등 다양한 표시 형태 제공
      U가 없는 서비스의 경우에도 정밀한 테스트 가능

   3. 테스트 자동화 도구 유형
      1. 정적 분석 도구(Static Analysis Tools)
         • 정적 분석 도구는 만들어진 애플리케이션을 실행하지 않고 분석하는 도구이다.
         • 대부분의 경우 소스 코드에 대한 코딩 표준, 코딩 스타일, 코드 복잡도 및 남은 결함을 발견하기 위하여 사용한다.
         • 테스트를 수행하는 사람이 작성된 소스 코드에 대한 이해를 바탕으로 도구를 이용해서 분석하는 것을 말한다.
      2. 테스트 실행 도구(Test Execution Tools)
         • 테스트를 위해 작성된 스크립트를 실행하고, 작성된 스크립트는 각 스크립트마다 특정 데이터와 테스트 수행 방법을 포함하고 있다.
         • 데이터 주도 접근 방식과 키워드 주도 접근 방식으로 나눌 수 있다
      3. 성능 테스트 도구(Performance Test Tools)
         • 성능 테스트 도구는 애플리케이션의 처리량, 응답 시간, 경과 시간, 자원 사용률에 대해 가상의 사용자를 생성하고 테스트를 수행함으로써 성능 목표를 달성하였는지를 확인하는 도구이다.
      4. 테스트 통제 도구(Test Control Tools)
         • 테스트 통제 도구에는 테스트 계획 및 관리를 위한 테스트 관리 도구, 테스트 수행에 필요한 데이터와 도구를 관리하는 형상 관리 도구, 테스트에서 발생한 결함에 대해 관리하거나 협업을 지원하기 위한 결함 추적/관리 도구 등이 있다.
         • 조직의 요구사항에 최적화된 형태의 정보를 생성, 관리하기 위하여 스프레드시트 등 다른 도구들과 연계하여 사용할 수도 있다.
   4. 테스트 하네스
      1. 테스트 하네스(Test Harness) 개념
         • 애플리케이션 컴포넌트 및 모듈을 테스트하는 환경의 일부분으로, 테스트를 지원하기 위한 코드와 데이터를 말하며, 단위 또는 모듈 테스트에 사용하기 위해 코드 개발자가 작성한다.
      2. 테스트 하네스 구성요소 [2021 년 2회

         구성요소	설명
         테스트 드라이버	- 테스트 대상 하위 모듈을 호출하고, 파라미터를 전달하고, 모듈 테스트 수행 후 결과를 도출하는 등 상향식 테스트에 필요
         테스트 스텁	- 제어 모듈이 호출하는 타 모듈의 기능을 단순히 수행하는 도구로 하향식 테스트에 필요
         테스트 슈트	- 테스트 대상 컴포넌트나 모듈, 시스템에 사용되는 테스트 케이스의 집합
         테스트 케이스	- 입력값, 실행 조건, 기대 결과 등의 집합
         테스트 시나리오	- 애플리케이션의 테스트 되어야 할 기능 및 특징, 테스트가 필요한 상황을 작성한 문서 - 하나의 단일 테스트 시나리오가 하나 또는 여러 개의 테스트 케이스들을 포함할 수 있음
         테스트 스크립트	- 자동화된 테스트 실행 절차에 대한 명세
         목 오브젝트	- 사용자의 행위를 조건부로 사전에 입력해 두면, 그 상황에 예정된 행위를 수행하는 객체

애플리케이션 테스트 결과 분석

1. 테스트 결과 분석
   1. 소프트웨어 결합
      • 결함은 개발자 오류로 인해 만들어지는 문서 또는 코딩상의 결점으로 소프트웨어가 개발자가 설계한 것과 다르게 동작하거나 다른 결과가 발생하는 현상이다.
      • 소프트웨어의 결함을 말할 때 오류(Error), 결점(Fault), 버그(Bug), 고장 (Failure) / 문제 (Problem)와 같은 용어 가 사용된다.

      용어	설명
      오류	- 결함(Defect)의 원인이 되는 것으로, 일반적으로 사람(소프트웨어 개발자, 분석가 등)에 의해 생성된 실수(Human Mistake)
      결점	소프트웨어 개발 활동을 수행함에 있어서 시스템이 고장'(Failure)을 일으키게 하며, 오류(타ror)가 있는 경우 발생하는 현상
      버그	프로그램 오류로 인해 예상치 못한 결과가 나는 현상
      고장/문제	소프트웨어 제품에 포함된 결함이 실행될 때 발생하는 현상

   2. 테스트 완료 조건
      • 단위 테스트, 통합 테스트, 시스템 테스트, 인수 테스트 등 각 단계별 테스트를 언제 어떤 상황에서 종료할 것인지를 결정하는 기준이다.
      • 완료 조건은 프로젝트 특성에 따라 일정, 비용, 조직 등에 제약이 있으므로, 최적의 완료 조건을 계획하여야 한다.
   3. 테스트 리포팅
      • 테스트 리포팅은 테스트 결과 정리, 테스트 요약 문서, 품질 상태, 테스트 결과서, 테스트 실행 절차 및 평가를 포함한다.

2. 결함 관리
   1. 결함관리 개념
      • 테스트 결함 관리는 단계별 테스트 수행 후 발생한 결함의 재발 방지와 유사 결함 발견 시 처리 시간 단축을 위해 결함을 추적하고 관리하는 활동이다.
   2. 결함관리 프로세스

      과제	설명
      결함 관리 계획	결함 관리 계획은 전체 프로세스에서 결함 관리에 대한 일정, 인력, 업무 프로세스를 확보하여 계획을 수립하는 것
      결함기록	테스터는 발견된 결함에 대한 정보를 결함 관리 DB에 기록
      결함 검토	등록된 결함에 있어서 주요 내용을 검토하고, 결함을 수정할 개발자에게 전달
      결함수정	개발자는 할당된 결함의 프로그램 수정
      결함 재확인	테스터는 개발자가 수정한 내용을 확인하고 다시 테스트 수행
      결함 상태 추적 및 모니터링 활동	결함 관리 팀장은 결함 관리 데이터베이스를 이용하여 대시보드 또는 게시판 형태의 서비스 제공
      최종 결함 분석 및 보고서 작성	발견된 결함에 관한 내용과 이해관계자들의 의견이 반영된 보고서를 작성하고 결함 관리 종료

   3. 결함 생명주기
      • 결함 생명주기를 구성하는 대표적인 결함의 상태로는 결함 등록, 결함 검토, 결함 할당, 결함 수정 , 결함 종료, 결함 재등록, 결함 조치 보류가 있다

      상태	설명
      결함 등록 Open	- 테스터가 발견한 결함으로서 보고된 상태 - 결함 보고서에 기록되어 추적 대상이 됨
      Assigned	• 결함을 수정할 개발자가 결정되고, 그 개발자에게 결함 해결이 요구된 상태
      Resolved	• 개발자가 자신에게 할당된 수정 사항에 대한 해결을 처리한 상태
      Verified	- 개발자의 결함 처리가 검증되어 완료된 상태
      Closed	- 수정된 사항에 대하여 정확한 수정이 이루어져 종료된 상태
      Reopen	- 결함이 정확하게 수정되지 않아서 다시 수정을 요구하는 상태
      Deferred	• Open 된 결함을 곧바로 수정하지 않고 다음 릴리스에서 해결하기로 연기된 상태 • Deferred 된 결함은 적절한 시점에 Reopen 되어 결함 처리가 시작될 수 있음

애플리케이션 개선 조치사항 작성

1. 테스트 커버리지
   1. 테스트 커버리지의 개념
      • 테스트 커버리지는 주어진 테스트 케이스에 의해 수행되는 소프트웨어의 테스
        트 범위를 측정하는 테스트 품질 측정 기준이다.
        • 테스트의 정확성과 신뢰성을 향상시키는 역할을 한다.
        
   2. 테스트 커버리지 유형

      유형	설명
      기능 기반 커버리지	- 테스트 대상 애플리케이션의 전체 기능을 모수로 설정하고, 기능별로 수행된 테스트를 측정하는 방법. - 일반적으로 UI가 많은 시스템의 경우 화면 수를 모수로 사용하여 100% 달성을 목표로 함.
      라인 커버리지	- 애플리케이션 전체 소스 코드의 라인 수를 모수로, 테스트 시나리오가 수행한 소스 코드의 라인 수를 측정하는 방법. - 단위 테스트에서는 주로 이 라인 커버리지를 척도로 활용함.
      코드 커버리지	- 소스 코드의 구문, 조건, 결정 등의 구조를 테스트하는 방법으로, 충분한 테스트 지표 중 하나로 사용됨.- 일반적으로 테스트 커버리지라고 하면 주로 코드 커버리지를 의미함.

2. 결함의 식별 및 관리
   1. 결함 심각도별 분류
      • 결함 심각도는 애플리케이션에 발생한 결함이 어떤 영향을 끼치며, 그 결함이 얼마나 치명적인지를 나타내는 척도이다.

      분류	설명	예시
      치명적(Critical) 결함	- 기능이나 제품의 테스트를 완전히 방해하거나 못하게 하는 결함.	데이터 손실, 시스템 충돌
      주요(Major) 결함	- 기능이 기대와 많이 다르게 동작하거나 그 기능을 제대로 수행하지 못하는 결함.	기능 장애
      보통(Normal) 결함	- 제품이나 프로그램이 특정 기준을 충족하지 못하거나 전체에 큰 영향을 주지 않는 결함.	사소한 기능 오작동
      경미한(Minor) 결함	- 사용상의 불편함을 유발하는 결함으로, 사소한 버그라고 할 수 있음.	표준 위반, UI 잘림
      단순(Simple) 결함	- 기능에는 영향이 없지만 수정되어야 하는 결함으로, 미관상에 영향을 줄 수 있음.	미관상 좋지 않음

애플리케이션 성능 개선

애플리케이션 성능 분석

1. 애플리케이션 성능 측정 지표 [2020년 1회]

   지표	설명
   처리량 (Throughput)	- 애플리케이션이 주어진 시간에 처리할 수 있는 트랜잭션의 수를 나타냄. <br>- 웹 애플리케이션의 경우 시간당 페이지 수로 표현될 수 있음.
   응답 시간 (Response Time)	- 사용자 입력이 끝난 후, 애플리케이션이 응답을 출력하는 데 걸리는 시간을 의미함. <br>- 웹 애플리케이션의 경우 페이지가 화면에 나타나기까지의 시간으로 해석될 수 있음.
   경과 시간 (Turnaround Time)	- 사용자가 요청을 보낸 시점부터 해당 요청을 처리하고 응답을 받는 데 걸리는 전체 시간을 나타냄.
   자원 사용률 (Resource Usage)	- 애플리케이션이 트랜잭션을 처리하는 동안 사용하는 자원의 사용량을 나타냄. <br>- CPU, 메모리, 네트워크 등의 자원 사용량을 포함할 수 있음.

2. 유형별 성능 분석 도구
   • 성능 분석 도구는 애플리케이션의 성능을 점검하는 도구와 시스템 자원 사용량을 모니터링 하는 도구로 분류할 수 있다.

   구분	설명
   성능/부하/스트레스 (Performance/Load/Stress) 점검 도구	- 애플리케이션의 성능을 측정하고 부하 또는 스트레스를 가해 성능 측정 지표를 확인하는 도구입니다. - 가상의 사용자를 생성하여 시스템에 부하를 주고 응답 시간, 처리량, 경과 시간 등을 측정합니다.
   모니터링 (Monitoring) 도구	- 애플리케이션 실행 시 자원 사용량을 실시간으로 확인하고 분석하는 도구입니다. - 성능 모니터링, 성능 저하 원인 분석, 시스템 부하량 분석, 장애 진단, 사용자 분석, 용량 산정 등의 기능을 제공하여 시스템의 안정적 운영을 지원합니다.

애플리케이션 성능 개선

1. 소스 코드 최적화의 이해
   • 소스 코드 최적화는 읽기 쉽고 변경 및 추가가 쉬운 클린 코드를 작성하는 것으로, 소스 코드 품질을 위해 기본적으로 준수해야 할 원칙과 기준을 정의하고 있다.
   1. 배드 코드(Bad Code)
      1. 배드 코드 개념
         • 다른 개발자가 로직(Logic)을 이해하기 어렵게 작성된 코드이다.
         • 처리 로직의 제어가 정제되지 않고 서로 얽혀 있는 스파게티 코드, 변수나 메서드에 대한 이름 정의를 알 수 없는 코드, 동일한 처리 로직이 중복되게 작성된 코드 등이 있다
      2. 배드 코드 사례
         • 배드 코드 사례에는 외계인 코드, 스파게티 코드, 알 수 없는 변수명, 로직 중복 등이 있다.

         배드 코드 사례	설명
         외계인 코드 (Alien Code)	- 아주 오래되거나 참고문서나 개발자가 없어 유지보수가 매우 어려운 코드를 가리킵니다.
         스파게티 코드 (Spaghetti Code)	- 프로그램의 소스 코드가 복잡하게 얽힌 모습을 스파게티의 면발에 비유하여 표현합니다. - 작동은 정상적이지만 코드를 읽기 어려운 코드를 의미합니다.
         알 수 없는 변수명	- 변수나 메서드에 대한 이름 정의가 불분명한 코드를 가리킵니다.
         로직 중복 (Logic Duplication)	- 동일한 처리 로직이 중복되어 작성된 코드를 의미합니다.

      3. 배드 코드 유형

         배드 코드 유형	설명
         오염 (Pollution)	비즈니스 기능을 수행하지 못하는 많은 컴포넌트들이 존재
         문서부족 (Documentation Gap)	현재 코드와 문서가 일치하지 않고 수정과 변경을 위한 도메인 지식은 크게 증가 하지만 개발자의 지식부족 초래
         의미 없는 이름 (Meaningless Names)	함수, 클래스, 컴포넌트 이름들이 명확한 의미를 갖지 못하거나 실제 작동과 불 일치
         높은 결합도	클래스와 컴포넌트 간에 데이터와 컨트롤 흐름이 네트워크로 복잡하게 연결
         아키텍처 침	아키텍처가 더 이상 구별되지 않고 여러 솔루션으로 이루어져 아키텍처상 변형들로 인해 시스템 품질이 떨어짐

   2. 클린코드
      1. 클린 코드 개념
         • 잘 작성되어 가독성이 높고, 단순하며, 의존성을 줄이고, 중복을 최소화하여 깔끔하게 잘 정리된 코드를 말한다.
      2. 클린 코드 특징
         • 중복 코드 제거로 애플리케이션의 설계가 개선된다.
         • 가독성이 높으므로 애플리케이션의 기능에 대해 쉽게 이해할 수 있다.
         • 버그를 찾기 쉬워지며, 프로그래밍 속도가 빨라진다.
      3. 클린 코드 작성 원칙
         • 클린 코드의 작성 원칙을 준수하고, 배드 코드 형식으로 작성된 소스 코드는 클린 코드로 수정하여 성능을 개선해야 한다

           작성 원칙	설명
           가독성 (Readability)	- 이해하기 쉬운 용어를 사용하고, 코드 작성 시 들여쓰기를 사용하여 가독성을 높이는 원칙을 의미합니다.
           클린 코드 작성 원칙 (Principles of Clean Code)	- 단순성, 의존성 최소화, 중복성 제거 등의 원칙을 따라 코드를 작성하여 유지 보수와 확장이 쉬운 깨끗한 코드를 만드는 것을 목표로 합니다.
           단순성 (Simplicity)	- 한 번에 한 가지 처리만을 수행하도록 코드를 작성하고, 클래스/메서드/함수를 최소 단위로 분리하여 코드의 복잡성을 줄이는 원칙을 의미합니다.
           의존성 최소화 (Minimize Dependencies)	- 코드의 의존성을 최소화하여 변경이 다른 부분에 영향을 미치지 않도록 작성하는 원칙입니다.
           중복성 제거 (Eliminate Duplication)	- 중복된 코드를 제거하고 공통된 코드를 재사용하여 코드의 중복을 최소화하는 원칙을 말합니다.
           추상화 구현 (Abstraction)	- 클래스/메서드/함수에 대해 동일한 수준의 추상화를 구현하고, 상세 내용은 하위 클래스/메서드/함수에서 구현하도록 하는 원칙을 의미합니다.

      4. 소스 코드 최적화 기법의 유형（클린 코드의 유형）

         유형	설명
         의미 있는 이름 (Meaningful Names)	- 변수, 클래스, 메서드 등에 명확하고 의도가 분명한 이름을 사용하여 코드를 작성하는 원칙을 말합니다.
         간결하고 명확한 주석 (Concise and Clear Comments)	- 주석이 필요한 경우에는 최대한 간결하고 명확하게 작성하여 코드의 이해를 돕는 원칙입니다. 코드 안에 변경 이력이나 저자 등의 기록을 포함할 수 있습니다.
         보기 좋은 배치 (Well-Formatted Layout)	- 코드를 읽는 사람이 편하게 읽을 수 있도록 코드를 구성하고, 반복되는 구문은 새로운 함수로 정리하여 읽기 쉽게 리팩토링하는 원칙을 말합니다. 함수는 작게 만들고, 하나의 함수가 하나의 일만을 수행하도록 작성합니다.
         읽기 쉬운 제어 흐름 (Readable Control Flow)	- 조건문이나 루프 등의 제어 흐름이 코드를 읽기 어렵게 만드는 것을 방지하기 위한 원칙입니다. 조건문에서는 긍정적이고 간단한 내용을 앞쪽에 배치하고, 오류 코드의 반환 대신 예외 처리를 활용합니다.
         오류 처리 (Error Handling)	- 메서드는 널을 전달하거나 반환하지 않도록 하고, 널 체크 코드를 작성하여 오류를 방지하는 원칙입니다.
         클래스 분할 배치 (Class Separation)	- 클래스는 하나의 역할과 책임만을 수행할 수 있도록 작성하고, 응집도를 높이고 결합도를 낮춰 클래스의 크기를 작게 만드는 원칙입니다.
         느슨한 결합 (Loosely Coupled)	- 클래스 간의 결합도를 최소화하여 클래스 간의 의존성을 줄이는 기법을 적용하는 원칙입니다.
         코딩 형식 기법 적용 (Coding Style)	- 코드의 형식을 통일하고, 줄 바꿈을 통해 개념을 구분하고, 함수 호출의 순서를 지켜 형식을 적용하는 원칙입니다. 지역 변수는 각 함수의 맨 처음에 선언되도록 합니다.

2. 소스 코드 품질분석
   1. 소스 코드 품질분석 개념
      • 소스 코드에 대한 코딩 스타일, 설정된 코딩 표준, 코드의 복잡도, 코드 내에 존재하는 메모리 누수 현황, 스레드의 결함 등을 발견하기 위한 활동이다.
      • 정적 분석 도구와 동적 분석 도구가 있다.
   2. 소스 코드 품질분석 도구 유형

      유형	설명
      정적 분석 도구 (Static Analysis Tools)	- 작성된 소스 코드를 실행시키지 않고, 코드 자체만으로 코딩 표준 준수 여부, 코딩 스타일 적정 여부, 잔존 결함 발견 여부 등을 확인하는 코드 분석 도구입니다.
      동적 분석 도구 (Dynamic Analysis Tools)	- 애플리케이션을 실행하여 코드에 존재하는 메모리 누수 현황을 발견하고, 발생한 스레드의 결함 등을 분석하기 위한 도구입니다. 동적으로 코드를 실행하여 런타임 환경에서의 문제를 발견하고 해결합니다.

   3. 소스 코드 품질분석 도구
      1. 정적 분석 도구

         도구명	설명
         pmd	자바 및 타 언어 소스 코드에 대한 버그, 데드코드 분석
         cppcheck	C/C++ 코드에 대한 메모리 누수, 오버플로우 등 문제 분석
         SonarQube	소스 코드 품질 통합 플랫폼, 플러그인 확장가능
         checkstyle	자바 코드에 대한 코딩 표준 검사 도구
         ccm	다양한 언어의 코드 복잡도 분석 도구, 리눅스, 맥 환경 CU 형태 지원
         cobertura	jcoverage 기반의 테스트 커버리지 측정 도구

      2. 동적 분석 도구

         Avalanche	Valgrind 프레임워크 및 STP 기반 소프트웨어 에러 및 취약점 동적 분석 도구
         Valgrind	자동화된 메모리 및 스레드 결함 발견 분석 도구

3. 애플리케이션 성능 개선 방안
   1. 소스 코드 최적화 기법 적용
      • 애플리케이션 개발 프레임워크의 코딩 표준을 설정하고, 인터페이스 클래스를 이용하여 느슨한 결합(Loosely Coupled) 코드를 구현한다.
      • 인터페이스를 통해 추상화된 자료 구조를 구현하여 의존성을 최소화한다
   2. 아키텍처 조정을 통한 성능 개선
      • 객체의 생성과 사용을 분리함으로써 소프트웨어의 의존성을 최소화하기 위하여 팩토리 메서드(Factory Method) 패턴을 이용하여 성능 개선 방안을 수행 한다
   3. 프로그램 호출 순서 조정 적용
      • 호출하는 함수를 먼저 코딩하고, 호출되는 함수는 나중에 배치하여 애플리케이션의 성능을 개선한다.
      • 서로 연관된 내용은 세로로 가깝게 작성함으로써 밀집도를 높이고, 유사성이 높은 함수나 코드끼리 가깝게 배치한다.
   4. 소스 코드 품질분석 도구 활용
      1. 메모리 사용 최소화 적용
         • String 클래스를 StringBuffer 또는 StringBuilder 클래스로 수정하여 코딩 한다.
         • 루프 내 불필요한 메서드의 호출이 반복되지 않도록 코딩한다.
      2. 입출력 발생 최소화 적용
         • 문자 입력 스트림 또는 파일 정보를 읽어올 때 버퍼(Buffer)를 사용하거나, BufferedReader를 사용하여, 입출력 발생 최소화를 통해서 성능을 개선한다.
      3. System.out.println()을 사용 제외
         • 파일, 콘솔에 로그를 남기면 애플리케이션 대기 시간이 발생된다.
         • 이에 대응하여 Log4j 로거를 사용함으로써 성능을 개선한다.
   5. 리펙토링을 통한 성능 개선
      1. 리팩토링(Refactoring)의 개념
         • 유지보수 생산성 향상을 목적으로 기능을 변경하지 않고, 복잡한 소스 코드를 수정, 보완하여 가용성 및 가독성을 높이는 기법이다.
         • 소프트웨어 모듈의 외부적 기능은 수정하지 않고 내부적으로 구조, 관계 등을 단순화하여 소프트웨어의 유지보수성을 향상시키는 기법이다

         유형	설명
         유지보수성 향상	복잡한 코드의 단순화, 소스의 가독성 향상
         유연한 시스템	소프트웨어 요구사항 변경에 유연한 대응
         생산성 향상	정제 및 최적화된 소스의 재사용
         품질향상	소프트웨어 오류발견이 용이하여 품질향상