중복 줄을 안전하게
정리하는 방법

1. 원문을 남기고 목적 정하기

이 도구는 한 줄 전체를 하나의 항목으로 취급합니다. 같은 줄이 여러 번 나오면 먼저 나온 한 줄만 남깁니다. 숫자를 더하거나 비슷한 이름을 합치는 기능은 아닙니다. 예를 들어 ‘서울 사무실’과 ‘서울사무실’은 줄 안의 공백이 달라 서로 다른 항목입니다.

1. 원본 텍스트를 별도 파일에 복사해 둡니다.
2. 정리할 목록이 ‘한 줄에 한 항목’인지 확인합니다.
3. 대소문자와 공백이 실제 의미를 갖는지 판단합니다.
4. 일부 항목으로 먼저 실행한 뒤 전체 목록에 적용합니다.

상품 코드, 경로, 비밀번호처럼 대소문자나 공백에 의미가 있는 값은 기본 옵션도 그대로 믿지 말고 다시 확인하세요. 특히 비밀번호나 인증 정보는 웹 도구에 입력하지 않는 편이 좋습니다.

2. 비교 옵션 이해하기

앞뒤 공백 무시

비교용 문자열에만 자바스크립트의 trim()을 적용합니다. ‘ 사과 ’와 ‘사과’는 같은 항목으로 판단하지만, 먼저 나온 ‘ 사과 ’의 앞뒤 공백은 결과에도 남습니다. 공백을 제거한 새 목록을 만드는 기능과는 다릅니다. 줄 중간의 연속 공백은 줄이지 않습니다.

빈 줄 유지

빈 줄과 공백 문자만 있는 줄은 일반 중복 항목과 따로 처리합니다. 이 옵션을 끄면 모두 제외합니다. 켜면 여러 개의 빈 줄도 각각 원래 위치에 남깁니다. 입력 마지막에 줄바꿈이 있으면 그 뒤의 빈 줄도 하나로 셉니다. 빈 줄만 남은 결과는 복사해도 화면상 내용이 없어 보일 수 있습니다.

대소문자 무시

비교용 문자열을 자바스크립트의 toLowerCase()로 바꿉니다. ‘Apple’과 ‘apple’은 같은 항목이지만 먼저 나온 표기만 결과에 남습니다. 이 방식은 모든 언어의 완전한 case folding을 구현하지 않습니다. 예를 들어 독일어 ‘ß’와 ‘SS’는 같은 항목으로 합치지 않습니다.

3. 예시로 결과 확인하기

다음 목록에서 첫 줄은 앞뒤에 공백이 있고, 가운데에는 빈 줄이 하나 있다고 가정해 보세요.

  Apple  
apple
배

배

‘앞뒤 공백 무시’와 ‘대소문자 무시’를 켜고 ‘빈 줄 유지’를 끄면 결과는 아래와 같습니다. 첫 줄의 공백과 대문자는 그대로 보존됩니다.

  Apple  
배

입력 5줄 중 중복 2줄과 빈 줄 1줄이 제외되어 2줄이 남습니다. ‘대소문자 무시’를 끄면 소문자 ‘apple’도 별도 줄로 남습니다. 옵션이 잘못 선택되었을 때는 결과를 직접 수정하기보다 원문에서 기준을 바꾸어 다시 실행하는 것이 확인하기 쉽습니다.

4. 이 도구로 해결되지 않는 경우

• 보이지 않는 문자: 폭 없는 공백 U+200B 등은 일반 공백과 다릅니다. ‘앞뒤 공백 무시’를 켜도 모두 없어지지 않습니다.
• 유니코드 표현 차이: 완성형 ‘가’와 분해된 자모 ‘가’, ‘é’와 ‘e’에 결합 악센트를 붙인 문자열은 화면상 비슷해도 코드 포인트가 다릅니다. 유니코드 정규화는 하지 않습니다.
• 띄어쓰기·문장부호: ‘A-B’, ‘A B’, ‘AB’는 다른 항목입니다. 오탈자, 유사 문장, 이름의 별칭을 추측하지 않습니다.
• CSV: 따옴표로 감싼 CSV 셀은 내부에 줄바꿈을 가질 수 있습니다. 이 도구는 CSV 구조를 파악하지 않으므로 행이나 셀을 손상시킬 수 있습니다.
• 매우 큰 목록: 입력 크기에 별도 상한은 없지만 브라우저 메모리와 장치 성능에 제한이 있습니다. 작은 단위로 나누면 단위 사이의 중복은 따로 확인해야 합니다.

5. 결과를 검토하고 저장하기

결과의 총 줄 수와 삭제된 중복·빈 줄 수를 확인하세요. 대표 항목 몇 개를 검색하고, 줄 순서와 처음 나온 표기가 보존되었는지 비교합니다. 복사는 HTTPS 환경과 브라우저 권한이 필요할 수 있으며, 자동 복사가 안 되면 결과를 선택해 직접 복사할 수 있습니다.

TXT 다운로드는 UTF-8 본문을 저장하고 줄 구분은 LF로 통일합니다. 원본의 CRLF/CR 구분을 그대로 보존하지 않습니다. 파일에 BOM도 추가하지 않습니다. 다른 프로그램에서 열 때 필요하면 UTF-8 인코딩을 직접 지정하세요.