동영상(avi, mpg) 또는 이미지목록에서 물체의 사각형 경계(bounding box)를 따서 labeling 및 다양한 포맷으로 저장할 수 있는 유틸러티 프로그램입니다.

이 프로그램은 물체인식이나 영상추적 목적의 DB 생성에 활용될 수 있습니다. 빠른 반응속도, 편리한 인터페이스, 작업부담을 줄여주는 편의기능(자동추적, interpolation을 이용한 라벨링, 자동 ID 라벨링)이 가장 큰 특징입니다.

비상업적 목적이라면 누구나 사용할 수 있으며 사용상 문제점, 건의사항 등이 있으면 댓글로 알려주시기 바랍니다. 원래는 제가 쓸 목적으로 만들었으나 최근에 시간을 들여서 프로그램을 개선했습니다 (ver1.3). 눈에는 잘 드러나지 않지만 프로그램의 품질을 좌우하는 미묘한 부분들, 그리고 실행의 안정성, 그리고 뭔지 모를 것들을 개선했습니다..

데모영상1(초창기 버전): https://www.youtube.com/watch?v=zFpX2bORz5E

데모영상2(darklabel1.2): https://www.youtube.com/watch?v=vbydG78Al8s

데모영상3(darklabel1.3): 조만간 잘 찍어서 올릴 예정...

DarkLabel1.3 인터페이스 화면

프로그램 다운로드 (Download)

DarkLabel1.3_part1.zip

DarkLabel1.3_part2.zip

- 무설치(실행파일 1개) / windows에서 동작 (xp 이상)

- part1과 part2를 모두 다운로드 (첨부파일 용량제한으로 나누어 올림)

- part2의 opencv_ffmpeg320.dll을 DarkLabel.exe와 같은 폴더에 놓고 프로그램 실행

[주요 기능 및 특징]

- 다양한 포맷의 비디오(avi, mpg, ...) 및 이미지 목록(jpg, bmp, png, ...) 지원

- 복수 개의 박스(box) 설정 및 label 설정 지원

- 물체인식 및 영상추적 분야에서 사용되는 다양한 데이터 포맷 지원

- 영상추적기를 이용한 자동 labeling 지원 (labeling by tracking)

- 인터폴레이션(interpolation) 기능을 이용한 구간 labeling 지원

- 각 개체에 클래스별 고유 ID를 자동으로 부여하는 auto labeling 기능 지원

[프로그램 사용법]

마우스/키보드 인터페이스 (Shift/Ctrl = Shift 또는 Ctrl)

- 마우스 드레그(drag): 박스 생성

- Shift/Ctrl + 드레그: 박스 편집

- 마우스 더블클릭: 동일 ID 객체 trajectory 일괄선택/해제 (구간 선택)

- 마우스 우클릭: 일괄선택한 객체 trajectory 전체 삭제 (구간 삭제)

- 마우스 우클릭: 가장 최근에 생성한 박스 삭제 (선택된 trajectory 없을 경우)

- Shift/Ctrl + 우클릭(특정박스): 선택한 박스만 삭제

- Shift/Ctrl + 우클릭(빈공간): 현재 화면의 모든 박스 삭제

- Shift/Ctrl + 더블클릭(특정박스): 선택한 박스의 label 수정

- Shift/Ctrl + 더블클릭(trajectory): 선택한 trajectory 상의 label 일괄 변경

- 화살표키/PgUp/PgDn/Home/End: 비디오프레임(이미지) 이동

- Enter키: 영상추적 기능을 이용한 자동 박스 생성 (labeling by tracking)

레이블 및 ID 지정

- no label: 레이블 없는 박스 생성

- box label: 사용자가 지정한 레이블 부여 (ex. human)

- box label + auto id: 사용자 지정 레이블에 id 자동 부여 (ex. human0, human1, ...)

- id가 지정될 경우 trajectory 단위 객체 선택/편집이 가능

- popup labeleditor: 미리 등록한 레이블 목록창 팝업 (labels.txt 파일에 등록)

- popup시 단축키(1~9) 누르면 해당 label 자동 입력 (여러 클래스 동시 작업에 유용)

- 화면에는 label+id 형태로 표시되지만 내부적으로는 label과 id를 구분

- gt 데이터로 저장시, label만 있는 포맷을 선택하면 화면 보이는 레이블(label+id) 저장

- gt 데이터로 저장시, label, id 구분 포맷을 선택하면 label, id가 분리되어 저장됨

Tracking 기능

- 영상추적 기능을 이용해서 다음 프레임의 박스 설정 (동일 id/label 부여)

- 최대 100개까지 동시 추적

- tracker1(robust) 알고리즘: 대상을 오래 추적 (정확도는 떨어짐)

- tracker2(accurate) 알고리즘: 대상을 정확하게 추적 (자동차 등에 유리)

- Enter키 / Next&Predict 버튼

- 주의!! 추적기능을 이용하면 다음 프레임에 원래 있던 박스는 사라짐

Interpolation 기능

- 추적 기능은 편리하지만 정확도가 떨어지는 문제점이 있음

- 비디오 구간에 걸쳐서 객체 단위로 레이블링 필요시 이용

- 1. begin interpolation 버튼: interpolation 기능 시작

- 2. 대상 객체의 궤적을 따라서 박스를 중간 중간 그려줌 (일종의 way point)

- 3. way point 박스는 자주색, 보간된(interpolated) 박스는 검은색으로 표시됨

- 4. 보간이 잘못된 부분은 수정(Shift/Ctrl+drag), way point는 얼마든지 추가(순서 무관)/삭제

- 5. end interpolation 버튼: 작업 종료 & 작업한 trajectory가 데이터로 등록됨

비디오/영상 불러오기 및 프레임간 이동

- Open Video File: 비디오 파일을 불러온다 (avi, mpg, mp4, wmv, mov, ...)

- Open Image Directory: 폴더 안의 모든 이미지를 불러온다 (jpg, bmp, png, ...)

- 영상 프레임간 이동: 키보드 →, ←, PgUp, PgDn, Home, End, 슬라이더 컨트롤

작업 데이터 저장 및 불러오기

- Load GT: ground truth 파일을 선택한 포맷으로 불러온다.

- Save GT: 선택한 데이터 포맷으로 현재까지 작업한 결과를 저장한다.

- 데이터를 불러올 때에는 실제 데이터 파일과 일치하는 포맷을 선택해야 하나 데이터를 저장할 때에는 자신이 원하는 임의의 포맷으로 저장할 수 있음

- 이미지 목록에서 작업할 경우 프레임 번호(frame#) 포맷을 사용하면 파일명 순으로 정렬했을 때의 이미지 순서가 프레임 번호가 됨 (00001.jpg, 00002.jpg, ... 와 같은 목록에 유용)

- Save Settings: 현재 선택한 데이터 포맷 및 옵션을 저장 (프로그램 실행시 자동 복원)

데이터 포맷 (Syntax)

- |: 줄바꿈

- []: 반복되는 구문

- frame#: 프레임 번호 (동영상의 프레임 번호, 이미지 목록에서는 이미지 순서)

- iname: 이미지 파일 이름 (이미지 목록에서 작업할 경우에만 유효)

- label: 레이블

- id: 객체 고유의 id

- n: 이미지에 설정된 경계사각형 개수

- x,y: 경계사각형의 left, top 위치

- w,h: 경계사각형의 폭, 높이

- cx,cy: 경계사각형의 중심(center) 좌표

- x1,y1,x2,y2: 경계사각형의 left, top, right, bottom 위치

[버전 히스토리]

* DarkLabel 1.3 (2018.03.31)

- 프로그램의 완성도를 높임 (ui, 반응속도, 안정성, 에러체크, 미세한 기능들, ...)

- trajectory 단위로 박스 선택/삭제/label수정 가능

- label(class)과 id를 분리해서 저장/로드할 수 있는 데이터 포맷 추가

* DarkLabel 1.2 (2018.02.19)

- 심각한 버그 수정: 숫자를 label로 사용할 경우 gt 데이터 로드시 오류 현상 수정

- interpolation을 이용한 labeling 기능 추가 (본문의 프로그램 사용법 참조)

- 개체 ID 자동부여 및 auto labeling 기능 추가 (본문의 프로그램 사용법 참조)

- 비디오내 프레임 이동시(navigation) GUI 반응성 개선

* DarkLabel 1.1 (2017.09.06)

- 작업결과를 동영상/이미지로 저장할 수 있는 기능 추가

* DarkLabel 1.0 (2017.07.18)

- labeling 기능 추가, tracker의 성능 및 UI 반응성 개선, 최신 비디오코덱 지원

- 프로그램 이름을 GT_Extractor에서 DarkLabel로 변경

* GT_Extractor 2.3 (2016.09.29)

- 버그 수정 (이미지 리스트에서 GT 파일 저장/불러올 때 오류 현상)

* GT_Extractor 2.2 (2016.08.26)

- 지원 비디오 포맷 추가 (avi, mpg, mp4, wmv, ...)

* GT_Extractor 2.1 (2013.08.12)

- 비디오 뿐만 아니라 이미지 목록에 대해서도 편집 가능

* GT_Extractor 2.0 (2013.01.15)

- 복수개의 대상 설정 및 추적 기능

* GT_Extractor 1.0 (2013.01.08)

- 이미지 당 하나의 대상만 설정할 수 있음

by 다크 프로그래머