Opentad 가상 환경 설정

open-source temporal action detection (TAD) toolbox이다.

git clone https://github.com/sming256/OpenTAD.git

 

torch 설치

conda create -n opentad python=3.10.12 source activate opentad conda install pytorch=2.0.1 torchvision=0.15.2 pytorch-cuda=11.8 -c pytorch -c nvidia

 

mmaction2 설치 (비디오 모델 학습 프레임워크)

pip install openmim  mim install mmcv==2.0.1 mim install mmaction2==1.1.0

 

마지막

pip install -r requirements.txt

 

가상환경 설정에서 문제가 있는 부분이 없었다.

 

ActionMamba의 결과를 재현해 보자.

 

mamba를 우선 설치해야 한다.

 

아래 사이트에서 코드를 다운받고 mamba를 설치한다.

https://github.com/OpenGVLab/video-mamba-suite?tab=readme-ov-file#preliminary-installation

GitHub - OpenGVLab/video-mamba-suite: The suite of modeling video with Mamba

video-mamba-suite 내부에 이동하고 아래 코드 순차적 입력

cd causal-conv1d python setup.py develop  cd ..  cd mamba  python setup.py develop  cd ..

 

아래에서 Feature를 다운받는다.

 

Feature를 직접 출력하기에는 너무 오랜시간이 걸리므로 Feature Extractor를 학습시키는 동안 다운받은 것으로 재현 진행

 

https://github.com/OpenGVLab/video-mamba-suite/blob/main/video-mamba-suite/temporal-action-localization/README.md

video-mamba-suite/video-mamba-suite/temporal-action-localization/README.md at main · OpenGVLab/video-mamba-suite

 

OpenTAD/configs/_base_/datasets/thumos-14/ 의 내용을 참고해서 저장한다.

 

dataset_type = "ThumosPaddingDataset" annotation_path = "data/thumos-14/annotations/thumos_14_anno.json" class_map = "data/thumos-14/annotations/category_idx.txt" data_path = "data/thumos-14/features/i3d_actionformer_stride4_thumos/" block_list = data_path + "missing_files.txt"