Human Activity Recognition(HAR)은 헬스케어, 스포츠 모니터링, 인간-기계 상호작용에서 중요한 역할을 하며, 실시간 분석이 개인 맞춤형 서비스를 제공하기 위해 필수적입니다. 그러나 HAR 모델을 엣지 디바이스에 배포하는 것은 제한된 계산 자원과 메모리 때문에 큰 도전 과제가 됩니다. 기존의 딥러닝 모델은 이러한 환경에서 비효율적이다.

 본 연구는 Sparse Multi-Head Attention과 Grouped Attention을 결합한 Grouped Sparse Transformer(GST) 모델을 제안하여, 엣지 디바이스에서도 실시간으로 구현 가능한 경량 모델을 설계하고자 한다.

 GST 모델은 계산 비용과 추론 시간을 줄이면서도 복잡한 시계열 데이터를 효과적으로 처리할 수 있다. 또한, 밀리미터파(mmWave)와 관성 측정 장치(IMU) 센서 데이터를 기반으로 다양한 데이터 유형과 행동을 일관되게 분류할 수 있으며, 여러 센서 데이터를 처리하는 데 있어서도 탁월한 성능을 발휘할 수 있다. 

더 나아가, 이 모델은 파라미터 크기를 최소화하면서도 높은 정확도를 유지하여, 엣지 디바이스 환경에서 실시간 배포에 적합한 경량화와 최적화를 통해 트랜스포머 모델의 엣지 디바이스에서의 실시간 처리 적합성을 크게 향상시킬 수 있을 것으로 기대한다.