Tensor Processing Unit의 약자.
구글에서 2016년 5월에 발표한 데이터 분석 및 딥러닝용 하드웨어이다. 벡터/행렬연산의 병렬처리에 특화되어 있으며 넘사벽급의 전성비를 자랑한다. 비결은 8비트 정수 연산을 활용하는 것이다. 당연한 이야기지만, 같은 비트라도 정수 연산이 부동 소수점 연산보다 더 빠르다. 하드웨어의 구현도 정수 연산이 더 쉬우니 가성비가 있다. [] 이는 NVIDIA등에서도 실현한적 있다. 차이점이라면, TPU는 모델의 실행뿐만 아니라 학습 과정에도 8비트 정수 연산을 활용할 것으로 추정된다는 것. ( 자세한 정보 공개가 없는 상황이라 정확하진 않지만 ) GPGPU에서 딥러닝에 필요한 것들만 남기고 나머질 다 빼버린 설계와 비슷하다는 추측도 있다. 성능 항목의 PCI-E 병목 문제를 생각하면 APU ( 정확히는 HSA ) 나 NVLINK에 가까운 구조를 포함하는 것일 수도 있다. NVIDIA의 경우에는 P100과 같은 칩셋으로 16비트 부동소숫점 연산을 사용해 모델을 훈련시키고, P4/P40과 같은 제품을 통해 8비트 정수 연산을 활용해 모델을 실행하는 것을 이상적으로 보았다. [엔지니어 블로그]에 의하면 알파고도 GPU가 아닌 TPU상으로 구현되어 있다고 한다.
텐서의 의미
텐서 항목 참조.
