I'm currently working on ML DevOps.
Tesla AI Day는 학술세미나 순한맛 버전임.
Tesla FSD는 8개의 카메라를 이용해 자동차가 알아 볼 수 있는 벡터 공간으로 변환함.
생체 시각 정보를 연구하고 구조를 구현함.
여러 스케일의 카메라 정보들이 서로서로 상호작용하면서 정보가 들어옴.
그리고 이걸 동시다발적으로 해봄. 우린 이걸 HydraNets(히드라넷)이라 부름.
근데 이걸로는 부족한거같아서, 도로의 상황을 자동차가 알아서 추론하는 기능을 넣음.
카메라로 그냥 벡터공간을 그리면 저렇게 깨져있는 점선의 교차로 모습이 나옴.
여러 카메라에 걸쳐서 나오는 데이터가 같은거라도 일부분만 있다보니 이게 뭔지 알아보기 어려움.
그래서 Tesla는 카메라의 왜곡된 정보를 필터링하고 또 여러 정보들을 하나로 합쳐봄.
그렇게 필터링된 데이터를 합치면 왼쪽 하단의 깨진 그림이 아니라 오른쪽 하단 처럼 깔끔한 교차로가 나옴.
카메라를 통해 물체의 2D(평면)만 보고 3D(입체)의 모습을 추론시킴.
정지된 2D(평면)이 아니라 계속 움직이는(Video)의 형태로 학습시키고 있음.
FSD가 앞므로의 도로 모습을 예측하고 주행하는 모습임.
FSD는 모든 시공간의 벡터 정보를 전부 통합해서 주행 함.
도로에선 여러가지 많은 상황들이 발생하게 되는데 그걸 계속해서 예측. (옆의 그래프들)
좁은 길목 에서 마주오는 차량을 발견했을때, 누가 먼저 양보할지 판단하고 상대방의 차량에 대한 상황도 계속 예측시킬거임.
계속된 상황 예측과 판단으로 최적을 계산하고 그곳으로 주행을 할 것임.
이런 개같은 상황에서도 적용될수 있게 노력할것 임.
Tesla 입맛에 맞춘 데이터 라벨링 분석 인프라를 구축했음.
(라벨링 : AI 학습데이터를 만들기 위해 원천데이터에 값(라벨)을 붙이는 작업임. 사람이 일일이 데이터에 라벨을 붙여야 해 'AI 눈알 붙이기'라고 함. 그래서 자동화하는데 이거 제대로 하는 회사 별로 없음 ).
시공간 데이터 전부 활용해서 열심히 라벨링함.
각 차량 데이터를 조각조각 모아서 맵을 만듬.
Tesla는 지금 어느정도 자동화 라벨링 인프라를 구축했고, 현재 자동화 라벨링 중이며 클라우드 서버 없이 오프라인으로 이정도 처리하고 있음.
당연히 악천후 다 데이터 통합해서 학습시키고 있음.
그 동안 모은 데이터를 바탕으로 가상 시뮬레이션을 만들어서 이걸로 학습시키고 있음.
이 가상 시뮬레이션으로 밤, 낮 등 수천가지 물체 지형 전부 학습할꺼고 실제 상황에서 일어나기 힘든 인위적인 상황도 전부 시뮬레이션 돌 리는 중임.
Elon Musk : Tesla 시뮬레이터 엔진 개쩔어서 이걸로 게임 하나 만들수 있음.
현실 배경을 바탕으로 유사한 배경으로 재구축 가능함. (게임 맵 생성되듯이)
오토파일럿 컴퓨터,클라우드 전부 확장중임. 이거 받쳐주는 하드웨어는??
칩설계 제일 잘하는 사람 스카웃해와서 새로운 칩셋 만들었음.
짜잔 이게 새로만든 D1 칩임.
CPU GPU 네트워킹 전부 가능하고 머신러닝 최적화로 만들었음. 테슬라가 자체적으로 설계 공정 전부 다 했다 어떰??
이렇게 지금 도조(Dojo) 컴퓨터 시스템에 쓰고있음.
여러 칩셋들 조온나게 연결해도 병목없이 구축가능하게 만들었음. 분산 컴퓨팅 자급자족.
Tesla 도조(Dojo) 컴퓨터 시스템 핵 빠름 (1.1exaFLOP(엑사플롭) //1초에 100경 처리).
이거 기반으로 Telsa는 로봇산업 진출함.
base on : https://gall.dcinside.com/mgallery/board/view/?id=stockus&no=1799623
1줄 요약 : 자동차 에너지 회사에서 AI 소프트웨어 + 반도체 설계 / 제조 + 로보틱스 회사로