I'm currently working on ML DevOps.
Tesla AI Day는 학술세미나 순한맛 버전임.
![](https://blog.kakaocdn.net/dn/bDAxOH/btrcYbBkv5l/pkkFJ6QKYfd5h5Im6rksdk/img.png)
Tesla FSD는 8개의 카메라를 이용해 자동차가 알아 볼 수 있는 벡터 공간으로 변환함.
![](https://blog.kakaocdn.net/dn/rrsg1/btrcVkrUrs2/d85XDjncT30S1NGLUDYpG0/img.png)
![](https://blog.kakaocdn.net/dn/bblI67/btrcONIpt2Z/7sClLdn0Qs6nu32Hp4LhVk/img.png)
생체 시각 정보를 연구하고 구조를 구현함.
![](https://blog.kakaocdn.net/dn/bDoIAr/btrcYah7mYB/PTD1VNajgp6Utoki6wzK40/img.png)
![](https://blog.kakaocdn.net/dn/NiD3z/btrcRo2jNAJ/zOHlRaiIK3f98kgmzqI4F0/img.png)
여러 스케일의 카메라 정보들이 서로서로 상호작용하면서 정보가 들어옴.
![](https://blog.kakaocdn.net/dn/QxMzL/btrcStQc80t/KJg0md7Hl0ADdfM5pUuzaK/img.png)
그리고 이걸 동시다발적으로 해봄. 우린 이걸 HydraNets(히드라넷)이라 부름.
![](https://blog.kakaocdn.net/dn/qPUlm/btrcVi1VW8Q/JUjslveGiTJpKoE7fVDil1/img.gif)
근데 이걸로는 부족한거같아서, 도로의 상황을 자동차가 알아서 추론하는 기능을 넣음.
![](https://blog.kakaocdn.net/dn/uEvwL/btrcViU91Nu/92T5ckBp9T5Ri0Sp5eq7bk/img.png)
카메라로 그냥 벡터공간을 그리면 저렇게 깨져있는 점선의 교차로 모습이 나옴.
![](https://blog.kakaocdn.net/dn/bbYRPf/btrcOfZuMkg/yNwOgBTX4VpetG9jqUOBy0/img.png)
여러 카메라에 걸쳐서 나오는 데이터가 같은거라도 일부분만 있다보니 이게 뭔지 알아보기 어려움.
![](https://blog.kakaocdn.net/dn/bgGvk1/btrcOefa6Wn/y6QBN0mtHlaXZ4zyS9Von1/img.png)
그래서 Tesla는 카메라의 왜곡된 정보를 필터링하고 또 여러 정보들을 하나로 합쳐봄.
![](https://blog.kakaocdn.net/dn/b2VwMh/btrcStbBl15/WnzPZopu0ZyPxOtm7Sw7X0/img.png)
![](https://blog.kakaocdn.net/dn/b6CDDi/btrcStJr30E/rKO10VWfBv4DuiuxBFyRdK/img.png)
그렇게 필터링된 데이터를 합치면 왼쪽 하단의 깨진 그림이 아니라 오른쪽 하단 처럼 깔끔한 교차로가 나옴.
![](https://blog.kakaocdn.net/dn/b5bAeE/btrcKIheXTV/NUi7KKHNwz5fOxl7SVXivK/img.png)
카메라를 통해 물체의 2D(평면)만 보고 3D(입체)의 모습을 추론시킴.
![](https://blog.kakaocdn.net/dn/v98jQ/btrcNKdX0rs/7SqJQnaKGoEKT8dHlveWz0/img.png)
![](https://blog.kakaocdn.net/dn/y7ByM/btrcMV77PyZ/W40hhRZjelloXNCobxO5Ik/img.png)
정지된 2D(평면)이 아니라 계속 움직이는(Video)의 형태로 학습시키고 있음.
![](https://blog.kakaocdn.net/dn/cADdAi/btrcM0WjC9I/svY6VVycDgJugs6KJkLK6K/img.gif)
FSD가 앞므로의 도로 모습을 예측하고 주행하는 모습임.
![](https://blog.kakaocdn.net/dn/cu5mBc/btrcNm5TmNq/NhXzi2HTJdDUdWccw6kUU1/img.gif)
FSD는 모든 시공간의 벡터 정보를 전부 통합해서 주행 함.
![](https://blog.kakaocdn.net/dn/bXQLSi/btrcNLRO8Pg/Zi1jXIAb0wlTd3GhpkQBYk/img.png)
도로에선 여러가지 많은 상황들이 발생하게 되는데 그걸 계속해서 예측. (옆의 그래프들)
![](https://blog.kakaocdn.net/dn/bLAA1Z/btrcRpGUZ6X/JT2mu8BbfH7ByCNpmuEpZ0/img.png)
좁은 길목 에서 마주오는 차량을 발견했을때, 누가 먼저 양보할지 판단하고 상대방의 차량에 대한 상황도 계속 예측시킬거임.
![](https://blog.kakaocdn.net/dn/djPurQ/btrcNleqYKz/qkN0rtKLhR6ilDlskhALIk/img.png)
계속된 상황 예측과 판단으로 최적을 계산하고 그곳으로 주행을 할 것임.
![](https://blog.kakaocdn.net/dn/bLBx7B/btrcNk7DBdB/LBfaKLoDHprGZAZ6h7aK5k/img.png)
이런 개같은 상황에서도 적용될수 있게 노력할것 임.
![](https://blog.kakaocdn.net/dn/6O80Z/btrcNjgDlwV/zdQRzCTXKrE4qMjtrNHKrK/img.png)
![](https://blog.kakaocdn.net/dn/b1jIrl/btrcKI9juyG/FfLPrXMGj4mfpvHjgrjRxK/img.png)
Tesla 입맛에 맞춘 데이터 라벨링 분석 인프라를 구축했음.
(라벨링 : AI 학습데이터를 만들기 위해 원천데이터에 값(라벨)을 붙이는 작업임. 사람이 일일이 데이터에 라벨을 붙여야 해 'AI 눈알 붙이기'라고 함. 그래서 자동화하는데 이거 제대로 하는 회사 별로 없음 ).
![](https://blog.kakaocdn.net/dn/u9Yre/btrcNLYAoQm/ey00vIhCAK0aDBeqkkMgzk/img.gif)
시공간 데이터 전부 활용해서 열심히 라벨링함.
![](https://blog.kakaocdn.net/dn/6Kud5/btrcQgjhavu/yZk64gC4bWHuCDyholJbGk/img.gif)
각 차량 데이터를 조각조각 모아서 맵을 만듬.
![](https://blog.kakaocdn.net/dn/lx98u/btrcNLK6AVB/xlzSEICTdkGQToJTR1d8p1/img.gif)
![](https://blog.kakaocdn.net/dn/bc7ilm/btrcM09OJdT/RrGeYSDExwZHdwKvnZ46OK/img.gif)
![](https://blog.kakaocdn.net/dn/J6LuM/btrcNmx2c1v/Rv2euJtQvnUZ23dn3JXDU1/img.gif)
![](https://blog.kakaocdn.net/dn/CFbCv/btrcSsjtltT/z6nZFRazx7uc9n7G4aGRF0/img.gif)
Tesla는 지금 어느정도 자동화 라벨링 인프라를 구축했고, 현재 자동화 라벨링 중이며 클라우드 서버 없이 오프라인으로 이정도 처리하고 있음.
![](https://blog.kakaocdn.net/dn/esvwci/btrcStvWHo8/G96PB9JzmaHIdXIuYxvEx1/img.png)
당연히 악천후 다 데이터 통합해서 학습시키고 있음.
![](https://blog.kakaocdn.net/dn/sw534/btrcMFxH7bA/bLZlUWzMjypDi8a1HkVcM0/img.png)
그 동안 모은 데이터를 바탕으로 가상 시뮬레이션을 만들어서 이걸로 학습시키고 있음.
![](https://blog.kakaocdn.net/dn/bJaO7u/btrcStimptu/nVn2j9FUdhRjlg5OwPprw0/img.png)
![](https://blog.kakaocdn.net/dn/cZ4MIu/btrcMVAjco1/g4BLXYoWqCa4ZBhRKMSXIK/img.png)
이 가상 시뮬레이션으로 밤, 낮 등 수천가지 물체 지형 전부 학습할꺼고 실제 상황에서 일어나기 힘든 인위적인 상황도 전부 시뮬레이션 돌 리는 중임.
Elon Musk : Tesla 시뮬레이터 엔진 개쩔어서 이걸로 게임 하나 만들수 있음.
![](https://blog.kakaocdn.net/dn/c63dJx/btrcORDHFLi/0NvN0eXrWgEibsFudyvWbK/img.png)
현실 배경을 바탕으로 유사한 배경으로 재구축 가능함. (게임 맵 생성되듯이)
![](https://blog.kakaocdn.net/dn/VuPvH/btrcXkkTefF/JUW4RHu9dDK8MJt8DVWwA0/img.png)
오토파일럿 컴퓨터,클라우드 전부 확장중임. 이거 받쳐주는 하드웨어는??
![](https://blog.kakaocdn.net/dn/FalHY/btrcVjfvgDq/qkP0AYG5xsRNMh227SN3eK/img.png)
칩설계 제일 잘하는 사람 스카웃해와서 새로운 칩셋 만들었음.
![](https://blog.kakaocdn.net/dn/c34tcL/btrcOS3FKHN/Lkv7WZht1jMhdXMuicWRWK/img.png)
짜잔 이게 새로만든 D1 칩임.
CPU GPU 네트워킹 전부 가능하고 머신러닝 최적화로 만들었음. 테슬라가 자체적으로 설계 공정 전부 다 했다 어떰??
![](https://blog.kakaocdn.net/dn/Tkw4Z/btrcXjsJuOd/Ci02kjiQ1lxAaDkYsQWaWK/img.png)
이렇게 지금 도조(Dojo) 컴퓨터 시스템에 쓰고있음.
![](https://blog.kakaocdn.net/dn/x0sfe/btrcM0WjwzK/wsKOFuPKiwAGBhe3iYOMok/img.png)
여러 칩셋들 조온나게 연결해도 병목없이 구축가능하게 만들었음. 분산 컴퓨팅 자급자족.
![](https://blog.kakaocdn.net/dn/bb3Ls0/btrcMFRZPic/GPKJTQ6XigXY94jiPGzovk/img.png)
Tesla 도조(Dojo) 컴퓨터 시스템 핵 빠름 (1.1exaFLOP(엑사플롭) //1초에 100경 처리).
![](https://blog.kakaocdn.net/dn/bihFqK/btrcX9KhQci/qYXOK6NRmKs6nepxmmZBs0/img.png)
이거 기반으로 Telsa는 로봇산업 진출함.
![](https://blog.kakaocdn.net/dn/cZp3sw/btrcVjfvBUA/kErSMJEnbbHkFjMBpao9jK/img.gif)
base on : https://gall.dcinside.com/mgallery/board/view/?id=stockus&no=1799623
1줄 요약 : 자동차 에너지 회사에서 AI 소프트웨어 + 반도체 설계 / 제조 + 로보틱스 회사로