[Waymo] 보는 것이 아는 것: 예상치 못한 상황을 위한 자율주행 기술의 기위지 인식 훈련과 검색 향상 알아봐요

>

Waymo에서는 기계학습(Machine Learning)을 사용하여 다양한 유형의 물체 및 도로 특성을 감지하여 분류합니다. 우리의 인식 시스템을 구성하는 강력한 신경망은 Waymo Driver가 직면한 모든 것의 레벨된 예제부터 조깅하는 사람, 자전거의 사람, 교통 신호, 나아가 도로 표지판, 또 과인무나 관목까지, 물체와 그것과 관련되는 행동을 인식하는 것을 배웁니다. 이 10년간 우리의 강력한 맞춤형 설계된 하드웨어에 의해서 발견된 매우 나야 양의 물체를 축적했습니다.​

>

이 풍부한 경험은 매우 귀하지만 도전 과제이기도 하잖아요: 이 센서 데이터의 바다에서 가장 유용한 예제를 찾는 비결. 우리 차가 스케이트보드를 타는 사람을 관찰할 경우 모두가 특정한 예를 찾으려는 것은 마치 건초더미에서 버핸시를 찾는 격입니다.그래서 Waymo와 Google Research의 협력을 얻어 우리는 우리의 콘텐츠 검색 툴을 개발하기 위한 구글의 웹 검색에 대한 전문지식을 지원받았습니다. Google포트와 Google이미지 검색 기능과 비슷한 기술을 사용하여 우리의 엔지니어들은 한국의 운전 이력과 데이터 로그에 있는 대부분의 물체를 신속히 찾을 수 있는 것처럼 하여 기본적으로 Waymo의 Content Search는 2천만 마쵸쯔에 이르는 도로 주행 경험을 수십억개의 물체의 검색 가능한 카탈로그로 바꿀 수 슴니다.검색문재로서 데이터 마이닝 접속 중국, 우리의 Waymo Driver는 시간과 경험에 의해서 더 현명하게 됩니다:1대의 자동차가 배우는 모든 것은 fleet사이에서 공유할 수 있습니다. 우리의 운전환경이 끊임없이 변화하고 있기 때문에 이러한 학습능력은 특히 중요할 것입니다. 예를 들면, 개인 모빌리티 솔루션이 과거의 유행을 이끌면서(특히 도시 영토에서), Waymo Driver는 정기적으로 새로운 형태의 교통 수단을 훔치게 됩니다. 그래서 우리는 차와 자전거를 타는 사람을 구별할 수 있을 뿐만 아니라 보행자와 스쿠터를 타는 사람을 구별할 수 있도록 시스템을 지속적으로 훈련시켜 나가려고 합니다.과거 우리 운전 초지에서 이런 뚜렷한 사례를 찾기 위해 우리 연구원은 물체의 추정 속도와 높이와 같은 다양한 특징에 증거를 두고 우리 데이터를 분석하는 경험적 비결에 의존했습니다. 예를 들면, 스쿠터를 타는 사람의 예를 찾으려고 우리는 우리의 로그 자료를 통해서 0에서 20mph사이의 속도로 이동하는 특정 음높이를 가진 물체를 조사했는지도 모릅니다. 이 비결은 관련 예를 제시했지만 많은 개체가 그런 속성을 공유하기 때문에 결과는 왜 너희들 사이에 광범위했습니다.Content Search를 통해 우리는 지금 이런 유형의 데이터 마이닝에 검색 문재로 접속할 수 있습니다. 이 새로운 도구의 기본 원리는 '지식 시달(knowledge transfer)'이다.즉, 한 가지 문재를 해결함으로써 얻은 지식(Google Photos 앨범의 모든 '개'를 찾는 등)을 서로 다르지만, 관련된 문재(예: 우리의 Waymo Driver가 개를 자신이 운전한 모든 시간을 식별하기 위해 우리의 운전 초지를 검색하는 것)에 적용한다. 우리 운전 데이터의 방대한 카탈로그를 색인화함으로써 우리 엔지니어는 우리 신경망을 빠르게 훈련하고 향상시킬 수 있는 관련 데이터를 찾을 수 있습니다.자율주행차 이미지 인식의 힘을 발휘하는 Content Search를 통해 엔지니어들은 이 강의와 같은 다양한 비결로 센서 로그를 통해 전 세계를 검색할 수 있습니다. 우리는 유사성 검색(similarity search)을 할 수 있으며, 매우 세세한 범주의 물체를 추적할 수 있으며, 현장에서 텍스트로 검색할 수 있습니다.

>

이름군달에서(True to its name), 대동소이성 검색은 기존 비교 쿼리를 실행하여 운전 로그에서 부여된 개체와 대동소이한 항목을 쉽게 찾을 수 있도록 해줍니다. 예를 들어 선인장 주변의 모델을 식물로 개선하기 위해 우리는 선인장의 어떤 이미지로 시작할 수 있습니다. 운전 연혁에서 이미 발견한 예시든, 온라인에서 발견한 선인장 사진이든, 심지어 선인장 그림이든 내용이다. Content Search는 우리의 자율주행차가 실제로 세계에서 비슷한 물체를 관찰한 표시로 반환합니다.​ 이 핵심 이제부터라고 검색 모델은 Waymo의 운전 1지에 있는 모든 물체, 즉 공원 벤치, 길 근처의 쓰레기 통, 또는 움직이는 물체를 임베디은(embeddings)로 변환하는 방식으로 작동하는데, 이는 물체가 서로 어느 정도나 같을 정도로 순위를 매기는 기계 학습(ML)기법임. 속성을 기반으로 각 오브젝트에 대한 임베디드를 만들고 구글 실시각 임베디드 대동소이점 매칭 서비스와 대동소이한 프로세스를 배치함으로써 우리는 운전 로그의 이미지와 어떤 쿼리도 효율적으로 비교하고 단 몇 초 만에 질의와 대동소이한 개체를 찾을 수 있습니다.

>

다만 첫 번째 클래스의 물체는 형태, 형태, 유형에 따라 다를 수 있습니다. 예를 들어, 도로의 잔해는 비닐 봉지 책인 타이어 스크랩부터 판지 상자 책인 잃어버린 바지까지 무엇이든 할 수 있습니다. 도로에서 조우하는 다양한 물건(우리 차량이 전에 보지 못했던 물건)을 처음 반화하고 감지할 수 있는 강력한 기계학습 모델을 구축하기 위해 엔지니어들은 다양한 사례로 우리의 신경망을 훈련시킵니다.이를 위해 우리는 초정밀 검색을 이용하여 특정 범주에 속하는 물체를 찾습니다. 이 검색의 배경은 특정 객체 카테고리가 이미 발견되었는지를 Content Search 툴이 이해하는 데 도움이 되는 카테고리형 머신 학습(Categorical Machine Learning) 모델입니다. 이러한 깊은 수준의 이해는 자동차의 제작이나 모델, 심지어 개의 특정 품종과 같은 특정 특성을 공유하는 물체에 대해 특별히 틈새(niche) 검색을 할 수 있는 능력을 열 수 있습니다.​

>

마지막으로 도로에 있는 많은 물체들은 도로표지가 자신의 대형 트럭인 '대형(oversized)'과 같은 운전에 관한 텍스트를 포함하고 있습니다. Content Search는 최초단 광학문자 인식 모델을 사용하여 한 장면에서 발견되는 텍스트나 단어를 바탕으로 운전 한 장지에 주석을 달아 도로표지, 비상차량, 표지가 있는 다른 자동차나 트럭을 읽을 수 있습니다.대규모 데이터 레이블링 Content Search를 통해 우리는 자동으로 수십억 개의 오브젝트에 주석을 붙일 수 있었고 이는 우리가 라벨을 붙이기 위해 보내는 데이터의 속도와 품질을 기하급수적으로 증가시켰습니다. 라벨 부착을 가속화하는 능력은 보도에 발을 내딛는 아이가 있는 스쿨버스 자신의 전기스쿠터를 타는 사람들부터 길을 건너는 고양이 자신의 개에 이르기까지 우리의 시스템 전반에 걸쳐 많은 개선을 가져왔습니다. Waymo가 더 많은 도시로 확장됨에 따라 우리는 새롭게 대상과 시자리오를 나누게 될 것이다. Content Search는 우리가 더 빨리 배울 수 있도록 하고 더 많은 사람들에게 자율주행 기술을 제공하는 우리의 목표를 이룰 수 있도록 돕습니다.끼어들기 시 자율주행 차량에 대해 기술적으로 이야기를 하다 보면 명확하게 언급되는 것이 AI가 아닐까 생각합니다. 아무래도 자율주행차가 사람을 대체할 로봇이 필요하기 때문에 이런 로봇의 머리 역할을 하는 AI는 필수적이다. 하지만 단순히 머리 역할을 하는 AI뿐만 아니라 자율주행차가 운행하는 데 필요한 인지능력을 높이기 위해서도 명확히 필요한 것이 바로 이 AI 기술이다. 이러한 이유로 많은 자율주행차량을 위해 부품을 개발하고 있는 작은 회사들은 기존의 단순한 기계적, 전기적 조합이 아닌 소프트웨어를 포함시키기 위한 노력을 하고 있습니다. 선택이 아닌 필수로 돼 있는 것이다.자율주행차 개발을 시작한 후 모든 것을 개발해 온 Waymo의 경우는 잘 알려져 있지 않습니다. 자율주행을 위한 HW, SW를 통합하는 모든 것을 가진 몇 안 되는 작은 기업이 아닐까 생각합니다. 오직 Waymo가 없는 것은 자동차뿐이다.이번 소식은 지금까지 자신들이 개발하고 있는 기술에 대해 외부에 잘 공개하지 않는 Waymo가 자신들이 어떻게 외부인을 인지하고 적용시키고 있는지에 대해 간단히 설명하는 것이었습니다. 이러한 기술을 언제부터 사용했는지에 대해서는 언급이 없지만, 아무래도 지금까지 Tesla의 자동 Labelling이 가능한 Deep Learning 기술에 대한 우호적인 여론을 의식한 뉴스가 아닌가 하는 소견이 글을 읽고 계속 듣고 있습니다.작은 기업의 기술은 비밀스러운 것이 많지만 Waymo의 경우는 상장 작은 기업도 아니기 때문에 외부에 작은 기업의 소식이 닿는 일은 정말 거의 없습니다. 종종 Waymo CEO John Krafcik의 입이 자신의 공식 블로그를 통해 전달되는 것이 전부다. 기본적으로 Waymo의 Software 팀은 구글 엔지니어가 많이 파견되어서 옮겨서 이루어지고 있습니다. 구글이 너무 많은 프로젝트를 진행하고 있고, Waymo는 그중에서도 미래의 성장 동력으로 소견하고 있습니다. 어느 정도의 성과를 이룬 프로젝트이다. 20하나 9년까지 Waymo는 자율 주행 기술 개발에 35억달러를 투입한 것으로 알려지고 있습니다. 기존 자율주행차 개발기업 가운데 가장 많은 투자다. 투자가 많아졌다고 해서 기술력이 앞서는 것은 아니지만, Waymo가 현재까지 보이고 있는 모습은 충분한 기술을 확보했다고 볼 수 있다. 물론 내부에 어느 정도의 기술을 가지고 있는지는 현재로서는 알 수 없습니다.​ 20하나 9년부터 Waymo는 자신들의 영역을 확장하기 위한 노력을 꾸준히 하고 있습니다. 2020년에도 그런 움직이는은 더 빨라질 것이다. 하지만 분명한것은 테크 작은 기업임에도 불구하고 Waymo가 보여주고 있는 모습은 안전을 우선시하는 기존 자동차 제조 작은 기업과 거의 비슷한 부분이 많이 있습니다. 이런 이유들이 자신들의 기술력을 외부에 보여주는데 인색할지도 모릅니다.PS: 검색에서 보시고 원하시는 스토리를 찾지 못하셨을 경우, '태그' 또는 '검색'을 해보면 더 많은 자료를 찾을 수 있습니다. 그래도 찾으시는 문의사항이 있으시면(메일하나,메시지), 제가 아는 범위 내에서 도와드리겠습니다. 부차를 갖지 않아도 됩니다.Over the Vehicle!!!참고 자료

​