他的代碼在NASA上天，在港科廣落地
“港科廣er說”
信息樞紐人工智能學(xué)域 2023級(jí)博士生邱迪聰
隨著AIGC的普及，人們對(duì)于AI的未來也產(chǎn)生了更多的討論。英偉達(dá)創(chuàng)始人黃仁勛曾表示，AI下一個(gè)浪潮將是“具身智能”。創(chuàng)業(yè)者們爭相進(jìn)場，而在香港科技大學(xué)（廣州）信息樞紐的人工智能學(xué)域里，去年入學(xué)的博士生邱迪聰憑借一款具身智能商超機(jī)器人屢次斬獲創(chuàng)業(yè)比賽獎(jiǎng)項(xiàng)，他的公司成立僅4個(gè)月即完成種子輪融資，投資者包括百度前COO、YC中國創(chuàng)始人陸奇。這款具身智能機(jī)器人展示了最前沿的技術(shù)如何在商超零售的場景中得以應(yīng)用：語音控制機(jī)器人補(bǔ)貨和揀貨。
在這期“港科廣er說”中，邱迪聰將為我們介紹他在港科大（廣州）進(jìn)行具身智能機(jī)器人創(chuàng)業(yè)的想法和經(jīng)歷。
在港科廣創(chuàng)業(yè)是一種什么樣的體驗(yàn)？
Q:?請(qǐng)簡單地做個(gè)自我介紹吧！
邱迪聰：我是土生土長的廣州人，之前在中山大學(xué)讀本科，后來去了美國卡內(nèi)基梅隆大學(xué)攻讀機(jī)器人研究生，也是雅可比機(jī)器人 Jacobi.ai 的創(chuàng)始人兼CEO，致力于結(jié)合多模態(tài)機(jī)器人AI與跨形態(tài)運(yùn)動(dòng)控制技術(shù)，打破機(jī)器人場景與形態(tài)的邊界，讓智能機(jī)器人走進(jìn)各行各業(yè)、千家萬戶，把AGI（通用人工智能）帶到物理世界。我的研究方向主要在 AI/AGI 與機(jī)器人的結(jié)合上，包括具身智能、機(jī)器人行為決策與規(guī)劃、不確定性與非線性控制等，在 RSS、AeroConf 等會(huì)議和 SCI 期刊上發(fā)過表多篇論文，并有多項(xiàng)國內(nèi)、美國和國際專利。曾經(jīng)在 ISEE AI、美國宇航局噴氣動(dòng)力實(shí)驗(yàn)室（NASA JPL）、大疆創(chuàng)新（DJI）、PIX Moving 等公司和研究機(jī)構(gòu)擔(dān)任過高管或工作過，有多年的技術(shù)與產(chǎn)品研發(fā)經(jīng)驗(yàn)，參與過廣州市政府自動(dòng)駕駛商業(yè)化運(yùn)營、L4級(jí)自動(dòng)駕駛系統(tǒng)全技術(shù)棧研發(fā)、火星探測車開發(fā)等項(xiàng)目與工作。
Q:?你在機(jī)器人和人工智能的學(xué)習(xí)道路上不乏名校大廠，為什么最后選擇在港科廣讀博和創(chuàng)業(yè)？
邱迪聰：選不選擇創(chuàng)業(yè)，這是一個(gè)很慎重的事情，創(chuàng)業(yè)是要天時(shí)地利人和，缺一不可。
可以這樣去理解，我們要做嚴(yán)謹(jǐn)?shù)膭?chuàng)業(yè)，就必須要考慮到很多的因素，但是，我本身也非常希望去創(chuàng)造一些新的東西，所以我選擇加入的這些公司都很有創(chuàng)新性，甚至都是創(chuàng)業(yè)公司。
來到了港科廣后，港科廣本身對(duì)于產(chǎn)學(xué)研結(jié)合，對(duì)于技術(shù)要用到實(shí)際處，對(duì)社會(huì)產(chǎn)生效益和對(duì)這個(gè)行業(yè)產(chǎn)生實(shí)際價(jià)值這一點(diǎn)，是與很多其他大學(xué)為了純粹做學(xué)術(shù)研究發(fā)論文很不一樣，從我的感觸來說，學(xué)校非常希望師生能夠產(chǎn)生對(duì)社會(huì)有益的研究，這一點(diǎn)是我覺得非常獨(dú)特，而且也非常適合我們的。港科廣也對(duì)我們這個(gè)項(xiàng)目有很多支持，所以就能以非常良性的正循環(huán)一直走下去。
目前學(xué)校給我們團(tuán)隊(duì)提供了一個(gè)在紅鳥創(chuàng)客空間的實(shí)驗(yàn)室，主要是用來做研發(fā)和技術(shù)驗(yàn)證的，叫研發(fā)模塊化的驗(yàn)證。有整機(jī)的驗(yàn)證、機(jī)器人的搭建調(diào)試，以及對(duì)整個(gè)系統(tǒng)在實(shí)驗(yàn)室環(huán)境下的全流程的驗(yàn)證等等。同時(shí)也會(huì)結(jié)合學(xué)校產(chǎn)學(xué)研和其他學(xué)校團(tuán)隊(duì)的研究進(jìn)行很多項(xiàng)目合作。
在實(shí)驗(yàn)室里，我們會(huì)設(shè)置不同的元素，例如，超市里面肯定有貨架，實(shí)驗(yàn)室可以通過貨物和機(jī)器人的搭建來做這種實(shí)驗(yàn)，從分模塊的驗(yàn)證到整合整個(gè)系統(tǒng)的驗(yàn)證，再到實(shí)驗(yàn)室級(jí)別的全流程推進(jìn)，我們?nèi)挤诺絼?chuàng)客空間的實(shí)驗(yàn)室里面去做，以后就可能需要更大的地方，才能夠去做更好的實(shí)驗(yàn)室驗(yàn)證和持續(xù)迭代了。
而且我們現(xiàn)在的實(shí)驗(yàn)場地，已經(jīng)不止是學(xué)校給我們提供的紅鳥創(chuàng)客空間里面的一個(gè)實(shí)驗(yàn)室，還有在真實(shí)場景里面的實(shí)驗(yàn)。比如在校內(nèi)超市，我們也有做在真實(shí)場景的技術(shù)驗(yàn)證。
學(xué)校的知識(shí)轉(zhuǎn)移辦公室創(chuàng)業(yè)中心非常支持學(xué)生創(chuàng)業(yè)，之前他們?cè)诹私夂颓⒄勚苓叺貐^(qū)的產(chǎn)業(yè)孵化中心，以達(dá)成合作，不只是幫助我這一個(gè)創(chuàng)業(yè)項(xiàng)目，還有對(duì)學(xué)校的其他所有創(chuàng)業(yè)團(tuán)隊(duì)進(jìn)行入駐，給到場地上的支持。這一塊一直在持續(xù)地推進(jìn)中。
現(xiàn)在每次港科廣，包括港科大，對(duì)外說科大體系下的創(chuàng)業(yè)項(xiàng)目時(shí)，我們也算是一個(gè)每次都會(huì)被拎出來的項(xiàng)目之一，這一點(diǎn)我也挺榮幸的。
Q:?目前你的團(tuán)隊(duì)規(guī)模是什么樣的呢？公司處于一個(gè)什么樣的階段？
邱迪聰：除了我以外，公司還有兩位聯(lián)合創(chuàng)始人，分別是同樣于卡內(nèi)基梅隆大學(xué)獲得博士學(xué)位的人工智能學(xué)域助理教授梁俊衛(wèi)，也就是我的博士生導(dǎo)師，和在機(jī)器人運(yùn)營和商業(yè)化方面擁有豐富經(jīng)驗(yàn)的湯安。包括在港科廣，我也認(rèn)識(shí)到了一些其他領(lǐng)域志同道合的同學(xué)，他們都陸續(xù)地加入了我們的團(tuán)隊(duì)。
我長期專注于 AI 和機(jī)器人技術(shù)的結(jié)合。梁俊衛(wèi)老師則在視頻大模型和具身智能兩方面擁有深厚積累，湯安曾具備數(shù)百臺(tái)量級(jí)的無人車車隊(duì)運(yùn)營和落地經(jīng)驗(yàn)。
團(tuán)隊(duì)核心成員的結(jié)合，給公司提供了前沿的技術(shù)積淀和良好的商業(yè)化能力，進(jìn)而推動(dòng)上述具身智能解決方案的誕生。不過，目前公司還處于初創(chuàng)階段，團(tuán)隊(duì)規(guī)模在 10 人左右，我們正在基于如上所說的種子輪融資，布局以下兩方面的事務(wù)。
第一，提升“大腦”J-Mind 的能力，讓機(jī)器人可以更加通用地理解開放場景，并將其轉(zhuǎn)化為抽象的行為執(zhí)行過程。
第二，基于共創(chuàng)模式，與來自商超、藥企、餐飲等領(lǐng)域的客戶共同打磨場景，以大幅地提升面向未來的具身智能機(jī)器人的行為能力，并走向真正的落地。
讀博，為創(chuàng)業(yè)賦能
Q:?你的博士研究方向和產(chǎn)品研發(fā)是怎樣結(jié)合在一起的？
邱迪聰：超市并不是我們天花板，而是我們的一個(gè)切入點(diǎn)，也就是說，我們要做的事情其實(shí)是具身智能，它能夠用在各種各樣的場景，包括超市、餐廳，甚至是一些辦公場所。
之前像Mobile Aloha火了一把，就是因?yàn)樗o所有人看到了機(jī)器人可以進(jìn)入到我們?nèi)粘Ｉ钪械目赡苄浴＿@一點(diǎn)是讓我，還有全世界很多人，包括我的導(dǎo)師梁俊衛(wèi)教授，都倍感興奮的事情。我和梁老師也是非常希望能夠讓具身智能機(jī)器人進(jìn)入到家庭和生活場景之中的。當(dāng)然，我們會(huì)從一個(gè)能夠有PMF（產(chǎn)品市場契合度）的點(diǎn)優(yōu)先去切入。
所以我的其中一個(gè)研究方向，是怎么才能夠喚醒大語言模型以及多模態(tài)大模型的潛在能力，讓機(jī)器人可以自主推理，并想出一些新的技能去有效地解決遇到的問題，讓機(jī)器人擁有開放的認(rèn)知、推理和決策能力。
第二個(gè)方向的研究是在全開放場景之下的機(jī)器人任務(wù)執(zhí)行能力，以及是在面向更復(fù)雜的環(huán)境下機(jī)器人的操縱能力。這個(gè)也是我在港科廣的主要方向之一，也就是在具身智能體系之下，面向未來的機(jī)器人要在開放場景去執(zhí)行任務(wù)，研究機(jī)器人的智能和運(yùn)動(dòng)模態(tài)能力上的結(jié)合。
Q:?可以說說你們是怎么在公司剛成立4個(gè)月的時(shí)候就拉到種子輪融資的過程嗎？
邱迪聰：我們這個(gè)項(xiàng)目發(fā)起的時(shí)候，其實(shí)是自己投了一些錢，想做這個(gè)方向，后來我們也在思考具體怎么做。我們希望能夠找到一個(gè)非常有行業(yè)眼光的人，跟我們一起去聊一聊，但這種人其實(shí)一般很難找得到。剛好那個(gè)時(shí)候，我們其中一名最早期的合伙人有一些奇績創(chuàng)壇（YC中國）的人脈，我就跟他討論了很多相關(guān)的想法。他說要不你就寫一個(gè)策劃案投給陸奇（Y Combinator中國CEO），如果成功進(jìn)面，你就能夠跟陸奇聊一聊。我們就抱著這樣的一個(gè)目的去把我們的想法寫了一個(gè)一、兩頁的A4紙。
我們也是通過了一輪輪的面試，最終見到了陸奇和他的合伙人，也跟他聊了我們的想法，不僅實(shí)現(xiàn)了我們最初的目的，而且他還說我們團(tuán)隊(duì)的這些想法都很好，我們就覺得這是一個(gè)意外之喜。他后來投資我們的種子輪，包括他的另外三位合伙人，在他的創(chuàng)業(yè)營和其他各方面都幫了我們很多。
Q:?那你現(xiàn)在作為一個(gè)創(chuàng)業(yè)者的日常是什么樣的呢？
邱迪聰：作為一個(gè)創(chuàng)業(yè)者，肯定要承受比正常的工作、學(xué)習(xí)更多的壓力和責(zé)任，以及需要做很多方面的努力。這些還遠(yuǎn)遠(yuǎn)不夠，還要有團(tuán)隊(duì)的各個(gè)小伙伴一起去共同的創(chuàng)造和創(chuàng)新。這個(gè)說實(shí)話肯定不是我一個(gè)人的努力能做到的。
很重要的一點(diǎn)是，其實(shí)工作也好，學(xué)習(xí)也好，是人家給了一張卷子，你去想辦法給一個(gè)答案，我們是要自己給自己出一張卷子，自己給一個(gè)答案，而這張卷子出的對(duì)不對(duì)，就是一個(gè)很大的考究了。這張卷子對(duì)于投資人來說，得是一張對(duì)的卷子，對(duì)于市場來說，得是一張對(duì)的卷子，之后你的回答才有意義。不然的話你努力了非常多，給了一張完美的答卷，但你自己的問題出錯(cuò)了，就等于打水漂。
嗯，我的代碼確實(shí)上天了。
Q:?在你的過往經(jīng)歷里還參與了美國航空航天局（NASA）的火星探測車的相關(guān)工作，這應(yīng)該很少人能有這樣的經(jīng)歷，當(dāng)時(shí)是做了什么樣的工作呢？
邱迪聰：我當(dāng)時(shí)在卡內(nèi)基梅隆大學(xué)所做的項(xiàng)目與火星車有些相關(guān)。我們的項(xiàng)目是為了讓星球探測車（Planetary Rovers）在沒有人類協(xié)助的情況下進(jìn)行操作。簡單來說，就是如果一個(gè)星球探測車被卡住了，另一個(gè)星球探測車可以自動(dòng)前去救援。比如說，月球車被卡在石頭上或者陷入坑里，另一輛車可以通過我們稱為“系統(tǒng)”的協(xié)同系統(tǒng)相互合作、自救和救援。同時(shí)，我們?cè)陧?xiàng)目中進(jìn)行了大量的強(qiáng)化學(xué)習(xí)和機(jī)器學(xué)習(xí)方面的工作。
在NASA實(shí)習(xí)時(shí)，我的工作就是讓星球探測車，例如月球車或火星車，能夠自主理解所看到的內(nèi)容，并通過自然語言描述出來。更重要的是，科學(xué)家能夠直接輸入一段話，告訴火星車要找什么樣的地理特征或者高價(jià)值數(shù)據(jù)，火星車就能夠根據(jù)科學(xué)家的話自主探索、優(yōu)先尋找相關(guān)的地理地貌特征，并把這部份數(shù)據(jù)以高優(yōu)先級(jí)傳回地球。我們通過AI驅(qū)動(dòng)的方式讓星球探測車能夠?qū)崿F(xiàn)自主的地外探索。我的工作也被成功地部署到了多個(gè)火星車上，我的算法在2020年的時(shí)候應(yīng)該也跟著 “火星2020”（Mars 2020）的任務(wù)一起飛到火星上去了。
我做的系統(tǒng)除了可以在星球探測車上用，也用在了NASA的數(shù)據(jù)庫上。科學(xué)家能夠直接輸入一段話，告訴它想要找什么樣的數(shù)據(jù)，有什么樣的特征，我的算法搜索圖像內(nèi)容，直接就幫他把這些數(shù)據(jù)排序給找出來。所以就相當(dāng)于給NASA做了一個(gè)NASA版的Google Image。這個(gè)工作大大節(jié)省了科學(xué)家做數(shù)據(jù)分析、歷史數(shù)據(jù)回訪的時(shí)間，極大提高了他們的效率，所以挺有意義的。這個(gè)工作也成功地被延展到其他一些成果上，發(fā)了幾篇論文。
所以那個(gè)時(shí)候很多人說，你的代碼上天了。嗯，我的代碼確實(shí)上天了。
十年磨一劍迎接時(shí)代風(fēng)口
Q:?你從高中就開始接觸機(jī)器人，在這將近十年的時(shí)間里從機(jī)器人到現(xiàn)在大熱的具身智能機(jī)器人，你有預(yù)想過嗎？
邱迪聰：我認(rèn)為這種智能技術(shù)跟機(jī)器人的結(jié)合肯定是一個(gè)必然會(huì)發(fā)生的事情。十年之前，我就認(rèn)為：機(jī)器人和AI就應(yīng)該結(jié)合在一起。那個(gè)時(shí)候我就開始研究強(qiáng)化學(xué)習(xí)等一系列的技術(shù)了，我認(rèn)為AI的發(fā)展在那時(shí)看來已經(jīng)是一個(gè)很明顯的趨勢，因?yàn)樗軌蛲卣刮覀兺ㄟ^編程沒辦法得到的邊界，它能夠有自主的學(xué)習(xí)能力，所以我一直以來都是人工智能的一個(gè)有信念者，我也堅(jiān)定不移地選擇了AI和機(jī)器人結(jié)合的道路。
我只是看上去幸運(yùn)而已，其實(shí)每一步的選擇都做了很多思考。像我現(xiàn)在的創(chuàng)業(yè)項(xiàng)目，為什么要選擇這種大小腦的一個(gè)架構(gòu)？為什么要選擇我們能夠有數(shù)據(jù)遷移的能力，而不是直接做端到端的模型去指導(dǎo)機(jī)器人這種看著很流行的方式，其實(shí)都是通過非常多的調(diào)研、思考、討論、論證得到的結(jié)果，還要結(jié)合未來科技發(fā)展整個(gè)市場的動(dòng)態(tài)，其他公司要怎么去做，他們下一步肯定會(huì)怎么做，用這些信息去推演出一個(gè)最適合我們生存和發(fā)展的最高效的路徑。
其實(shí)包括我自己的人生，每一步的選擇也都是要經(jīng)過很多很費(fèi)神或者是徹夜難眠的考慮，這個(gè)東西不容易的，一方面運(yùn)氣的成分肯定是挺重要的，但這個(gè)事情并不是人可以把握的，只能說謀事在人，成事在天，但是你首先得謀好，不然給機(jī)會(huì)又會(huì)抓不住。
那么怎么能夠把每一步要做的事情做到最好，或者說往你的目標(biāo)方向去驅(qū)使，每一步都需要做過仔細(xì)的思考，而不是拍腦袋就能拍出來的。
對(duì)未來加入港科大（廣州）的學(xué)弟、學(xué)妹們，說一個(gè)推薦他們來就讀的理由吧。
邱迪聰：港科大（廣州）有世界前沿的研究課題和匹配的師資力量，在產(chǎn)學(xué)研結(jié)合方面有著獨(dú)特的優(yōu)勢，學(xué)校也在大力支持創(chuàng)新創(chuàng)業(yè)工作，能夠讓最前沿的研究產(chǎn)生最大的價(jià)值，學(xué)校氛圍開放包容，能夠讓我們?cè)谧杂傻沫h(huán)境下實(shí)現(xiàn)科研和創(chuàng)造的抱負(fù)。
