首先,我贏了 #
有得獎,第二名,這樣也能夠維持住在台灣目前為止所有的法律科技賽事都有得獎的紀錄(我知道的)。
關於這次競賽的題目,其實我很早就想到了。
有趣的是,相較於其他組別提出來的解決方案,我的點子算是 AI 濃度很低的了。本來在出賽的計劃書繳交中,我還有把 RAG 內外規比對的內容寫進去,但後來考慮到專案時程,就在最後報告前決定不講了。
這一點我認為從結果來講是正確的策略,因為 RAG 現在的應用實在是爛大街了。從我在決賽當天偷聽到的內容來看(當天還沒輪到不給聽報告),大約七到八成的組別在他們的解決方案中提到 RAG。這一方面來說,太多人用就缺乏獨特之處;另外,使用 RAG 的組別幾乎一定會被問到的問題,就是你如何確保效能。這一點也是很多組別會被打倒的地方,因為就我所知,現在常用在提升 RAG 性能的作法,也僅僅只能達到提高效能,沒有人敢確保每一次自己檢索回來的答案是百分之百正確無遺漏的。當然也有人只是單純採用,未進行什麼性能提升。
做了什麼 #
而我們的作法,與其說是展示了個高性能的解決方案,不如說是穩定,這可能也是法律產業更加重視的特質。一位評審在 QA 階段就問到說,你們跟 Perplexity 的差別是什麼?我很篤定地回答說,我們的優勢就是我們絕對不會漏。首先考量使用場景,今天我們需要處理的資料蒐集問題有來源多、但來源確定的特性,政府的資料散落在各個部會的網站上,它們多、它們雜、它們 RSS 網址格式不統一,但是它在那邊,它是確定的。只是今天我們使用人力來做資料蒐集這件事效率很低,還有遺漏的風險。Perplexity 更擅長的是,你知道你大概需要什麼樣主題的資訊,但你不確定哪些地方有。在來源確定的情況下,RSS 能夠穩定地提供資料,因為在網頁設計的層面上,只要有一則新的資訊公開到公告區上,就會自動推送到 RSS,這兩個地方的資訊是同步綁定的。就算你今天擔心網頁設計有缺陷導致公布上有不同步的情況,也只要簡單地寫個程式去比對公告區的資訊跟 RSS 上的資訊是不是同步就好了(這邊我回答有失誤,不應該說就算出錯也是網站的問題,應該回答這邊的答案才對)。但如果你今天是用 Perplexity 來做這件事情的話,你會受到 Perplexity 採用的搜尋引擎排序演算法影響,這就有遺漏的風險。再來比較外部的原因,你可不想在漏了資料的時候跟客戶或庭上說是 AI 的錯,這會讓你的專業形象受到打擊,尤其是現在這個講求負責任地使用 AI 的趨勢。
說個不好的實踐,我的演講稿是在決賽的前一天寫的,雖然不是前一天才開始構思,但寫下來確實是前一天才開始,而且還沒寫完。我覺得有志參與這種比賽的人不應該這麼做。這一方面是因為我已經習慣了,一方面是我在這整個過程中,包含準備講稿、上台的過程中,都不斷地在腦海中演練我應該講哪些內容,直到這一切變成反射。我是個容易緊張的人,一緊張我就看不了文字,自然也就沒辦法看什麼預先寫好的小抄,所以一切在開始之前就必須先在腦子中演練過。
我認為我自己比起學術式的演講風格,我更習慣直銷、說服式的演講風格(我不喜歡這樣講但想不到好的說法了,motivation speech?)。這包含說服台下的人我在講的事情很重要、痛點很痛,還有類似於與聽眾互動的風格,其中可能包含不少問句、反問、演戲、裝作驚訝。要是今天要我看著講稿照著念,我可能會因為緊張看錯字,念得亂七八糟。
錯誤反思 #
我覺得沒能獲得第一名,一方面是 pitch 的 QA 階段沒有做得很好(簡報跑掉、回答講出不該講的東西、沒有完全 get 到人家的問題、沒有回答到點上);另一點則是技術堆疊不夠,或說是在包裝技術這方面沒有做好。我不認為我的作品從實用層面比第一名差,但是在表現出這件事情背後蘊含的技術時,沒有讓人達到驚艷的程度,或者更簡單的理由是:AI 濃度不夠高,畢竟決賽評分項目上就有一個專門的分數是針對 AI(雖然我並不認同這個指標,法律科技應該重視問題的解決,而不是為了 AI 而 AI)。
但我們能說這次針對擊中痛點的策略來說是非常成功的,考量到我投入的時間、資源、規模,第二名是完全可以接受的結果。有趣的是,我在頒獎典禮一開始的時候對著夥伴說:跟你賭至少有最佳簡報(自認講得很好),然後就是沒有最佳簡報、沒有佳作。我還嘴硬說:有前三、有前三,但當聽到第三名不是我們的時候,我的心就已經涼了一半了。結果聽到第二名是第 14 組時,我就超大聲外加大動作地「YES!」從椅子上彈起來,拍夥伴的背。我想在場的團隊應該都很傻眼吧,怎麼這個人只是得了第二名就開心成這樣。不過管他的呢,這是屬於聖者的特權。對我來說這一路真的太累了,有得名次就已經足以慶祝了。