紀懷新今日在Google Cloud Day台北場的專題演說中表示，過去20年來，智慧型手機每一個App都是搜尋、推薦系統的變體，而Google、Meta、抖音的收入，比如說Google的金雞母搜尋引擎、Youtube，或是Instagram與抖音的短影音推薦，也都是基於搜尋、推薦系統所打造，搜尋、推薦系統每年為全球網際網路產業帶來1兆美元的收入。
而紀懷新就是打造每年為Google帶來百億美元收入的推薦系統背後推手之一。
即使生成式AI快速進展，都還沒有徹底改變網際網路的經濟模式，不過紀懷新認為，隨著Chain of Thought（思維鏈）導入大語言模型，整個網際網路的生態系統將會出現重大改變。
他解釋，過往大語言模型依賴機器學習來進步，機器學習的方法是在一大堆資料中辨認出特定的模式，來預測下一個token是什麼，但是很快就遭遇瓶頸，因為它沒有辦法做多步驟的推理，所以，科學家希望訓練AI，就像我們教小孩子的方法一模一樣來解決這個問題，也就是說，人類教小孩是給小孩看數學題怎麼解，小孩從中學習解決問題的步驟，就能舉一反三來解決其他問題。
紀懷新表示，現在AI模型因為學到這招，推理能力已經增加好多倍，AI發展出推理能力之後，終於從預測下一個token、升級至可以預測下一個idea，面對複雜的真實世界任務，AI才能因為能夠推理，而擁有自動規劃步驟的能力，並自動操控軟體工具，並能以文字、聲音、影像等多種模態輸出推理後的成果，甚至AI代理如何自我進步來完成目標。
紀懷新表示，能夠推理的AI在真實世界初步的應用範例之一，就是Google與加拿大電信業者Bell合作，當用戶拿到新的網路設備、不知道怎麼設定、怎麼接線時，用Google的App掃一掃，就會自動告訴你要怎麼做。
紀懷新認為，AI推理與預測下一個idea的能力，將擴展至跨手機、電腦、智慧眼鏡等各種不同裝置，這些裝置只要在同一個帳號裡，就擁有同樣的記憶，換裝置也不影響AI使用，面對主人的提問能夠即時反應，並且按照個人需求與偏好高度客製化與個人化，「你還覺得以後的手機還是長得一模一樣嗎？」
他也說，不同的產業，像金融業與醫療業需要的LLM就會不同，所以AI不只能依照不同需求而「可程式化」（programmable），面對AI記憶力差、代理式AI不受控、資安風險、軟體工具使用性、還是很會幻想等挑戰，矽谷正在發展Agent Harness，也就是不再依賴更新、更厲害的模型，而是把AI模型變成一個無需持續監督也能完成真實工作的可靠工人，現在矽谷正開始建立整套的AI駕馭系統，紀懷新建議「台灣一定要跟上這個東西，它非常、非常的重要。」
