Insight Tech

我們最近邀請了 CCS Insight 的 Martin Garner 與 Bola Rotibi 上 IoT Chat，討論公司的年度物聯網預測報告，格外聚焦於邊緣和 AI 領域。不過這份報告和那次談話關於 5G 和網路的資訊量非常龐大。因此，這次我們決定與 CCS Insight 的網路總監 Ian Fogg 將焦點特別放在 5G 崛起和智慧網路。

目前，幾乎全球所有產業都必須連線網路。各行各業都希望快速即時獲得可靠的資訊，但前提是網路速度也要夠快。連線網路的智慧裝置也越來越多，因此電網必須包辦所有這類連線工作。同時，產業與公司還設法實現永續發展目標。5G（甚至 6G）與 AI 是否真的有助於實現這些目標？我們來一探究竟（影片 1）。

影片 1。CCS Insight 的 Ian Fogg 探討 5G 和物聯網網路領域的最新發展，以及 2024 年和未來的展望。（資料來源：insight.tech）

過去幾年，5G 和網路的格局發生了什麼樣的變化？

5G 最初於 2019 年問世，當時的標準屬於非常早期的版本。從近期的情況來看，5G 的功能已經大幅提升。舉例來說，我們發現 5G 近期已經應用於私人網路。據我們所知，2023 年公布的私人網路中，45% 部署了 5G。

我們還觀察到即將問世的第 17 版 5G 標準包含非地面網路。我們預期，到了 2027 年，15% 的智慧型手機使用者會擁有衛星支援的裝置。那麼，這項預測對物聯網的意義是什麼？過去常見的情況是，消費者領域先催生出創新技術，然後因為有共通點，再將這項技術重新用在其他用途。衛星功能確立之後，研發衛星的主要廠商便能選擇支援一種以上類型的客戶。

過去一年我們還觀察到，業者組織 GSMA 大力支持的 OpenAPI Initiative 發表了。這項計畫還包含管理網路品質與其他網路類型設定的網路 API。

5G 在這類物聯網網路的下一步是什麼？

我們的其中一項預測是，2025 年之前，應用程式型網路功能的數位市場，將會提供超過一百個版本的網路功能與 API。我們知道目前已經有幾項小型計畫，但未來 18 個月左右可望大幅擴大規模。

我們也預期，2030 年前，混合式私人-公共 5G 會成為主宰私人網路的選項。獨立私人網路僅針對該產品選擇使用專用網路。然而，採用若干獨立 5G 和網路切片新功能的混合式解決方案，提供的服務品質有別於其他使用更寬泛行動通訊 5G 網路的業者。對於企業可能擁有專用私人網路，但希望人員或裝置在專用場所之間移動的地點，該混合式解決方案弭平了這個落差。雖然這是漸進式的趨勢，但我們認為，到了 2030 年，這將成為壓倒性的發展。

5G 和網路邊緣如何跟上物聯網的需求？

我認為這種混合式功能對於滿足這類需求格外重要，因為專用私人網路（可能位於港口、製造設施或其他有限地點）以及各領域對於高品質服務需求之間的鴻溝得以消弭。

另外，將 AI 運用於網路不同環節的各個領域和產品類型也越來越重要。我們認為，AI 可更妥善管理流量模式、確保網路提供的服務品質夠優異，以及管理停電或停機的問題，大幅提高 5G 網路的可用性，甚至於突破朝九晚五的運作時間限制。

請進一步說明，如何運用 AI 增強 5G 和物聯網網路。

網路人員將 AI 應用於各種領域。舉例而言，他們正利用 AI 改善 RAN 管理。我們經歷了從原始 4G 升級為 4G Advanced 或 LT Advanced，繼而升級至 5G 再升級為 5G Release 17 等的過程，不僅 RAN 的複雜度隨之提高，需要管理的設定也越來越多。基地台之間的互動以及不同頻段之間的互動更為複雜，而 AI 正是支援持續 RAN 管理提高涵蓋率與效能的重要方法。

我們認為，AI 對於推行 Open RAN 也非常重要。過去，服務供應商都是向網路供應商購買基地台，而且該供應商基本上會整合及包辦一切。Open RAN 的概念是，基地台內有介面，因此服務供應商可以混搭不同的供應商。我們認為，AI 有助於將這個過程化繁為簡。

此外，我們認為環保是個有趣的重要議題：實現碳排放目標，控管網路的能源成本。服務供應商通常希望，在減少能源使用量的同時，維持使用者所需要的網路體驗。那麼，若要提供符合需求的體驗，最多可以減少多少網路資源？機器學習工具可以在 RAN 最佳化方面派上用場。我們預測，在 2025 年前，智慧無線存取網路技術結合自動化與 AI 驅動的節能技術，至少能讓三大業者提早數年實現碳中和目標。

5G 和物聯網網路功能如何協助產業實現永續發展目標？

智慧電網是探討永續發展的其中一個角度，因為很多人認為，太陽能和風力能源這種產生綠能的方式，既符合成本效益，還可隨機應變。難題則是在於，無法百分之百預測太陽能和風力能源發電的情況：兩者取決於雲層覆蓋情況、季節，以及當時的天氣系統狀況。此外，有時候還會遇到發電量過剩的情況，所以必須鼓勵終端使用者消耗部分電力。有時候則是因為成本太昂貴，或是綠能發電量不足，所以希望使用者減少能耗。

因此，我們認為，太陽能和風力發電的使用率增加時，必須運用智慧電網技術才能實現平衡供需，而且我們預估，從 2028 年起（或在此之前），多數先進經濟體將廣泛採用智慧電網技術。甚至是現在，這股趨勢也早已有跡可循。

5G 如何協助電網更智慧彈性也更永續？

以電動車充電為例，網路技術能夠透過各種方式派上用場。很多電動車都有行動通訊功能，因此使用者可以遠端設定節能模式，並且指示汽車安排充電的地點與時間。很多家用電動車充電器也有類似的遠端控制功能，可以利用 Wi-Fi 或其他方式控制。不過，家中的智慧電錶通常也具備行動網路連線能力。因此電力公司能夠監測用電量，據此向使用者收費，而且收費方式有時甚至極為精細。

電動車的連線能力、電動車充電器及智慧電錶這三個終端使用者電動車充電過程的不同環節，網路技術都能派上用場，而且重要性與日俱增。

5G 還會位居主導地位多久？

事實上，在 5G 時代，即使是 4G 也依舊舉足輕重。誠如我所提到的電動車情境，電動車多半都配備 4G 行動通訊無線電。智慧電錶甚至可能包含 2G 無線電設備。這些網路時代往往會重疊。因此，即使 6G 問世，5G 也依舊重要。不過，6G 絕對正在發展，我們已經觀察到，6G 頻譜的討論正在進行中。

此外，6G 的使用案例也有所進展。其中一個使用案例，就是利用行動網路感應特定地點的情況。行動網路可以感應馬路上的車流量，或是感應正走在人行道的行人。目前已經有這類實例：部分 Wi-Fi 存取點可以感應是否有人在家，發揮簡易警報系統的功能。

不過有人認為，6G 網路的功能更廣，能夠感應跨城市大範圍區域的情況。當然，這意味著您可以利用該資訊分析，然後據此採取行動。

就時程而言，如果是希望立即部署若干技術的公司，那麼 6G 可能無關緊要。如果產品的發展藍圖時間較長，目標設定在 2029 年、2030 年或以後，那麼就應該將 6G 納入這個發展藍圖。如果您是網路供應商，研發實驗室目前正火速研究 6G 技術，那麼您對 6G 則是抱持較前衛的思維。

相關內容

若要進一步瞭解 5G 與物聯網網路預測，請閱讀 2024 年和未來的物聯網相關預測 報告，以及收聽 5G 和物聯網智慧網路崛起和 2024 年最重要的物聯網和邊緣 AI 預測：利用 CCS Insight。如需 CCS Insight 的最新發展，請用 @ccsinsight 在 Twitter 和 LinkedIn 關注他們。

 

本文由 Erin Noble 編審。

又來到了做預測的季節。insight.tech 每年都會著重介紹 CCS Insight 中的頂尖物聯網預測，而今年涵蓋了不少邊緣和 AI 技術。我們會與 CCS Insight 物聯網研究負責人 Martin Garner 和其企業研究長 Bola Rotibi一同進行深入分析 (影片 1)。而我們同樣會再次為讀者推出完整研究論文「2024 年 與未來的邊緣運算和物聯網趨勢預測」。請務必參閱。

影片 1. CCS Insight 的 Martin Garner 和 Bola Rotibi 探討即將來臨的物聯網與 AI 趨勢和預測。(資料來源：insight.tech)

AI 顯然帶來不少好處與機會，也有能力顛覆產業和我們的生活。然而，這項技術也為大眾帶來某種程度的不安：資料究竟會如何遭到使用？有多安全？是誰負責用什麼樣的措施保障這項未知領域的創新和拓展呢？而企業也很緊張地嘗試保障投資的未來效益。但有一件事可以肯定：搞清楚如何應用 AI，並不單只是任何一方的責任而已。需要人人通力協作打造並運用這些解決方案。 

這波邊緣與 AI 技術的浪潮，如何影響 2024 年的物聯網預測？

Martin Garner：2023 年無論對邊緣或 AI 技術來說，都是重要的一年。ChatGPT 顯然造就廣大影響，且著實讓全世界看見人工智慧的實力，以及目前技術的侷限。我們去年的預測大多著重在邊緣，AI 則較少。而今年將大幅增加對 AI 的預測。不只是如 ChatGPT 等生成式 AI，也不只是個人能如何運用 AI。

其中一個範例預測是，在 2028 年前，大型醫療保健供應商會提供客戶能主動監控健康狀況的數位孿生服務。如今，您有大量個人資料四散各處，像是線上健康記錄、運動手環、智慧型手錶、手機上的資料等。但這些資料有些混亂，並未整合。因此我們認為醫療保健供應商會開始整合這些資料來源。他們會使用 AI，並基本上仿效工業界人士進行預防性維護的做法，只是對象改成人。當然，目標在於早期介入，也就是指以最小程度的外力介入，且通常介入措施的成本也較低廉。這是我們對於 AI 日後發展預測的範例之一。

這些技術進步是否會導致我們持續轉向使用雲端呢？

Martin Garner：我認為雲端與邊緣孰優孰劣的辯論會繼續持續好幾年。我想許多國家都擔心經濟，且我們也還尚未完全擺脫疫情的影響。因此，其中一項預測是，對經濟衰退的恐懼，會在 2024 年將雲端工作負載推向本機處理。早已使用混合式雲端的公司最能跟上這波趨勢。重整硬體對某些公司來說，是將工作負載重新部署到本機的好機會，同時也能節省一些成本。這是短期而言。

長期來看，我們認為有些領域存在波動，例如內包與外包服務，而邊緣與雲端可能是其中一個受影響的領域。不過，我們還有另一項預測，那就是在 2028 年底，雲端供應商的邊緣運算服務會重新定價。

那麼這究竟代表什麼呢？大型雲端供應商都提供邊緣運算服務，但實際上，公有雲佔了業務大宗。而邊緣服務有點像是公有雲的入門，目前定價方式也是如此。然而，針對邊緣運算的預測顯示，這項技術在五年內會擴展到大過公有雲的規模，而且可能差異甚廣。若真的發生，我們就會面臨依靠小規模業務補貼大規模業務的狀況，這完全不合理。

因此，我們確實預測在三到五年內，邊緣雲端服務的價格會上漲，且可能是大幅增加。許多工業公司可能會想考慮使用自己的邊緣預算，讓自己更具優勢，也握有更多選項。您可以說這是把邊緣技術當成避險策略。

我們可以預期明年 AI 解決方案會有何發展呢？

Bola Rotibi：2023 年是 AI 起飛的一年，對 IT 解決方案供應商尤其如此，有許多新工具問世，而 ChatGPT 顯然引發濃厚興趣。但我會說，AI 其實已經發展好一段時間了，人們早已在幕後使用機器學習和其他模型與演算法。在手機上搜尋圖片也是仰賴 AI 解決方案和模型。

我們注意到的是生成式 AI 的強大功能，尤其成為生產力解決方案。生成式 AI 能夠化繁為簡，讓複雜的問題能夠取得簡潔有力的相關資訊。因此人人都迫不急待投入。過去一年來，我們看到幾乎所有供應商，intel 也不例外，都在推出生成式 AI 功能，以及擴充 AI 解決方案。我們看到 Microsoft 推出人工智慧支援的 Copilot 以及 AWS 旗下的 Amazon Q。

因此，儘管有人呼籲要謹慎，我們仍預測 AI 投資和發展將於 2024 年加速。因為過去幾個月來，有些大人物都說：「等一等，我們得放慢腳步。」因此人們也開始擔心安全性，擔心是否存在相關法規措施、這些規範是否足夠有效。不過同時，我認為人們也真的很渴望取得並開發 AI 技術，因為 AI 提供的新體驗與互動程度令人驚嘆。

未來一年生成式 AI 的實際發展狀況如何？

Bola Rotibi：一方面 前景相當看好，而且發展速度飛快；另一方面，我們也會看到步調放慢。另一個預測是，雖然這波熱潮存在泡沫，我們也會看到許多新工具，在 2024 年，發展速度會在某種程度上趨緩。一部分是因為人們會確實認清成本的現實，以及今年才會揭露的一些風險和複雜因素。

2023 年的熱潮會冷卻，讓人們轉向更冷靜、細緻的做法，開始以正確方式運用生成式 AI，投入如編寫程式碼等功能。我們會開始見證 AI 出現在不同類型的職場解決方案，協助知識工作者與專業人士。

隨著投資加速，您認為針對 AI 倫理的計畫也會增加嗎？

Martin Garner：簡單來說，是。會出現越來越多這類計畫。AI 有潛力為社會帶來不少益處，但要是使用不當，也有潛力造成重大傷害。這有點像是受管制與未受管制的藥物。但差別在於，在 AI 領域實際上不存在一個專業機構，不像醫療界有醫學倫理誓詞這樣的規條。至少現在還沒有 AI 執業人員這種執照。

目前情況正好相反，只要有新技術開發出來，頂尖的 AI 公司就會公開程式碼，並盡可能加快上市。這顯然讓供應商與開發者，以及在客戶身上運用 AI 的公司有責任遵守道德使用原則。有許多事必須要搞清楚。

我們確實預測在 2024 年 AI 監督委員會將成為大型組織的常態，該委員會將集結倫理專家、AI 專家、法律顧問、資料科學家、HR 團隊、不同業務部門的代表，以審核全公司的 AI 使用。他們的工作是消弭技術團隊 (通常不精通倫理議題的工程師)，以及組織和其目標之間的差距。

許多公司因此必須增加大量行政開支、且必須進行大量訓練，才能加速發展並保持領先地位。這一切都是因為 AI 產業本身不擅於自我監督。

歐盟的 AI 法案對 AI 解決方案的發展有何影響？

Bola Rotibi：歐盟 率先推出 AI 法案 ，就像推行 GDPR 一樣。而我們也已看到歐盟批准數位市場法。但除了歐盟，美國、英國、中國和其他地區也在跟進。所以我認為監管機構正攜手合作，我們會在 2024 年底看到一些進展。不過，我想這是一個不斷協調磨合的過程，因為人們還在熟悉這項技術並瞭解其意義，這些都是新興技術才會有的問題。不過，我想這也會成為眾人團結的動力。

另外，在產業面，監督也確實在發生。最近，有 50 個組織，包含 IBM、Meta 和 Intel，聯合推出了 AI 聯盟。該聯盟致力於讓產業界攜手合作，一同進行標準化、將工作小組集結起來，提出處理特定 AI 問題和機會的策略與方法，以及創造讓終端使用者可以彼此互動的中樞。

打造 AI 解決方案的開發者應該考慮什麼？

Bola Rotibi：一切不只是開發者的責任。正如安全性是工作流程中所有人的責任，以道德方式使用 AI 亦是如此。當然，開發者可以捫心自問：「我做得到，但我該這麼做嗎？」同時，若想達成某種程度的一致，就必須在組織內部發布和流通指導方針與原則。這些指導方針與原則不只要由下而上，也需要由上而下推行。

我認為未來發展會更層次分明。這可能表示 Martin 提到的監督委員會，會從倫理觀點思考組織的立足點，並開始制定相關政策。而這些政策將被納入工具中，成為保護措施。不過，也必須為開發者提供指引與訓練，讓他們在開發過程中以負責任方式使用 AI。

許多組織都在思考影響力、永續發展等各類議題，因此早已有大量想法和計畫，讓人可以從多種層次構思，不只是思考如何以負責任方式使用 AI，更是整體而言如何才能做對的事。

5G 技術又有什麼影響呢？什麼時候開始考慮 6G 技術呢？

Martin Garner：5G 技術帶來得的好處之一，就是讓 AI 的使用更廣泛，因為容量很高，且 具備 對時間敏銳的網路定位服務。我們會看到 AI 運用在更多領域，如自駕車，而我們現在擁有的 5G 技術，以及即將推出的較新穎 5G 技術，都是背後的關鍵。

不過我想另一個有趣的點在於 AI 對 5G 的影響。5G 網路很複雜，整體的最佳化與管理也很重要。而我們也預測，AI 會讓 5G 網路的供應狀況超越九分之五。具體做法是分析流量模式，並確保以最佳方式設定網路，以處理特定類型的流量、找到問題、進行預防性維護、設定網路，好優雅地降解，或是在有問題發生時能自行修復。

現在談 6G 還有點早但當然已經有人在努力了。在未來五年左右，我們會開始建置 6G 網路，而我想 2030 年會是個重大里程碑。因此我們確實有些關於 6G 的預測。其中之一就是在 2030 年會出現第一座採用 6G 技術的大規模數位孿生城市。我們認為這些城市會成為 6G 的絕佳典範，而大規模數位孿生會成為最佳使用案例，因為城市的每個層次都有可能納入模型之中。城市內即時資料的規模與速度，絕對需要 6G 技術支援。我們認為 2030 年將會是指標性的一年。

相關內容

若要瞭解邊緣 AI 趨勢預測，請收聽 CCS Insight：2024 年頂尖物聯網與邊緣 AI 預測，並參閱 2024 年與未來的邊緣運算與物聯網預測。如需 CCS Insight 的最新發展，請用 @ccsinsight 在 Twitter 和 LinkedIn 關注他們。

本文由 Erin Noble 編審。

AI 的趨勢已經持續一段時間。邁入 2024 年，生成式 AI 已然興起，也正開創突破性的創新技術。絕大部分的目光都集中在 ChatGPT，其中許多人仍抱持對於生成式 AI 的錯誤觀念和誤解。

我們分別採訪了 AI 應用平台供應商 Anyscale 首席科學家 Waleed Kadous、全球管理顧問與技術公司 Accenture 的雲端首席技術專家 Teresa Tung，以及 AI 與分析首席總監身兼 Accenture 與 Intel 夥伴關係 CTO Ramtin Davanlou。共同探討生成式 AI 解決方案的商業機會、所面臨的挑戰，以及未來的發展方向（影片 1）。因為生成式 AI 時代已來臨，各方面發展值得我們寄予期待。

影片 1。Anyscale 與 Accenture 的業界專家探討生成式 AI 解決方案的影響與機會。（資料來源：insight.tech）

請談談生成式 AI、其商業機會與挑戰。

Ramtin Davanlou：簡單來說，OpenAI、Google 和 AWS 等公司利用大量運算資源和大量資料集來訓練 AI 模型（或稱 LLM 大型語言模型），得以生成全新內容，並建構全新知識。這些內容有各種不同形式：包含文字、影像、影片、語音，甚至是電腦程式碼。文字是大多數企業的主要通訊方式，因此格外重要。

許多 AI 模型能針對任何指定主題生成適當的回應，且回應品質更勝於一般人或該領域的一般專家。公司可以針對這些模型進行微調，讓模型以特定方式運作，並獲得更多特定情境相關知識。藉此創造出豐富的商業機會。

公司可以利用生成式 AI 完成傳送電子郵件或製作投影片等工作，藉此相互交流，或甚至是增強這些內容。此 AI 結合機器人技術，將對服務業和製造業造成重大影響。

不過 LLM 現在還無法做到，但可能很快就能做到的，是從頭開始構建新知識。

企業在開發 GenAI 解決方案時應考量的因素有哪些？

Waleed Kadous：其中一項需考量的因素就是這些模型的輸出品質。LLM 有一種稱為幻覺的問題，會斷言完全不正確的事物。那麼，如何評估才可確保系統能產生高品質的成果呢？您使用哪些原始資料？過去六個月內，我們見證了「檢索增強生成」領域的發展，此技術有助於將幻覺問題發生率降至最低。

第二項考量因素是資料整潔度，指的是關於 LLM 可存取的資訊。其中會揭露的內容是什麼？告知訊息的權力從何而來？不同使用者之間是否存在洩漏問題？是否可能會有人針對訓練模型所使用的資料進行反向工程？目前這還是全新的領域，因此時常會有突發問題產生。

最後一項需考量的因素是 LLM 高昂的價格。我的意思是，非常昂貴。您很容易就會在 GPT-4 一個月花費數十萬美元。

企業如何開始使用 GenAI 解決方案並將其提升至全新境界？

Teresa Tung：大多數公司會先進行概念驗證，而許多公司開始採用 OpenAI 等託管模型。這些令人驚豔的通用模型可應用於許多使用案例，並可成為入門此領域的絕佳方式。但正如 Waleed 所言，長期成本是其中一項因素，其金額可能比許多公司願意支付的成本更高。因此，公司現在必須考慮如何精簡成本，並將模型適型化以達到應有效能。

隨著 AI 模型對企業而言越來越重要，我們也看到企業希望掌握其所有權。企業可能會希望能建立自己的特定任務／企業模型，而不是使用託管模型。有大約 100 億以下的參數模型可針對不同需求量身打造。仍會有通用模型可用，但也有專用模型。

Waleed Kadous：我們在 Anyscale 所做的其中一項實驗是將自然語言轉譯成 SQL 查詢。通用模型 GPT-4 的準確度可達 80% 左右。SSM（一種小型的特定模型）僅有 70 億個參數，大約是成本的百分之一，但透過訓練可以在轉換過程中達到 86% 的準確度。目前業界仍持續不斷討論比較小型特定模型與大型語言模型。

目前對於貴公司的客戶而言，生成式 AI 最有利可圖的商業機會在哪裡？

Waleed Kadous：第一種使用案例與機會是摘要。在哪些領域中需要濃縮大量資訊，且這些資訊有益於進行濃縮？

第二種使用案例與機會，是我先前提到的檢索增強生成領域。您不會只單純地向 LLM 提問，而是會提供既有的答案知識庫，用以協助回答這些問題。

另一個有趣的應用方式，您可以稱為「與系統對話」。想像一下，它是一塊可以交談、活生生的儀表板。這在物聯網領域中特別有趣。我發現有一間公司，以十分專業的方式應用此技術：為零售商安裝 Wi-Fi 設備。您可以向這個儀表板提問，例如：「哪些路由器正在過度運轉？」它會即時查詢相關資訊，並提供您最新資訊。

最後一種使用案例與機會是情境中的應用開發。最著名的莫過於 Copilot，當您編寫程式碼時，此工具會提供您關於如何編寫更完善、更高品質程式碼的建議。情境中的應用是最困難的一環，但也最有潛力。

Teresa Tung：Waleed 剛為我們提供精彩的概要說明，接著我會分享一些不同的觀點，包括可以購買的工具、可以提升的領域，以及可以建置的項目。「購買」是指購買生成式 AI 支援的應用程式，用於軟體開發、行銷、企業應用程式。這些應用程式使用經過第三方資料訓練的模型，可協助使用者提升效率。此領域已快速發展，成為新常態。

「提升」是指應用公司的第一方資料，包括有關您的產品、客戶與流程的資料。若想順利獲得提升，則必須妥善處理資料基礎，推薦您可以從檢索增強生成開始著手。

「建置」是指公司維護其自訂的模型。可能可以從預先訓練的開放模型開始，之後再加入您自有的資料。如此一來可以讓您獲得更多的模型控制權與自訂功能。

Accenture 與 Intel 的夥伴關係能發揮哪些作用呢？

Ramtin Davanlou：在這個領域中，夥伴關係非常重要，因為各公司在試圖打造端對端 GenAI 應用程式的過程，通常都必須解決基礎架構與運算資源等問題。舉例來說，您需要高效的 ML Ops 工具來協助您處理所有工作，包括開發、管理、監控以及在生產環境中部署模型。

因此我們應用了一些 Intel 軟體，如 ML Ops 工具 cnvrg.io，讓資料科學家與工程師可以在同一環境中協作。這樣的夥伴關係也讓我們可以跨雲端平台使用不同運算資料，例如在內部部署環境、Intel^® Developer Cloud 和 AWS 等平台。

也能夠降低擁有權總成本，尤其是擴充後的成本。與其每次為了新的使用案例建置新平台，何不建置一個可以重複使用的平台呢？舉例來說，我們在 Intel 使用 Intel Developer Cloud 搭配 GaudiTools 打造出一個生成式 AI 遊樂場，而 GaudiTools 正是專為微調深度學習應用程式模型而打造的 AI 加速器。接著，您可以使用 AWS 大規模部署這些模型。

另一個常見需求是需要協助分散工作負載的工具。Hugging Face 的 TGI 資料庫非常實用。因此您會發現，我們需要結合不同元件和組件，才能順利打造端對端 GenAI 應用程式。

Waleed Kadous：另外是開放原始碼的部分，包括開放原始碼模型，當然還有開放原始碼軟體。其中一個範例是 Meta 發佈的 Llama 2 模型，我可以看見成果非常亮眼。此模型可能比不上 GPT-4，但絕對是和次一等級的 GPT-3.5 旗鼓相當。Berkeley 推出的 vLLM 和 Ray LLM 都是非常高效能的部署系統。vLLM 可用於管理單一機器；Ray LLM 可為您提供跨多台機器的可擴充性，讓您可以處理峰值與自動擴充等問題。

我們見證開放原始碼蓬勃發展，因為並非所有人都喜歡將所有資料委託給一兩間大型公司，而供應商鎖定問題也是非常值得關注的議題。另外，關於靈活性：我可以在資料中心進行部署，或是在我自有的 AWS 雲端部署，除了我之外沒有人能進行存取。

而且，因為成本的緣故，開放原始碼解決方案的費用更低。我們整理出打造電子郵件摘要引擎所需的費用，若使用 GPT-4 等級的工具，需要花費 36,000 美元，而若使用開放原始碼技術，則只需要花費 1,000 美元左右。

我們發現越來越多人對開放原始碼模型感興趣，包括注重成本的新創公司，以及較注重隱私與資料控制的大型企業。我不是說開放原始碼模型和相關技術已臻完美，而是這樣的模型與技術十分靈活且成本更低。開放原始碼有各種大小的模型，從 1800 億到 70 億都有。是具有高度彈性的。

生成式 AI 成為主流的先決條件是什麼？

Waleed Kadous：市場走向之一是開發更易於使用的 LLM。但另一個問題是，我們尚未完全瞭解如何進一步打造更完善的模型。如果 LLM 出錯，該如何修正？這聽起來好像是一個簡單的問題，但解決方法卻很微妙。我們可以看到在評估與監控階段的技術有顯著改善。

而到目前為止，焦點一直集中在大型語言模型（文字輸入、文字輸出），因為世界上每一間企業都在使用語言。但我們也能開始看見模型的進化，開始能處理或輸出影像。正如有 Llama 能處理文字，現在也有 LLaVA 能處理影片與視覺相關應用，即使世界上並非每一間企業都需要處理影像。

企業領導者應如何看待生成式 AI？

Teresa Tung：希望各位領導者能開始理解，企業擁有自己的 AI 模型有多簡單。但的確需要從資料基礎投資開始，請牢記，資料是 AI 的關鍵。好在企業也可以使用生成式 AI 協助處理資料。實際上可以達到雙贏的局面。

Ramtin Davanlou：我認為監管與道德合規，以及解決幻覺問題和其他關於負責任 AI 的課題，是企業需要克服的最大挑戰。以及大規模應用 GenAI 所需面對的文化變革，是企業取得成功的一大關鍵。

Waleed Kadous：企業必須立即著手開始，但並不用想得太複雜。可以將其視為階段性流程。製作原型，而且必須獲得使用者喜愛。第二個問題在於成本與品質。

您可以提供工具，讓使用者針對其工作流程進行最佳化，並提升 LLM。我認為這確實是讓人最為期待的一大趨勢，非將 GenAI 視為取代性的技術，而是視為輔助技術，能讓使用者能更出色地完成工作。幫助人們妥善運用 LLM，讓使用者感受到自我潛能提升，而非選擇被淘汰。

相關內容

若要進一步瞭解生成式 AI 技術，請聆聽《生成式 AI 解決方案概觀》。若要瞭解 Accenture 和 Anyscale 最新的創新技術，請追蹤：

• Twitter：@Accenture_US 和 @anyscalecompute
• LinkedIn：Accenture 和 Anyscale

 

本文由 Erin Noble 編審。

為了提高盈利能力、最佳化生產，並在高度競爭的商業環境中取得成功，越來越多製造商轉向電腦視覺技術。不過，開發適用於工廠現場的解決方案是一項極其複雜且耗時的過程。

這是因為電腦視覺模型用來組合產品或是尋找零件和機械瑕疵的 AI 演算法，需要大量訓練。即使有預先訓練的模型可用，但其準確度遠不足以進行部署。訓練自訂模型通常需要大量資料集、引導訓練的熟練工作人員，還有數個月的工作。

對於想要實作支援視覺解決方案的製造商而言，這是嚴重的開發瓶頸，並且阻礙了該行業的數位轉型。但有一種全新的 AI 模型訓練方式稱為「少量樣本學習」，可能是加速部署 AI 解決方案的關鍵。

少量樣本學習如何加速 AI 模型訓練

若要瞭解為何少量樣本學習是改變現狀的關鍵，建議您可瞭解電腦視覺模型通常的開發方式。

一般而言，自訂 AI 模型是以預先訓練的模型開始。我們以組裝產線環境中的使用案例為例。開發團隊可能會以通用電腦視覺模型作為開始，來進行物件識別。但該模型無法識別公司所使用的特定元件。若了使其準確度足以滿足部署需求，開發者通常會採用名為「監督式學習」的方法，來為 AI 模型提供含有註記的訓練資料，協助 AI 模型瞭解特定零件或瑕疵的外觀，並能夠區別出其他物件。

但這項工作通常需要數以千計的圖像。在監督式學習情境中，這些圖像也必須由領域專家加上標記（「這個是小工具，這個不是」），以教導模型需要知道的內容。這是一項昂貴且需要大量人力的工作，因為熟練的員工必須先為影像加註，然後在多輪訓練中調整模型的超參數。

「即使是在最佳情況下，監督式學習也會需要數小時的熟練人員作業，且需要花費數個月才能完成。」全球運算智慧公司，Lenovo 集團的演算法研究員 Lu Han 表示。

在某些情況下，則可能不適用監督式學習。舉例來說，如果製造商需要訓練模型來找出新型零件的瑕疵，可能就沒有足夠的故障零件圖像可用來自訂模型。

少量樣本學習能夠採用不同方法，來克服這些難題。「少量樣本學習」中的「樣本」是指在訓練過程中，給予模型的物件類型樣本數量。

在這個過程中，我們能夠教導 AI 學習識別一般物件之間的相似度或差異度。接著，這項功能可用於將未見過的物件與少量參考範例配對。舉一個簡單的例子，您可能會提供螺母、螺栓和螺絲經過標記的圖像給模型，並為每個類別附上兩個樣本，以及螺栓的測試圖像，然後要求模型預測三個物件類別中，哪一個與螺栓測試圖像最為類似。

少量樣本學習僅需要極少的經標記圖像，即可自訂 AI 模型（只需幾十張而不需要數千張），且通常只需要幾天或幾週即可完成，而不需要幾個月。此結果大幅簡化了現有的 AI 開發工作流程，幫助公司比以往更快地部署 AI 解決方案。

用於識別瑕疵的少量樣本學習系統

典型案例：Lenovo 於紡織品製造商實作的瑕疵識別技術。

為了確保品質，製造商必須能識別其生產的紡織產品中，超過 80 種不同類型的表面瑕疵。人工檢查無法達到他們所需的品質控制水準。

該公司希望能開發採用 AI 技術的瑕疵識別解決方案，但面臨許多廣為實作的障礙。訓練自訂模型非常困難，因為可供使用的瑕疵樣本很少。此外，他們使用同一條生產線製造各種產品，因此任何 AI 解決方案都必須能隨著產品和材料的變化，迅速在邊緣更新模型。若是採用傳統訓練方法，預估需要 6-12 個月的時間才能建置可運作的 AI，這是令人難以接受的時間長度，而且不利於未來的反覆過程。

Lenovo 作為智慧製造領域的領導者，在其研究部門 Lenovo Research 中孕育出 Lenovo Edge AI。它具備強大的技術功能，可解決上述難題。Lenovo EdgeAI 與製造商合作，利用少量樣本學習技術，開發出端對端電腦視覺瑕疵識別解決方案。初始訓練和本機模型更新僅在一週內完成。準確度令人印象深刻：沒有遺漏任何關鍵偵測項目。

為了減少延遲並支援本機管理，Lenovo 在邊緣工業個人電腦（IPC）上執行 AI 推斷工作負載。這能夠近乎即時切換用於多種產品類型的不同 AI 模型。這也讓工廠品質保障人員能夠現場重新訓練模型，以對應未來的產品修改或新出現的瑕疵。

Lenovo 認為與 Intel 的技術合作有助於有效部署解決方案。Han 表示：「我們的系統採用 Intel chips，為客戶所需的邊緣情境提供強大的運算資源。」

Lenovo 也使用 Intel^® OpenVINO^™ 工具組。Han 表示：「我們的推斷引擎與各種工具組廣泛相容，尤其是 OpenVINO。針對推斷，在 Intel 晶片執行時，可支援大約 20 個邊緣 AI 模型。我們的許多客戶都喜歡搭載 Intel chips 的裝置，有助於我們更快速地將此解決方案推向市場。」

利用少量樣本學習加速工業 4.0

由於少量樣本學習是加速 AI 解決方案開發的有效策略，它可能會成為解決方案開發者、系統整合商（SI）和製造商的首選。它也有助於降低成本，因為少量樣本系統能更輕鬆地重新訓練，以適應新產品模型或未曾見過的瑕疵等營運變化。

透過 SI 和解決方案開發者提供全方位的服務與諮詢套件，隨著 AI 的使用量增加，工業 AI 生態系統也會日趨成熟。Lenovo 已將其瑕疵偵測系統作為端對端解決方案銷售，並提供全生命週期服務套件，以及針對軟體的訂閱型支援。

Han 表示：「電腦視覺在製造業中正成為不可或缺的一部分。少量樣本學習有助於公司更快速實作創新電腦視覺解決方案，加速數位轉型，並更快實現投資報酬率。電腦視覺與少量樣本學習在這個領域都有光明前景。」

 

本文由 insight.tech 撰稿人 Teresa Meek 編輯。

AI 正在顛覆世界，每天都在不同的產業中不斷演化，轉變為不同的產業。一部分的原因是開發者正在打造新的解決方案，努力掌握每個新一代 AI 的潛力。而 Intel 能助一臂之力，讓一切成真，為開發者提供所需的技術與工具，例如 OpenVINO^™ 和 Intel^® Geti^™。此外，OpenVINO 和 Geti 的設計旨在串連開發者和商業領域使用者，進一步推動新一代 AI 解決方案與使用案例。

為了進一步瞭解新一代 AI 開發專案，我們與 Intel AI 宣傳師 Paula Ramos 展開交談。她探討了 AI 解決的實際問題、涉及的 Intel 功能，以及 AI 的普及與散佈（影片 1）。因為這不僅是為開發者提供工具與技術；同等重要的是一開始就提供教育和資源，讓更多人進入這個領域。

影片 1。Intel AI 宣傳師 Paula Ramos 探討讓新一代 AI 成真的趨勢和技術。（資料來源：insight.tech）

您如何看待 AI 目前如何不斷發展及解決實際問題？

AI 發展神速；每天都有新事物出現。現在人們對它的認識比以往都更加深入，因為這些現實世界的問題轉變為令人驚豔的解決方案。新創公司正在利用晶片的力量與 AI 功能解決這些問題。

舉例來說，AI 協助人們利用翻譯進行交流，即在一百種語言之間翻譯文字。另一個絕佳的實例是自動駕駛汽車系統，部分汽車品牌正用它來控制汽車轉向、加速和剎車，有可能減少交通死亡與事故。AI 可協助醫生診斷癌症、制定個人化的治療計畫，或是加速新藥與療法的部署。它協助農民減少殺蟲劑與除草劑的使用。AI 協助人類更迅速地解決問題。

讓開發者更容易取得 AI 有何重要？

關於這個問題，我有三個想法。首先，為開發者打造更容易取得的資訊，可加快 AI 創新的速度。愈多的開發者能取得 AI 工具且愈容易取得，技術就能愈快發展，加速創新的速度。取得最新的硬體改良也很重要。它實際上是另一種工具，因為它可讓開發者更高效且更有成效地建置及部署應用程式。

第二點是讓 AI 普及化。我們必須確定 AI 適合所有人，且每位開發者都有機會從這項技術中受益。透過讓使用者更容易取得，我們促進縮小 AI 採用率的差距。

第三點是解決 AI 人才短缺問題。目前全球對 AI 開發者求才若渴，但開發者的人數卻不盡人意。透過讓 AI 更易於學習及使用，我們能協助培訓更多開發者，縮小 AI 人才的缺口。

有哪些工具和硬體應運而生，因應 AI 的普及化問題？

我對 Intel 宣佈推出全新的 AI 電腦感到很興奮。它採用 Intel^® Core^™ Ultra 處理器建置，整合了 GPU 和稱為 NPU（神經處理器）的新元素。我在九月的 Intel^® Innovation 大會的生成式 AI 展台上展示了它，效能非常出色。Intel 執行長 Pat Gelsinger 示範在一台 AI 電腦上在本機執行的 Llama 2 聊天機器人，使用的是 LLM 模型，在 Windows 機器上執行。可以確定的是，在沒有網路連線的情況下利用 AI 安全得多，且不會將資料傳送至雲端。

許多人以為 Intel 只是一家硬體公司，但我們表現亮眼，向開發者展示能如何利用 OpenVINO 等架構或系統，以及 Intel 擁有的推斷與部署架構，輕鬆改善解決方案。AI 電腦也具備執行 OpenVINO 的功能。而 OpenVINO 向我們展現了 Intel 利用 AI 的潛力。如今 OpenVINO 無所不在：智慧城市、製造業、零售業、醫療保健，以及農業。過去一年中它的下載量增加了90%。

能否進一步說明 OpenVINO^™ 與 AI 之間的關係？

OpenVINO 是 Intel 在用戶端和邊緣平台為開發者提供的一套工具組；它為邊緣 AI 注入動能，讓生成式 AI 更易於取得，在多個硬體平台將神經網路推斷最佳化。然而，OpenVINO 的主要目標是執行模型的最佳化與量化，以便我們縮減其大小。我們可以減少記憶體的佔用面積，並在各種硬體（Intel 和非 Intel）中更快地執行模型。我們使用 OpenVINO 是為了解決開發者真正的痛點。

另一項重點是，一旦擁有中間語言格式（即 OpenVINO 格式）的模型，您就可以在任何地方部署。這就是 Intel 與部分競爭對手的差異之一。

開發者如何利用 Intel^® Geti^™？

Intel Geti 這個平台可協助組織快速開發電腦視覺模型。簡言之，它整合了所有必要一切，包括註釋、訓練、最佳化、測試。您可以建立專案、上傳註釋、上傳新的生產資料或以前的資料。您可以修改可訓練的功能、測試在伺服器中執行的部署，以及下載部署進而在本機執行。

因此，使用它好處多多。資料科學家、機器學習專業人士、系統整合商和領域專家能使用同一個平台合作。這是因為它易於使用，且有可能控制訓練與最佳化程序的多個方面。它也可以提供不同格式的建模，其中一種格式是中間語言格式（OpenVINO），它在 Geti 平台的幕後進行最佳化和量化。

Intel Geti 平台也提供 SDK，協助使用者利用易於使用的功能。它利用 OpenVINO 建立部署管道，無需電腦視覺專業知識，即可在包括 CPU 和 GPU在內的各種 Intel 硬體平台上加速推斷。這就是這個平台的美妙之處。

開發者非常容易使用 Intel Geti SDK 部署，因為 SDK 與電腦視覺任務無關，也與模型架構無關。開發者不必為模型輸入準備資料，也不必準備模型輸出以顯示結果。

女性進入 AI 領域面臨哪些挑戰？

我對這個話題很感興趣。我個人代表全球科技勞動力中的兩個少數族群。第一個是科技領域的女性，第二個是科技領域的拉丁裔女性，您可以將「科技」解讀為人工智慧或一般工程。全球科技勞動力中有 50% 是女性，但拉丁裔女性僅佔 2%。因此代表性嚴重不足，我希望貢獻一己之力，特別是為拉丁美洲國家增加教育和培訓的機會。

但我也想激勵更多女性從事 AI 領域。我想減少歧視與偏見。不分性別，每個人都該有機會在科技領域取得成就。女性能與男性平起平坐，認真討論科技議題。女性對如何解決問題有獨特的視角；我們擁有獨一無二的技能，可打造符合所有使用者需求的產品與服務。

我們也為 AI 領域做出了一些重大貢獻。其中一個例子是 李飛飛博士，他是史丹佛大學人本人工智慧研究中心的共同創辦人。她催生了深度學習，她發起了 ImageNet 計畫，這項計畫在深度學習部署中扮演著舉足輕重的角色。這是身為女性對 AI 產生的顯著影響，因此我可以想像其他女性也有能力，為這個領域貢獻多少想法。

關於 AI 開發的未來，您還想補充什麼？

有個重要問題我想問問開發者：您的夢想在哪裡？您可以實現這些目標，因為 AI 是一個強大的工具，有潛力為每個人把世界打造成更美好的地方。

所以，試試新技術、新模型與演算法吧。嘗試參與開放原始碼專案，積極做出貢獻。隨時關注使 AI 更加實用的最新趨勢。我們必須打造共融、公平且對所有人有益的 AI。引擎就在您的想像中。

相關內容

若要進一步瞭解 AI 趨勢，請閱讀傳播 AI：加速開發者成功的關鍵，並聆聽探索新一代人工智慧：與 Intel 合作。 若要掌握 Intel 的最新創新技術，請在 Twitter @IntelIoT 和 LinkedIn 上關注 Intel Internet of Things。

 

本文由Erin Noble 編審。