啟發開發者社群創新 AI 技術的動能

舉凡製造、醫藥或教育,企業莫不使用 AI 轉型產業;就連一般人也看得出這個趨勢。轉型的幕後功臣則是打造解決方案與推動創新的開發者。這項演變的速度,快到連專業人士與專家也望塵莫及。值得慶幸的是,沒有人必須獨自摸索 AI 開發的領域,現成的社群與合作關係生態系統就是您最好的幫手。

參與這場討論的嘉賓是 AI 與開發者社群中兩家公司代表:Intel 的 AI 倡導者 Paula Ramos,以及 Voxel51共同創辦人 Jason Corso。Jason 同時任教於 University of Michigan 的 Robotics and EECS 系。他們的話題涵蓋 AI 未來趨勢、開發者如何為推動進展貢獻一己之力,以及參與開發社群的重要性,不僅造福企業與產業,同時也嘉惠開發者本人(影片 1)。

影片 1。Intel 與 Voxel51 的業界思想領袖,探討鼓勵參與開發者社群的重要性。(資料來源:insight.tech 

AI 領域如何演進,哪些趨勢是形塑這項演進的推手?

Jason Corso:過去幾年,有幾項重大發展主導了 AI 思維。第一項發展是大型語言模型問世,這類模型既可擷取大量標記長度,還能嵌入自然人類語言。這項發展也讓我們獲得了能夠真正自然互動的資源。

此外,我們認為結合視覺的語言是一大未來趨勢。這種語言將隨附新的運算功能、可公開取得的資料,以及利用這些基礎模型確實解決 Voxel 所謂「視覺 AI」領域新問題的能力。

附帶一提,我認為我們應該重視資料在各種 AI/ML 模型開發過程所扮演的角色。我們所打造的這種文化,對模型的重視程度勝過其他一切元素。在學校修機器學習課程時,最初是先用下載或教授給的資料集訓練模型,多半側重於演算法。然而,LLM 領域各行各業的領導者已經開始討論,在打造我們所使用的 AI 系統時,優質資料在結合模型、程式碼與資料的過程,扮演了舉足輕重的角色。

以 Voxel 為例,我們極為側重資料所扮演的角色,並且著重於為開發者提供模型以及處理資料的工具,而不是單純期望開發者生成指令碼,將這些資料視覺化。二十年前,我的資料集是數十個範本或成千上百個範本,對吧?如今,我們的資料集則是動輒成千上百萬個範本。因此,實際管理及理解失敗模式和分佈等實在一大難事,在我看來,需要新思維才能達成。

開發者在 AI 發展過程扮演什麼樣的角色?

Paula Ramos:由於情況瞬息萬變,因此開發者每天都在尋找出路。他們必須在人工智慧這個龐大的領域推動創新,因此必須發揮創意才能解決問題。或許我們遇到的問題與 20 年前無異,但現在的工具更完善,有更好的方法可以解決問題。我們還必須進一步思考應用的最終使用者。

目前存在一些挑戰,在我看來,模型開發、資料管理,以及如何以簡單方式部署部署這些模型,仍有成長空間。您是雲端系統還是邊緣解決方案的使用者?解決方案一向是越簡單越好,這也是開發者目前面臨的主要挑戰。

此外,開源社群在這個領域極為重要;這正在改變 AI 發展的節奏。若向所有人開放這些模型,他們就可以存取資料集,逐回改善這些模型。

開發者與 Intel 這類公司合作的最佳方式是什麼?

Paula Ramos:我們現在有很多個管道,也有各種解決方案。舉例而言,我們有硬體加速器可用來重新訓練或微調模型。我們也有可以在邊緣運作的解決方案。

還有開發者可以取用的邊緣參考套件。這是簡單解決複雜問題的一種方式。我們正設法透過教學課程、程式碼和影片,向他們示範如何在製造業、零售業、醫療保健業等不同領域推展業務。這個方法也適用於 LLM 以及如何操作多種模型。

或者開發者也可以使用 OpenVINO 將模型最佳化及量化。也就是說,他們可以使用現有的同一套基礎架構,還可將 LLM 最佳化及量化,而且我們也不會強迫開發者為了執行這些 LLM 購買特定硬體。OpenVINO 還讓開發者輕輕鬆鬆即可證明及測試這些 LLM。他們可以先建立試驗專案並提供範例,然後再轉移至實際或最終的生產系統。

我們卓越的儲存庫與開源社群,可以供開發者測試最新 AI 趨勢。如果今天有新東西問世,那麼該特定模型在兩天之內就會出現在 OpenVINO Notebook 儲存庫。舉例而言,您可以在那裡測試 Llama 3.1、YOLOv10 以及最新的 AI 趨勢。這是絕佳的工具。

開發者也可以取用 Intel Developer Cloud,在購買各式各樣的硬體之前先行測試。這實在是太酷了。他們可以取用加速器,以及最新的 AI 趨勢,例如 AI PC。 

Voxel51 如何與開發者互動?

Jason Corso:我們的軟體稱為 FiftyOne。它基本上是一種視覺元件,同時也是軟體 SDK,可處理本文討論的工作,例如資料與模型改良。但最近我們推出了這個稱為 Panels 的全新功能。透過 Panels,不懂如何編寫 React 或 Java 或是有 UX 的任何內容,也可以為前端構建功能。您可直接在 Python 編寫,而且依舊能增強 GUI 功能。

我們是開放原始碼驅動的公司,但我們其實有數十位客戶使用我們的商業企業版 FiftyOne 軟體 FiftyOne Teams,而且它能讓您以團隊、雲端或內部部署的方式共同開發相同的功能。我們在製造、安全與汽車領域的客戶群廣泛。

我們今年稍早順利完成了 B 輪融資,而且其實我們正為核心工程工作和開發者關係工作,招募機器學習工程職位。我們對開發者深具信心,因此僱用了受過完整訓練、有能力撰寫論文和程式碼的對象,但他們的角色其實是與社群互動與聯繫。

產業活動如何協助開發者與更廣泛的社群互動?

Jason Corso:Voxel 在 CVPR 之前舉行了首次實體駭客松活動。我們在這類互動中觀察到,開發人員對於接觸新技術躍躍欲試,並且努力設法在新團隊合作解決新問題。

活動固然有趣,但我認為開發者活動的關鍵切入點顯然是教育。參加 CVPR 這類開發者活動或會議,才能真正掌握最新的脈動。去年我教授了電腦視覺入門這個課程:就某種意義而言,我每週花了三小時的時間舉辦這項開發者活動,引領 300 名學生認識電腦視覺。

然而,AI 領域發展神速,似乎每個人無時無刻都在吸收資訊,即使是長年投身這個領域的教職員也是如此。無論是尖端的研究論文,還是必須學習的新 API 與程式庫,要隨時掌握最新資訊都是不可能的任務。

因此,Voxel 設法每週舉辦一次技術活動,讓社群持續參與。以我個人為例,我在東部時間每週一中午都有開放諮詢時間,任何人從 Zoom 登入即可。幾個星期前,我們回顧了某人的論文,並瀏覽了幻燈片和實際的技術模型。但最後的成果卻是:「這是我第一次考慮踏入電腦視覺這個領域。我該注意什麼呢?」

有的是單純與基礎能力有關的原始教育,有的則是真正有助於參與並掌握最新脈動的開發者活動。

還有任何其他開發者應該善加利用的資源嗎?

Jason Corso:正如 Paula 先前說過,開放原始碼是孕育創新的途徑。我們的軟體 FiftyOne 放在 GitHub,歡迎大家建立分支,也可以送交 PR。我們每個月或每兩個月都會發布一次,而且每次發布都有一些屬於我們社群的內容。自發布以來,過去這四年,我們持續透過社群貢獻廣泛瞭解社群的需求。我衷心想對我們建立的開發者社群表示謝意。這個環境充滿活力又豐富,沒有這個社群,我們就不會有今天的成就。

雖然有實際活動,但光是加入開放原始碼專案,也是另一個真正參與 AI 開發者生態系統的好方法。

Intel 如何促進開發者在社群互動?

Paula Ramos:Intel 為了促進互動不遺餘力,而且我們為了與開發者共同推動創新,打造了多種管道。我們有龐大的生態體系統,涉及的範圍不限於推論,還包括訓練,例如異常偵測。

我們有一項名為 Innovator Program 的計畫,在計畫中,來自世界各地的多位開發者共同測試技術。開發者可以自行製作應用程式,然後與我們分享。基本上,他們建立自己的儲存庫,然後建立分支儲存庫,並且建立新的應用程式。日後我會在 LinkedIn 和我的網路重點介紹其中幾位創新者,敬請期待。

此外,我們還參與了 Google Summer of Code,在三個月的時間內與好幾位開發者及 OpenVINO 團隊的不同導師合作。去年,有位參與 Google Summer of Code 的學員,與導師撰寫了一篇關於 Anomalib 的論文。這篇論文送交 CVPR 的 Visual Anomaly Inspection Workshop 之後被接受了。

我們與大學的關係當然也是發展神速,協助大學展開研究,以及撰寫 Intel 能夠支援的研究計畫書。此外,我們透過會議消弭產業與學術圈之間的差距。

我們致力於參與開放原始碼社群,因為開發者是這個社群最重要的一環。我們始終認為,必須讓開發者在我們能提供的軟體使用這個硬體,他們加速之後才能改善管道與工作負載。這才是主要目的。

相關內容

若要進一步瞭解 AI 開發,請收聽 AI 夥伴關係帶動開發者創新。若要掌握 Voxel 的最新創新,請在 X/Twitter 的 @voxel51LinkedInGitHub 關注他們。若要掌握 Intel 的最新創新,請在 X/Twitter 的 @intelLinkedInGitHub 關注他們。

 

本文由 Erin Noble 編審

快速追蹤工業數位轉型

在動盪不安又競爭激烈的全球市場中,數位轉型是工業組織致勝的不二法門。為了取得優勢,製造商利用 AI 和電腦視覺等最新的工業 4.0 技術,變得更靈活變通、降低營運成本、保護業務,並且增加營收。

然而,這條走向工業數位轉型之路荊棘遍佈:勞動力老化與技能差距、網路安全風險日益嚴重、OT 與 IT 孤島,以及利用廣泛資料複雜難行。企業領導者負責探討如何利用技術並克服這些挑戰,以及究竟應該從何著手。跟全球技術解決方案供應商 World Wide Technology(WWT)這樣在工業市場和技術領域擁有深厚專業知識的合作夥伴合作,是一個很好的開始。

「我們可以跟客戶合作,尋找並確定影響業務的定量和定性數位轉型難題。我們探討了減少風險、降低成本、增加利潤和增進營收的最大機會,」WWT AI 實踐資深總監 Mike Trojecki 表示。

據 Trojecki 所說,工業數位轉型不僅是部署 AI 和電腦視覺等技術。您也必須因應內部文化問題。「這是一個由來已久的問題,,在 IT 部門眼中,OT 人員無法從 IT 的角度理解技術挑戰,」他解釋道。「而 OT 人員也將 IT 視為阻礙完成工作的阻礙。」

憑藉 30 多年在廠房現場的經驗以及與 IT 組織合作方面的歷史,WWT 不僅能協助公司克服挑戰,還能充當 IT與 OT 之間的溝通橋樑,幫助公司彌合差距。這可能只是一項簡單的教育性任務,又或者是完整的端到端概念驗證(POC),要採取必要的步驟從 A 點移到 B 點。

用工業 4.0 技術克服業務挑戰

WWT 在考察客戶的整體流程時,可以繪製解決關鍵業務挑戰的技術和解決方案。

舉例來說,工業組織常面臨的一項難題是確保工人在廠房的安全。「看待電腦視覺時,它不僅關乎缺陷檢查和偵測,」Trojecki 表示。「這項技術也用於保障人們安全無虞。如果有人將自己置於可能受傷的境地,AI 和電腦視覺可以識別安全問題,並採取行動預防傷亡。」

WWT 也運用 AI 和其他工業 4.0 技術來支援數位孿生,這對於從虛擬測試產品到工廠數位化,乃至於在虛擬環境執行流程之使用案例的製造環境至關重要。使用數位孿生模型可以帶來很多價值,而 Trojecki 表示,WWT 正在跟工廠、配送中心和資料中心的客戶一起實施這項技術。

「在新產品進入生產線之前,您可以先建立它的數位表示,甚至無須實際操作就能驗證流程變更,」Trojecki 表示。「實體和流程世界的數位模擬讓營運和 IT 團隊能以更低的風險和更少的成本,取得更佳的成果。」

預測性維護能降低營運成本

在工廠廠房實施預測性維護解決方案,是 WWT 協助客戶實現製造流程現代化並降低營運成本的另一個實例。傳統上,預測性維護一直是擁有多年經驗的工廠生產線工人的領域,他們知道如何透過異常振動或噪音來偵測機器異常以及解釋未決問題。

隨著老一輩的員工退休,各公司行號正在投入一種更具成本效益但需要全新技能的資料分析模型。WWT 在將 OT 與 IT 相互結合、訓練新一代員工,以及部署複雜的 AI 解決方案方面積累了豐富的經驗。

舉例來說,WWT 與一家需要將設備停機時間降至最低的機器製造商合作。公司的最終目標是減少製造流程中的錯誤和品質惡化。部署使用感應器資料與電腦視覺的預測性維護解決方案,對機器健康進行分析,並在出現問題之前採取行動,有助於降低整體機器維護與支援成本。

WWT 與軟硬體供應商合作,開發了一套完整的解決方案,讓客戶可以調查製造流程、改變控制網路,以及即時修復問題,而不是讓系統離線。這項解決方案提高了機器利用率,公司也無須重新評估整個生產線。現在,客戶可以延長機器服務時間、減少停機時間,以及降低產品出廠的成本。

與解決方案供應商密切合作,是 WWT 的業務和客戶成功的關鍵。Intel 及其廣泛的合作夥伴生態系統能讓 WWT 挑選及實施最能解決特定數位轉型挑戰的合適產品組合。

這個平台是雙向的。「我們從技術觀點和解決方案開發的角度,與合作夥伴保持一致,」Trojecki 表示。「沒有合作夥伴,我們就做不到。老實說,倘若少了我們,他們也一樣無法成事。」

工業數位轉型專業知識引領業務成功

公司利益相關者展望新機遇時,AI 已成為大多數對話的頭號驅動力。「客戶無不提問:『 AI 將如何影響我們在工廠的工作?』「它在整體工業營運中會扮演什麼角色?』」Trojecki 表示。「企業必須從某個地方起頭,那些不接受新興技術的企業很快就會落伍。」

WWT 在全球各地能夠協助組織成功達成轉型目標。

 

本文由 insight.tech 編輯總監 Christina Cardoza 編審

智慧白板助力無縫數位協作

想像一場用白板進行的傳統腦力激盪會議。一個人負責在白板上寫下點子,其他團隊成員負責發想策略。同時,可能也有另一個成員做紀錄,在會議結束分享給大家。

紀錄者的效率會影響與會者幾天後能記得(或忘記)的重點。如果還有同事遠端參與會議,這個過程又會更加複雜。大部分的與會者看不清楚白板,也聽不太到每位成員的發言。

只有在所有參與者同步的時候,數位協作才能真正發揮效益。在混合式工作的時代,要順利進行腦力激盪會議,就需要全面整合的軟硬體平台,讓人人都能輕鬆協作。

無縫智慧白板平台

TQ-Group 開發的 cannyboard 是組織需要的全方位解決方案。觸控智慧白板顯示器是主要的協作工具。這項產品利用到幾乎每位參與者都有的裝置:行動裝置。透過應用程式,參與者可以在 86 吋的觸控螢幕上直接畫圖、加註和操作內容。互動式顯示器的優勢在於觸覺的特性(圖 1)。

兩個人一起在 Cannyboard 顯示器上創建內容。
圖 1。 cannyboard 是 86 吋觸控螢幕智慧板顯示器,提供協作、內容註解和操作功能。 (來源: cannyboard)

使用者還可以無線分享螢幕,不需要白板也能參與會議。

德國技術解決方案供應商 TQcannyboard 負責人 Sofia Bauer 表示:「在好幾位與會者需要快速、輕鬆分享內容的協作情境裡面,這種靈活性非常關鍵。」

另外,透過 HDMI 和 USB 連接電腦的選項讓 cannyboard 的功能更加多元。Bauer 談到:「使用者可以分享螢幕,還能透過 cannyboard 控制裝置,把這個產品變成自己裝置的延伸。」cannyboard 將會議儲存在雲端,授權成員就能隨時隨地存取最新工作內容。

數位協作使用案例

cannyboard 能支援幾乎所以需要團隊合作環境中的應用。這項解決方案促進了各種空間的協作。其中包括企業會議室、會議聽、飯店、訓練中心、共享辦公空間、教育機構、創意機構、展示空間、貿易展覽和零售區域。

智慧白板在運動和娛樂領域更是特別實用。例如,TSV Herrsching 的專業排球選手就利用 cannyboard 進行賽前準備。不論與會者是在同一個空間,或是透過遠端連線進行討論,cannyboard 都整合了所有會議、分析和策略開發需要的工具。

WWK Volleys 總教練 Thomas Ranner 表示,cannyboard 帶來的影片分析對賽前準備非常重要。在採用 cannyboard 之前,球隊必須尋找合適的燈光環境,才能讓所有人看清楚投影內容。在以前,進行影片分析需要一塊白板(紀錄戰術構想)、一台筆記型電腦,還有替每位球員準備一部用來顯示比賽計畫的裝置。

球隊執行長兼教練 Max Hauser 談到:「要帶的裝置太多了,而且球員的注意力要在每個裝置之間切換。這樣子蠻麻煩的。」

到了今天,球隊會議已經換然一新。Hauser 分享到:「我們再也不用為了看影片、比賽計畫和白板一直換裝置,而是可以同時執行和編輯所有內容,開會變得更簡單很多。」cannyboard 把投影機、筆記型電腦和白板結合在一台裝置裡面。在白板上播放比賽影片的同時,隊員可以直接在影片或螢幕上直接畫圖、加註和截圖。

互動式顯示器背後的技術

cannyboard 確保每場會議的獨立性,而且結束後不會保留任何資料。TQ 表示:「透過自動資料刪除、臨時儲存和會議隔離功能,cannyboard 可以保護使用者資料和維護隱私,讓使用者每次用系統都能對資料對資料安全有信心。」

這套解決方案採用最新的 Intel® Core 處理器,根據 Bauer 表示,能確保「透過高效運算能力和卓越的繪圖效能,帶來令人驚豔的使用者體驗」。Intel 無線技術在 Wi-Fi 基礎架構中實現高速整合,還可以支援藍牙功能,輕鬆連接無線鍵盤和其他外部裝置。另外,Intel 效能混合架式架構提供的高效電源效率能夠降低整體功耗和營運成本。

數位協作的未來

Bauer 預測到,數位協作會成為提升日常工作速度和效率的關鍵因素。

特別是在跟不同國家和時區的成員合作時,數位協作可以解省大量本來花在差旅上的時間。同時,數位協作把互動集中在一個螢幕上也能減少誤會。Bauer 表示:「效率提升讓我們有更多時間休息,花時間陪陪家人和朋友,在快節奏的世界裡面,這一點重要。」

雖然數位協作有許多優勢,但要實現這一點,需要有強調開放性和彈性的組織文化。隨著資料密集型應用程式使用的增加,我們會需要高速、可靠的頻寬,還有卓越的音訊、音效和影片品質。Bauer 談到:「另外,我們還需要跟現有的系統緊密整合,這樣才能最大化新技術的投資報酬率。」虛擬人偶、虛擬實境、同步翻譯、手勢辨識和語音指令很快會成為協作工具的一環。

5G、邊緣運算、雲端技術還有 AI 的進步將塑造未來的協作方式。現在,全球各地的協作者都可以鬆一口氣了,因為傳統用白板進行的腦力激盪可能已經成為過去式。

 

本文由 insight.tech 編輯總監 Georganne Benesch 編審。

解決 5G OpenRAN 的設計難題

5G 問世成為全球產業界目光的焦點,為大規模高速連線開啟了全新的可能性。以製造業與智慧城市這類產業別為例,5G 將遠距設施整合為完整系統,實現前所未有的可見度與回應能力。

然而,公用 5G 網路卻無法滿足諸多應用的需求。這類應用正好是私有 5G 網路能大放異彩的地方。嵌入式電腦主機板與模組供應商 congatec基礎架構市場區隔經理 Zeljko Loncaric 表示:「為了充分利用 5G 的功能,對於自訂基礎架構的需求孔急」,並且指出安全性、即時可靠性與網路彈性則是其中幾項關鍵需求。

量身自訂解決方案以及採用私有 5G 網路的需求日益增長,時間點正好與 OpenRAN 這類開放式標準問世不謀而合。這項轉變對電信設備製造商(TEM)而言是千載難逢的機會,因為從今以後再也不用受寡占市場束縛。Loncaric 表示,反之,OpenRAN 的開放式介面與標準則可促進供應商百家爭鳴,而這正是 TEM 策略的重點。

為 OpenRAN 開啟全新可能性

長久以來,TEM 必須克服重重難關,才能打造利用 OpenRAN 功能的 5G 解決方案。具體而言:

  • 整合不同來源的元件,同時兼顧高效能與低成本。
  • 確保安全機制穩定可靠。這個問題對於以私有 5G 網路為目標的 TEM 格外急迫,因為這類網路託管的資料往往價值不容小覷。
  • 為惡劣環境設計設備。(5G 無線電覆蓋範圍有限,意味著設備通常部署在偏遠地區。)
  • 確保解決方案可符合各種部署需求有效擴充。

因此,congatec 開發的解決方案可讓 TEM 加速上市。conga-HPC/sILH 平台專為預先整合最複雜的系統元素而設計。這套解決方案包括核心網路的回程網路連線、兩個 RF 天線模組、一個 Intel® Xeon® D 處理器、一個安全的前向錯誤修正(FEC)加速器,以及完整的 FlexRAN 軟體堆疊。

Loncaric 表示,這個技術套件適合所有類型的 5G 無線存取網路配置。TEM 使用 conga-HPC/sILH 之後,可以專注發展核心能力,將特定 IP 留在公司內部,提供信任度與設計安全性高的 5G OpenRAN 伺服器。

COM-HPC 在打造穩定安全 5G 基礎架構時所扮演的角色

這個平台的核心是搭載 Intel Xeon D 處理器的 COM-HPC 伺服器尺寸 D 模組。這個組合提供 5G 應用方案所需的效能、效率與安全功能。值得注意的是,特定模組支援 -40°C 到 85°C 的極端溫度範圍,支援 OpenRAN 伺服器部署在有空調的伺服器機房外。

這些模組插入 Intel 的平台載板,為開發 5G 基礎架構提供穩定可靠又靈活的基礎。舉例而言,載板支援各種介面與加速技術,協助 TEM 精簡設計流程。

Loncaric 表示:「這款載板是極為彈性靈活的參考平台,不僅展現了我們產品選擇的成效,更為 TEM 提供了強有力的支援。載板搭配 COM-HPC Server 模組後實現的快速自訂組建,需要 RAN 伺服器通常沒有的連線與介面。」

實現私有 5G 網路的安全性與彈性

這個平台為了克服 5G 的安全問題,搭載 Intel® Software Guard Extensions,讓頻道設定及 5G 控制功能之間的通訊得以安全無虞。內建的 Crypto Acceleration 不僅降低完整資料加密對效能的影響,更提升了加密密集型工作負載的效能。

這個平台採用同步乙太網路(SyncE)與數位鎖相迴路(DPLL)振盪器,時間控制精確。這些技術是將節點與 5G 基礎架構同步的關鍵。

這些技術相輔相成,讓 TEM 能大幅減少設計工作,加速上市時間。此外,這個解決方案的模組化性質將投資報酬率與永續性最佳化,因為系統只需簡單交換模組即可輕鬆擴充與升級。Loncaric 表示,相較於更換一整套系統,這個方法減少的升級成本最高可達 50%。

展望:私有 5G 網路與 OpenRAN 的未來發展

congatec 將平台的成功歸功於與 Intel 的夥伴關係。

Loncaric 解釋:「電信是個很難打入的市場,一直到十年前左右,這個市場根本形同不可能的任務。」「我們與 Intel 成為合作夥伴,透過 O-RAN Alliance 這類計畫逐步打進這個市場。自此之後,我們發布了多項全新標準,其中採用 Intel Xeon D 的最新標準,非常適合校園網路與工業環境等多種利基應用方案。」

展望未來,congatec 計劃開發更多為 TEM 提供更高效能的解決方案。除此之外,該公司還打算繼續深耕開放式標準與邊緣運算專業知識。

Loncaric 表示:「我們相信,我們對於開放式標準的承諾,以及我們在邊緣運算與工業應用方面的豐富經驗,讓我們成為多個市場區隔 5G 技術的主要廠商。我們透過持續創新,以及與 Intel 這類領先業界的夥伴合作,致力於推動新一代通訊網路的發展,確保網路持續符合新式應用不斷變化的需求。」

5G 市場持續演進之際,對於讓 TEM 滿足 5G OpenRAN 部署瞬息萬變的需求,conga-HPC/sILH COM-HPC 平台這類解決方案舉足輕重。這個平台提供強大的彈性整合式基礎,讓 TEM 能夠加速創新,實現新一代 5G 基礎架構。

 

本文由 insight.tech 編輯總監 Christina Cardoza 編審

利用工業邊緣實現工廠現代化

數位轉型與工業 4.0 的討論,通常偏重技術層面。然而,人才是改變的關鍵。

企業開放原始碼軟體解決方案供應商 Red Hat 資深總監兼智慧邊緣業務開發全球主管 Kelly Switt 表示,製造商採用現代技術之際所面臨的難題,根本原因通常源於實作者的思維與協作方式,而非工具本身。

製造作業仰賴團隊關係

製造作業之所以如此倚重應變能力強的協作團隊,是因為作業流程複雜,需要領域專業知識、協調、疑難排解與最佳化。舉例來說,淘汰舊式系統,改採新式互連平台時,思維方式也必須隨之改變。

工廠內採用的技術與工具,應該打破封閉環境並消除團隊之間的阻力,進而強化協作與生產力。

Switt 說明:「企業是一種人的組成方式,而這些人經營企業時,通常會仿效系統設計。」「如果與 IT 同仁合作欠佳,或是關係依舊因為封閉環境受阻,從系統效能就可略見端倪,無論是系統缺乏恢復能力或無法如期交差都是徵兆。」因此,Red Hat 與 Intel 於是採用新式策略來帶動製造作業與團隊。

工業邊緣平台是支援技術的組合,包括 Red Hat Device Edge、Ansible Automation Platform 與 OpenShift。它還採用 Intel 尖端的軟硬體堆疊,包括 Intel® Edge Controls for Industrial,讓使用者能夠打造符合特定需求的全方位解決方案。

消弭工業自動化落差

Red Hat 工業邊緣平台的關鍵元件,將過去的手動工作自動化,率先朝克服文化難題邁出了一步。支援佈建、配置與更新的軟體自動化策略,也為 IT 與 OT 團隊協作提供了共同的基礎,也讓他們有更多時間處理更關鍵的工作。

Switt 說明:「將例行工作自動化,員工就更能集中精神處理更決定性的現代化環節。」

工業邊緣平台不僅有助於在伺服器運算層面將各種工作自動化,同時還兼顧裝置與網路層面,包括系統開發、部署、管理與維護,實現以自主性更強的方式管理基礎架構。

Switt 表示:「制定平台型策略時,其實不妨考慮採用最能支援設施生產力,自主性也更強的基礎架構管理方式。」

自動化上路後,下一步就是革新工廠內的資料中心。這類中心通常儲存了更大也更關鍵的應用程式,負責執行製造程序。這些系統現代化後,支援更高的彈性與更快速的變化,對於現今這個快節奏的製造環境極為重要。Switt 解釋:「新式技術可實現彈性更高的應用程式、更頻繁的更新,並且更快因應瞬息萬變的需求。」「這類技術不僅提高了生產力,更強化了 IT 與 OT 團隊之間的協作。」

舉例而言,製藥業需要某種程度的供應鏈追蹤能力。新式技術可讓組織將實施變更所需的時間縮短,從六個月到一年變成短短 90 天。這種加速方式為工廠管理及設施整體生產力與產出創造了價值和優勢。

此外,工業邊緣平台提供即時核心,降低了延遲並且減少抖動,讓應用程式重複執行時更可靠。

Switt 表示:「Red Hat 的解決方案為您實現的平台不僅具自主性,而且穩定又安全,加上採用開放原始碼,因此製造商用更少的專有硬體,就能獲得開放式的互通平台。」

工業邊緣支援之製造業的未來發展

製造商繼續摸索工業 4.0 複雜難解的問題之際,Red Hat 與 Intel 這類合作方式以文化、人和思維方式為本,是合作得以成功的關鍵。

Switt 表示:「Intel 是我們的核心合作對象,因為 Intel 技術不僅在公有雲和 IT 資料中心無所不在,而且應持續廣泛應用於工廠資料中心或資料室設施的營運。」

製造商若打破封閉環境、採用自動化技術,以及革新基礎架構,便能讓營運將潛力發揮得淋漓盡致,並且為更靈活、高效且創新的未來奠定基礎。

Switt 表示:「我們透過 Red Hat 與 Intel 的技術,打造出更優異、更迅速且更高效的工廠。未來發展樣貌、經營方式,以及為此引進的協作程度與推動的文化變革,全都操之於製造商之手。」

 

本文由 insight.tech 編輯總監 Georganne Benesch 編審。

邁向邊緣網路之旅

邁向邊緣網路的優勢顯而易見:提升速度、強化安全性,以及改善使用者體驗。但企業究竟該如何實現這一轉變?哪項功能最符合需求,成本又應該是多少?值得企業尋尋覓覓的完美解決方案是否存在?

我們邀請到 IT/OT 硬體解決方案供應商 CASWell產品經理 CK Chou 共同探索網路邊緣。Chou 分享到轉向網路邊緣過程中的困難、AI 在其中的角色,以及如何以創意思維,借助傳統技術指引前往寶貴解決方案的方向。(影片 1)

影片 1。CASWell 的 CK Chou 在「insight.tech Talk」中探討了邁向網路邊緣的挑戰與網路邊緣裝置的角色。(資料來源:insight.tech

為什麼企業現在都轉向網路邊緣?

談到邊緣運算,我們都知道重點是在資料建立的地方馬上進行處理,而不是把所有東西傳回去中央伺服器。這樣可以加快回應速度和減少內部流量,所以非常適合需要即時反應的情境,像是製造業、零售業、交通運輸、金融服務和其他領域。

這樣說好了:想像你在一台自駕車裡面,路上有突發狀況。你需要車子馬上做出反應,每個毫秒都很關鍵,承擔不起等資料來回遠端伺服器有延遲。這跟用電腦的時候等沙箱載入不一樣,是吧?在自駕車情境裡面,任何延遲都可能會出人命。這就是邊緣運算在源頭處理資料,快速做決策的例子。

這當然不只是跟速度有關,也是為了保障資訊安全。如果像財務資訊這種敏感資料可以在本機處理,不用透過網際網路傳到中央伺服器,被攔截或被駭的機率就會比較低。資料越不需要傳輸就越安全。

透過在現場處理資料,邊緣運算就算在網路連線不穩定的情況下,還是能夠幫忙保持順暢執行。簡單來說,邊緣運算的重點在於速度、安全性和可靠性。不管是在車上、診間還是廠房,都可以把資料處理帶到最需要的地方。

不過,要轉到邊緣網路沒那麼簡單。這是很重大的轉變,而且挑戰也會跟著來。公司要面對系統管理複雜度增加、基礎架構成本提高、處理能力有限、資料管理問題和其他難題。雖然有這些挑戰,但邊緣運算的好處還是非常重要,沒辦法去忽視。邊緣運算能夠大幅提升基礎架構效能、強化安全性和節省整體正本,這些優勢就值得我們去克服障礙。

那網路邊緣裝置的哪些功能可以幫助企業成功呢?

這個不好說。我心目中夢想的邊緣裝置應該要體積小巧,而且還要有好幾種像 SNA、Wi-Fi 和 5G 不同應用的連接選項。還有,使用者想在寒冷的山區或是炎熱的沙漠安裝設備的話,如果有能在惡劣的環境運作、可以應對適當的溫度範圍的機架設計,這真的會很不錯。另外,也要提供強大的處理能力,但是耗電量又很低。當然,最重要的是這個多合一裝置的成本還要低到不行。

通通都可以做到的裝置聽起來很完美,對不對?但你認真覺得這是有可能的嗎?老實說,在邊緣的公司不太需要多合一裝置。他們真正需要的是有適合特定環境跟應用功能的裝置。這就是 CASwell 的專長。

我們的產品線提供很多種選擇,從基本型號到高階解決方案都有,涵蓋了 IT 到 OT 的應用。不管是小型辦公室、工廠還是遠端位置,我們都有專門為不同條件跟需求設計的選項,讓公司可以輕鬆找到合適的邊緣裝置,不用把錢花在不需要的功能上。

AI 在網路邊緣的作用是什麼?

現在的 AI 模型訓練都是在雲端進行,所以需要大量的資料跟很強的運算能力。但試著想想看資料中心有多大。想像一個足球場那麼大的空間,裡面擺滿了幾十個大型模塊,每個模塊裡面又有幾百台伺服器,全部都互相連接,而且一直進行模型訓練。

這樣的 AI 伺服器聽起來很神奇,但是離我們一般的使用案例太遙遠,而且客戶也負擔不了。不要忘記:邊緣運算的概念就是在資料建立的地方直接處理,而不是把所有資料傳到中央伺服器。如果想用 AI 來強化邊緣解決方案,不可能把整個 AI 工廠搬到伺服器機房,除非你有錢的不得了,而且伺服器機房還跟足球場一樣大。

可行的辦法是把重量級的深度學習任務放到集中的 AI 中心,然後推斷的部分移到邊緣去。這種方法需要的電力和資料比較少,非常適合邊緣設備。我們已經可以看到 AI 整合到像手機、 採用 AI 的電腦這種日常裝置的趨勢。這些裝置用雲端訓練的模型來做出智慧決策、提供個人化體驗,還有改善使用者互動。

CASWell 在開發一條全新的邊緣 AI 伺服器產品線。這條產品線是專門為了把 AI 功能從資料中心帶到邊緣所設計的,讓我們可以馬上體驗到 AI 的威力。這讓需要 AI 的人能夠隨時隨地掌握需要的技術。

CASwell 怎麼幫企業應對網路邊緣的挑戰?

我們有觀察到邊緣環境變得比一開始預期更有挑戰性的趨勢。越來越多終端使用者都在找可以同時用在 IT 跟輕型 OT 環境的解決方案。他們希望邊緣設備不只能安裝在有冷氣、乾淨又整齊的機架上,在像倉庫、廠房,甚至是通風不好的機櫃這種環境裡面也行得通。

CASwell 決定開發一款採用 Intel Atom® 處理器的入門級桌上型產品 CAF-0121,能夠提供效能和電源效率的最佳平衡。CAF-0121 可以支援 -20º 到 60º 的溫度範圍,比一般的 0º 到 40º 還要更廣。這款小型的裝置還能提供 2.5-gig 支援,實現基本的基礎架構連線能力。另外,CAF-0121 體積小巧也沒有風扇,採用被動式散熱設計,很適合邊緣運算應用。

我們這個新型號的目標是以對 IT 實惠的價格提供 OT 等級的規格。意思是使用者可以減少管理基礎架構需要的資源,部署起來更輕鬆。他們可以在 IT 和 OT 應用裡面用一樣的裝置,技術設定標準化跟維護變得更簡單了。CAF-0121的設計讓企業能夠適應不同的環境,不用每個情境都要用分開的解決方案,所以的確是很讓人期待的產品。

打造 CAF-0121 的時候有遇到什麼困難嗎?

TEM 熱電模組這個技術是 CAF-0121 的基礎。TEM 解決方案經過驗證可以冷卻過熱元件,在醫療裝置、車輛系統、冰箱、飲水機和其他需要快速又精確溫度控制的裝置裡面很常見。

這些裝置在電流通過的時候會產生溫差,讓一側加熱,另一側降溫。傳送的電流越多,兩邊的溫差就越大。

大家通常用到的都是 TEM 的散熱功能,但我們的想法不一樣:怎麼不同時利用冷卻和加熱的功能,幫邊緣裝置在更廣的溫度範圍裡面運作呢?整體的概念是我們利用 TEM 的加熱功能,間接把系統的運作溫度範圍降到更低。反過來說,只要內部環境溫度升高到一定程度,用散熱功能就可以就可以讓系統降溫。室內變冷的時候,TEM 能夠充當加熱器;室內變熱的時候,TEM 可以當冷卻器來用。

透過 TEM,我們就不用再被個別元件的運作溫度範圍限制,讓設備的溫度範圍超越元件在一般情況的極限。有了 TEM,我們能夠挑戰溫度的極限,同時保證裝置的可靠性。

在這個專案裡面,我們把傳統技術當創新的解決方案來用,幫產品在競爭非常激烈的市場帶來更多附加價值,還得到了寶貴的經驗。我們也希望這次小小的成功可以鼓勵研發團隊保持創意,勇於突破框架思考,不要拘泥在傳統的方式上。

CASwell 是怎麼跟技術合作夥伴合作來實現產品線的?

厲害的邊緣運算裝置應該要有合適的處理能力、節能省電、體積小巧、連接選項多,當然價格上也要有競爭力。這幾點都是任何邊緣運算裝置的基本必備條件。

這就是為什麼我們在 CAF-0121專案選 Intel Atom 處理器的原因。Atom 讓我們可以提供合適的效能水準,同時保持低耗電量。Intel LAN 控制器幫我們輕鬆把 2.5-gig 乙太網路支援加到這個裝置裡面,確保可以滿足大多數基礎架構的需求。

Atom 還內建加速 IPsec 流量的指令,非常適合安全應用程式。不管是處理資料加密、安全通訊,還是其他安全任務,這款處理器都可以勝任挑戰。

如果想要進一步提升安全性,Atom 也整合了 BIOS Guard 和 Boot Guard,提供硬體的信任根源。我們不只是強調卓越的性能跟效率,還針對 BIOS 和開機程序提供高階保護。這種安全等級非常重要,對需要在不降低保護的情況下處理敏感資訊、關鍵任務的邊緣裝置來說更是重點。

在市場上各式各樣的競爭者裡面,只有 Intel 能夠一次提供所有功能。Intel 不但支援硬體,還有驅動程式跟韌體。這麼高的整合性讓 CAF-0121專案的開發輕鬆很多,而且完全縮短了我們的上市時間。處理能力、安全功能,甚至是軟體支援都是同一個可靠的合作夥伴提供的時候,整個流程絕對變得更簡單。這樣不只簡化了工程跟開發工作,也確保所有元素都可以順暢配合。

在這種情況下,像 CASwell 這種硬體設計師就可以更專注在效能最佳化上,減少解決能力問題上的精力。這對 CASwell 跟客戶來說都是一場勝仗,讓我們可以更快、更高效提供高品質又可靠的邊緣運算解決方案。

我們的終極目標很明確:我們要設立邊緣運算設備的新標準,還有提供靈活的邊緣解決方案,幫客戶應對雲端、網路跟智慧邊緣的挑戰。

相關內容

收聽《網路邊緣優勢:實現商業成功》並閱讀《AI 無所不在— 從網路邊緣到雲端》,進一步瞭解網路雲端。若要瞭解 iProd 最新的創新技術,請關注其 LinkedIn

 

本文由Erin Noble 編審。

技術夥伴關係為商業解決方案奠定基礎

許多企業競相採用最新技術,不僅有助於他們大幅提升效率,還能幫他們找到改善產品與服務的方向。創新的解決方案如雨後春筍般湧現,賦予搶先採用新技術的企業具吸引力的競爭優勢。然而,部署完全整合的解決方案過程非常複雜且耗時,展開初步試驗後放棄的組織不在少數。

跟解決方案整合商這類經驗豐富的技術夥伴合作,能夠減輕採用技術伴隨而來的挫折感,為成功部署奠定基礎。知識淵博的整合商可以配合企業現有的基礎架構與未來目標,量身打造端對端協助。部分整合商能創造與全球合作夥伴和系統整合商網路合作的機會。專業整合商監督解決方案挑選、整合、部署與擴充的整個過程,可以主動排除障礙,讓企業在全球各地快速啓動及執行合適的解決方案。 

技術整合障礙

企業為了採用新技術吃足苦頭的原因很多。解決方案通常需要結合運作時必須水乳交融的軟硬體元件,或是專為搭配現有基礎架構而量身打造的元件。由於很多大企業在不同地點使用的新舊技術組合各不相同,因此評估相容性的流程錯綜複雜。跨國企業還必須考量地區技術標準與法規。

Wesco 是全球供應鏈解決方案供應商龍頭,該公司的技術與支援服務部副總裁 Matt Powers 表示:「如果你是有數十項目標待實現的 IT 主管,那麼你最不希望發生的事,應該就是必須像總承包商一樣,統包每個解決方案。「精心規劃設計以及為每項專案挑選多家承包商的過程,成了細膩複雜的習題。」

在那道習題,連接的基礎架構可能改變,進一步提高了複雜度。Powers 表示:「解決方案演變的速度快到難以想像。」「創新技術不斷改變技術之間相互依賴的關係。」

擴充則是另一道障礙。企業經常測試潛在的解決方案,最終結果令人振奮,但是當他們嘗試擴大部署時,卻是失望收場。

Powers 表示:「這種情況很常見,在物聯網解決方案尤其司空見慣。」「公司行號的說法是:『我們執行概念驗證(POC)後,雖然得到理想的結果與價值,但如今我們該如何在全球企業擴充這個解決方案?』擴充對全球客戶是一大挑戰,因為他們必須針對不同地區存取以及將技術本地化。此外,他們還必須找到部署夥伴,例如整合商與承包商,並且與他們合作,確保解決方案有效執行。」

技術夥伴關係提供創新解決方案

Wesco 是經驗逾 100 年的解決方案整合商與經銷商,能夠協助各種企業(包括製造商、公用事業、資料中心、零售業及飯店餐飲業公司)避免執行上的問題,並且高效部署合適的解決方案。這個過程一開始必須先徹底瞭解組織的需求。

Powers 表示:「我們與利害關係人密切合作,瞭解他們的特定難題,並且評估他們提升效率或從投資獲得回報的機會,而這正是我們作風有別於其他公司的地方。」「一旦做到這一點,我們就能協助引導他們找到合適的解決方案供應商與整合商生態系統。」目前為止,通過 Wesco 審核的合作夥伴網路,包括全球 50,000 多家軟硬體與雲端解決方案供應商,以及整合商合作夥伴。

Powers 表示:「技術合作夥伴的創新能力,是我們最看重的夥伴特質。」「Intel 為我們提供各式各樣的尖端技術,而且其產品採用開放式架構,讓我們的解決方案供應商和獨立軟體廠商(ISV)能夠開發出各種終端使用者都能使用的平台。」

技術整合:客戶與供應商雙贏的局面

Wesco 致力成為值得信賴的顧問,為各企業獨特的環境建議最合適的元件、解決方案與合作夥伴。WaitTime 這家建置人群分析解決方案的 ISV,是 Wesco 如何為網路邊緣到雲端客戶部署完整解決方案的範例之一。

WaitTime 軟體在電腦視覺攝影機應用邊緣 AI,為場館業者提供容量、人群密度與購物者深入解析等資訊。這套軟體採用 Intel 技術,針對現場處理資料最佳化,而且以近乎即時的方式提供警示。

企業利用 WaitTime,可以更快偵測並解決人群問題,預先防範潛在危險,並在問題發生前派出員工。他們還可瞭解賓客或購物者將時間花在哪裡,或者更寬的路徑、更優異的視導,或是其他改良措施,能夠嘉惠哪些區域。這些改變能夠提高商店或販賣部的收益。

雖然 WaitTime 設定後使用簡便,但部署作業不單單是安裝平台而已。Powers 表示:「軟體是技術的一環。我們能整合其他硬體與安裝合作夥伴,打造端對端解決方案。」

哪一種供應商?端視組織而定。

企業未必能以電腦視覺技術升級現有的監視攝影機。此外,他們必須找到能以可靠方式傳輸及處理大量資訊的網路以及硬體,同時還要遵守一切當地的安全與隱私法規。

這些只是組織在部署前必須先考慮的幾個環節。Wesco 能協助他們做出縝密的決策,挑選合適的承包商和系統整合,根據他們的需求建立、協調及擴充解決方案的所有要素。

技術與體驗加速企業邁向成功

Powers 表示,技術變化的速度越來越快,尖端解決方案對成功的重要性就越來越高。「創新對各行各業的影響正迅速蔓延,這場競爭方興未艾。企業若瞭解新技術能如何協助企業,以及如何大規模部署新技術,就能隨著新功能問世持續成長茁壯。」

 

本文由 insight.tech 編輯總監妮.貝內施(Georganne Benesch)編輯。

反向代理伺服器提升 AI 網路安全

AI 模型仰賴持續的資料串流來學習及推斷。這就是它的價值所在。也是它的脆弱之處。由於 AI 模型是建立在其接觸的資料上,因此也容易受到損壞、操縱或洩漏之資料的影響。

網路威脅可能來自不良行為者,他們偽造推斷、對模型注入偏見,擾亂模型的效能或運作。分散式阻斷服務(DDoS)攻擊可以產生相同的結果,這種攻擊會壓垮模型執行的平台(以及模型本身)。這些和其他威脅可能會讓模型及其敏感資料受到 IP 竊盜,如果周圍基礎架構保護不當,情況更是如此。

可惜,急着實施 AI 模型會導致 AI 部署架構產生重大的安全漏洞。隨著公司將 AI 整合到更多業務系統和流程中,資訊安全主管(CISO)必須努力填補這些漏洞,以免每次推斷都遭人擷取有價值的資料和 IP。

AI 網路安全讓追求效能的 CISO 進退維谷

在技術層面上:目前這一代 AI 部署缺乏安全性有一個簡單的解釋:效能。

AI 模型運算屬於資源密集型任務,幾乎完全隸屬運算叢集和超級電腦的範疇,這點直到最近才改觀。現在的情況已有別以往,八核心的第 4 代 Intel® Xeon®可擴充處理器等平台支援 Dell Technologies PowerEdge R760 等機架伺服器,能夠高效同時託管多台 AI 模型伺服器(圖 1)。

Dell 機架伺服器圖片
圖 1. Dell PowerEdge R760 等機架伺服器可以同時託管多台高效能 Intel® OpenVINO 工具組模型伺服器。(資料來源:Dell Technologies

不過,不管是在邊緣還是資料中心託管,AI 模型伺服器都需要大部分(如果不是全部)平台的資源。這犧牲了安全性等功能為代價,而且幾乎不管部署範例為何,這些功能對運算的要求也很高:

  • 部署模型 1:主機處理器:在同一處理器上部署 AI 模型伺服器與防火牆或加密/解密等安全性功能,會使工作負載爭奪 CPU 資源、網路頻寬和記憶體。這會減緩回應時間、增加延遲,並降低效能。
  • 部署模型 2:獨立虛擬機器(VM):在同一個主機處理器上的不同 VM 託管 AI 模型和安全性功能,可能會帶來不必要的開銷、架構複雜性,最終會對系統擴充性和靈活性造成影響。
  • 部署模型 3:相同的 VM:兩種工作負載類型託管在同一個 VM 中,模型伺服器和安全功能可能會暴露在相同的漏洞中。這可能會加劇資料外洩、未經授權的存取和服務中斷。

CISO 需要新的部署架構,既能提供 AI 模型所需的效能擴充性,也能保護其中駐留的敏感資料和 IP。

COTS 硬體的 AI 模型安全性代理

另一種選擇是在不同系統上託管 AI模型伺服器和安全性工作負載。這提供了足夠的資源,以防 AI 任務不必要的延遲或效能下降,同時在推斷、安全性作業和 AI 模型本身之間提供實體隔離。

接下來的挑戰就變成了實體足跡和成本。

全球首屈一指的應用程式交付基礎架構公司 F5 Networks, Inc. 察覺這個機遇,與 Intel 和提供廣泛產品組合的全球領先 OEM 公司 Dell 合作,開發了一款解決方案,在單一商用現成(COTS)系統中滿足上述要求。F5 基於搭載第 4 代 Intel Xeon 可擴充處理器的 Dell PowerEdge R760 機架伺服器,整合了 Intel® Infrastructure Processing Unit (Intel® IPU) 配接器 E2100(圖 2)。

Intel IPU 配接器影像
圖 2。Intel® Infrastructure Processing Unit (Intel® IPU) 配接器 E2100 從主機處理器卸載安全性作業,將資源釋放給 AI 訓練和推斷等其他工作負載。(資料來源:Intel

Intel IPU 配接器 E2100 是一種基礎架構加速卡,提供 200 GbE 頻寬、x16 PCIe 4.0 通道,以及內建加密加速器,結合進階封包處理管道,提供線速安全性。該卡的標準介面可與 PowerEdge R760 等伺服器整合,且 IPU 配備充足的運算和記憶體來託管 F5 的 NGINIX Plus 等反向代理伺服器。

NGINX Plus 建置在開放原始碼的 Web 伺服器上,可以部署為反向代理伺服器,攔截、解密/加密往返目的地伺服器的流量。這種分離有助於緩解 DDoS 攻擊,但也表示加密作業可以在 AI 模型伺服器主機以外的其他地方進行。

F5 Networks NGINX Plus 反向代理伺服器提供 SSL/TLS 加密,並在未經驗證的推斷與 R760 上執行的 Intel® OpenVINO 工具組模型伺服器之間提供安全間隙。除了以反向代理伺服器運作,NGINX Plus 也提供安全性控制、負載平衡、內容快取、應用程式監控與管理等企業級功能。

簡化 AI 模型安全措施。致力於 AI 價值。

儘管人們對 AI 寄予厚望,但並沒有考量太多潛在的部署缺陷。任何希望獲得競爭優勢的公司,都必須在其技術堆疊中快速整合及部署 AI 解決方案。但為了避免買家事後懊悔,必須瞭解採用 AI 帶來的安全性風險。

在專用 IPU 上執行安全性服務,不僅簡化了安全 AI 的部署,而且在 AI 和安全性開發團隊之間建立涇渭分明的分離,進而增強 DevSecOps 管道。

也許我們畢竟不會花太多時間擔心 AI 的安全性。

 

本文由 insight.tech 編輯總監妮.貝內施(Georganne Benesch)編輯。

Intel® Xeon® 6 處理器讓 AI 無所不在

全球各地的組織都在部署 AI 提升營運效率,提升自身市場競爭力。我們與 Intel 的網路與邊緣事業群產品管理副總裁 Mike Masci 以及 Intel Xeon 與運算產品副總裁兼總經理 Ryan Tabrah, Vice President & General 進行訪談,討論全新的 Intel® Xeon® 6 處理器。Mike 和 Ryan 談到幾項關鍵進展,能以更永續的方式支援執行邊緣到資料中心 AI 需要的順暢、可擴充基礎架構。

為什麼推出 Intel Xeon 6 處理器對 Intel、合作夥伴和客戶這麼重要?

Ryan Tabrah:這次的推出集結了很多要素,包括回歸我們的初衷,從製程技術出發,去實現未來 AI 資料中心的技術。我覺得 Intel Xeon 6 推出的時機非常剛好,讓我們的客戶可以持續透過解決方案創新,而且用前所未有的方式建立資料中心。有了 Intel Xeon 6 處理器,E-core 針對每瓦最佳效能最佳化,P-core 就幫現在資料中心普遍存在的運算密集型工作負載帶來每核心最佳效能。

Mike Masci:對我們來說,Xeon 6 不只是一次升級,還是 AI 驅動運算基礎架構必要的條件。現有的資料中心沒有每瓦效能特性,資料沒辦法針對 AI 時代的需求去擴充。只要是需要處理大量資料的網路,不管是從邊緣 AI 還是雲端 AI,Xeon 6 都能夠用更高效率、高效能的方式完成任務。在資料中心裡面,這款處理器還可以讓基礎架構支援 AI 的效能需求,同時又能夠線性擴充。

Xeon 6 從邊緣到雲端保有一致性,而且能從高階產品擴充到以成本和功率為主的低階產品,這就是開發者期待的功能。他們希望能有非常順暢的體驗,避免混搭不同的架構和系統,因為只要減慢速度或產生摩擦,實質上就是在浪費他們開發 AI 技術的時間。

Intel Xeon 6 是第一款搭載效率核心與效能核心的 Intel Xeon。這款處理器在不同工作負載和相關使用案例有哪些例子?

Mike Masci:首先,效率核心是專門為資料中心級的工作負載來設計和打造的,在最佳化的密度和功率等級上效能很高。這帶給客戶很大的優勢,讓他們可以靈活組合產品,不用承擔管理和部署的複雜度和成本,就能在對的地點幫合適的工作負載分配正確的的產品。

在網路邊緣部署跟資料中心深處執行的相同工作負載越來越常見。大家希望兩邊都用相同的基礎架構,這樣部署就變得更快、更簡單,而且長期下來還能節省費用。

雲端原生是最關鍵的工作負載。這個部分就是 Intel Xeon 6 E-core 的強項。談到這項優勢的使用案例,5G 無線核心在網路和邊緣方面是我們最重要的領域之一。在以前的年代,這些公司用的是固定功能的專有硬體,現在他們已經採用 NFV(網路功能虛擬化)和 SDN(軟體定義網路)的原則,而且朝著雲端原生技術邁進。這個時候,Intel Xeon 6 處理器在每瓦執行緒效能最佳化的方面就變得非常重要。

我們在研究搭載 P-core 的 Intel Xeon 6 其他邊緣應用的時候,客戶都非常期待 Intel® Advanced Matrix Extensions (Intel® AMX) 技術。具體來說,這款處理器在效能核心裡面有專門的向量 ISA 指令,能在邊緣執行輕量級推理,這些環境可能功率預算不夠,沒辦法支援通常用在訓練叢集的大規模 GPU。AMX 的好處就是使用過程對開發者來說很順暢,透過像 OpenVINO 這種工具還有我們的 AI 套件,他們不用去學特定的 ISA 編程就可以充分利用 AMX。

Ryan Tabrah:其實特別在邊緣,客戶沒辦法用一些更耗電或佔空間的加速器,所以我們只能靠已經整合到 Intel Xeon 6 效能核心系列的更高密度解決方案。

影片也是一個很好的使用案例。沒辦法輕鬆擴充、擷取影片,然後傳輸給終端使用者,就不能賺錢。這也是我們專注在影片工作負載的機架整合能力的原因之一。從相同效能可以同時串流的影片數量來看,我們的機架整合是前面幾代的三倍。這表示在資料中心的效能和省電效率都更高,能用更少的機器、更高的密度服務更多客戶。相同的基礎架構可以進一步應用到 5G 網路,延伸到網路邊緣,然後快取影片,接下來部署給終端使用者。

可以從特定垂直市場和使用案例的角度來談談 Intel Xeon 6 嗎?

Mike Masci:拿醫療保健來舉例,訓練醫學影像模型需要大量的資料。要得到可行的資料和深入解析,就要在雲端訓練模型,還要在邊緣高效執行。你需要執行像 RAG(擷取增強生成)這樣的功能,來確保模型可以達到預期效果,譬如說在診斷輔助的領域就特別重要。那需要重新訓練的時候會怎麼處理?邊緣機器會把更多資料傳到雲端去重新訓練,然後再把資料回傳到邊緣機器。對 DevOps 和 MLOps 的開發者來說,這整個流程是一門完整的學科,而且這個學科可能是目前 AI 最重要的部分。

我們相信把訓練好的模型部署到邊緣上,再利用邊緣的新資料在雲端重新訓練模型,這樣才能充分發揮 AI 真正的價值。而且對開發者來說,模型可以在擴充系統上執行非常重要。

Ryan Tabrah:世界各地的醫療機構有很多舊版的程式碼、應用程式在他們不願意升級或維護的核心上執行。這些醫療機構希望可以轉移,甚至是容器化這些工作負載,放在一個可以穩定執行的系統上,而且不需要做任何操作。我們透過開放原始碼工具來更新他們基礎架構的部分,建立新的資料中心,讓現代技術跟舊版的應用基礎融合、連接。

這就是見證奇蹟的時刻,使用者根本不需要從零開始。醫療機構有這麼多舊版資料和應用程式,又得要執行新的任務。就像 Mike 前面講到的,只要在邊緣、實際開發的實際雲端,甚至是電腦的平台都一致,他們就不用擔心。

Xeon 6 可以幫客戶帶來哪些永續發展上的優勢?

Mike Masci:有幾個我們網路和邊緣工作負載的每瓦效能提升很多。Xeon 6 的效能是第 2 代 Intel® Xeon® 可擴充處理器的 3 倍。簡單來說,如果每瓦效能提高 3 倍,你需要的伺服器數量就能減少三分之一。這樣不只能夠減少 CPU 功率,還能夠節省整個系統的電力,包括交換器、機架本身的電源供應器還有周邊裝置的耗能。

推動這種永續發展的機制是 Intel 的使命,因為 CPU 每瓦效能對整體硬體部署的選擇有很大的影響。

我們跟 5G 核心 ISV 供應商龍頭 Ericsson 的合作就是一個很好的例子。在他們對 5G 使用者平面功能 UPF 的實際測試裡面,每瓦效能比前一代還要高 2.7 倍。而且在 Ericsson 對 200 萬訂閱者的控制平面的測試裡面,跟支援一樣多訂閱者的前一代比起來,耗電量少了 60%。這就回到了每瓦效能跟永續發展上。不過,同時也能夠節省大量的營運成本,還對這個地球帶來很多正面的影響。跟 Ericsson 的合作證明了這個目標不只是理論上可行,實際上我們也已經達成了。

在這個領域上,我們的基礎架構電源管理器可以根據實際使用情況動態調整 CPU 的功耗和效能。譬如負載比較低的時候,CPU 就會自動降低功耗。這個背後的基礎是整個產品線在所謂的負線效能方面有很大的改善。現在大多數的伺服器都不會一直用百分之百的使用率來執行。像 Intel Xeon 6 這種 Intel CPU 在低使用率的情況下能夠有效降低功耗,這樣可以減少整體的電力需求,提升平台的永續發展。

這聽起來很基本,但要做到比想像還難。需要最佳化作業系統層級,才能充分利用這些電源狀態。還要保證達到服務品質、SLA 還有運作時間,這些都非常關鍵。

Ryan Tabrah:我們在製造、驗證實驗室、供應鏈和其他各方面的努力,都展現了我們在永續發展的領導地位。客戶知道自己在用 Intel 矽晶片的時候,他們可以確定這些產品在生產、測試、驗證和製造的每一步都是用最永續的方式進行的。我們在打造產品的同時,也一直在世界各地推動水資源的再利用還有其他回饋環境的做法。

Intel Xeon 6 讓我們的客戶有實現永續發展目標的機會。有了 Intel Xeon 6 的高核心數量和高效率,我們的客戶可以換掉資料中心老舊的伺服器,整合到更少的伺服器上,省下能源消耗還有機房空間。

那我們來談談資料安全還有 Intel Xeon 6 的增強功能,讓開發者更輕鬆建構安全性更高的解決方案。

Mike Masci:在研究對網路和邊緣特別重要的安全性增強功能的時候,我們推出了重大新增內容 SGX 還有 TDX 技術。但是對客戶來說,安全生態系統的技術成熟度非常重要,在 AI 驅動的世界更是關鍵。你需要有模型安全性。譬如說,在現在雲端原生驅動的世界裡面,如果要執行多租用戶的話,就要有安全指定位址空間,這一點變得很重要。整體上,我們看到 Intel Xeon 6 的安全技術程度的確是一個獨特的優勢。

Ryan Tabrah:從一開始,安全性就是我們打造 Intel Xeon 6 和平台的基礎。這是我們在好幾代 Xeon 產品裡面持續發展的方向,而且我們也努力讓機密運算在合作夥伴生態系統變得更簡單、更基本。隨著 Intel Xeon 6 的推出,我們在量子抗性和平台強化方面有了新的進展,讓客戶用安全性、隱私和合規性來達成業務目標。

最後有什麼想要補充的嗎?

Mike Masci:Intel Xeon 6 對邊緣 AI 和網路來說不可或缺。對我們來說,打造一個簡單順暢、能輕鬆支援很多工作負載,又可以組合的平台,這樣的構想非常成功。我覺得這就是 Intel Xeon 6 的重點。這款處理器順暢又可以擴充,不用擔心執行的硬體架構,就可以在邊緣跟資料中心執行一樣的應用程式。

Ryan Tabrah:沒錯。特別是在不同的環境跟地區,資料中心基本上電力是不夠的,原因可能是資料中心建得不夠快,或是受到新的限制跟潔淨能源要求影響。我們有從邊緣到資料中心的解決方案,輕輕鬆鬆就能體驗到這些方案的優勢。

我覺得最好的驗證就是客戶的意見回饋。我們的客戶期待有更多產品。他們希望有更進一步的合作。他們不只想幫我們提升處理器,還希望能盡快打造出下一代產品。他們對 Intel 在電信、邊緣建設、基礎架構建設和資料中心這些關鍵領域的領導地位非常期待,我們也很高興能和他們一起引領產業。

 

insight.tech 編輯總監 Christina Cardoza 編輯。

多感官 AI:減少停機時間並提升效率

當您在路邊等待拖吊車,是不是總在那一刻才意識到自己忽略了 75,000 英哩的保養和安全檢查?「檢查機油」和低胎壓警報雖可避免危險情況,但您仍然可能陷入令人沮喪且耗時的故障情況。那麼將這種不便和生產力損失擴大到工廠規模:機器故障可能會導致所費不貲的停機時間。

這就是預測性維護派上用場的地方。機器學習可以分析正常工作流程中的模式,並及時偵測異常狀況,防止代價高昂的停機;但萬一發生在新的設備上,AI 沒有現有的資料可學習,那該怎麼辦?人類擅長處理新情況(即使效率低下)的某些特性,是否能在機器偵檢中加以利用?

基於 AI 的影片分析供應商 iOmniscient 的共同創辦人暨執行長 Rustom Kanga,對於預測性維護未來的這些和其他問題提供一些答案。他談到傳統機器學習在預測性維護方面的侷限;現有基礎架構何時可以成為預測解決方案的一環,以及在什麼情況下無法發揮作用,還有電子鼻又是什麼(影片 1)

影片 1。iOmniscient 執行長 Rustom Kanga 探討多感官和直覺式 AI 對預測性維護的影響。(資料來源:insight.tech

傳統的預測性維護方法有什麼侷限?

現今,人們談論人工智慧時,時常把它跟深度學習與機器學習技術畫上等號。舉例來說,如果您想讓 AI 偵測狗,您要找 50,000 張狗的圖片,並標記:「這是狗。那是狗。那是狗。那是狗。」一旦系統訓練完畢,下次狗狗出現,它就會知道那是一隻狗。這是深度學習的運作方式。

但如果您沒有針對特定或獨特類型的狗訓練系統,那麼它可能無法辨識那種動物。然後,您必須重新訓練系統。就這樣一而再、再而三的反覆訓練,訓練可能永無止境。

維護系統的挑戰在於,安裝新設備時,沒有任何設備如何故障或何時故障的記錄:您沒有進行深度學習的任何資料。因此,您必須要能預測在沒有資料的情況下會發生什麼事。

因此,我們所做的就是自主、多感官且基於 AI 的分析。自主的意思是,通常沒有人為參與,或者人為參與少之又少。多感官指的是,人類利用眼睛、耳朵、鼻子瞭解環境,而我們也如法炮製。我們進行影片分析、聲音分析、氣味分析;藉由這樣,瞭解環境中的情況。

多感官 AI 方法如何解決您提到的部分挑戰?

我們開發了一種名為 直覺式 AI 的功能。人工智慧就是模仿人類智慧,而人類不只使用記憶功能,深度學習本質上試圖複製的就是這一點。人類也使用自己的邏輯功能。他們具有演繹邏輯、歸納邏輯;他們利用直覺和創造力做出世界如何運作的決策。這和您心目中機器學習系統的運作方式天差地別。

我們做為公司所做的是,利用人類的能力建議系統尋找什麼,然後利用多感官功能尋找這些症狀。舉例來說,如果安裝了輸送帶,想知道它何時可能發生故障,那我們要尋找什麼來預測它運作不良?我們可能會聽它的聲音:當它開始「哐啷、哐啷、哐啷」響時,就表示有問題了。因此,我們運用自己的能力去看、去聽、去聞某個東西,瞭解它在任何特定時間如何運作,以及它是否顯示我們期望它快故障時出現的任何症狀。

您如何訓練 AI 做到這一點,而且是天衣無縫?

我們告訴系統人類可能會看到什麼。舉例來說,我們查看一些設備,認為最有可能發生故障的情況是生鏽。然後,我們要系統去尋找生鏽或變色的情況。接著,如果系統偵測到生鏽,就會告訴我們情況不對勁,是時候考慮更換或修理機器了。

直覺式 AI 不需要大量的資料。我們可以用 10 個或更少的資料集範例來訓練系統。由於需要的資料集很少,所以不需要大量運算也無需 GPU。我們純粹在標準 Intel CPU 上作業,而且仍能達到準確性。

我們最近為無人駕駛列車實施了一套系統。客戶希望確保沒有人因為在列車前方走動而受傷。這其實只需要一個簡單的入侵系統就好。事實上,攝影機公司提供了嵌入攝影機的入侵系統。鐵路公司也曾這麼做過,從一家信譽良好的公司買了幾部攝影機,進行入侵偵測。

唯一的問題是,每部攝影機每天都會收到大約 200 次誤報,導致整個系統無法使用。因此,他們設定了一個標準,即在整個網路中不能超過一次誤報。我們為他們實現了這項目標,在過去五年內,一直為他們的列車提供安全系統。

您的解決方案是否需要安裝新的硬體和裝置?

我們可以跟任何人的攝影機、任何人的麥克風整合;當然,攝影機必須能看到您想看的內容。然後,我們提供智慧。我們可以利用現有的視訊和音訊基礎架構。

不過,氣味是一種非常獨特的功能。沒有人製造能偵測工業氣味的氣味感應器,因此我們自行研發了電子鼻提供給客戶。這款獨特的裝置內建有六種左右的感應器。當然市面上找得到可以偵測單一分子的感應器。舉例來說,如果想偵測一氧化碳,就可以買感應器來偵測。但大多數的工業化學品要複雜得多。即使是一杯咖啡,裡面也有 400 種不同的分子。

可以請您分享一下其他使用案例,示範 iOmniscient 解決方案的實際應用嗎?

我要給您的這個使用案例,展現了這類系統在速度方面的真正價值。因為我們不是要標記 50,000 個物件,所以實際上可以極快地實施系統。我們受邀去機場,檢查垃圾室的問題,它位於機場下方,收集來自機場本身和降落班機上的垃圾。這個機場共有三、四十個垃圾室。

有時垃圾袋破掉、桶裡的垃圾滿出來,這種情況在所難免,但機場想找個方法確保垃圾室的整潔。於是他們決定利用人工智慧系統達成目標。他們邀了八家公司做概念驗證。他們說:「請花四週的時間訓練系統,然後向我們展示你的能力。」

四週後,沒有人能辦到。於是他們改口說:「花八週的時間好了。」後來又說:「那花十二週可以了吧。」由於涉及的變數太多,這些公司都無法生產出任何準確度高的系統。

最後他們找上我們,問道:「能不能夠來看看有什麼辦法?」我們星期二下午派了一位工程師過去,星期四上午就能展示準確度高達 100% 的系統。在不需要訓練 50,000 組資料的情況下,系統的實作速度就是這麼快。您不需要大量運算,也無需 GPU。這就是直覺式 AI 的美妙之處。

與 Intel 及其技術合作有何價值?

我們與 Intel 獨家合作,過去 23 年來一直都是他們的合作夥伴,保持非常密切且備具意義的關係。我們可以信任 Intel 產出的設備,瞭解它的運作方式,而且知道它始終都能正常運作。它也與舊版相容,這對我們來說很重要,因為客戶是長期購買產品。

iOmniscient 多感官直覺式 AI 的概念是如何演變的?

一開始的時候,很多人利用標準影片分析、影片動作偵測等方法來瞭解環境。我們開發的技術能在極艱巨、擁擠且複雜的情境中發揮作用,也因此在市場上處於有利地位。

時至今日,我們可以做的遠遠不止這些。我們做人臉辨識、車牌辨識,一切隱私都受到保護。我們開發基於視訊、音訊和氣味的系統。技術日新月異,我們也努力保持領先地位。

舉例來說,過去所有的分析都要求感應器處於靜止狀態:如果有攝影機,就得架在杆子或牆上。但當攝影機本身會移動,又會怎樣?如果是穿戴式攝影機,而人在移動,或是安裝在無人機或走動的機器人身上呢?我們開始研發即使在移動攝影機上也能使用的技術。我們稱之為「狂野的 AI」。

另一個例子是,我們最初為工業應用開發氣味技術,例如廢料管理工廠和機場廁所。但我們也發現,我們可以用相同的裝置來聞人的氣息,診斷早期的肺癌和乳癌。

目前這項產品我們尚未發布,我們正在進行臨床測試和臨床試驗,要以醫療裝置的形式發布。但這就是未來的展望。世事難料。20 年前,我們絕對無法想像會開發用來偵測癌症的裝置,但這正是我們前進的目標。

相關內容

若要進一步瞭解多感官 AI,請收聽多感官 AI:預測性維護的未來並閱讀多感官 AI 顛覆即時分析。若要瞭解 iOmniscient 最新的創新技術,請輸入 @iOmniscient1 在 X/Twitter 追蹤並在 LinkedIn 上關注。

 

本文由 Erin Noble 編審。