邁向邊緣網路之旅

邁向邊緣網路的優勢顯而易見:提升速度、強化安全性,以及改善使用者體驗。但企業究竟該如何實現這一轉變?哪項功能最符合需求,成本又應該是多少?值得企業尋尋覓覓的完美解決方案是否存在?

我們邀請到 IT/OT 硬體解決方案供應商 CASWell產品經理 CK Chou 共同探索網路邊緣。Chou 分享到轉向網路邊緣過程中的困難、AI 在其中的角色,以及如何以創意思維,借助傳統技術指引前往寶貴解決方案的方向。(影片 1)

影片 1。CASWell 的 CK Chou 在「insight.tech Talk」中探討了邁向網路邊緣的挑戰與網路邊緣裝置的角色。(資料來源:insight.tech

為什麼企業現在都轉向網路邊緣?

談到邊緣運算,我們都知道重點是在資料建立的地方馬上進行處理,而不是把所有東西傳回去中央伺服器。這樣可以加快回應速度和減少內部流量,所以非常適合需要即時反應的情境,像是製造業、零售業、交通運輸、金融服務和其他領域。

這樣說好了:想像你在一台自駕車裡面,路上有突發狀況。你需要車子馬上做出反應,每個毫秒都很關鍵,承擔不起等資料來回遠端伺服器有延遲。這跟用電腦的時候等沙箱載入不一樣,是吧?在自駕車情境裡面,任何延遲都可能會出人命。這就是邊緣運算在源頭處理資料,快速做決策的例子。

這當然不只是跟速度有關,也是為了保障資訊安全。如果像財務資訊這種敏感資料可以在本機處理,不用透過網際網路傳到中央伺服器,被攔截或被駭的機率就會比較低。資料越不需要傳輸就越安全。

透過在現場處理資料,邊緣運算就算在網路連線不穩定的情況下,還是能夠幫忙保持順暢執行。簡單來說,邊緣運算的重點在於速度、安全性和可靠性。不管是在車上、診間還是廠房,都可以把資料處理帶到最需要的地方。

不過,要轉到邊緣網路沒那麼簡單。這是很重大的轉變,而且挑戰也會跟著來。公司要面對系統管理複雜度增加、基礎架構成本提高、處理能力有限、資料管理問題和其他難題。雖然有這些挑戰,但邊緣運算的好處還是非常重要,沒辦法去忽視。邊緣運算能夠大幅提升基礎架構效能、強化安全性和節省整體正本,這些優勢就值得我們去克服障礙。

那網路邊緣裝置的哪些功能可以幫助企業成功呢?

這個不好說。我心目中夢想的邊緣裝置應該要體積小巧,而且還要有好幾種像 SNA、Wi-Fi 和 5G 不同應用的連接選項。還有,使用者想在寒冷的山區或是炎熱的沙漠安裝設備的話,如果有能在惡劣的環境運作、可以應對適當的溫度範圍的機架設計,這真的會很不錯。另外,也要提供強大的處理能力,但是耗電量又很低。當然,最重要的是這個多合一裝置的成本還要低到不行。

通通都可以做到的裝置聽起來很完美,對不對?但你認真覺得這是有可能的嗎?老實說,在邊緣的公司不太需要多合一裝置。他們真正需要的是有適合特定環境跟應用功能的裝置。這就是 CASwell 的專長。

我們的產品線提供很多種選擇,從基本型號到高階解決方案都有,涵蓋了 IT 到 OT 的應用。不管是小型辦公室、工廠還是遠端位置,我們都有專門為不同條件跟需求設計的選項,讓公司可以輕鬆找到合適的邊緣裝置,不用把錢花在不需要的功能上。

AI 在網路邊緣的作用是什麼?

現在的 AI 模型訓練都是在雲端進行,所以需要大量的資料跟很強的運算能力。但試著想想看資料中心有多大。想像一個足球場那麼大的空間,裡面擺滿了幾十個大型模塊,每個模塊裡面又有幾百台伺服器,全部都互相連接,而且一直進行模型訓練。

這樣的 AI 伺服器聽起來很神奇,但是離我們一般的使用案例太遙遠,而且客戶也負擔不了。不要忘記:邊緣運算的概念就是在資料建立的地方直接處理,而不是把所有資料傳到中央伺服器。如果想用 AI 來強化邊緣解決方案,不可能把整個 AI 工廠搬到伺服器機房,除非你有錢的不得了,而且伺服器機房還跟足球場一樣大。

可行的辦法是把重量級的深度學習任務放到集中的 AI 中心,然後推斷的部分移到邊緣去。這種方法需要的電力和資料比較少,非常適合邊緣設備。我們已經可以看到 AI 整合到像手機、 採用 AI 的電腦這種日常裝置的趨勢。這些裝置用雲端訓練的模型來做出智慧決策、提供個人化體驗,還有改善使用者互動。

CASWell 在開發一條全新的邊緣 AI 伺服器產品線。這條產品線是專門為了把 AI 功能從資料中心帶到邊緣所設計的,讓我們可以馬上體驗到 AI 的威力。這讓需要 AI 的人能夠隨時隨地掌握需要的技術。

CASwell 怎麼幫企業應對網路邊緣的挑戰?

我們有觀察到邊緣環境變得比一開始預期更有挑戰性的趨勢。越來越多終端使用者都在找可以同時用在 IT 跟輕型 OT 環境的解決方案。他們希望邊緣設備不只能安裝在有冷氣、乾淨又整齊的機架上,在像倉庫、廠房,甚至是通風不好的機櫃這種環境裡面也行得通。

CASwell 決定開發一款採用 Intel Atom® 處理器的入門級桌上型產品 CAF-0121,能夠提供效能和電源效率的最佳平衡。CAF-0121 可以支援 -20º 到 60º 的溫度範圍,比一般的 0º 到 40º 還要更廣。這款小型的裝置還能提供 2.5-gig 支援,實現基本的基礎架構連線能力。另外,CAF-0121 體積小巧也沒有風扇,採用被動式散熱設計,很適合邊緣運算應用。

我們這個新型號的目標是以對 IT 實惠的價格提供 OT 等級的規格。意思是使用者可以減少管理基礎架構需要的資源,部署起來更輕鬆。他們可以在 IT 和 OT 應用裡面用一樣的裝置,技術設定標準化跟維護變得更簡單了。CAF-0121的設計讓企業能夠適應不同的環境,不用每個情境都要用分開的解決方案,所以的確是很讓人期待的產品。

打造 CAF-0121 的時候有遇到什麼困難嗎?

TEM 熱電模組這個技術是 CAF-0121 的基礎。TEM 解決方案經過驗證可以冷卻過熱元件,在醫療裝置、車輛系統、冰箱、飲水機和其他需要快速又精確溫度控制的裝置裡面很常見。

這些裝置在電流通過的時候會產生溫差,讓一側加熱,另一側降溫。傳送的電流越多,兩邊的溫差就越大。

大家通常用到的都是 TEM 的散熱功能,但我們的想法不一樣:怎麼不同時利用冷卻和加熱的功能,幫邊緣裝置在更廣的溫度範圍裡面運作呢?整體的概念是我們利用 TEM 的加熱功能,間接把系統的運作溫度範圍降到更低。反過來說,只要內部環境溫度升高到一定程度,用散熱功能就可以就可以讓系統降溫。室內變冷的時候,TEM 能夠充當加熱器;室內變熱的時候,TEM 可以當冷卻器來用。

透過 TEM,我們就不用再被個別元件的運作溫度範圍限制,讓設備的溫度範圍超越元件在一般情況的極限。有了 TEM,我們能夠挑戰溫度的極限,同時保證裝置的可靠性。

在這個專案裡面,我們把傳統技術當創新的解決方案來用,幫產品在競爭非常激烈的市場帶來更多附加價值,還得到了寶貴的經驗。我們也希望這次小小的成功可以鼓勵研發團隊保持創意,勇於突破框架思考,不要拘泥在傳統的方式上。

CASwell 是怎麼跟技術合作夥伴合作來實現產品線的?

厲害的邊緣運算裝置應該要有合適的處理能力、節能省電、體積小巧、連接選項多,當然價格上也要有競爭力。這幾點都是任何邊緣運算裝置的基本必備條件。

這就是為什麼我們在 CAF-0121專案選 Intel Atom 處理器的原因。Atom 讓我們可以提供合適的效能水準,同時保持低耗電量。Intel LAN 控制器幫我們輕鬆把 2.5-gig 乙太網路支援加到這個裝置裡面,確保可以滿足大多數基礎架構的需求。

Atom 還內建加速 IPsec 流量的指令,非常適合安全應用程式。不管是處理資料加密、安全通訊,還是其他安全任務,這款處理器都可以勝任挑戰。

如果想要進一步提升安全性,Atom 也整合了 BIOS Guard 和 Boot Guard,提供硬體的信任根源。我們不只是強調卓越的性能跟效率,還針對 BIOS 和開機程序提供高階保護。這種安全等級非常重要,對需要在不降低保護的情況下處理敏感資訊、關鍵任務的邊緣裝置來說更是重點。

在市場上各式各樣的競爭者裡面,只有 Intel 能夠一次提供所有功能。Intel 不但支援硬體,還有驅動程式跟韌體。這麼高的整合性讓 CAF-0121專案的開發輕鬆很多,而且完全縮短了我們的上市時間。處理能力、安全功能,甚至是軟體支援都是同一個可靠的合作夥伴提供的時候,整個流程絕對變得更簡單。這樣不只簡化了工程跟開發工作,也確保所有元素都可以順暢配合。

在這種情況下,像 CASwell 這種硬體設計師就可以更專注在效能最佳化上,減少解決能力問題上的精力。這對 CASwell 跟客戶來說都是一場勝仗,讓我們可以更快、更高效提供高品質又可靠的邊緣運算解決方案。

我們的終極目標很明確:我們要設立邊緣運算設備的新標準,還有提供靈活的邊緣解決方案,幫客戶應對雲端、網路跟智慧邊緣的挑戰。

相關內容

收聽《網路邊緣優勢:實現商業成功》並閱讀《AI 無所不在— 從網路邊緣到雲端》,進一步瞭解網路雲端。若要瞭解 iProd 最新的創新技術,請關注其 LinkedIn

 

本文由Erin Noble 編審。

技術夥伴關係為商業解決方案奠定基礎

許多企業競相採用最新技術,不僅有助於他們大幅提升效率,還能幫他們找到改善產品與服務的方向。創新的解決方案如雨後春筍般湧現,賦予搶先採用新技術的企業具吸引力的競爭優勢。然而,部署完全整合的解決方案過程非常複雜且耗時,展開初步試驗後放棄的組織不在少數。

跟解決方案整合商這類經驗豐富的技術夥伴合作,能夠減輕採用技術伴隨而來的挫折感,為成功部署奠定基礎。知識淵博的整合商可以配合企業現有的基礎架構與未來目標,量身打造端對端協助。部分整合商能創造與全球合作夥伴和系統整合商網路合作的機會。專業整合商監督解決方案挑選、整合、部署與擴充的整個過程,可以主動排除障礙,讓企業在全球各地快速啓動及執行合適的解決方案。 

技術整合障礙

企業為了採用新技術吃足苦頭的原因很多。解決方案通常需要結合運作時必須水乳交融的軟硬體元件,或是專為搭配現有基礎架構而量身打造的元件。由於很多大企業在不同地點使用的新舊技術組合各不相同,因此評估相容性的流程錯綜複雜。跨國企業還必須考量地區技術標準與法規。

Wesco 是全球供應鏈解決方案供應商龍頭,該公司的技術與支援服務部副總裁 Matt Powers 表示:「如果你是有數十項目標待實現的 IT 主管,那麼你最不希望發生的事,應該就是必須像總承包商一樣,統包每個解決方案。「精心規劃設計以及為每項專案挑選多家承包商的過程,成了細膩複雜的習題。」

在那道習題,連接的基礎架構可能改變,進一步提高了複雜度。Powers 表示:「解決方案演變的速度快到難以想像。」「創新技術不斷改變技術之間相互依賴的關係。」

擴充則是另一道障礙。企業經常測試潛在的解決方案,最終結果令人振奮,但是當他們嘗試擴大部署時,卻是失望收場。

Powers 表示:「這種情況很常見,在物聯網解決方案尤其司空見慣。」「公司行號的說法是:『我們執行概念驗證(POC)後,雖然得到理想的結果與價值,但如今我們該如何在全球企業擴充這個解決方案?』擴充對全球客戶是一大挑戰,因為他們必須針對不同地區存取以及將技術本地化。此外,他們還必須找到部署夥伴,例如整合商與承包商,並且與他們合作,確保解決方案有效執行。」

技術夥伴關係提供創新解決方案

Wesco 是經驗逾 100 年的解決方案整合商與經銷商,能夠協助各種企業(包括製造商、公用事業、資料中心、零售業及飯店餐飲業公司)避免執行上的問題,並且高效部署合適的解決方案。這個過程一開始必須先徹底瞭解組織的需求。

Powers 表示:「我們與利害關係人密切合作,瞭解他們的特定難題,並且評估他們提升效率或從投資獲得回報的機會,而這正是我們作風有別於其他公司的地方。」「一旦做到這一點,我們就能協助引導他們找到合適的解決方案供應商與整合商生態系統。」目前為止,通過 Wesco 審核的合作夥伴網路,包括全球 50,000 多家軟硬體與雲端解決方案供應商,以及整合商合作夥伴。

Powers 表示:「技術合作夥伴的創新能力,是我們最看重的夥伴特質。」「Intel 為我們提供各式各樣的尖端技術,而且其產品採用開放式架構,讓我們的解決方案供應商和獨立軟體廠商(ISV)能夠開發出各種終端使用者都能使用的平台。」

技術整合:客戶與供應商雙贏的局面

Wesco 致力成為值得信賴的顧問,為各企業獨特的環境建議最合適的元件、解決方案與合作夥伴。WaitTime 這家建置人群分析解決方案的 ISV,是 Wesco 如何為網路邊緣到雲端客戶部署完整解決方案的範例之一。

WaitTime 軟體在電腦視覺攝影機應用邊緣 AI,為場館業者提供容量、人群密度與購物者深入解析等資訊。這套軟體採用 Intel 技術,針對現場處理資料最佳化,而且以近乎即時的方式提供警示。

企業利用 WaitTime,可以更快偵測並解決人群問題,預先防範潛在危險,並在問題發生前派出員工。他們還可瞭解賓客或購物者將時間花在哪裡,或者更寬的路徑、更優異的視導,或是其他改良措施,能夠嘉惠哪些區域。這些改變能夠提高商店或販賣部的收益。

雖然 WaitTime 設定後使用簡便,但部署作業不單單是安裝平台而已。Powers 表示:「軟體是技術的一環。我們能整合其他硬體與安裝合作夥伴,打造端對端解決方案。」

哪一種供應商?端視組織而定。

企業未必能以電腦視覺技術升級現有的監視攝影機。此外,他們必須找到能以可靠方式傳輸及處理大量資訊的網路以及硬體,同時還要遵守一切當地的安全與隱私法規。

這些只是組織在部署前必須先考慮的幾個環節。Wesco 能協助他們做出縝密的決策,挑選合適的承包商和系統整合,根據他們的需求建立、協調及擴充解決方案的所有要素。

技術與體驗加速企業邁向成功

Powers 表示,技術變化的速度越來越快,尖端解決方案對成功的重要性就越來越高。「創新對各行各業的影響正迅速蔓延,這場競爭方興未艾。企業若瞭解新技術能如何協助企業,以及如何大規模部署新技術,就能隨著新功能問世持續成長茁壯。」

 

本文由 insight.tech 編輯總監妮.貝內施(Georganne Benesch)編輯。

反向代理伺服器提升 AI 網路安全

AI 模型仰賴持續的資料串流來學習及推斷。這就是它的價值所在。也是它的脆弱之處。由於 AI 模型是建立在其接觸的資料上,因此也容易受到損壞、操縱或洩漏之資料的影響。

網路威脅可能來自不良行為者,他們偽造推斷、對模型注入偏見,擾亂模型的效能或運作。分散式阻斷服務(DDoS)攻擊可以產生相同的結果,這種攻擊會壓垮模型執行的平台(以及模型本身)。這些和其他威脅可能會讓模型及其敏感資料受到 IP 竊盜,如果周圍基礎架構保護不當,情況更是如此。

可惜,急着實施 AI 模型會導致 AI 部署架構產生重大的安全漏洞。隨著公司將 AI 整合到更多業務系統和流程中,資訊安全主管(CISO)必須努力填補這些漏洞,以免每次推斷都遭人擷取有價值的資料和 IP。

AI 網路安全讓追求效能的 CISO 進退維谷

在技術層面上:目前這一代 AI 部署缺乏安全性有一個簡單的解釋:效能。

AI 模型運算屬於資源密集型任務,幾乎完全隸屬運算叢集和超級電腦的範疇,這點直到最近才改觀。現在的情況已有別以往,八核心的第 4 代 Intel® Xeon®可擴充處理器等平台支援 Dell Technologies PowerEdge R760 等機架伺服器,能夠高效同時託管多台 AI 模型伺服器(圖 1)。

Dell 機架伺服器圖片
圖 1. Dell PowerEdge R760 等機架伺服器可以同時託管多台高效能 Intel® OpenVINO 工具組模型伺服器。(資料來源:Dell Technologies

不過,不管是在邊緣還是資料中心託管,AI 模型伺服器都需要大部分(如果不是全部)平台的資源。這犧牲了安全性等功能為代價,而且幾乎不管部署範例為何,這些功能對運算的要求也很高:

  • 部署模型 1:主機處理器:在同一處理器上部署 AI 模型伺服器與防火牆或加密/解密等安全性功能,會使工作負載爭奪 CPU 資源、網路頻寬和記憶體。這會減緩回應時間、增加延遲,並降低效能。
  • 部署模型 2:獨立虛擬機器(VM):在同一個主機處理器上的不同 VM 託管 AI 模型和安全性功能,可能會帶來不必要的開銷、架構複雜性,最終會對系統擴充性和靈活性造成影響。
  • 部署模型 3:相同的 VM:兩種工作負載類型託管在同一個 VM 中,模型伺服器和安全功能可能會暴露在相同的漏洞中。這可能會加劇資料外洩、未經授權的存取和服務中斷。

CISO 需要新的部署架構,既能提供 AI 模型所需的效能擴充性,也能保護其中駐留的敏感資料和 IP。

COTS 硬體的 AI 模型安全性代理

另一種選擇是在不同系統上託管 AI模型伺服器和安全性工作負載。這提供了足夠的資源,以防 AI 任務不必要的延遲或效能下降,同時在推斷、安全性作業和 AI 模型本身之間提供實體隔離。

接下來的挑戰就變成了實體足跡和成本。

全球首屈一指的應用程式交付基礎架構公司 F5 Networks, Inc. 察覺這個機遇,與 Intel 和提供廣泛產品組合的全球領先 OEM 公司 Dell 合作,開發了一款解決方案,在單一商用現成(COTS)系統中滿足上述要求。F5 基於搭載第 4 代 Intel Xeon 可擴充處理器的 Dell PowerEdge R760 機架伺服器,整合了 Intel® Infrastructure Processing Unit (Intel® IPU) 配接器 E2100(圖 2)。

Intel IPU 配接器影像
圖 2。Intel® Infrastructure Processing Unit (Intel® IPU) 配接器 E2100 從主機處理器卸載安全性作業,將資源釋放給 AI 訓練和推斷等其他工作負載。(資料來源:Intel

Intel IPU 配接器 E2100 是一種基礎架構加速卡,提供 200 GbE 頻寬、x16 PCIe 4.0 通道,以及內建加密加速器,結合進階封包處理管道,提供線速安全性。該卡的標準介面可與 PowerEdge R760 等伺服器整合,且 IPU 配備充足的運算和記憶體來託管 F5 的 NGINIX Plus 等反向代理伺服器。

NGINX Plus 建置在開放原始碼的 Web 伺服器上,可以部署為反向代理伺服器,攔截、解密/加密往返目的地伺服器的流量。這種分離有助於緩解 DDoS 攻擊,但也表示加密作業可以在 AI 模型伺服器主機以外的其他地方進行。

F5 Networks NGINX Plus 反向代理伺服器提供 SSL/TLS 加密,並在未經驗證的推斷與 R760 上執行的 Intel® OpenVINO 工具組模型伺服器之間提供安全間隙。除了以反向代理伺服器運作,NGINX Plus 也提供安全性控制、負載平衡、內容快取、應用程式監控與管理等企業級功能。

簡化 AI 模型安全措施。致力於 AI 價值。

儘管人們對 AI 寄予厚望,但並沒有考量太多潛在的部署缺陷。任何希望獲得競爭優勢的公司,都必須在其技術堆疊中快速整合及部署 AI 解決方案。但為了避免買家事後懊悔,必須瞭解採用 AI 帶來的安全性風險。

在專用 IPU 上執行安全性服務,不僅簡化了安全 AI 的部署,而且在 AI 和安全性開發團隊之間建立涇渭分明的分離,進而增強 DevSecOps 管道。

也許我們畢竟不會花太多時間擔心 AI 的安全性。

 

本文由 insight.tech 編輯總監妮.貝內施(Georganne Benesch)編輯。

Intel® Xeon® 6 處理器讓 AI 無所不在

全球各地的組織都在部署 AI 提升營運效率,提升自身市場競爭力。我們與 Intel 的網路與邊緣事業群產品管理副總裁 Mike Masci 以及 Intel Xeon 與運算產品副總裁兼總經理 Ryan Tabrah, Vice President & General 進行訪談,討論全新的 Intel® Xeon® 6 處理器。Mike 和 Ryan 談到幾項關鍵進展,能以更永續的方式支援執行邊緣到資料中心 AI 需要的順暢、可擴充基礎架構。

為什麼推出 Intel Xeon 6 處理器對 Intel、合作夥伴和客戶這麼重要?

Ryan Tabrah:這次的推出集結了很多要素,包括回歸我們的初衷,從製程技術出發,去實現未來 AI 資料中心的技術。我覺得 Intel Xeon 6 推出的時機非常剛好,讓我們的客戶可以持續透過解決方案創新,而且用前所未有的方式建立資料中心。有了 Intel Xeon 6 處理器,E-core 針對每瓦最佳效能最佳化,P-core 就幫現在資料中心普遍存在的運算密集型工作負載帶來每核心最佳效能。

Mike Masci:對我們來說,Xeon 6 不只是一次升級,還是 AI 驅動運算基礎架構必要的條件。現有的資料中心沒有每瓦效能特性,資料沒辦法針對 AI 時代的需求去擴充。只要是需要處理大量資料的網路,不管是從邊緣 AI 還是雲端 AI,Xeon 6 都能夠用更高效率、高效能的方式完成任務。在資料中心裡面,這款處理器還可以讓基礎架構支援 AI 的效能需求,同時又能夠線性擴充。

Xeon 6 從邊緣到雲端保有一致性,而且能從高階產品擴充到以成本和功率為主的低階產品,這就是開發者期待的功能。他們希望能有非常順暢的體驗,避免混搭不同的架構和系統,因為只要減慢速度或產生摩擦,實質上就是在浪費他們開發 AI 技術的時間。

Intel Xeon 6 是第一款搭載效率核心與效能核心的 Intel Xeon。這款處理器在不同工作負載和相關使用案例有哪些例子?

Mike Masci:首先,效率核心是專門為資料中心級的工作負載來設計和打造的,在最佳化的密度和功率等級上效能很高。這帶給客戶很大的優勢,讓他們可以靈活組合產品,不用承擔管理和部署的複雜度和成本,就能在對的地點幫合適的工作負載分配正確的的產品。

在網路邊緣部署跟資料中心深處執行的相同工作負載越來越常見。大家希望兩邊都用相同的基礎架構,這樣部署就變得更快、更簡單,而且長期下來還能節省費用。

雲端原生是最關鍵的工作負載。這個部分就是 Intel Xeon 6 E-core 的強項。談到這項優勢的使用案例,5G 無線核心在網路和邊緣方面是我們最重要的領域之一。在以前的年代,這些公司用的是固定功能的專有硬體,現在他們已經採用 NFV(網路功能虛擬化)和 SDN(軟體定義網路)的原則,而且朝著雲端原生技術邁進。這個時候,Intel Xeon 6 處理器在每瓦執行緒效能最佳化的方面就變得非常重要。

我們在研究搭載 P-core 的 Intel Xeon 6 其他邊緣應用的時候,客戶都非常期待 Intel® Advanced Matrix Extensions (Intel® AMX) 技術。具體來說,這款處理器在效能核心裡面有專門的向量 ISA 指令,能在邊緣執行輕量級推理,這些環境可能功率預算不夠,沒辦法支援通常用在訓練叢集的大規模 GPU。AMX 的好處就是使用過程對開發者來說很順暢,透過像 OpenVINO 這種工具還有我們的 AI 套件,他們不用去學特定的 ISA 編程就可以充分利用 AMX。

Ryan Tabrah:其實特別在邊緣,客戶沒辦法用一些更耗電或佔空間的加速器,所以我們只能靠已經整合到 Intel Xeon 6 效能核心系列的更高密度解決方案。

影片也是一個很好的使用案例。沒辦法輕鬆擴充、擷取影片,然後傳輸給終端使用者,就不能賺錢。這也是我們專注在影片工作負載的機架整合能力的原因之一。從相同效能可以同時串流的影片數量來看,我們的機架整合是前面幾代的三倍。這表示在資料中心的效能和省電效率都更高,能用更少的機器、更高的密度服務更多客戶。相同的基礎架構可以進一步應用到 5G 網路,延伸到網路邊緣,然後快取影片,接下來部署給終端使用者。

可以從特定垂直市場和使用案例的角度來談談 Intel Xeon 6 嗎?

Mike Masci:拿醫療保健來舉例,訓練醫學影像模型需要大量的資料。要得到可行的資料和深入解析,就要在雲端訓練模型,還要在邊緣高效執行。你需要執行像 RAG(擷取增強生成)這樣的功能,來確保模型可以達到預期效果,譬如說在診斷輔助的領域就特別重要。那需要重新訓練的時候會怎麼處理?邊緣機器會把更多資料傳到雲端去重新訓練,然後再把資料回傳到邊緣機器。對 DevOps 和 MLOps 的開發者來說,這整個流程是一門完整的學科,而且這個學科可能是目前 AI 最重要的部分。

我們相信把訓練好的模型部署到邊緣上,再利用邊緣的新資料在雲端重新訓練模型,這樣才能充分發揮 AI 真正的價值。而且對開發者來說,模型可以在擴充系統上執行非常重要。

Ryan Tabrah:世界各地的醫療機構有很多舊版的程式碼、應用程式在他們不願意升級或維護的核心上執行。這些醫療機構希望可以轉移,甚至是容器化這些工作負載,放在一個可以穩定執行的系統上,而且不需要做任何操作。我們透過開放原始碼工具來更新他們基礎架構的部分,建立新的資料中心,讓現代技術跟舊版的應用基礎融合、連接。

這就是見證奇蹟的時刻,使用者根本不需要從零開始。醫療機構有這麼多舊版資料和應用程式,又得要執行新的任務。就像 Mike 前面講到的,只要在邊緣、實際開發的實際雲端,甚至是電腦的平台都一致,他們就不用擔心。

Xeon 6 可以幫客戶帶來哪些永續發展上的優勢?

Mike Masci:有幾個我們網路和邊緣工作負載的每瓦效能提升很多。Xeon 6 的效能是第 2 代 Intel® Xeon® 可擴充處理器的 3 倍。簡單來說,如果每瓦效能提高 3 倍,你需要的伺服器數量就能減少三分之一。這樣不只能夠減少 CPU 功率,還能夠節省整個系統的電力,包括交換器、機架本身的電源供應器還有周邊裝置的耗能。

推動這種永續發展的機制是 Intel 的使命,因為 CPU 每瓦效能對整體硬體部署的選擇有很大的影響。

我們跟 5G 核心 ISV 供應商龍頭 Ericsson 的合作就是一個很好的例子。在他們對 5G 使用者平面功能 UPF 的實際測試裡面,每瓦效能比前一代還要高 2.7 倍。而且在 Ericsson 對 200 萬訂閱者的控制平面的測試裡面,跟支援一樣多訂閱者的前一代比起來,耗電量少了 60%。這就回到了每瓦效能跟永續發展上。不過,同時也能夠節省大量的營運成本,還對這個地球帶來很多正面的影響。跟 Ericsson 的合作證明了這個目標不只是理論上可行,實際上我們也已經達成了。

在這個領域上,我們的基礎架構電源管理器可以根據實際使用情況動態調整 CPU 的功耗和效能。譬如負載比較低的時候,CPU 就會自動降低功耗。這個背後的基礎是整個產品線在所謂的負線效能方面有很大的改善。現在大多數的伺服器都不會一直用百分之百的使用率來執行。像 Intel Xeon 6 這種 Intel CPU 在低使用率的情況下能夠有效降低功耗,這樣可以減少整體的電力需求,提升平台的永續發展。

這聽起來很基本,但要做到比想像還難。需要最佳化作業系統層級,才能充分利用這些電源狀態。還要保證達到服務品質、SLA 還有運作時間,這些都非常關鍵。

Ryan Tabrah:我們在製造、驗證實驗室、供應鏈和其他各方面的努力,都展現了我們在永續發展的領導地位。客戶知道自己在用 Intel 矽晶片的時候,他們可以確定這些產品在生產、測試、驗證和製造的每一步都是用最永續的方式進行的。我們在打造產品的同時,也一直在世界各地推動水資源的再利用還有其他回饋環境的做法。

Intel Xeon 6 讓我們的客戶有實現永續發展目標的機會。有了 Intel Xeon 6 的高核心數量和高效率,我們的客戶可以換掉資料中心老舊的伺服器,整合到更少的伺服器上,省下能源消耗還有機房空間。

那我們來談談資料安全還有 Intel Xeon 6 的增強功能,讓開發者更輕鬆建構安全性更高的解決方案。

Mike Masci:在研究對網路和邊緣特別重要的安全性增強功能的時候,我們推出了重大新增內容 SGX 還有 TDX 技術。但是對客戶來說,安全生態系統的技術成熟度非常重要,在 AI 驅動的世界更是關鍵。你需要有模型安全性。譬如說,在現在雲端原生驅動的世界裡面,如果要執行多租用戶的話,就要有安全指定位址空間,這一點變得很重要。整體上,我們看到 Intel Xeon 6 的安全技術程度的確是一個獨特的優勢。

Ryan Tabrah:從一開始,安全性就是我們打造 Intel Xeon 6 和平台的基礎。這是我們在好幾代 Xeon 產品裡面持續發展的方向,而且我們也努力讓機密運算在合作夥伴生態系統變得更簡單、更基本。隨著 Intel Xeon 6 的推出,我們在量子抗性和平台強化方面有了新的進展,讓客戶用安全性、隱私和合規性來達成業務目標。

最後有什麼想要補充的嗎?

Mike Masci:Intel Xeon 6 對邊緣 AI 和網路來說不可或缺。對我們來說,打造一個簡單順暢、能輕鬆支援很多工作負載,又可以組合的平台,這樣的構想非常成功。我覺得這就是 Intel Xeon 6 的重點。這款處理器順暢又可以擴充,不用擔心執行的硬體架構,就可以在邊緣跟資料中心執行一樣的應用程式。

Ryan Tabrah:沒錯。特別是在不同的環境跟地區,資料中心基本上電力是不夠的,原因可能是資料中心建得不夠快,或是受到新的限制跟潔淨能源要求影響。我們有從邊緣到資料中心的解決方案,輕輕鬆鬆就能體驗到這些方案的優勢。

我覺得最好的驗證就是客戶的意見回饋。我們的客戶期待有更多產品。他們希望有更進一步的合作。他們不只想幫我們提升處理器,還希望能盡快打造出下一代產品。他們對 Intel 在電信、邊緣建設、基礎架構建設和資料中心這些關鍵領域的領導地位非常期待,我們也很高興能和他們一起引領產業。

 

insight.tech 編輯總監 Christina Cardoza 編輯。

多感官 AI:減少停機時間並提升效率

當您在路邊等待拖吊車,是不是總在那一刻才意識到自己忽略了 75,000 英哩的保養和安全檢查?「檢查機油」和低胎壓警報雖可避免危險情況,但您仍然可能陷入令人沮喪且耗時的故障情況。那麼將這種不便和生產力損失擴大到工廠規模:機器故障可能會導致所費不貲的停機時間。

這就是預測性維護派上用場的地方。機器學習可以分析正常工作流程中的模式,並及時偵測異常狀況,防止代價高昂的停機;但萬一發生在新的設備上,AI 沒有現有的資料可學習,那該怎麼辦?人類擅長處理新情況(即使效率低下)的某些特性,是否能在機器偵檢中加以利用?

基於 AI 的影片分析供應商 iOmniscient 的共同創辦人暨執行長 Rustom Kanga,對於預測性維護未來的這些和其他問題提供一些答案。他談到傳統機器學習在預測性維護方面的侷限;現有基礎架構何時可以成為預測解決方案的一環,以及在什麼情況下無法發揮作用,還有電子鼻又是什麼(影片 1)

影片 1。iOmniscient 執行長 Rustom Kanga 探討多感官和直覺式 AI 對預測性維護的影響。(資料來源:insight.tech

傳統的預測性維護方法有什麼侷限?

現今,人們談論人工智慧時,時常把它跟深度學習與機器學習技術畫上等號。舉例來說,如果您想讓 AI 偵測狗,您要找 50,000 張狗的圖片,並標記:「這是狗。那是狗。那是狗。那是狗。」一旦系統訓練完畢,下次狗狗出現,它就會知道那是一隻狗。這是深度學習的運作方式。

但如果您沒有針對特定或獨特類型的狗訓練系統,那麼它可能無法辨識那種動物。然後,您必須重新訓練系統。就這樣一而再、再而三的反覆訓練,訓練可能永無止境。

維護系統的挑戰在於,安裝新設備時,沒有任何設備如何故障或何時故障的記錄:您沒有進行深度學習的任何資料。因此,您必須要能預測在沒有資料的情況下會發生什麼事。

因此,我們所做的就是自主、多感官且基於 AI 的分析。自主的意思是,通常沒有人為參與,或者人為參與少之又少。多感官指的是,人類利用眼睛、耳朵、鼻子瞭解環境,而我們也如法炮製。我們進行影片分析、聲音分析、氣味分析;藉由這樣,瞭解環境中的情況。

多感官 AI 方法如何解決您提到的部分挑戰?

我們開發了一種名為 直覺式 AI 的功能。人工智慧就是模仿人類智慧,而人類不只使用記憶功能,深度學習本質上試圖複製的就是這一點。人類也使用自己的邏輯功能。他們具有演繹邏輯、歸納邏輯;他們利用直覺和創造力做出世界如何運作的決策。這和您心目中機器學習系統的運作方式天差地別。

我們做為公司所做的是,利用人類的能力建議系統尋找什麼,然後利用多感官功能尋找這些症狀。舉例來說,如果安裝了輸送帶,想知道它何時可能發生故障,那我們要尋找什麼來預測它運作不良?我們可能會聽它的聲音:當它開始「哐啷、哐啷、哐啷」響時,就表示有問題了。因此,我們運用自己的能力去看、去聽、去聞某個東西,瞭解它在任何特定時間如何運作,以及它是否顯示我們期望它快故障時出現的任何症狀。

您如何訓練 AI 做到這一點,而且是天衣無縫?

我們告訴系統人類可能會看到什麼。舉例來說,我們查看一些設備,認為最有可能發生故障的情況是生鏽。然後,我們要系統去尋找生鏽或變色的情況。接著,如果系統偵測到生鏽,就會告訴我們情況不對勁,是時候考慮更換或修理機器了。

直覺式 AI 不需要大量的資料。我們可以用 10 個或更少的資料集範例來訓練系統。由於需要的資料集很少,所以不需要大量運算也無需 GPU。我們純粹在標準 Intel CPU 上作業,而且仍能達到準確性。

我們最近為無人駕駛列車實施了一套系統。客戶希望確保沒有人因為在列車前方走動而受傷。這其實只需要一個簡單的入侵系統就好。事實上,攝影機公司提供了嵌入攝影機的入侵系統。鐵路公司也曾這麼做過,從一家信譽良好的公司買了幾部攝影機,進行入侵偵測。

唯一的問題是,每部攝影機每天都會收到大約 200 次誤報,導致整個系統無法使用。因此,他們設定了一個標準,即在整個網路中不能超過一次誤報。我們為他們實現了這項目標,在過去五年內,一直為他們的列車提供安全系統。

您的解決方案是否需要安裝新的硬體和裝置?

我們可以跟任何人的攝影機、任何人的麥克風整合;當然,攝影機必須能看到您想看的內容。然後,我們提供智慧。我們可以利用現有的視訊和音訊基礎架構。

不過,氣味是一種非常獨特的功能。沒有人製造能偵測工業氣味的氣味感應器,因此我們自行研發了電子鼻提供給客戶。這款獨特的裝置內建有六種左右的感應器。當然市面上找得到可以偵測單一分子的感應器。舉例來說,如果想偵測一氧化碳,就可以買感應器來偵測。但大多數的工業化學品要複雜得多。即使是一杯咖啡,裡面也有 400 種不同的分子。

可以請您分享一下其他使用案例,示範 iOmniscient 解決方案的實際應用嗎?

我要給您的這個使用案例,展現了這類系統在速度方面的真正價值。因為我們不是要標記 50,000 個物件,所以實際上可以極快地實施系統。我們受邀去機場,檢查垃圾室的問題,它位於機場下方,收集來自機場本身和降落班機上的垃圾。這個機場共有三、四十個垃圾室。

有時垃圾袋破掉、桶裡的垃圾滿出來,這種情況在所難免,但機場想找個方法確保垃圾室的整潔。於是他們決定利用人工智慧系統達成目標。他們邀了八家公司做概念驗證。他們說:「請花四週的時間訓練系統,然後向我們展示你的能力。」

四週後,沒有人能辦到。於是他們改口說:「花八週的時間好了。」後來又說:「那花十二週可以了吧。」由於涉及的變數太多,這些公司都無法生產出任何準確度高的系統。

最後他們找上我們,問道:「能不能夠來看看有什麼辦法?」我們星期二下午派了一位工程師過去,星期四上午就能展示準確度高達 100% 的系統。在不需要訓練 50,000 組資料的情況下,系統的實作速度就是這麼快。您不需要大量運算,也無需 GPU。這就是直覺式 AI 的美妙之處。

與 Intel 及其技術合作有何價值?

我們與 Intel 獨家合作,過去 23 年來一直都是他們的合作夥伴,保持非常密切且備具意義的關係。我們可以信任 Intel 產出的設備,瞭解它的運作方式,而且知道它始終都能正常運作。它也與舊版相容,這對我們來說很重要,因為客戶是長期購買產品。

iOmniscient 多感官直覺式 AI 的概念是如何演變的?

一開始的時候,很多人利用標準影片分析、影片動作偵測等方法來瞭解環境。我們開發的技術能在極艱巨、擁擠且複雜的情境中發揮作用,也因此在市場上處於有利地位。

時至今日,我們可以做的遠遠不止這些。我們做人臉辨識、車牌辨識,一切隱私都受到保護。我們開發基於視訊、音訊和氣味的系統。技術日新月異,我們也努力保持領先地位。

舉例來說,過去所有的分析都要求感應器處於靜止狀態:如果有攝影機,就得架在杆子或牆上。但當攝影機本身會移動,又會怎樣?如果是穿戴式攝影機,而人在移動,或是安裝在無人機或走動的機器人身上呢?我們開始研發即使在移動攝影機上也能使用的技術。我們稱之為「狂野的 AI」。

另一個例子是,我們最初為工業應用開發氣味技術,例如廢料管理工廠和機場廁所。但我們也發現,我們可以用相同的裝置來聞人的氣息,診斷早期的肺癌和乳癌。

目前這項產品我們尚未發布,我們正在進行臨床測試和臨床試驗,要以醫療裝置的形式發布。但這就是未來的展望。世事難料。20 年前,我們絕對無法想像會開發用來偵測癌症的裝置,但這正是我們前進的目標。

相關內容

若要進一步瞭解多感官 AI,請收聽多感官 AI:預測性維護的未來並閱讀多感官 AI 顛覆即時分析。若要瞭解 iOmniscient 最新的創新技術,請輸入 @iOmniscient1 在 X/Twitter 追蹤並在 LinkedIn 上關注。

 

本文由 Erin Noble 編審。

3D LiDAR 提供空間智慧

請回想一下,您上次在繁忙市中心參加音樂會這類大型活動的情景。您八成為了找停車位或通過閘門的層層安檢吃足苦頭。另外,販賣部或廁所的人龍也是場硬仗。排除這些惱人的情況,能夠大幅改善訪客體驗。活動主辦單位也能受惠。

正因如此,機場、市政府和娛樂場所才會壓寶投資 LiDAR(雷射探測與測距),一種特別適合提供空間智慧的脈衝雷射型技術。若是運用 LiDAR,不僅能提供人數和車輛數量的相關資訊,還能一窺人流與車流及其互動情況。也就是說,主辦單位能維持安全性,並且即時發現及緩解瓶頸。

3D LiDAR 的優勢

3D LiDAR 解決方案領導廠商 Outsight 總裁暨創辦人 Raul Bravo 表示:「安檢和人群控管對於大型基礎設施場所和活動是一大難題,但卻是 LiDAR 格外擅長的工作。

Bravo 表示:「雖然提及監測裝置時,多數人可能會想到閉路電視和 IP 攝影機,但這類裝置的二維功能在追蹤三維實體世界時發揮的效果有限。」「與傳統電腦視覺不同,LiDAR 無法判斷一個人穿的是紅色襯衫還是綠色襯衫,但它知道該人的速度或位置,同時以 3D 捕獲的形式提供數據。」

有鑑於 LiDAR 的功能,數位孿生已經利用這項技術取得實體世界相關資料一段時間了。Bravo 表示:「LiDAR 技術新興的應用方式不僅能繪製靜態的實體世界,還能將人車即時移動方式數位化。」

另外,LiDAR 這個解決方案本質上屬於匿名,這點也讓組織很安心。由於 LiDAR 不會擷取影像,而是單純只擷取物的距離,因此隱私保護原本就是設計的一環。不靠拍攝人的照片就能監測人群,並且維護隱私,是遵守大量政府法規的關鍵。

3D LiDAR 資料處理難題

雖然 LiDAR 優勢很多,但產生的資料卻處理不易。將 3D 空間智慧資料整合至傳統電腦視覺技術的成效不彰。Bravo 表示:「您反而必須為了解決這種問題,設計特定演算法與技術。」

此外,光是 LiDAR 產生的資料量也是一大難題。Bravo 表示:「我們在全球數一數二大的機場部署 LiDAR 時,同時動用了成千上百個 LiDAR 單位。」「每單位傳來的資料量,相當於一百個人串流 Netflix 的資料量。」

LiDAR 領域的設計、模型和製造商五花八門也是一大問題。Outsight 平台不僅能讓這些難題全部迎刃而解,還可與任何 LiDAR 製造商或模型搭配使用。這項解決方案可開發動態數位孿生,以每秒 20 次的超快短片傳送實體世界的相關資訊,即時提供深入解析。這些深入解析可傳送給合適的對象,以及採取警示的形式。

視覺空間智慧使用案例

Outsight 能協助解決的問題適用於智慧城市、交通中樞以及國際活動。如果機場行李託運區湧入太多人,那麼該解決方案會提醒安檢隊伍後續環節的工作人員,可能出現人流堵塞的情況,接著他們便可加派人手因應。

舉例來說,華盛頓州貝爾維市採用 Outsight 的 LiDAR 解決方案,在十字路口偵測車輛太靠近自行車或行人的虛驚情況。LiDAR 尤其有完善的設備,能在夜間擷取這類事件。這些資訊協助該市採取更主動的措施,例如更清晰的車道標線,實現在 2030 年前消弭交通致命事故與重傷的目標。Outsight LiDAR 還能協助智慧城市即時因應交通流量問題。舉例來說,如果車輛併道時開錯車道,可能會有閃光燈亮起,提醒駕駛人改正錯誤。

大規模管理實體人流和車流時,您必須確保訪客體驗順暢,運作成效卓越。票務隊伍長度以及排隊時間這類關鍵效能指標極為重要。

Outsight 的 LiDAR 解決方案在 2024 年巴黎奧運會,協助解決了安檢與人群管理的問題。Tomorrowland 則是 Outsight 大顯身手的另一個案例,這場比利時一年一度的音樂節,規模在全球數一數二,每年吸引成千上萬樂迷前來共襄盛舉。

空間智慧的技術基礎架構

空間智慧即將把實體世界數位化,並且從數位化資料創造深入解析。高效處理大量資料的處理能力,是實現這項目標的必要條件。Outsight 仰賴 Intel 產品與技術大規模部署解決方案。

Bravo 表示:「實現能源效率需要有採用 CPU 型而非 GPU 型解決方案的特定高效軟體演算法。」Intel CPU 正好能實現這種解決方案。

展望未來,Bravo 對於實體世界數位化在智慧城市、機場與場館之外的諸多可能性感到雀躍。Bravo 表示:「過去甚至無法想像的豐富獨特深入解析與智慧可能變得唾手可得。」「我們正邁向數位轉型的新世界。」

 

本文由 insight.tech 編輯總監妮.貝內施(Georganne Benesch)編輯。

IPC 加速醫療裝置製造商的上市時間

AI 支援的醫療裝置在護理的各個階段都能發揮關鍵的作用:從診斷工具到 AI 增強的數位手術室,以及促進患者復健的術後 AI 分析。

對於醫療設備製造商來說,這是前所未有的機會。但要想把握機會,他們必須尋找創新的方法,縮短開發時間、克服硬體整合挑戰,並符合醫療產業嚴格的認證標準。

為此,製造商正改用專為醫療 AI 使用案例打造的工業電腦(IPC),可降低風險和不確定性。

「在產品生命週期較長的產業,醫療裝置製造商持謹慎態度,不會貿然將複雜的 AI 技術整合至解決方案,這是可以理解的,」頂尖物聯網智慧系統與嵌入式平台供應商 Advantech 產品管理副總監 Emily Teng 表示。「建立在專為醫療 AI 設計、久經驗證的硬體平台,有助於簡化流程並加速上市時間。」

為了適應各種使用案例,Advantech 醫療平台能為法規遵循和量身訂做而設計。  這使設備製造商處於「兩全其美」的境地,因為他們可以透過 OEM/ODM 和聯合開發模式,取得可現成使用的運算平台。

AI 醫療裝置的開發模型

Advantech 與兩家醫療解決方案供應商合作,突顯 IPC 對裝置製造商的優勢,並展示他們如何根據需要來支援不同的產品開發模型。

在其中一個案例中,OR 解決方案整合商試圖使用 ODM 方法開發新的影片解決方案。但該公司擔心自訂硬體設計可能要承擔責任,工程上遭遇的挑戰也令其難以招架。

為了解決這些問題,製造商決定使用 Advantech USM-500 電腦作為新解決方案的基礎。因為 USM-500 旨在滿足法規要求,例如 IEC 60601-1,其中規定了醫療設備的電氣安全標準,以及防止其他裝置干擾的電磁相容性(EMC)標準。這表示公司不必經過耗時且昂貴的硬體認證流程,也不必承擔額外的責任。結果就是大幅加速推出:詢價到大幅生產,短短六個月就能完成。

「想要避免冗長認證流程的製造商可以『依現狀』使用我們的解決方案,因為從運算系統到影片擷取,乃至於網路介面控制器卡片,皆為醫療用途而完整配置和認證,」Advantech 解決方案架構師 Matt Wieborg 表示。「但有些客戶需要更強的自訂,因此我們設計具有廣泛擴充功能的 IPC,這為製造商提供強大的基礎,同時具備充分的靈活性,可微調所需並相對輕鬆地投入生產。」

舉例來說,另一家醫療裝置製造商打算利用具有高功率要求、更具互動性之使用者介面的影像擷取卡,打造解決方案。

Advantech 的設計團隊與該公司的工程團隊合作,打造量身訂做的設計。他們將 10 吋的 LCD 顯示器內建到裝置的前邊框,以滿足 UI 要求。為了支援客戶偏好的影像擷取卡的電源需求,Advantech 相應調整裝置的 I/O。結果是一個高效能的解決方案,利用 IPC 的核心功能,同時提供製造商的自訂需求。

確保臨床邊緣的穩定與安全性

當醫療設備製造商在經過測試的運算平台上建置,就能更有效率地將解決方案引進臨床環境。因為這些平台由硬體專家設計,因此也具備額外的資訊安全性和產品壽命優勢。

舉例來說,Advantech 以多種方式協助合作夥伴提升網路安全和資料隱私。該公司向裝置製造商引進基本硬體產業的最佳做法,例如使用值得信賴的平台模組和內建加密引擎,確保更優異的網路安全。透過在邊緣提供高效能處理,也藉由減少傳送至雲端進行處理的患者資料數量來提升隱私。此外,Advantech 還可讓裝置製造商更輕鬆地安裝安全性修補程式和作業系統更新。

就解決方案穩定性方面,Advantech 與 Intel 的技術合作尤其有利。

「Intel 的產品組合在邊緣 AI 使用案例中表現出色,涵蓋我們醫療裝置製造需求的整個範圍,從低功耗處理到伺服器級運算無所不包,」Wieborg 表示。「此外,在這個領域,擁有可靠且使用壽命長的平台尤為重要。我們有很多買家只考慮 Intel 解決方案,因為它的穩定性名聞遐邇,而且買家知道 Intel 會在往後多年繼續支援這些產品。」

合作夥伴關係是醫療 AI 的未來

符合監管要求且靈活的醫療級硬體一旦可供使用,將能幫助愈來愈多的醫療設備製造商將 AI 整合至產品。這也進而推動更廣泛的 AI 產品生態系統,其中醫療解決方案專家和硬體供應商之間的合作關係是關鍵所在。

有鑑於醫療保健環境中的各種 AI 實作,這對裝置建置商來說是一大幫助,他們需要擁有針對不同配置、環境條件、監管要求和運算規格進行建構、經驗豐富的硬體專家支援。

但 Advantech 表示,醫療電腦製造商也能夠從這些合作夥伴關係中受益:

「我們很榮幸能與眾多頂尖醫療裝置製造商合作」,Wieborg 表示。「客戶的心聲是我們產品線的指南針;客戶向我們提問、我們提出解決方案,這就是我們未來繼續取得成功的方程式。」

 

本文由 insight.tech 編輯總監妮.貝內施(Georganne Benesch)編輯。

利用 3D LiDAR 解鎖全新可能性

我們都很熟悉雷達的概念。但是否記得這個字其實是「無線電偵測和定距」的縮寫,如今已擺說原先大寫的模樣,成為通用名詞和概念?(以及電視節目 M*A*S*H 中的熱門角色)那麼,何謂相關但更注重技術性的「LiDAR」?這個代表「光偵測和測距」,但其實不是新技術,但最近越來越受到矚目,特別是在自動駕駛汽車和地面測繪領域,儘管其用途遠遠超出自駕車和考古學。

最近,我們訪問了 AI 驅動的 3D LiDAR 解決方案供應商 Quanergy Solutions市場開發和結盟副總裁 Gerald Becker。他見證了技術在汽車以外,以及各行各業和企業之中發展。他談到 LiDAR 如何提升營運效率和工作流程、2D 轉為 3D 的優點,以及說服人們採用新技術的挑戰(影片 1)。也許很快有一,LiDAR 將會融入我們的生活之中,然後我們就會在字典中看到「LiDAR」。

影片 1. Quanergy 市場開發與聯盟副總裁 Gerald Becker 在「insight.tech 講座」上談及 3D LiDAR 的崛起與進展。(資料來源:insight.tech

LiDAR 如何超越自動駕駛汽車?

LiDAR 已經存在數十年,但直到過去 10 年左右,我們才真正看到其能耐。人人皆知 LiDAR 被用在汽車(那曾是終極目標)以及機器人與地面測繪,但仍有許多可應用之處。

在 Quanergy,我們已經轉向並瞄準了一個不一樣的市場,與實體安全、整合管理平台、影片管理、軟體解決方案、攝影機、商務智慧和實體存取控制系統的參與者保持一致。他們將我們的感應器整合至平台,提供各種事件發生到採取行動的工作流程。這讓終端使用者能夠探索如何以不同方式解決老問題,以及獲得前所未有的準確度以及解決新問題的新局面。

我負責 Quanergy 的實體安全、智慧空間和智慧城市領域,且在這三個市場中 3D LiDAR 的應用非常廣泛,因為過去一直侷限於使用攝影機或其他 1D 或 2D 技術物聯網感應器。3D 技術的出現,以及我們在過去幾年開發的整合生態系統,提供超越兩個維度的靈活性,以及超越這個空見感測的常見習慣。

這種全新的維度深度如何使企業得益?

舉例來說,在安全性方面,我們主要使用雷達、攝影機以及影片分析進行一些非常非常重要的事,我們的 3D 感應器現在可以提供以釐米級 360 度的深度和體積。相較於所有舊式技術,這增加了總體擁有成本優勢,並減少報錯次數。

在舊式技術中,只要出現移動或分析追蹤潛在的違規行為,都會自動觸發事件。當出現成千上萬的警報,卻因為分析師無法辨認出這不過是一個路過報錯,那這就會是一個大問題。我們的感應器能在 3D 空間提供 98% 的偵測、追蹤和分類準確度。

從商務智慧方面來看,我們能夠提供空間內更高程度、更深入的理解。零售業就是其一。我們可以瞭解消費者的歷程,採取的路徑、接觸的產品,以及排隊等候的時間長短。

無須將攝影機四處固定後串聯,而是安裝一個提供 360° 的 LiDAR 感應器,提供完整 360° 全景,並了解人們如何在這些空間中互動。我們能夠提供許多很棒的成果,這是從未在 2D-感測技術上獲得的。

LiDAR 在應用方面面臨了哪些挑戰?

我認為在使用 LiDAR 方面,如果新技術超出熟悉的範圍,有些人可能會有點緊張。當我在對 LiDAR 影像進行解釋時,總會回顧我最愛的電影《駭客任務》。還記得尼歐在史密斯探員穿過大廳時,看到許多的 1 和 0 從天而降嗎?這就是我們所看到的。我們不會向看到攝影機那樣,可以看出我穿著藍色馬球衫。對我們而言,一切看起來就像在 360° 全景中具深度和體積的 3D 輪廓。

這也是得花成本的。你必須從高層級來檢視。我總是使用我年輕時從資深銷售人員那聽說的這個類比—一整個「冰山理論」。在比較不同解決方案的成本時,您不能只看冰山一角。攝影機可能只要幾百美元,但 LiDAR 可能得花幾千美元,還有軟體等等。

但潛在成本會低於冰山,對不對?在某側安裝七到八個攝影機對比安裝一臺設備?看看付出的勞力;看看部署這些攝影機所需的導管、電纜、許可證和維護成本。因此,當你瞭解舊式技術對比該領域的新技術在安裝方面的複雜度,LiDAR 就會顯得真正符合成本效益。

公司如何利用現有的 3D LiDAR 基礎架構?

任何解決方案的分層方法可能是最佳途徑。世界上沒有一種單一技術可以解決所有使用案例。有人想這樣對你推銷?請轉身快跑,因為這不可能。但當你將多種單項優勢軟體系統整合部屬,就能取得最佳成果。

我們具備龐大且整合的技術合作夥伴生態系統。舉例來說,我們與 2D 成像技術合作:如 Bosch、Axis 、Hanwha 等攝影機公司。如果您需要識別什麼,那麼一個身穿藍色馬球衫的壞人可能會突破重圍!攝影機可以幫助我們察覺。但是,當你需要的是實際偵測、追蹤和分類時, LiDAR 會提供光是使用攝影機無法獲得的全新結果。

假設你使用的是嵌入式攝影機上傳統平移、俯仰、對焦的自動追蹤。傳統 2D 技術與自動追蹤的問題在於,當藍色馬球衫先生在東西後方或進入另一個區域時,攝影機並不知道會發生什麼事。

但如果你在整個空間、上下廊道、停車場等有足夠的雷射散佈,就能準確偵測到物體或人員。透過我們的解決方案,我們可以讓攝影機知道:「嘿,攝影機,注意這堵牆。我們知道這人躲在牆後。」當這個人從牆後現身,我們還可以讓攝影機知道要追蹤藍色馬球衫先生。

解決方案的另一項優點是,我們提供網狀架構。如果空間中有足夠的 LiDAR ,只要雷射重疊,就會打造出這種大型數位孿生。這能為你提供其他技術從未有過靈活性。你可以真正地放大並旋轉上下通道、上下廊道、牆壁的另一側、周圍的樹、周遭所有的東西。

能講講一些客戶用例嗎?

有一間全球資料中心公司向我們提出了一個非常具體的問題。在他們其中一個站點的 33 週測試中發生了 178,000 次警報。現在,當我告訴你這些警報中只有兩個是真的時候,這顯然就是大海撈針。想想看,在安全措施中確認警報的作業:點擊一下。複核。不是嗎?刪除。試著這麼做 178,000 次,找出那名因某事被開除且不應該出現在公司的不滿員工,利用 USB 裝置插入網路,並摧毀一家價值十億美元的組織。

這間公司的人明知有問題,並測試了一切可能之事,包括AI、雷達、事實核查技術、地下電纜。他們最終採用了我們的解決方案,並利用他們最好的網站和我們的網站進行了一場激烈的較量。他們最好的網站發出了 22,000 個警報;我們的網站卻只發出五個真實警報。這讓他們省下了 3,600 個無意義調查工作的小時。

這是另一個有趣的案例。佛羅里達州有許多開合橋。它們又升又降,如果人或汽車在轉換過程中意外落水,就會面臨責任問題。我們利用位於橋樑兩側的 LiDAR 解決方案進行了一些初步測試,得以基本追蹤物體(人或車輛)是否進入場景之中。如果有任何事發生,就可以阻止橋樑上升,或者通知便停中的橋樑管理員:「不要升起橋梁」。他們利用了 LiDAR 的 POC,取得非常大的成功,現已部署在佛羅里達州的好幾座橋梁上。

再多說說有關您合作夥伴的生態系統。

不同於多數主要專注於 GPU 處理且需要處理大量資料的 LiDAR ,我們略有不同。我們的感應器專為流量管理和安全應用建造,無需要收集及推送大量資料。因此,我們採用 CPU 式架構,這意味著更符合成本效益。還具有高擴充性,且因為與 Intel 保持一致更是如此。

我們與 Intel 的夥伴關係亦代表著我們每天都能發現全新的使用案例。目前我們正在探索實體和倉庫自動化,我們可以提供超越傳統空間類型查看方式的 3D 感應。隨著我們持續擴充和成長,與 Intel 的夥伴關係對我們來說非常有價值。

您如何預測這個領域的前景?

AI 的出現,以及大型學習模型的發展情況。有許多的事同時在發生,利用電腦視覺和進一步瞭解場景中正在切割的內容,以瞭解更多通用性,從而產生不同結果,講述不同的故事,最後取得最終結果。是好人還是壞人?這是否為一個良好的工作流程?

因此,隨着 LiDAR 與 AI 技術結合,我們可以實現更多尚未做到的成果。我們還處在非常早期的階段,但這領域確實存在大量的機會。

我們已經過了 LiDAR 的初期(即「嘗試階段」,而且現在有很多人都在談論它是如何提升工作流程並提供額外價值。所以我想,現在遠比任何時候都更應該採取行動、開始測試,開始提出問題:LiDAR 能為我做什麼我以前沒能力做到的事?看看你現有的用例,自問:如果我具備深度、體積、且以釐米級的準確度,那如何改善我的日常工作流程、工作,並為公司整體提供更多價值?

相關內容

如果要瞭解更多有關 3D LiDAR,請觀看「透過 3D LiDAR 應用程式查看更大願景」。若要瞭解 Quanergy 最新的創新技術,請用 @quanergy 在 X/Twitter 和LinkedIn 上追蹤他們。

 

這份文字記錄由文案編輯 Erin Noble所編輯。

影像擷取卡測試車用攝影機

駕車時十分仰賴視野是否清晰。

無論周圍環境是刺眼、昏暗或下雨,行經其他車輛、行人或障礙時絕不容失誤。幸虧科技持續進步,先進駕駛輔助系統 (ADAS) 採用視覺解決方案,協助人類駕駛偵測這些物體。

車輛配備的 ADAS 視覺系統,附有一組攝影機會即時串流車輛內外的影像。再由電腦擷取串流的影像,分成影格交給視覺處理器分析。

車載視覺系統的挑戰

雖然在 ADAS、自動駕駛、電動車來說,視覺系統的功用很重要,但業界沒有一致的標準可以評量視覺系統。再者,傳統的視覺系統無法確切判斷周遭環境。考量到車輛亟需有效的視覺,實驗室必須徹底測試車用攝影機,且經過生產線產品測試,才能安裝至 ADAS 解決方案。「影像擷取卡就負責這類測試」影像處理系統供應商、眼雲智家科技有限公司執行長暨創辦人袁坡說。

車輛移動時,電腦會從視訊擷取靜止的影像,然後傳輸給視覺處理器。影像擷取卡在研發環境,及攝影機的生產前測試會執行相同的功能。「攝影機是獨立生產的模組,最後才會組裝至車輛。但在此之前,攝影機一定要經過校準、測試和品管。」袁表示。

影像擷取卡使用案例

在實驗室環境中,影像擷取卡會協助測試攝影機在昏暗或其他極端環境時,提供的影像是否清晰,藉此評估攝影機的功能。

至於生產階段,製造商會校準攝影機,確保裝置能對焦和提供不失真的影像。這時,影像擷取卡同樣派上用場。「製造商連結攝影機與我們的影像擷取卡後,即可邊檢查影像,邊調整攝影機。」袁說。

此外,工廠透過預燒測試瞭解攝影機在長時間連續串流時的效能,也是影像擷取卡的使用案例。攝影機單次最長運轉 144 小時,同時影像擷取卡會確保攝影機確實攝錄影像,不遺漏畫面。「攝影機只要遺漏畫面即淘汰。」袁說。

另外,影像擷取卡可協助收集實際的資料,用於開發演算法。這時攝影機會安裝在車上,供影像擷取卡同步擷取號誌、行人和自行車等資料。「交通號誌偵測和行人偵測演算法需要大量資料。在 AI 領域,資料是關鍵,所以我們的影像擷取卡協助收集資料。」袁說。

影像擷取卡實際的需求

雖然影像擷取卡在車用攝影機的生產階段充分發揮效用,但仍有部分難題要解決。

首先,影像擷取卡要容易攜帶,才方便收集資料和測試。接著,影像擷取卡要能與多部攝影機同步,模擬實際的行車環境。ADAS 解決方案大多搭載多部攝影機,拍攝車輛內外。

影像擷取卡也得跟上車用攝影機技術,與之並進。「隨著攝影機的解析度、影格速率、景深提升,影像擷取卡也要配合提升頻寬。」袁說。

眼雲科技的 ECFG 系列提供模組化電路,可同時支援 4 至 16 個視訊頻道,滿足前述的需求。不僅如此,ECFG 系列可處理日後更高的資料頻寬需求。「我們深知公司在科技業的發展方向,並訂立方針滿足日新月異的需求。」袁說。

車用攝影機日後的發展

未來展望有一部分牽涉到其他類型的攝影機,包括在極端情況下也能偵測物體的紅外線攝影機。短波紅外線 (SWIR) 也是競爭產品。由此可見多光譜視覺系統占有一席之地的理由,這也是眼雲科技的 ECFG 系列可以提供的技術。

同時,眼雲科技目前致力設計邊緣 AI 支援且更智慧的影像擷取卡。「Intel 處理器的系統單晶片格式,在單一晶片整合影像處理、神經運算引擎與 CPU,成功加速邊緣 AI 應用程式。」袁說。AI 支援的影像擷取卡適用於機器人、監控,及各種使用案例。智慧影像擷取卡只挑選有關的影像資訊,不再傳送串流視訊所有的影像至視覺處理器。例如視覺處理器只要處理出現移動的行人、動物 (或許更有意義) 的影像,不必一再處理千篇一律的柏油路影像。

「以上是本公司的藍圖,我們會設計更智慧的影像擷取卡,透過 Intel 邊緣 AI 技術收集較為相關的資料」袁說,「我們可以透過 Intel 技術,將影像擷取卡設計得更靈活聰明,所以我們很期待日後的市占率成長」。

 

本文由 insight.tech 編輯總監妮.貝內施(Georganne Benesch)編輯。

AI 電腦讓您掌握邊緣 AI 的力量

從一開始,個人電腦便提供了令人振奮的新方法來提升生產力、協作和創造力。過去 40 多年來,電腦的效能與功能不斷成長,持續大幅改變我們工作、創作、娛樂和遊玩的方式。

現今,AI 電腦是個人運算領域的革新轉變。憑藉 AI 增強的軟體和新一代的運算能力,這款電腦旨在成為所有人都能受益的數位生產力夥伴。

如今 AI 不再只適合資料科學家和開發者,也不侷限於雲端。實現 AI 普及化的這條路讓工廠工程師、藝術家、教師和其他人都能在需要時從所需的 AI 應用程式受益。

市面上首款 AI 電腦:適用任何 AI 工作負載的 Intel 功能與效能

Intel 在 2023 年 9 月推出 AI 電腦,引領業界潮流。核心是專為最佳化 AI 軟體效率與效能而設計的 Intel® Core Ultra 處理器。CPU 在顯示晶片處理器(GPU)和神經處理器(NPU)之間分配任務,以便處理繁重的 AI 工作負載並高效執行持續的工作負載。

Intel AI 電腦之所以帶來卓越的使用者體驗,是因為它能自動化繁瑣的日常工作。試想一下這有多省時:只要輸入一個句子提示,就能編寫和傳送電子郵件、規劃會議議程、做筆記,或將圖像和影片編輯自動化;所有這一切都由 AI 支援。

除了 AI 電腦功能,軟體也提供了開發及執行這些關鍵應用程式所需的功能。Intel 與 100 多家獨立軟體廠商(ISV)的生態系統合作,協助他們開發充分利用 AI 電腦快速直覺式功能的解決方案。

以下是 Intel 全球合作夥伴如何針對各種垂直領域和邊緣 AI 使用案例創新的一個實例。

對話式 AI 促進員工與客戶溝通

對話式 AI 是新興領域之一,可改變企業與客戶互動的方式,提供個人化的解決方案,同時提升營運效率、資料分析和決策流程。Dhee.ai 等夥伴及其對話式 VOICE AI 平台使這項技術得以在各行各業實現。舉例來說,該公司讓銀行銷售和服務使用地區性的印度語言,改善與客戶之間的互動。Dhee.ai 利用 AI、機器視覺和自然語言處理(NLP)促進不同語言之間的順暢溝通。

Intel AI 電腦提供執行運算密集型語音辨識與合成工作所需的處理能力。Intel® OpenVINO 工具組是 Dhee.ai 最佳化 Whisper 模型推斷延遲,以實現即時對話的關鍵。

其他受益於對話式 AI 解決方案的企業包括娛樂場所和餐廳。Vistry , Inc. 就是其中一例,它在這些市場區隔的多個使用案例中部署了生成式 AI 聊天助理 ZenoChat。在 Intel AI 電腦上執行軟體並使用 OpenVINO 最佳化模型,最終讓公司能在邊緣提供更卓越的終端使用者體驗。

Vistry 訂單聊天機器人既是顧客也是員工下訂單和接受訂單的助理。虛擬助理平台包括訂單追蹤、預測訂單製作時間、自動路邊登記,並提供客戶與員工的查詢功能。

ZenoChat 最近在德克薩斯州奧斯汀舉辦的一級方程式賽車美洲賽道部署,促進員工與訪客之間的溝通。邊緣 AI 平台協助員工在三天活動期間,以多種語言處理數百個不同的查詢。

AI 電腦在醫療保健領域推動資料安全

邊緣 AI 在資料安全方面也扮演了舉足輕重的角色。醫療保健是一絕佳的例子,因為患者的個人資訊可能面臨嚴重風險。Tausight 是 PHI(受保護的健康資訊)安全性智慧領域的佼佼者,協助醫院和診所簡化 PHI 風險的偵測和管理,減少網路安全性事件。

該公司的情境 PHI 感知平台利用機器學習、聯合學習和 NLP 簡化資料保護的程序。自訂 NLP 模型直接部署在搭載 Intel Core Ultra 處理器的電腦上,進行即時偵測、可能的編輯和資料保護,確保遵守隱私法律與法規。除了增強安全性,該平台也能改善系統效能、節省成本及提高效率,是醫療設施運作安全可靠的基礎。

低程式碼平台能使 AI 更為普及

各個組織無不希望簡化工作流程並最佳化營運,因此 AI 電腦也提供他們所需的強大且牢靠的平台。低程式碼軟體透過簡化及縮短邊緣 AI 應用程式的開發時間,進一步落實這項願景。Intel 合作夥伴也是 AI 平台開發者 Iterate.ai 透過 GenPilot 平台,讓組織利用內部資料與文件建立建構自己的生成式 AI 大型語言模型(LLM)

即使對於財務規劃、物流管理、回覆客戶電子郵件,以及解釋跨資料庫的文件等複雜任務,低程式碼平台也能讓組織更快開發自訂 AI 應用程式,並讓公司自行選擇偏好的模型。此外,GenPilot 等低程式碼平台能讓維護及自訂的程序更簡易,以便適應未來的使用案例。

隨著軟體製造商建構愈來愈先進的功能,人們對更強大硬體的需求也與日俱增。隨著硬體功能愈加強大,軟體創新的空間也就愈大。AI 電腦是運算的未來,而未來就在今天展開。

您可以在 Intel AI 電腦網站找到 AI 電腦創造力與內容開發、生產力、安全性、管理能力、協作和其他解決方案,而這些全都是由 Intel 夥伴設計。

注意:AI 功能可能需要購買軟體或訂閱服務,或是由軟體或平台供應商啟用,或者可能有特定組態或相容性要求。詳細資料請見 intel.com/AIPC。結果可能會有所落差。

 

insight.tech 編輯總監 Christina Cardoza 編輯。