8 月 2 日，由CIO時(shí)代主辦，螞蟻集團(tuán)協(xié)辦，新基建創(chuàng)新研究院作為智庫(kù)支持的“首屆央國(guó)企CIO及數(shù)科公司數(shù)智創(chuàng)新峰會(huì)”在北京圓滿落幕。本次峰會(huì)以“央國(guó)企‘十五五’數(shù)智化戰(zhàn)略與機(jī)遇”為主題，匯聚了眾多央國(guó)企CIO、數(shù)科領(lǐng)域?qū)＜壹靶袠I(yè)伙伴，深度探討AI人工智能技術(shù)與產(chǎn)業(yè)融合的創(chuàng)新實(shí)踐，為央國(guó)企數(shù)智化轉(zhuǎn)型提供前瞻性思路與解決方案。
在本次峰會(huì)中，綠盟科技集團(tuán)副總裁宮智圍繞《筑牢雙重防線：央國(guó)企大模型應(yīng)用中的網(wǎng)絡(luò)安全與模型安全協(xié)同治理》這一主題，進(jìn)行了精彩的分享。宮智在演講里指出，為化解人工智能（AI）應(yīng)用所帶來(lái)的安全風(fēng)險(xiǎn)，需在原有的網(wǎng)絡(luò)安全防線基礎(chǔ)上，打造一條全新的安全防線，圍繞人工智能（AI）的全生命周期，構(gòu)建全流程協(xié)同防護(hù)能力。
綠盟科技集團(tuán)副總裁 宮智
精彩觀點(diǎn)：
在AI大潮中，大模型應(yīng)用帶來(lái)的降本增效固然可喜，但由此帶來(lái)的安全問(wèn)題卻在一定程度上還沒(méi)有引起足夠的重視。在AI大模型應(yīng)用越來(lái)越廣的情況下，必須要再加固一條新的安全防線。
與安全風(fēng)險(xiǎn)共存的大模型
伴隨DeepSeek國(guó)際影響力持續(xù)攀升，其面臨挑戰(zhàn)愈發(fā)復(fù)雜嚴(yán)峻，連續(xù)遭受系列有針對(duì)性的網(wǎng)絡(luò)攻擊，對(duì)DeepSeek的日常運(yùn)營(yíng)構(gòu)成嚴(yán)重威脅。綠盟科技伏影實(shí)驗(yàn)室全球威脅狩獵系統(tǒng)，分別于2025年1月25日至1月27日，監(jiān)測(cè)到IP地址1.94.179.165遭受DDoS攻擊，攻擊采用NTP反射攻擊、Memcached反射方式，該IP地址為DeepSeek API接口(api.deepseek.com)當(dāng)時(shí)的解析地址，大模型已經(jīng)成為網(wǎng)絡(luò)攻擊的熱點(diǎn)目標(biāo)。
針對(duì)大模型的定向攻擊態(tài)勢(shì)愈發(fā)嚴(yán)峻，即便采用私有化部署的DeepSeek，同樣會(huì)遭遇不可控的安全風(fēng)險(xiǎn)。威脅情報(bào)表明，當(dāng)前公網(wǎng)上仍有幾萬(wàn)個(gè)未設(shè)置防護(hù)的Ollama服務(wù)，存在數(shù)據(jù)泄露、算力被盜取、服務(wù)中斷等安全隱患。工業(yè)和信息化部網(wǎng)絡(luò)安全威脅和漏洞信息共享平臺(tái)（CSTIS）曾發(fā)布預(yù)警，攻擊者能夠通過(guò)構(gòu)建仿冒網(wǎng)站等手段，誘使用戶下載偽造的DeepSeek本地部署工具包，進(jìn)行定向模型攻擊。
DeepSeek所遇到的攻擊并非個(gè)案，在全球范圍內(nèi)，針對(duì)AI的攻擊或風(fēng)險(xiǎn)是貫穿于模型選型、模型部署、模型應(yīng)用等各個(gè)階段，諸如利用ROME算法在模型中植入虛假信息、Huggingface平臺(tái)遭受過(guò)模型后門(mén)攻擊、14歲男孩與AI聊天網(wǎng)戀被誘導(dǎo)自殺、某品牌兒童智能手表“已讀亂回”、模型導(dǎo)致內(nèi)部數(shù)據(jù)遭到泄露等等。
AI安全如何保障？
在人工智能安全問(wèn)題持續(xù)顯現(xiàn)的同時(shí)，人工智能應(yīng)用的落地進(jìn)程不斷提速。2024年政府工作報(bào)告提出開(kāi)展“人工智能＋”行動(dòng)，在技術(shù)、商業(yè)、政策等因素的推動(dòng)下，大模型及其應(yīng)用正逐漸成為業(yè)務(wù)判斷、決策以及流程控制的關(guān)鍵支撐。同時(shí)，隨著大模型及其應(yīng)用的深入發(fā)展，安全風(fēng)險(xiǎn)將愈發(fā)明顯地暴露出來(lái)。而針對(duì)各類(lèi)由人工智能引發(fā)的安全問(wèn)題，2025年多位全國(guó)人大代表、政協(xié)委員從多個(gè)維度為人工智能的安全健康發(fā)展建言獻(xiàn)策。
2023年，《生成式人工智能服務(wù)管理暫行辦法》等法規(guī)相繼頒布，合規(guī)已然成為人工智能大模型應(yīng)用不可突破的底線。企業(yè)在保障人工智能業(yè)務(wù)絕對(duì)安全的過(guò)程中，會(huì)面臨聲譽(yù)與政治風(fēng)險(xiǎn)、數(shù)據(jù)與資產(chǎn)風(fēng)險(xiǎn)、業(yè)務(wù)連續(xù)性風(fēng)險(xiǎn)等多方面的風(fēng)險(xiǎn)。企業(yè)在應(yīng)用大模型時(shí)，其所生成的內(nèi)容必須嚴(yán)格遵循國(guó)家法律法規(guī)、行業(yè)規(guī)范以及企業(yè)內(nèi)部的合規(guī)要求。大模型可能由于訓(xùn)練數(shù)據(jù)存在偏差或受到惡意誘導(dǎo)，從而生成惡意內(nèi)容。同時(shí)，大模型應(yīng)用過(guò)程中涉及的數(shù)據(jù)采集工作，一旦出現(xiàn)數(shù)據(jù)泄露情況，將會(huì)造成難以估量的損失。大模型引入的潛在漏洞、性能不穩(wěn)定或者被攻擊利用等情況，均有可能導(dǎo)致核心業(yè)務(wù)中斷、服務(wù)質(zhì)量降低。
多數(shù)企業(yè)在引入AI之前，都已經(jīng)建設(shè)了較為完善的安全體系，但面對(duì)典型的AI攻擊手段時(shí)，其表現(xiàn)卻可能并不令人滿意，諸如提示詞注入攻擊、數(shù)據(jù)投毒模型污染、LLM供應(yīng)鏈攻擊等等，傳統(tǒng)網(wǎng)絡(luò)安全產(chǎn)品無(wú)法理解大模型內(nèi)容語(yǔ)義、對(duì)模型生成的不當(dāng)內(nèi)容無(wú)法識(shí)別、無(wú)法防范提示詞注入等，傳統(tǒng)的網(wǎng)絡(luò)安全防護(hù)手段正在失效。
大模型安全與傳統(tǒng)網(wǎng)絡(luò)安全在核心安全目標(biāo)（CIA）和基礎(chǔ)防御邏輯上存在共通性，但前者因模型的“智能特性”、“數(shù)據(jù)依賴性”和“生成能力”，衍生出以“模型本身、數(shù)據(jù)鏈路、內(nèi)容輸出”為核心的新安全維度，攻擊手段更隱蔽、門(mén)檻更低、危害更具規(guī)模化和認(rèn)知性，防御難度也遠(yuǎn)高于傳統(tǒng)網(wǎng)絡(luò)安全，兩者并非替代關(guān)系，而是需要結(jié)合。
傳統(tǒng)網(wǎng)絡(luò)安全體系與AI安全體系的融合
大模型及大模型應(yīng)用的運(yùn)用催生出新的管控需求，不僅要達(dá)成基于大模型/應(yīng)用的訪問(wèn)控制，還需實(shí)現(xiàn)模型算力的保障與優(yōu)化，持續(xù)提高模型的使用成效。此外，針對(duì)大模型和大模型應(yīng)用自身的安全性必須予以充分考量，既要強(qiáng)化模型安全，也要優(yōu)化模型管理。AI時(shí)代企業(yè)安全范式發(fā)生了根本性改變，風(fēng)險(xiǎn)重心從“攻破邊界”轉(zhuǎn)向“操縱核心”，攻擊界面從“代碼與網(wǎng)絡(luò)”擴(kuò)展到“數(shù)據(jù)與算法”，威脅形態(tài)從“技術(shù)邏輯漏洞”演變?yōu)?“業(yè)務(wù)邏輯漏洞”。
基于此，綠盟科技推出保障大模型應(yīng)用的專(zhuān)業(yè)、一體化安全產(chǎn)品AI安全防護(hù)一體機(jī)，提供“ALL IN ONE”的大模型安全防護(hù)方案。AI安全防護(hù)一體機(jī)可裝配評(píng)估能力（大模型安全評(píng)估）、內(nèi)容安全防護(hù)能力（大模型內(nèi)容安全防護(hù)）、數(shù)據(jù)安全能力（大模型數(shù)據(jù)防泄漏）等多種大模型安全能力，構(gòu)建“事前預(yù)防（評(píng)估+加固）、事中控制（阻斷+代答）、事后追溯（審計(jì)+回溯）”的全流程協(xié)同防護(hù)能力，協(xié)助客戶打造AI防護(hù)的第二道防線，通過(guò)綠盟AI安全一體機(jī)可以實(shí)現(xiàn)全生命周期防護(hù)，涵蓋內(nèi)容安全、模型安全、算力安全及業(yè)務(wù)安全。與此同時(shí)，AI安全一體機(jī)能夠與綠盟科技的其他AI安全產(chǎn)品開(kāi)展協(xié)同聯(lián)動(dòng)，全面覆蓋大模型安全防護(hù)的所有場(chǎng)景，貫穿其整個(gè)生命周期與生態(tài)系統(tǒng)，涵蓋模型本體、訓(xùn)練數(shù)據(jù)的完整性、第三方組件與供應(yīng)鏈、插件的安全性以及模型輸出等方面。
未來(lái)，綠盟科技將持續(xù)優(yōu)化大模型安全防護(hù)的“一三五”安全理念體系，助力央國(guó)企構(gòu)建可控、可信、可持續(xù)的人工智能安全生態(tài)，以更優(yōu)成本實(shí)現(xiàn)高效的人工智能安全防護(hù)方案，攜手共赴智能安全的新時(shí)代。
第四十一屆CIO班招生
國(guó)際CIO認(rèn)證培訓(xùn)
首席數(shù)據(jù)官（CDO）認(rèn)證培訓(xùn)
責(zé)編：lijj
免責(zé)聲明：本網(wǎng)站（http://www.hongdawj.com.cn/）內(nèi)容主要來(lái)自原創(chuàng)、合作媒體供稿和第三方投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
本網(wǎng)站刊載的所有內(nèi)容（包括但不僅限文字、圖片、LOGO、音頻、視頻、軟件、程序等）版權(quán)歸原作者所有。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，請(qǐng)及時(shí)通知本站，予以刪除。
搶沙發(fā)
