Applov sistem CSAM je bil prevaran, vendar ima podjetje dve varovalki

Posodobitev: Apple je omenil drugi pregled strežnika in podjetje za poklicno računalniško vizijo je orisalo možnost, kaj bi to lahko bilo – opisano v razdelku »Kako bi lahko deloval drugi pregled« spodaj.
Potem ko so razvijalci izvedli obratno inženirstvo njegovih delov, je bila zgodnja različica sistema Apple CSAM učinkovito prevarana, da označi nedolžno sliko.Vendar je Apple izjavil, da ima dodatne zaščitne ukrepe, ki preprečujejo, da bi se to zgodilo v resničnem življenju.
Najnovejši razvoj se je zgodil po objavi algoritma NeuralHash na odprtokodnem spletnem mestu za razvijalce GitHub, vsak lahko eksperimentira z njim ...
Vsi sistemi CSAM delujejo tako, da uvozijo zbirko podatkov o znanem gradivu o spolni zlorabi otrok iz organizacij, kot je Nacionalni center za pogrešane in izkoriščane otroke (NCMEC).Baza podatkov je na voljo v obliki zgoščencev ali digitalnih prstnih odtisov iz slik.
Čeprav večina tehnoloških velikanov skenira fotografije, naložene v oblak, Apple uporablja algoritem NeuralHash na strankinem iPhonu, da ustvari zgoščeno vrednost shranjene fotografije in jo nato primerja s preneseno kopijo zgoščene vrednosti CSAM.
Včeraj je razvijalec trdil, da je izvedel obratno inženirstvo Applovega algoritma in izdal kodo na GitHub – Apple je to trditev dejansko potrdil.
V nekaj urah po izdaji GitHib-a so raziskovalci uspešno uporabili algoritem za ustvarjanje namerno lažno pozitivnih dveh popolnoma različnih slik, ki sta ustvarili enako zgoščeno vrednost.To se imenuje trk.
Pri takšnih sistemih vedno obstaja nevarnost kolizij, saj je hash seveda močno poenostavljena predstavitev slike, vendar je presenetljivo, da lahko nekdo tako hitro ustvari sliko.
Namerno trčenje tukaj je samo dokaz koncepta.Razvijalci nimajo dostopa do podatkovne baze zgoščencev CSAM, ki bi zahtevala ustvarjanje lažnih pozitivnih rezultatov v sistemu v realnem času, vendar dokazuje, da so napadi s trkom načeloma razmeroma enostavni.
Apple je dejansko potrdil, da je algoritem osnova njegovega sistema, vendar je matični plošči povedal, da to ni končna različica.Družba je tudi izjavila, da nikoli ni nameravala ostati zaupna.
Apple je Motherboardu v elektronskem sporočilu sporočil, da je različica, ki jo analizira uporabnik na GitHubu, generična različica in ne končna različica, ki se uporablja za zaznavanje iCloud Photo CSAM.Apple je dejal, da je tudi razkril algoritem.
"Algoritem NeuralHash [...] je del podpisane kode operacijskega sistema [in] varnostni raziskovalci lahko preverijo, ali je njegovo vedenje v skladu z opisom," je zapisal Appleov dokument.
Družba je nadalje povedala, da obstajata še dva koraka: zagon sekundarnega (skrivnega) sistema za ujemanje na lastnem strežniku in ročni pregled.
Apple je tudi izjavil, da potem, ko uporabniki presežejo prag 30 ujemanj, bo drugi nejavni algoritem, ki deluje na Applovih strežnikih, preveril rezultate.
"Ta neodvisni hash je bil izbran, da zavrne možnost, da se napačni NeuralHash ujema s šifrirano zbirko podatkov CSAM v napravi zaradi kontradiktornega vmešavanja slik, ki niso CSAM, in presega prag ujemanja."
Brad Dwyer iz Roboflowa je našel način za enostavno razlikovanje med obema slikama, objavljenima kot dokaz koncepta za napad trka.
Zanima me, kako te slike izgledajo v CLIP podobnega, a drugačnega ekstraktorja nevronskih funkcij OpenAI.CLIP deluje podobno kot NeuralHash;posname sliko in z nevronsko mrežo ustvari nabor značilnih vektorjev, ki se preslikajo v vsebino slike.
Toda omrežje OpenAI je drugačno.Je splošen model, ki lahko preslika slike in besedilo.To pomeni, da ga lahko uporabimo za pridobivanje človeku razumljivih slikovnih informacij.
Dve zgornji sliki trkov sem pregledal skozi CLIP, da vidim, ali je tudi preslepilo.Kratek odgovor je: ne.To pomeni, da bi Apple moral imeti možnost uporabiti drugo omrežje za ekstrakcijo funkcij (kot je CLIP) za odkrite slike CSAM, da ugotovi, ali so resnične ali lažne.Veliko težje je ustvariti slike, ki zavedejo dve omrežji hkrati.
Nazadnje, kot smo že omenili, se slike ročno pregledajo, da se potrdi, da gre za CSAM.
Varnostni raziskovalec je dejal, da je edino resnično tveganje, da bi kdorkoli, ki bi želel motiti Apple, lahko posredoval lažne pozitivne rezultate človeškim pregledovalcem.
»Apple je dejansko zasnoval ta sistem, zato funkcije zgoščevanja ni treba skrivati, saj je edina stvar, ki jo lahko naredite z 'ne-CSAM kot CSAM', da nadlegujete Applovo odzivno ekipo z nekaterimi neželenimi slikami, dokler ne uvedejo filtrov za odstranitev analiza Te smeti v cevovodu so lažno pozitivne,« je v spletnem klepetu za Motherboard povedal Nicholas Weaver, višji raziskovalec na Inštitutu za mednarodno računalništvo na kalifornijski univerzi Berkeley.
Zasebnost je v današnjem svetu vedno bolj zaskrbljujoča.Upoštevajte vsa poročila v zvezi z zasebnostjo, varnostjo itd. v naših smernicah.
Ben Lovejoy je britanski tehnični pisec in urednik EU za 9to5Mac.Znan je po svojih kolumnah in dnevniških člankih, v katerih raziskuje svoje izkušnje z Applovimi izdelki skozi čas, da bi dobil obsežnejše ocene.Piše tudi romane, tu sta dva tehnična srhljivka, nekaj kratkih znanstvenofantastičnih filmov in rom-com!


Čas objave: 20. avgust 2021