Questa è un'area di ricerca attiva. Mi è capitato di aver svolto un po 'di lavoro in quest'area, quindi condividerò ciò che posso sull'idea di base (questo lavoro è stato svolto con partner del settore e non posso condividere i dettagli segreti :)).

Il tl; dr è che spesso è possibile identificare un flusso di traffico crittografato come portante video, ed è spesso possibile stimarne la risoluzione, ma è complicato e non sempre preciso. Molte persone stanno lavorando su modi per farlo in modo più coerente e accurato.

Il traffico video ha alcune caratteristiche specifiche che possono distinguerlo da altri tipi di traffico. Qui mi riferisco specificamente al video on demand, non al video live streaming. Il video on demand spesso non ha quei tag di priorità menzionati in questa risposta. Inoltre mi riferisco specificamente al video adattivo, il che significa che il video è diviso in segmenti (ciascuno della durata di circa 2-10 secondi) e ogni segmento di video è codificato a più livelli di qualità (livello di qualità che significa: bitrate video a lungo termine, codec, e risoluzione). Durante la riproduzione del video, il livello di qualità al quale viene scaricato il segmento successivo dipende dalla velocità dati che l'applicazione ritiene che la rete possa supportare. (Questo è il protocollo DASH a cui si fa riferimento in questa risposta.)

Se il tuo telefono sta riproducendo un video e guardi la velocità di dati (media mobile ponderata di) del traffico andando sul tuo telefono nel tempo, potrebbe assomigliare a questo:

(questo viene catturato da una sessione di YouTube su Verizon. C'è la media mobile su 15 secondi e anche la media a breve termine.

Ci sono alcune parti diverse in questa sessione:

Innanzitutto, l'applicazione video (lettore YouTube) cerca di riempire il buffer fino alla capacità del buffer. Durante questo periodo, estrae i dati a qualsiasi velocità supportata dalla rete. In questa fase, è praticamente indistinguibile dal download di un file di grandi dimensioni, a meno che non si possa dedurre che si tratta di traffico video dall'indirizzo remoto (come menzionato in questa risposta).

Una volta che il buffer è pieno, quindi si ottengono "raffiche" a intervalli regolari. Supponiamo che il tuo buffer possa contenere 200 secondi di video. Quando il buffer contiene 200 secondi di video, l'applicazione interrompe il download. Quindi, dopo che un segmento di video è stato riprodotto (diciamo 5 secondi), c'è di nuovo spazio nel buffer, quindi scaricherà il segmento successivo, quindi si fermerà di nuovo. Questo è ciò che causa questo schema esplosivo.

Questo modello è molto caratteristico del video - il traffico proveniente da altre applicazioni non ha questo modello - quindi un fornitore di servizi di rete può facilmente scegliere i flussi che trasportano traffico video. In alcuni casi, potresti non osservare mai questo schema, ad esempio se il video è così breve che l'intera cosa viene caricata nel buffer in una volta e quindi il client interrompe il download. In queste circostanze, è molto difficile distinguere il traffico video dal download di un file (a meno che tu non possa capirlo tramite indirizzo remoto).

Comunque, una volta identificato il flusso come trasportante traffico video, sia indirizzo remoto (non sempre possibile, poiché i principali fornitori di video utilizzano reti di distribuzione di contenuti che non sono esclusive del video) o dal suo modello di traffico (possibile se la sessione video è lunga, molto più difficile se è così breve da caricare l'intero video nel buffer tutto in una volta) ...

Ora, come ha detto Hector, puoi provare a indovinare la risoluzione dal bitrate osservando la dimensione (in byte) di ogni "raffica" di dati:

Dalla dimensione per durata potresti fare una stima ragionevole della risoluzione, specialmente se mantieni una media mobile.

Ma questo può essere difficile. Prendi la sessione di YouTube nel mio esempio:

• Non tutti i segmenti hanno la stessa durata: la durata del video richiesto alla volta dipende da diversi fattori (il livello di qualità, lo stato della rete, il tipo di dispositivo stai riproducendo il video e altri). Quindi non puoi necessariamente guardare un "burst" e dire "OK, questo era X byte che rappresentava 5 secondi di video, quindi conosco la velocità di dati del video". A volte puoi capire la probabile durata del segmento, ma altre volte è complicato.
• Per un determinato livello di qualità video e durata del segmento, segmenti diversi avranno dimensioni diverse (a seconda di cose come la quantità di movimento quella parte del video).
• Anche a parità di risoluzione video, la velocità dati a lungo termine può variare: un video 1080p codificato con VP9 non avrà la stessa velocità dati a lungo termine di uno codificato con H.264.
• Il livello di qualità video cambia in base alla qualità della rete percepita (che è visibile al fornitore di servizi di rete) e allo stato del buffer (che non lo è). In questo modo puoi esaminare le velocità di trasmissione dati a lungo termine superiori a 30 secondi, ma è possibile che il livello di qualità video effettivo sia cambiato più volte in quei 30 secondi.
• Durante i periodi in cui il buffer si esaurisce o si riempie alla velocità possibile (quando non si hanno quelle "raffiche"), è molto più difficile stimare cosa sta succedendo nel video.
• Per complicare ulteriormente le cose: a volte un flusso video sarà "suddiviso in strisce" su più flussi di strato inferiore. A volte una parte del video viene recuperata da un indirizzo, quindi si passa al recupero del video da un indirizzo diverso.

Quel grafico della velocità di dati che ti ho mostrato appena sopra? Ecco qual era la risoluzione video in quell'intervallo di tempo:

Qui, il colore indica la risoluzione video. Quindi ... puoi in qualche modo stimare cosa sta succedendo solo dai modelli di traffico. Ma è un problema difficile! Ci sono altri indicatori nel traffico che puoi osservare. Non posso dire in modo definitivo come lo stia facendo un qualsiasi fornitore di servizi. Ma almeno per quanto riguarda lo stato dell'arte accademico, non c'è modo di farlo con perfetta precisione, tutto il tempo (a meno che tu non abbia la collaborazione dei fornitori di video ...)

Se sei interessato a saperne di più sulle tecniche utilizzate per questo tipo di problema, c'è molta letteratura accademica là fuori - vedi ad esempio BUFFEST: Predicting Buffer Conditions and Real-time Requirements of HTTP (S) client di streaming adattivi come punto di partenza. (Non il mio articolo, solo uno che ho letto di recente.)

Niente massimizza la larghezza di banda a una velocità costante oltre allo streaming di video.

Inoltre, al fine di assicurarsi che lo streaming sia gestito con priorità (e non come un download di file di grandi dimensioni, ad esempio) le sorgenti di streaming taggano i pacchetti in modo tale da indicare ai vettori che si tratta di video in streaming. Il resto del pacchetto è crittografato, ma i metadati che dicono all'ISP come instradarlo possono vedere questa parte. Se non lo facessero, ci sarebbe un'alta probabilità che il flusso venga interrotto o degradato poiché l'ISP cerca di bilanciare tutte le esigenze del traffico di rete in quel momento.

Ed ecco come Verizon ha detto che lo faranno:

Verizon apparentemente non convertirà i video a risoluzioni inferiori. Invece, imposterà un limite di larghezza di banda a cui le applicazioni video dovranno adattarsi. " Gestiamo il throughput video HD impostando velocità a non più di 10 Mbps , che fornisce video HD fino a 1080p", ha detto Verizon ad Ars. I Mbps saranno presumibilmente inferiori a quelli nei casi in cui Verizon limita il video a 480p o 720p.

Ciò significa che sia l'abbonato sia il fatto che il traffico è a forma di in un certo modo perché è un certo tipo di video significa che è taggato.

Come? Verizon ha un sistema di ottimizzazione video che ha dimostrato di limitare Netflix e YouTube a 10 Mbps anche prima dell'annuncio di agosto 2017 dei nuovi limiti.

Verizon ha riconosciuto di utilizzare un nuovo sistema di ottimizzazione video ma ha affermato che fa parte di un test temporaneo e che non ha influito sulla qualità effettiva del video. L'ottimizzazione del video sembra applicarsi sia a piani mobili illimitati che limitati.

Ma alcuni utenti di YouTube segnalano video degradati, affermando che l'utilizzo di un servizio VPN può aggirare il throttling di Verizon .

Ciò indica la capacità di Verizon di identificare i flussi video e limitare di conseguenza la larghezza di banda, anche se il contenuto viene fornito tramite HTTPS (ma non VPN).

Schroeder ha quasi certamente ragione in quanto è solo un modo di marketing per dire che limitano la larghezza di banda a determinati indirizzi IP di siti o cercano indicatori di priorità sui pacchetti.

Vale la pena notare, tuttavia, che teoricamente ci sono modi in cui potrebbero farlo funzionare meglio se l'unico obiettivo fosse quello di forzare gli utenti a una certa risoluzione durante lo streaming video e nient'altro.

Gran parte dello streaming Internet di questi tempi utilizza un processo chiamato DASH (Dynamic Adaptive Streaming over HTTP) . Il modo in cui funziona è richiedere un piccolo pezzo di video, misurare la larghezza di banda mentre questo viene scaricato e selezionare il prossimo pezzo di video con uno schema di risoluzione / compressione che gli consenta di essere ricevuto in tempo per quando il primo pezzo è finito giocando.

Ciò significa che nelle richieste sono presenti suggerimenti su ciò che l'utente sta facendo. Se il tuo dispositivo invia una richiesta a un sito Web ogni 3 secondi richiedendo un file che richiede poco meno di 3 secondi per il download, è molto probabile che il sito stia trasmettendo video in streaming. Dalla dimensione per durata potresti fare una stima ragionevole della risoluzione, specialmente se mantieni una media mobile. Puoi quindi limitare la larghezza di banda a quell'indirizzo IP.

Utilizzando indirizzi IP noti per i principali fornitori di video (googlevideo (youtube), Netflix ecc.) Nella ponderazione decisionale potresti rendere l'algoritmo più aggressivo senza troppi falsi positivi.

La cosa più importante è l'indirizzo a cui ti connetti. HTTPS protegge i dati in volo, ma non protegge l'indirizzo con cui stai parlando. Se Verizon conosce gli indirizzi IP dei server Netflix, può porre restrizioni sui flussi di dati da quegli IP che si trovano all'interno di un certo intervallo. Netflix regolerà automaticamente la sua riproduzione in base alla larghezza di banda disponibile.

È anche ampiamente possibile notarlo in base a velocità di trasmissione dati costanti inferiori al massimo possibile. Questo probabilmente significa un flusso multimediale di qualche tipo, anche se potrebbe anche essere un trasferimento di file con larghezza di banda limitata, quindi ci sarebbero alcuni falsi positivi.

Credo che nei dettagli tecnici menzionati quando hanno annunciato le modifiche, stavano solo pianificando di utilizzare gli indirizzi IP per impostare i limiti, ma non sono sicuro se ciò cambierà nel tempo o se sto anche ricordando correttamente perché è passato un po 'di tempo dall'annuncio e non ho tenuto note sulla mia ricerca originale al riguardo.

Se utilizzi una VPN (corretta) che valorizza la sicurezza / privacy rispetto alle prestazioni, utilizzerà una serie di trucchi per confondere qualsiasi tentativo del tuo ISP di identificarti positivamente come video in streaming:

• L'ISP ti vedrà connetterti a un indirizzo IP che non è riconosciuto come parte di un CDN video (ad esempio Youtube, ecc.), Supponendo che la tua VPN non sia ospitata da Youtube o da qualsiasi altro importante provider di video. Quindi almeno non saranno in grado di identificare positivamente il tuo endpoint IP remoto come parte di una CDN video. Nota: naturalmente, potrebbero decidere di limitarla perché è una VPN, ma i principali provider non dichiarano esplicitamente, al momento, di limitare le VPN (quindi, farlo sarebbe estremamente subdolo e classificherebbe gli ISP statunitensi nella loro soppressione della libertà di parola in modo simile al Great Firewall of China).
• Una buona VPN non presenta alcun metadata in chiaro (ad esempio, QoS) che suggerirebbe la natura del tuo traffico. Ciò potrebbe comportare strane inversioni di priorità (come un download che causa ritardi nel VoIP in tempo reale o video in streaming), ma questo è il prezzo che paghi per la privacy.
• A seconda del protocollo video a livello di applicazione che utilizzi , sarebbe difficile o impossibile per l'ISP identificare positivamente il traffico come video utilizzando l'analisi della forma del traffico. Ad esempio, se il protocollo specifica che il server deve inviare il video alla massima larghezza di banda disponibile (velocità di linea) per scaricare la maggior parte / tutto il video contemporaneamente invece di spingerlo gradualmente al bitrate del video, l'ISP non ha idea se tu stai scaricando una ISO Linux, un video in streaming da un noto fornitore di contenuti come Youtube o CBS o un grande documento Excel per il tuo lavoro.
• Mentre il volume totale del traffico VPN rispecchierà all'incirca i dati effettivi inviati / ricevuti, le buone VPN introducono dati spazzatura (e introducono anche una piccola latenza nel traffico legittimo) all'interno del tunnel crittografato per rendere più difficile l'analisi del traffico. Più la tua VPN introduce dati indesiderati e latenza intenzionale, più lenta sarà la tua VPN, ma d'altro canto migliorerà la sicurezza se il traffico della tua VPN è altamente resistente all'analisi della forma del traffico.

Tuttavia, ci sono alcune limitazioni:

• Il tipo di video in streaming più semplice da analizzare tramite l'analisi della forma del traffico è un protocollo che limita il download del video al bitrate del video. Sulla base del bitrate, possono indovinare qual è la tua probabile risoluzione.
• Il video "live" (in cui lo spettatore apprezza la visualizzazione del contenuto subito dopo che è stato generato) è più complicato da nascondere, perché devi trasmettere vicino al bitrate video per garantire una buona reattività; il buffering e il bursting dei dati impongono un ritardo intrinseco allo stream che l'utente potrebbe non trovare accettabile (ad es. per videoconferenze, Twitch.TV, ecc.)

Ovviamente, come metodo di assicurando che i video non possano essere riprodotti in streaming a qualità più elevate, l'ISP potrebbe scegliere di limitare tutto ciò che scarichi a un bitrate arbitrario inferiore alla velocità della linea, ma ci sono molti problemi con questo:

• Non esiste un bitrate "tipico" ben definito del video a una risoluzione particolare, quindi potrebbero fare supposizioni, ma sarebbero proprio queste: supposizioni. A seconda del codec e delle impostazioni di codifica, un video 1080p può variare da un numero basso di Mbit / sa 50 Mbps e oltre.
• Questo diventerebbe un efficace "acceleratore di tutto" e non annuseresti mai le velocità massime pubblicizzate, portando a potenziali responsabilità pubblicitarie false se stai ottenendo molto meno delle loro velocità min / max pubblicizzate e non hai calpestato le mine terrestri che pubblicizzano come l'attivazione di una limitazione (ad esempio il tipico limite di dati ad alta velocità di 22 GB / mese su LTE).
• Se limitano pesantemente tutti, subirebbero molti contraccolpi da utenti legittimi che non trasmettono mai in streaming video ma, come accennato in precedenza, stanno solo scaricando un grande file Excel dal lavoro su una VPN o altro.
• Deducendo che il traffico potrebbe essere video e decidendo di limitarlo in base a che (anche se le loro inferenze si rivelano errate), è più probabile che gli utenti percepiscano il loro servizio come lento e annullino / passino a un altro provider, perché l'ISP non annuncia che limitano altri tipi di traffico oltre al video (a meno che superi un determinato limite al mese o ti trovi su una torre satura; entrambi di queste situazioni sono abbastanza facili da escludere, tuttavia, come cliente).

Quindi, nel complesso, nella corsa agli armamenti degli ISP che cercano di rilevare i contenuti specifici degli utenti e discriminano in base a ciò che stanno scaricando, l'utente alla fine vincerà se si utilizza una buona VPN (e supponendo che l'ISP non abbia modo di violare la crittografia). L'ISP non sarà in grado di rilevare con certezza quale sia il tuo contenuto e le ipotesi non avranno un'alta probabilità di essere accurati.

Penso che quando gli utenti iniziano a capire questo e ad adottare misure per impedire agli ISP di rilevare i loro contenuti, gli ISP risponderanno diminuendo la velocità pubblicizzata per tutti (per consentire a più abbonati di condividere il stesso spettro disponibile); aumento dei prezzi; eliminare (di nuovo) piani dati illimitati; peggioramento delle sanzioni di limitazione per coloro che superano un limite di dati arbitrario (abbastanza basso) al mese; o rallentando intenzionalmente il traffico che non sono in grado di identificare positivamente (ad esempio, il traffico VPN) e giustificandolo come "sospetto".

Potrebbero sostenere, e in modo convincente alle autorità di regolamentazione, ai politici e al pubblico ignorante, che la maggior parte / tutto il traffico VPN è costituito da download illegali, commercio illegale (droghe, ecc.) e persone che cercano di "infrangere le regole "e le limitazioni di esclusione impostate dall'ISP. Sebbene gli esperti tecnici piangano male, noi abbiamo la tendenza a essere soffocati da coloro che sono complici del sistema e felici di fregare il consumatore per guadagnare velocemente.

Potrebbero anche fare tutte queste cose contemporaneamente. La mia esperienza con l'industria wireless negli Stati Uniti è che, per quanto tu pensi che siano, sono peggio. E invece di scegliere solo i rimedi più favorevoli a un problema, hanno la tendenza a favorire quelli che sono al massimo ostili ai clienti, che sopprimono la libertà di parola e violano i principi di neutralità della rete.

Hanno anche la tendenza a provare a mettere gli utenti l'uno contro l'altro. Adottano politiche che incolpano gli utenti e chiamano gli altri utenti come "divoratori di dati", piuttosto che lavorare insieme come gruppo per fare pressione sul loro fornitore affinché espanda l'infrastruttura per soddisfare la domanda piuttosto che cercare di ridurre la mandria per abbinare le risorse attualmente disponibili.

È solo la natura umana, suppongo, motivo per cui il settore wireless deve essere regolamentato se vogliamo che sia un elemento costitutivo e prezioso della società simile all'elettricità e all'acqua corrente. Fino ad allora, è solo un'altra variazione della PSTN proprietaria bizantina dei tempi di Ma Bell.

Verizon non riconosce e blocca LETTERALMENTE video HD crittografati ... ma ha accordi con servizi come Netflix e Youtube che richiedono LORO di riconoscere gli intervalli di indirizzi IP di Verizon & rispetta i limiti imposti da Verizon.

Per i servizi più piccoli, credo che Verizon abbia una seconda arma a sua disposizione ... Sono abbastanza sicuro che da qualche parte nel contratto di servizio clienti per i piani "illimitati" sia una clausola che consente a Verizon di considerare il traffico crittografato "opaco" rispetto al limite mensile di "tethering" dell'utente. Quindi Verizon potrebbe non sapere (o preoccuparsi) che stai trasmettendo video HD sul tuo telefono tutto il giorno dalle telecamere di sicurezza di casa, ma possono contare il traffico rispetto al tuo limite mensile di 5 o 10 GB (o limitarlo a 150 kbps se il tuo piano non include il tethering).

Non sono sicuro che questo sia vero nel tuo caso, ma a volte i provider utilizzano un proxy. Questo potrebbe essere impostato automaticamente quando utilizzi la loro rete (OTA). Il proxy ha un certificato valido, poiché proviene dal tuo provider. In tal caso, possono semplicemente leggere tutto il traffico HTTPS e utilizzare alcuni software per la modellazione del traffico. In questo caso, una VPN potrebbe aiutare.

Quindi il provider imposta automaticamente l'APN sul tuo dispositivo mobile. Il traffico Internet viene inviato dal tuo dispositivo mobile all'APN. Il provider può utilizzare qualsiasi software di modellazione del traffico commerciale per controllare lo streaming video (da FB / YT / ecc.) Anche se la connessione è crittografata, è possibile vedere dal modo in cui funziona il buffering quale risoluzione video viene utilizzata, i video scaricano parti in blocchi che creano uno schema destino. Quindi, se questi blocchi diventano più grandi, la risoluzione video è maggiore, con il software di modellazione del traffico probabilmente puoi regolare questi modelli di download. Quando si utilizza una VPN, il provider non è in grado di determinare il tipo di dati inviati tramite la VPN. Poteva ancora vedere lo schema a blocchi, ma limitare tutti i dati tramite VPN ridurrebbe la velocità di download totale e presumo che sia contraria alla velocità concordata menzionata nel contratto.

Inoltre: il telefono si collega a APN. Questo APN può agire come un proxy e ha già un certificato valido (quindi non lo installi). Il tuo telefono accetterà il certificato come valido, come dovrebbe. Nel caso in cui agisca da proxy, il provider non viene fermato dalla tua crittografia HTTPS, il proxy è necessario per vedere tutte le tue richieste. In questo caso il provider può fare qualsiasi cosa con la tua richiesta o con i dati ricevuti. Il provider potrebbe ad esempio avere un software in esecuzione per ottimizzare / comprimere il video prima che venga inviato dal proxy al telefono per salvare bandwitdh.