I discovered a sound that leaks your exact location (and it's everywhere)

L'orateur présente une méthode de géolocalisation d'une puissance inégalée, capable de localiser une vidéo sans aucune information visuelle, uniquement à partir de son audio. La seule information de départ est que la vidéo a été filmée le 8 septembre quelque part aux États-Unis continentaux. Contrairement aux méthodes précédentes basées sur le tonnerre, qui offraient une précision d'environ 5 km, cette nouvelle technique permet une précision bien supérieure. L'élément clé de cette méthode est l'analyse des courbes de Doppler provenant d'aéronefs, même si ces sons sont inaudibles à l'oreille humaine. En utilisant un spectrogramme, qui représente le temps sur l'axe X et la fréquence sur l'axe Y, il est possible de détecter et d'analyser ces courbes après avoir zoomé sur les bonnes fréquences et augmenté la résolution. Ce processus est très complexe, nécessitant des mois de développement, plus de 5 000 lignes de code, et l'analyse de fichiers de données massifs, de modélisation physique 3D et de modèles numériques d'élévation (DEM) à l'échelle d'un pays. L'audio de la vidéo contient deux courbes de Doppler distinctes. L'objectif est de les utiliser. La première étape consiste à exploiter les données ADSB (Automatic Dependent Surveillance-Broadcast), qui fournissent des informations détaillées (position, vitesse, altitude, etc.) sur presque tous les avions en vol. L'idée initiale était de réduire les emplacements possibles aux seuls endroits où un avion a été entendu, puis un autre 920 secondes plus tard. Pour cela, toutes les données ADSB des vols aux États-Unis continentaux le 8 septembre sont collectées. Les courbes de Doppler étant spécifiques aux avions à hélices, une recherche est effectuée pour identifier ces types d'aéronefs dans les données ADSB, en filtrant les types de jets connus. Ensuite, un filtre de décalage temporel est appliqué. Pour illustrer, l'orateur explique comment une grille de points de 200 mètres est superposée sur une petite zone. Pour chaque point de cette grille, le temps où le vol aurait été entendu est noté. La notion de "point de proximité le plus proche" (CPA) est introduite : c'est le moment où l'avion est le plus proche de l'observateur et donc le plus fort. Cependant, ce n'est pas le temps réel du CPA qui est nécessaire, mais le "temps de CPA retardé", qui tient compte du temps de propagation du son jusqu'à l'observateur. De plus, comme les avions sont en altitude, la distance à utiliser est la distance oblique, qui nécessite de connaître l'élévation du sol à chaque point de la grille, obtenue via un DEM. Ce processus est répété pour tous les vols dans la zone, créant une grille de points où chaque point a une liste d'identifiants de vol et leurs temps de CPA retardés associés. Ensuite, pour chaque point, il est vérifié si un avion a été entendu, puis un autre 920 secondes plus tard, avec une petite marge d'erreur. Après ce filtrage initial, environ 35 000 points restent pour une petite zone test, ce qui représente encore une très grande surface à l'échelle des États-Unis. Pour affiner davantage la recherche, les courbes de Doppler fournissent des informations supplémentaires. La taille de la chute de fréquence dans une courbe de Doppler est directement liée à la vitesse de l'objet, et la rapidité de cette chute est liée à la distance CPA. Ainsi, en analysant les courbes de Doppler de l'audio, il est possible de déterminer la vitesse de l'aéronef et sa distance par rapport à l'auditeur. Cela permet de filtrer les points qui ont entendu un avion à une certaine vitesse et une certaine distance CPA, puis un autre 920 secondes plus tard avec des caractéristiques similaires. Des plages de vitesse généreuses sont utilisées pour ne pas éliminer accidentellement des données. Les vols d'hélices sont filtrés selon ces plages de vitesse pour les deux événements. De plus, la connaissance de la distance oblique précise de l'observateur à chaque avion permet de ne pas simuler sur une zone de 10 km mais de cibler des points spécifiques. Cela réduit le nombre de points à environ 73 000, qui sont principalement situés près des aéroports. Cependant, le signal ne réside pas seulement dans ce qui est entendu, mais aussi dans ce qui ne l'est pas. L'absence de courbe de Doppler entre les deux événements pendant près de 15 minutes est un signal crucial. Cela suggère que l'emplacement n'est pas à proximité d'un aéroport majeur. Un "filtre de silence" est appliqué pour disqualifier tout point où un vol aurait été entendu entre les deux événements. Ce filtre réduit les 70 000 points restants à seulement 15 000. Malgré toutes ces contraintes, 15 000 points restent encore, ce qui est trop pour une analyse manuelle. L'orateur révèle alors une information cruciale : les avions ne volent pas toujours en mouvement linéaire constant ; ils changent de cap, accélèrent ou ralentissent, et toutes ces informations sont encodées dans la courbe de Doppler. Au lieu d'essayer de reconstruire la géométrie de vol à partir du spectrogramme, l'approche consiste à modéliser la courbe de Doppler exacte qui aurait été produite pour la géométrie de vol réelle de chaque vol, puis à trouver le point qui correspond le mieux. Pour modéliser une courbe de Doppler, il faut calculer la vitesse radiale de l'avion par rapport à l'observateur à chaque instant. La vitesse radiale est la composante de la vitesse de l'avion directement dirigée vers ou s'éloignant de l'observateur. L'équation de Doppler utilise cette vitesse radiale et une fréquence fondamentale (mesurée sur le spectrogramme) pour calculer la fréquence entendue par l'observateur. Il est crucial de noter que la fréquence entendue à un moment donné n'est pas basée sur la vitesse radiale de l'avion à ce moment-là, mais sur la vitesse de l'avion au moment où il a produit le son qui est ensuite entendu par l'observateur. C'est une distinction subtile mais fondamentale, car ignorer le temps de propagation du son conduit à une courbe de Doppler entièrement erronée. Une fois que les courbes de Doppler modélisées sont générées pour tous les points candidats et tous les vols, il faut les évaluer. L'évaluation se fait en superposant la courbe modélisée sur le spectrogramme et en additionnant les valeurs de luminosité que chaque courbe couvre. Deux sources d'erreur de mesure sont prises en compte : la fréquence fondamentale et le temps CPA, qui sont tous deux mesurés à partir du spectrogramme. Pour chaque courbe modélisée, un balayage de quelques secondes est effectué sur ces variables mesurées pour trouver la combinaison qui donne le score le plus élevé. Pour l'événement deux, le placement temporel relatif à l'événement un est entièrement déterminé par la géométrie du vol. Cela signifie que l'offset entre les deux est verrouillé. Si, après avoir corrigé l'erreur de mesure pour l'événement un, l'événement deux ne correspond pas, cela signifie que le point candidat n'est pas bon. Cette méthodologie de "score verrouillé" permet une précision temporelle très élevée. La résolution de la grille de 200 mètres s'avère trop grossière pour cette étape, nécessitant d'augmenter la résolution à 100 mètres, ce qui augmente considérablement le nombre de points à évaluer (environ 30 000 à 40 000). Cette étape est extrêmement coûteuse en calcul, ce qui souligne l'importance des étapes de filtrage précédentes pour réduire l'espace de recherche. Les résultats de cette méthodologie sont présentés sous forme de nuage de points où chaque point candidat a un score pour l'événement un et l'événement deux. Les scores les plus élevés sont recherchés. En regroupant les points par paire de vols et en ne retenant que le point le mieux noté pour chaque paire, un point se distingue nettement avec un score beaucoup plus élevé que les autres. Pour ce point le mieux noté (score de 20,48), les courbes de Doppler modélisées couvrent parfaitement les courbes du spectrogramme pour les deux événements. Les points classés deuxième et troisième montrent des écarts notables, en particulier pour l'événement deux. Le point le mieux noté est 40.87, -73.5. L'orateur démontre ensuite que même avec une seule courbe de Doppler (celle inaudible) et une contrainte temporelle précise (l'heure exacte d'enregistrement), la même méthode permet de retrouver le même emplacement avec une grande précision. Cela montre la robustesse de la méthode, qui peut fonctionner avec différentes combinaisons d'informations disponibles. La puissance de cette technique est soulignée : la localisation d'un enregistrement peut être obtenue à quelques centaines de pieds près à partir d'une minute d'audio où l'avion n'est pas audible. Ces survols sont constants et leurs fréquences traversent les murs, ce qui signifie que n'importe quelle vidéo pourrait contenir ces informations. Enfin, l'orateur procède à la géolocalisation visuelle en utilisant les coordonnées trouvées. En consultant Google Maps et Street View à l'emplacement 40.87, -73.5, il identifie une ligne d'arbres correspondante dans la vidéo, notamment un arbre en forme de V et une partie arrondie. En zoomant, il trouve même l'emplacement exact de la caméra de sécurité qui a filmé la séquence. Concernant la protection contre cette technique, l'orateur explique qu'un filtre passe-haut ne fonctionne pas car les fréquences des courbes de Doppler sont similaires à celles de la voix humaine, et le filtre n'élimine pas définitivelement le signal. De plus, noyer le son avec d'autres bruits ne fonctionne pas non plus, car le microphone capte toujours les ondes sonores. Les coupures dans les vidéos peuvent empêcher l'utilisation du décalage temporel, mais même une minute d'audio peut suffire avec une zone de recherche restreinte. Les appels téléphoniques, malgré la compression et la réduction du bruit, peuvent également conserver le signal des courbes de Doppler. En conclusion, bien que les chances que quelqu'un utilise