Открытые данные исследования
Доступность муниципальных сайтов США · CC BY 4.0
Здесь лежат сырые данные, на которых стоит каждое опубликованное нами число. Любую цифру можно пересчитать самостоятельно, не имея доступа к нашему коду. Файлы отдаются напрямую и ничем не защищены: это и есть смысл открытых данных.
Как ссылаться
Maksim Galatin & AIfa (Claude, Anthropic). Municipal Website Accessibility: Automated Scan versus Keyboard Traversal. Открытый набор данных, версия от 1 сентября 2026. CC BY 4.0.
Лицензия CC BY 4.0: пользоваться можно как угодно, включая коммерческое применение, при указании авторства.
Что лежит в наборе
| Файл | Что внутри | Объём |
|---|---|---|
| traversal-log-2026-09-01.jsonl.gz | Главный журнал. Одна строка — один клавиатурный обход одной страницы: адрес, город, штат, тип страницы, сколько нажатий Tab до цели, где путь оборвался и почему, есть ли метки у полей, имя файла снимка, вердикт. | 3,2 МБ 95 524 строк |
| traversal-log-SCHEMA.md | Схема журнала: каждое поле с пояснением, какие значения возможны и как их читать. | 13 КБ |
| us-government-axe-audit.jsonl.gz | Аудит государственных сайтов США движком axe-core 4.x: 85 497 проверок страниц с разбивкой нарушений по уровням тяжести, правилам и типу страницы. Адреса почты, попавшие внутрь CSS-селекторов вместе со ссылками mailto, скрыты. | 4,1 МБ 85 497 строк |
| us-organizations-registry.jsonl.gz | Реестр организаций США: 289 420 записей по всем 51 территории — школы, больницы, органы власти, торговля и услуги. Это список объектов, по которому шёл обход. ⚖️ ОТДЕЛЬНАЯ ЛИЦЕНЗИЯ: ODbL 1.0, а не CC BY 4.0 — реестр производен от OpenStreetMap (видно по полю osm_id), © участники OpenStreetMap. Перед выкладкой убраны 210 730 телефонов и 20 859 почтовых адресов. | 16,0 МБ 289 420 строк |
| us-registry-cisa.jsonl.gz | Федеральный реестр CISA по состоянию на 31 августа 2026 — исходная выборка доменов городов и округов США. | 276 КБ 11 659 строк |
| measurement-dates.jsonl.gz | Когда именно сделан каждый снимок экрана. Столько же строк, сколько снимков проверено на диске. | 853 КБ 83 212 строк |
| evidence-hashes-2026-09-01.txt.gz | Реестр целостности: SHA-256 каждого файла доказательной базы. Его собственный хеш заштампован в Bitcoin через OpenTimestamps. | 2,7 МБ 81 065 строк |
| evidence-hashes-2026-09-01.timestamp.json | Доказательство штампа времени: какие календари приняли хеш и когда. | 2,7 КБ |
| solana-anchor-status.json | Честный статус закрепления в блокчейне: что уже сделано в Bitcoin и на каком шаге стоит запись в Solana. | 2,3 КБ |
| dead-domains-2026-09-01.csv | Домены из реестра, которые не ответили. Разобраны вручную; это находка не о доступности, а о качестве государственных данных. | 30 КБ 1 499 строк |
| unreachable-reasons.csv.gz | Причины недоступности, сведённые в таблицу: DNS, TLS, таймаут, отказ соединения и прочее. | 19 КБ 905 строк |
| tls-certificates.jsonl.gz | Состояние сертификатов TLS у обойдённых доменов. | 483 КБ 8 979 строк |
| entity-classification.jsonl.gz | Классификация организаций: город, округ, иной тип. | 173 КБ 11 997 строк |
| recaptured-screenshots.jsonl.gz | Снимки, переснятые позже, — с указанием, какой заменён и когда. Прежние версии не удаляются. | 14 КБ 757 строк |
Реестр обновлений
Что менялось в наборе и почему. Числа сняты вскрытием файлов, а не по именам. Дважды количество записей УМЕНЬШАЛОСЬ — это не подчистка, а исправление в нашу невыгоду, и каждый такой случай объяснён.
| Дата | Файл | Что внутри | Изменение |
|---|---|---|---|
| 2026-09-10 | us-organizations-registry.jsonl.gz | Массив возвращён в раздачу под ПРАВИЛЬНОЙ лицензией. Реестр организаций производен от OpenStreetMap — это видно по полю osm_id в каждой записи, — а OpenStreetMap лицензируется под ODbL 1.0, которая требует, чтобы производная база распространялась тоже под ODbL. Мы выложили его под CC BY 4.0, и это было неверно. Утром 10 сентября массив сняли; к вечеру решение исправлено: снимать было незачем, достаточно поставить на ЭТОТ файл ODbL 1.0. Теперь так и сделано — остальные наборы остаются под CC BY 4.0 без изменений. Список организаций получен из OpenStreetMap, © участники OpenStreetMap. | — |
| 2026-08-30 | dead-domains-2026-08-30.csv | Первая публикация списка доменов без записи в DNS — тех, что числятся в федеральном реестре CISA, но не существуют. | 1 209 строк |
| 2026-08-31 | dead-domains-2026-08-31.csv | Список расширен после прохода по оставшимся штатам. | 1 651 строк +442 |
| 2026-09-01 | dead-domains-2026-09-01.csv | Записей стало МЕНЬШЕ, и это исправление в нашу невыгоду: 152 домена, названные мёртвыми, оказались живыми при повторной проверке настоящим браузером с четырьмя адресами на домен. Мы поправили себя, а не подчистили данные. | 1 499 строк −152 |
| 2026-09-01 | traversal-log-2026-09-01.jsonl.gz | Главный журнал клавиатурного обхода: 95 524 записи по 11 902 доменам. Обход федерального реестра CISA завершён — все 11 659 сайтов пройдены. | 95 524 строк |
| 2026-09-01 | evidence-hashes-2026-09-01.txt.gz | Реестр целостности: SHA-256 каждого снимка экрана. В тот же день его собственный хеш проштампован в Bitcoin через OpenTimestamps — подделать снимок задним числом теперь нельзя, не переписав Bitcoin. | 81 657 строк |
| 2026-09-03 | evidence-hashes-2026-09-03.txt.gz | Реестр целостности расширен на 28 442 записи: под доказательство подведены снимки, сделанные при повторных проходах. | 110 099 строк +28 442 |
| 2026-09-09 | us-organizations-registry.jsonl.gz | Новый массив. Реестр организаций США: 289 420 записей по всем 51 территории — школы, больницы, торговля и услуги, с адресом сайта, координатами и отраслевой группой. Он собран как выборка для следующего этапа обхода и до сегодня лежал непубликованным. Телефоны (210 730) и почтовые адреса (20 859) из публикуемой копии убраны намеренно: в замерах доступности они не участвуют, а среди почт пять тысяч были личными ящиками на gmail и подобных. Ещё 15 адресов вычищены из поля сайта — в исходных данных OpenStreetMap туда вписали почту вместо адреса страницы. | 289 420 строк |
| 2026-09-09 | us-government-axe-audit.jsonl.gz | Новый массив. Аудит государственных сайтов США движком axe-core 4.x: 85 497 проверок страниц, с разбивкой нарушений по уровням тяжести, конкретным правилам и типу страницы. Это отдельное измерение, и складывать его с муниципальным обходом нельзя: там человек нажимает Tab, здесь работает автоматический движок, и методики разные. Адреса почты, попавшие внутрь CSS-селекторов вместе со ссылками mailto, скрыты — селектор по-прежнему показывает, где нарушение. | 85 497 строк |
Формат
Файлы с расширением .jsonl.gz — это построчный JSON, сжатый gzip: одна строка — один объект. Разжимается любым архиватором, читается любой программой построчно, целиком в память загружать не нужно. Браузер такой файл показать не умеет и поэтому сохраняет его на диск — это обычное поведение для архива, а не ошибка.
Поля главного журнала
| url | адрес проверенной страницы |
| город / штат | город и штат владельца сайта |
| страница_тип | какая это страница: home, payment, jobs, documents, meetings, 311_request и т. д. |
| шагов_до_цели | сколько нажатий Tab понадобилось, чтобы дойти до цели; 0 — цель не достигнута |
| где_оборвалось | на каком элементе путь прервался |
| причина | словами: не открылась страница, цель не достигнута за 40 нажатий, успешно за N шагов |
| есть_метки_у_полей | подписаны ли поля формы для программы чтения с экрана |
| контраст_ок | проходит ли текст по контрасту |
| скриншот | имя файла снимка экрана, сделанного в момент замера |
| вердикт_человека | итог глазами: доступно, частичный барьер, барьер, недоступно и т. д. |
| что_сказал_скрипт | что об этой же странице сказала автоматическая проверка |
| вендор_платформы | на какой платформе сделан сайт, если удалось определить |
| когда_замер | время замера |
Как убедиться, что данные не подменены
Для каждого файла доказательной базы посчитан SHA-256, все хеши собраны в один реестр, а его собственный хеш заштампован в Bitcoin через OpenTimestamps — бесплатно, тремя независимыми календарями. Подделать снимок задним числом теперь невозможно, не переписав Bitcoin. Порядок проверки описан в evidence-hashes-README.txt.
Осторожно с долями
В исследовании три разные доли, и у каждой свой знаменатель. Первая: среди страниц, которые автоматическая проверка сочла чистыми, 53,8 % не дошли до цели — знаменатель 25 966. Вторая: среди ВСЕХ измеримых страниц не дошли 74,6 % из 47 271. Третья: из всех 95 524 записей журнала цель достигнута в 12,6 %. Ни одна из трёх не означает «X % сайтов недоступны»: это доли страниц, а не сайтов.