IP Address Collection and Management Service with multiple formats

For english readme: README.en.md

Основной портал: https://iplist.opencck.org

Портал с прочими сервисами: https://beta.iplist.opencck.org

Портал с российскими сервисами: https://russia.iplist.opencck.org

Сервис сбора IP-адресов и CIDR зон

Данный сервис предназначен для сбора и обновления IP-адресов (IPv4 и IPv6), а также их CIDR зон для указанных доменов. Это асинхронный PHP веб-сервер на основе AMPHP и Linux-утилит whois и ipcalc. Сервис предоставляет интерфейсы для получения списков зон ip адресов указанных доменов (IPv4 адресов, IPv6 адресов, а также CIDRv4 и CIDRv6 зон) в различных форматах, включая текстовый, JSON, форматы скриптов для добавления в "Address List" на роутерах Mikrotik (RouterOS), Keenetic KVAS\BAT, SwitchyOmega, Amnezia и др.

Основные возможности

• Сбор и автоматическое обновление IP-адресов и CIDR зон для доменов.
• Поддержка вывода данных в различных форматах (JSON, lst, Mikrotik, OpenWRT, ipset и т.д).
• Интеграция с внешними источниками данных (поддержка импорта начальных данных из внешних URL).
• Легкое развертывание с помощью Docker Compose.
• Настройка через JSON файлы для управления доменами.

Используемые технологии

• PHP 8.1+ (amphp, revolt)
• whois, ipcalc (linux)

Форматы выгрузки

Настройки

Конфигурационные файлы хранятся в config/<группа>/<портал>.json. Каждый JSON файл представляет собой конфигурацию для конкретного портала, задавая домены для мониторинга и источники начальных данных по IP и CIDR.

{
    "domains": [
        "youtube.com",
        "www.youtube.com",
        "m.youtube.com",
        "www.m.youtube.com",
        "googlevideo.com",
        "www.googlevideo.com",
        "ytimg.com",
        "i.ytimg.com"
    ],
    "dns": ["127.0.0.11:53", "77.88.8.88:53", "8.8.8.8:53"],
    "timeout": 43200,
    "ip4": [],
    "ip6": [],
    "cidr4": [],
    "cidr6": [],
    "external": {
        "domains": ["https://raw.githubusercontent.com/nickspaargaren/no-google/master/categories/youtubeparsed"],
        "ip4": ["https://raw.githubusercontent.com/touhidurrr/iplist-youtube/main/ipv4_list.txt"],
        "ip6": ["https://raw.githubusercontent.com/touhidurrr/iplist-youtube/main/ipv6_list.txt"],
        "cidr4": ["https://raw.githubusercontent.com/touhidurrr/iplist-youtube/main/cidr4.txt"],
        "cidr6": ["https://raw.githubusercontent.com/touhidurrr/iplist-youtube/main/cidr6.txt"]
    }
}

Замена пересекающихся CIDR зон (свойство replace)

Опциональное поле replace в конфиге портала позволяет заменить «широкие» CIDR-зоны, принадлежащие нескольким порталам (например, 172.217.0.0/16 у google и yandex), на более узкие CIDR-блоки, известные только этому порталу. При включённой опции SYS_REPLACE_AGGREGATE_SUBNETS блоки дополнительно агрегируются (supernet), а четыре порога SYS_REPLACE_COLLAPSE_THRESHOLD_* включают «пирамидальное» плотностное схлопывание.

Все подробности — в отдельном документе: docs/REPLACE.md.

Настройка и запуск под docker

git clone https://github.com/rekryt/iplist.git
cd iplist
cp .env.example .env

Если требуется отредактируйте .env файл

docker compose up -d

Открыть сервис можно в браузере по протоколу http, порт 8080

http://0.0.0.0:8080/
http://0.0.0.0:8080/?format=json
http://0.0.0.0:8080/?format=json&site=youtube.com&data=domains
http://0.0.0.0:8080/?format=text&site=youtube.com&data=ip4
http://0.0.0.0:8080/?format=mikrotik&data=cidr4
http://0.0.0.0:8080/?format=mikrotik&site=youtube.com&data=cidr4
http://0.0.0.0:8080/?format=comma&data=cidr4

Настройка SSL

Для настройки SSL сертификата вам понадобится домен настроенный на ваш сервер. Если у вас нет собственного домена - как вариант бесплатный домен можно получить например на https://noip.com. Актуальность такого домена придётся подтверждать раз в месяц.

• Установите и настройте реверс-прокси, например NginxProxyManager
• Создайте виртуальную сеть docker

docker network create web

• Настройте её в docker-compose.yml файлах реверс-прокси и данного проекта

services:
    ...
    app:
        networks:
            - web
networks:
    web:
        external: true
        name: web

• Удалите свойство ports из docker-compose.yml (этого проекта)
• Примените изменения:

docker compose up -d

• Имя контейнера можно посмотреть командой docker compose ps
• В панели администрирования реверс-прокси настройте домен на него iplist-app-1 порт 8080 и включите SSL
• NginxProxyManager будет продлевать ssl сертификат автоматически

Ручной запуск (PHP 8.1+)

apt-get install -y ntpsec whois dnsutils ipcalc
cp .env.example .env
composer install
php index.php

geoip.dat и geosite.dat собираются самим сервисом, внешние утилиты для них не нужны. Отдельный бинарник нужен только формату srs — им компилируется бинарный rule-set:

# sing-box (для формата srs)
SINGBOX_VERSION=1.13.15
curl -fsSL -o /tmp/sing-box.tar.gz   "https://github.com/SagerNet/sing-box/releases/download/v${SINGBOX_VERSION}/sing-box-${SINGBOX_VERSION}-linux-amd64-glibc.tar.gz"
tar -xzf /tmp/sing-box.tar.gz -C /tmp
install -m 0755 "/tmp/sing-box-${SINGBOX_VERSION}-linux-amd64-glibc/sing-box" /usr/local/bin/sing-box

Если нужна сборка geoip.dat через утилиту v2fly (SYS_GEOIP_NATIVE=false), понадобится Go 1.25+:

git clone --depth 1 https://github.com/v2fly/geoip.git
cd geoip && go build . && cd ../

Кастомный формат вывода

Для получения выгрузки данных по заданному шаблону используются get параметры: format=custom и template=шаблон, где шаблон может содержать такие паттерны как:

Примеры:

Wildcard домены twitter для dns static add под mikrotik для forward-to=localhost:
https://iplist.opencck.org/?format=custom&data=domains&site=x.com&wildcard=1&template=%2Fip%20dns%20static%20add%20name%3D%7Bdata%7D%20type%3DFWD%20address-list%3D%7Bgroup%7D_%7Bsite%7D%20match-subdomain%3Dyes%20forward-to%3Dlocalhost

Wildcard домены в кастомном формате:
https://iplist.opencck.org/?format=custom&data=domains&wildcard=1&template=data%3A%20%7Bdata%7D%20group%3A%20%7Bgroup%7D%20site%3A%20%7Bsite%7D

Маска подсети в кастомном формате:
https://iplist.opencck.org/?format=custom&data=cidr4&template=data%3A%20%7Bdata%7D%20group%3A%20%7Bgroup%7D%20site%3A%20%7Bsite%7D%20shortmask%3A%20%7Bshortmask%7D%20mask%3A%20%7Bmask%7D

Настройка маршрутизации Xray/V2Ray

Скачайте iplist.dat файл в рабочий каталог:

https://iplist.opencck.org/?format=geoip&data=cidr4

Пример routing конфигурации:

{
  "routing": {
    "rules": [
      {
        "type": "field",
        "outboundTag": "vpn",
        "ip": ["ext:iplist.dat"]
      },
      ...
    ]
  },
  ...
}

Пример использования тегов (по имени портала или группы) в конфигурации:

{
  "routing": {
    "rules": [
      {
        "type": "field",
        "outboundTag": "vpn",
        "ip": ["ext:iplist.dat:youtube.com"]
      },
      {
        "type": "field",
        "outboundTag": "vpn",
        "ip": ["ext:iplist.dat:anime"]
      },
      ...
    ]
  },
  ...
}

Домены отдаются файлом geosite.dat (те же теги — по имени портала и по группе):

https://iplist.opencck.org/?format=geosite&data=domains

{
  "routing": {
    "rules": [
      {
        "type": "field",
        "outboundTag": "vpn",
        "domain": ["ext:geosite.dat:youtube.com"]
      },
      {
        "type": "field",
        "outboundTag": "vpn",
        "domain": ["ext:geosite.dat:anime"]
      },
      ...
    ]
  },
  ...
}

По умолчанию домены пишутся как RootDomain — правило срабатывает и на сам домен, и на все его поддомены. Другое поведение выбирается параметром domaintype: full — только точное совпадение, keyword — вхождение подстроки, regex — регулярное выражение.

Настройка sing-box (rule-set)

Сервис отдаёт rule-set в двух видах: singbox — исходный JSON, srs — скомпилированный бинарный файл (меньше размер и быстрее загрузка). Оба варианта sing-box умеет забирать по ссылке:

{
    "route": {
        "rule_set": [
            {
                "type": "remote",
                "tag": "iplist-ip",
                "format": "binary",
                "url": "https://iplist.opencck.org/?format=srs&data=cidr4&group=youtube",
                "download_detour": "direct",
                "update_interval": "1d"
            },
            {
                "type": "remote",
                "tag": "iplist-domains",
                "format": "source",
                "url": "https://iplist.opencck.org/?format=singbox&data=domains&group=youtube",
                "download_detour": "direct",
                "update_interval": "1d"
            }
        ],
        "rules": [
            {
                "rule_set": ["iplist-ip", "iplist-domains"],
                "outbound": "vpn"
            }
        ]
    }
}

Версия формата задаётся параметром version (по умолчанию 1 — её читают все sing-box начиная с 1.8). Для format=srs версия исходника является верхней границей: sing-box компилирует минимальную достаточную версию бинарного файла.

Настройка Mikrotik

• В администраторской панели роутера (или через winbox) откройте раздел System -> Scripts
• Создайте новый скрипт "Add new" с произвольным именем, например iplist_v4_cidr
• В поле Source введите следующий код (используйте url адрес вашего сервера, протокол в mode тоже может отличаться):

/tool fetch url="https://iplist.opencck.org/?format=mikrotik&data=cidr4&append=timeout%3D1d" mode=https dst-path=iplist_v4_cidr.rsc
:delay 5s
:log info "Downloaded iplist_v4_cidr.rsc succesfully";

/import file-name=iplist_v4_cidr.rsc
:delay 10s
:log info "New iplist_v4_cidr added successfully";

• 
• Сохраните скрипт
• Откройте раздел планировщика System -> Scheduler
• Создайте новое задание с произвольным именем, например iplist_v4_cidr
• В качестве Start time укажите время для старта задания (пример: 00:05:00). Для Interval введите значение 1d 00:00:00.
• В поле On event введите имя скрипта

iplist_v4_cidr

• 
• Откройте скрипт в разделе System -> Scripts и запустите его нажатием на кнопку Run Script
• В разделе Logs вы должны увидеть сообщение New iplist_v4_cidr added successfully
• 
• А в разделе IP -> Firewall -> Address Lists должны появиться новые списоки (в примере с именем youtube)
• 

Через GET-параметр template для формата mikrotik можно указывать шаблон для имени списка:

https://iplist.opencck.org/?format=mikrotik&data=cidr4&append=timeout%3D1d&template={group}_{data}

По умолчанию шаблон имеет значение: {group}_{data}

Настройка HomeProxy (sing-box)

Включите "Routing mode" в "Only proxy mainland China": Подключитесь к роутеру по ssh и выполните следующие команды:

# переименовываем старый скрипт обновления
mv /etc/homeproxy/scripts/update_resources.sh /etc/homeproxy/scripts/update_resources.sh.origin

# загружаем новый скрипт
wget https://iplist.opencck.org/scripts/homeproxy/update_resources.sh -O /etc/homeproxy/scripts/update_resources.sh

# добавляем права на выполнение
chmod +x /etc/homeproxy/scripts/update_resources.sh

# отменяем стирание cron после перезапуска homeproxy
sed -i '/sed -i/s/^/\t#/; /\/etc\/init.d\/cron restart >/s/^/\t#/' /etc/init.d/homeproxy

# вы захостили это решение? - тогда раскомментируйте следующую строку и поменяйте "example.com" на ваш домен
# sed -i 's/iplist.opencck.org/example.com/g' /etc/homeproxy/scripts/update_resources.sh

Откройте административную панель OpenWRT раздел "System" - "Sсheduled Tasks". Добавьте строку, чтобы автоматически запускать скрипт обновления при старте, а также в 00:05:00 и 12:05:00

5 0,12 * * * /etc/homeproxy/scripts/update_crond.sh

Настройка дополнения для Chrome - Proxy SwitchySharp

Установить можно по ссылке

Подробнее о формате Switchy RuleList

License

The MIT License (MIT). Please see LICENSE for more information.