База данных ip подсетей с привязкой к странам и городам
Alexander Panko
подскажите где на данный момент желательно в одном месте купить/
скачать сабж?
Собирать руками с разных источников совсем не хочется, идеальный
вариант - подписка на такую базу + обновления к ней.
Nikolay Grebnev
+ мы еще пользуемся несколькими чисто русскими базами...
Николай
Партнерская программа http://www.owndating.ru
Iscander
Maxim Bondaruk
16 ноября 2008 г. 15:42 пользователь Nikolay Grebnev
<nikolay...@gmail.com> написал:
Maxim Bondaruk
> http://www.wipmania.com/ru/base/
>
Жаль что у них информация только по странам... без регионов как на MaxMind...
Nikolay Grebnev
Ilyas Iskakov
и провайдер). Английская версия.
> подписка на такую базу + обновления к ней.
Max Lapshin
Кто-нибудь уже писал код для парсинга их баз?
Max Lapshin
Итак, база IP адресов хранится в виде IP-start, IP-end, city
Надо для нашего ip найти ту запись, в которой IP-start <= ip && ip <= IP-end && IP-end - IP-start = min
Попытка залить эту базу в Mysql приводит к тому, то он фактически не пользуется индексами. Перебор
50 тыс записей из общего количества в 100 тыс — это никакое не ускорение.
Я хочу убрать это всё в двоичное дерево, которое будет работать по принципу nested-sets.
Вопрос: есть какая-то подходящая библиотека для этого? Мне нужен специфичный алгоритм поиска,
но не писать же на C этот код =(
Oleg Shaldybin
2008/11/26 Max Lapshin <max.l...@gmail.com>:
Oleg Shaldybin
http://shaldybin.com
Max Lapshin
Это в числовом представлении адресов не пользуется индексами?
Угу. Строю индекс по start, индекс по end, индекс по size = end - start.
Использует только либо start, либо end.
Stanislav Yadykin
> Использует только либо start, либо end.
mysql> alter table `tablename` add index `range` (`start`, `end`);
mysql> explain select * from `tablename` force index (`range`) where
127000012001 between `start` and `end`;
+----+-------------+-----------+--------+---------------+------+---------+------+------+-------+
| id | select_type | table | type | possible_keys | key |
key_len | ref | rows | Extra |
+----+-------------+-----------+--------+---------------+------+---------+------+------+-------+
| 1 | SIMPLE | tablename | system | range | NULL | NULL
| NULL | 1 | |
+----+-------------+-----------+--------+---------------+------+---------+------+------+-------+
Так не поможет? Дерево индекса уже будет построено по обоим полям.
--
WBR,
Stanislav Yadykin
Max Lapshin
mysql> explain select * from ipgeobases force index (index_ipgeobases_range) where 1401544691 between start and stop\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: ipgeobases
type: range
possible_keys: index_ipgeobases_range
key: index_ipgeobases_range
key_len: 4
ref: NULL
rows: 57083
Extra: Using where
1 row in set (0.00 sec)
И 57083 строчки всё равно что full table scan.
Dmytro Shteflyuk
> Угу. Строю индекс по start, индекс по end, индекс по size = end - start.
> Использует только либо start, либо end.
А что, мускул научился юзать несколько индексов в одном запросе? О_о
--
Best regards, Dmytro Shteflyuk
http://kpumuk.info/
Max Lapshin
Прирост скорости в 100 тыс раз. Мускль делает один поиск за 0,2 секунды, а GeoIP за это же время делает 100 000 поисков.
Maxim Bondaruk
26 ноября 2008 г. 18:14 пользователь Max Lapshin
<max.l...@gmail.com> написал:
Max Lapshin
Резюме по Maxmind такое: база — дрянь. Там 8 разных способов написания Москвы, ни в какие ворота не лезет.
Сделал хранилище в памяти для базы Ipgeodata, получилось вместо 0,2 секунд мускля на один запрос,
0,3 секунды на 1 млн запросов. Оформлю получше и выложу.
Anton Ageev
А разве nginx-у подсунуть её нельзя? Формат сильно смахивает на maxmind-ский.
--
WBR, Anton
Artiom Diomin
http://www.wipmania.com/ru/base/
тут база и в SQL формате и для nginx-а
--
Artiom Diomin <kro...@gmail.com>
Max Lapshin
Мускль делает за это время только 20 поисков.
На самом деле у maxmind просто омерзительная база. Очень грязная, Москва в 8 разных формах написания и встречается
даже Тёплый Стан. Не знаю, какие индусы её заполняли.
Короче, сегодня положу свой ruby-inline поисковик по ipgeobase
Alexander Panko
SELECT * FROM ipgeobases WHERE start <= ? ORDER BY start DESC LIMIT 1
По поводу maxmind, я выбрал всетаки ее, бесплатную версию, но не смог
побороть глюки их либы, которая ругалась на версию базы. В итоге залил
все в postgres.
Alexander Panko
SELECT * FROM ipgeobases WHERE start <= ? ORDER BY start DESC LIMIT 1
По поводу maxmind, я выбрал всетаки ее, бесплатную версию, но не смог
побороть глюки их либы, которая ругалась на версию базы. В итоге залил
все в postgres.
On 27 нояб, 14:05, "Max Lapshin" <max.laps...@gmail.com> wrote:
Alexander Panko
так как подсеть всегда имеет start и stop адреса и подсети не
пересекаются, а только могут быть вложены друг в друга.
Max Lapshin
Только в базе ipgeobase практически каждый start будет иметь несколько повторений.
Max Lapshin
Делаем require 'ipgeobase_ext' в config/environment.rb, после чего в нужном классе делаем
class Ipgeobase
extend IpgeobaseExt
def self.lookup(ip)
City.find_by_name(intern_lookup(ip))
end
end
