基于特征点匹配的相似图片搜索

Overview

imsearch

基于特征点匹配的的局部图像搜索工具

主要基于以下项目:

  • ORB_SLAM3 - 解决了传统 ORB 算法中存在的特征点过于集中的问题
  • faiss - 对大规模向量进行搜索

安装方式

  1. 安装 OpenCV、faiss

注:编译 faiss 时建议设置 -DFAISS_OPT_LEVEL=avx2 以最大化性能

  1. cargo install --git https://github.com/lolishinshi/imsearch

用法

训练

首次运行时,需要根据大概需要添加的图片数量训练索引:

  • 2k ~ 2w: K 取 65536,需要至少 5.2k 张图片训练
  • 2w ~ 20w:K 取 262144,至少需要 21k 张图片训练
  • 20w ~ 200w:K 取 1048576,至少需要 82k 张图片训练

然后将训练图片放到 train 文件夹内,并使用 imsearch add-images train 添加图片

再使用 imsearch export-data 导出 train.npy

再使用 python utils/train.py K train.npy 训练索引, 训练完的结果会保存在 ~/.config/imsearch/index

注:大数据集上的训练非常耗时,在 K = 1048576,训练图片为 100k 张时,两张 3080 花了 16 个小时才训练完成。

添加图片

使用 imsearch add-images DIR 添加指定目录下的所有图片

构建索引

使用 imsearch build-index 构建索引,这个过程同样非常慢,在 3970x 上,需要约 20~40 分钟构建 10k 张图片的索引

注:可以设置 RUST_LOG=debug 来打印详细日志以观察进度

搜索图片

# 让 imsearch 打印详细日志
export RUST_LOG=debug

# 以默认参数直接搜索单张图片
imsearch search-image test.jpg

# --mmap:不需要加载整个 index 到内存
# --nprobe=128:搜索附近的 128 的 bucket,提高了精度但耗费更多时间
imsearch --mmap --nprobe=128 search-image test.jpg

# 启动服务器,监听 127.0.0.1:8000 端口
imsearch --mmap start-server

# 使用 httpie 通过 web api 搜索图片
http --form http://127.0.0.1:8000/search [email protected]

搜索耗时:250w 张图片的索引,在 3970x 上搜索一次耗时约 0.5s

You might also like...
Comments
  • 安装faiss只能从源码吗?

    安装faiss只能从源码吗?

    fatal error: faiss/index_factory.h: No such file or directory cargo:warning= #include <faiss/index_factory.h>


    只能从源码安装吗?我用conda安装的rust和faiss

    conda create -n imsearch -c conda-forge rust python=3.7
    conda install -c pytorch opencv faiss-gpu cudatoolkit=10.2
    

    出现了上面那个报错

    opened by KAndHisC 14
  • [FR] 支持 HNSWx 模式构建索引(实验性)

    [FR] 支持 HNSWx 模式构建索引(实验性)

    • [ ] 支持 HNSWx(IndexHNSWFlat) 模式构建索引(实验性) 其优点:基于图检索的改进方法,检索速度极快,10亿级别秒出检索结果,而且召回率几乎可以媲美Flat,能达到惊人的97%。检索的时间复杂度为loglogn,几乎可以无视候选向量的量级了。并且支持分批导入,极其适合线上任务,毫秒级别体验。(来自网传) 其缺点:构建索引极慢,占用内存极大(是Faiss中最大的,大于原向量占用的内存大小)
    wontfix 
    opened by soutubot 1
  • 关于数据库存放在HDD导致搜索时间过慢问题

    关于数据库存放在HDD导致搜索时间过慢问题

    --版本

    最新版

    --情况

    HZ-E5-256G-10并行-230G(HDD)
    [2021-12-01T15:47:09Z DEBUG imsearch::index] knn search time: 3.67s
    [2021-12-01T15:47:09Z DEBUG imsearch::index] knn search time: 4.17s
    [2021-12-01T15:47:09Z DEBUG imsearch::index] knn search time: 4.20s
    [2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.24s
    [2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.26s
    [2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.26s
    [2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.27s
    [2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.28s
    [2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.29s
    [2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.29s
    [2021-12-01T15:48:54Z DEBUG imsearch::imdb] search time: 108.33s
    [2021-12-01T15:48:56Z DEBUG imsearch::imdb] search time: 111.20s
    [2021-12-01T15:48:57Z DEBUG imsearch::imdb] search time: 111.74s
    [2021-12-01T15:48:58Z DEBUG imsearch::imdb] search time: 112.45s
    [2021-12-01T15:48:58Z DEBUG imsearch::imdb] search time: 112.55s
    [2021-12-01T15:48:59Z DEBUG imsearch::imdb] search time: 113.93s
    [2021-12-01T15:49:00Z DEBUG imsearch::imdb] search time: 114.26s
    [2021-12-01T15:49:00Z DEBUG imsearch::imdb] search time: 114.42s
    [2021-12-01T15:49:00Z DEBUG imsearch::imdb] search time: 114.89s
    [2021-12-01T15:49:01Z DEBUG imsearch::imdb] search time: 115.48s
    

    在E5-1650V3 256G HDD机子里 使用 start-server http模式加载 230G index 和 22G 数据库(database)(数据库已 clear-cache 清除特征点) 再使用10个并行测试搜索,log如上

    index已经缓存在内存里,knn搜索时间没什么问题 但总时间却过于长,应该是「从数据库中查询特征点对应的本子」,并且数据库存放在HDD读取过慢的问题

    --解决方式

    1.把数据库(database)存放在nvme盘 但租用的服务器没有

    2.使用内存创建虚拟硬盘,把数据库(database)放进去 目前临时使用该方法解决中,但由于是使用tmpfs创建内存虚拟硬盘效率不佳,并且只能手动

    3.我建议新增个可选项,把数据库(database)也缓存在内存里

    opened by soutubot 0
  • [BUG] 新版添加大量图片时出现 Segmentation fault 中断

    [BUG] 新版添加大量图片时出现 Segmentation fault 中断

    --版本

    最新版

    --情况

    添加48w图片时的一半出现

    [OK] Add /www/nhentai_jp/nh2/[315879][brother pierrot]/091.png
    [OK] Add /www/nhentai_jp/nh2/[315879][brother pierrot]/146.png
    [OK] Add /www/nhentai_jp/nh2/[315879][brother pierrot]/001.jpg
    Segmentation fault
    

    --尝试复现1(失败)

    新建一个数据库,添加这个 /www/nhentai_jp/nh2/[315879][brother pierrot]/ 文件夹是没问题

    --尝试复现2(成功)

    新建一个数据库,添加这个 /www/nhentai_jp/ 整个文件夹,也在中途出现 Segmentation fault 错误中断 但中断文件的文件夹不是 /www/nhentai_jp/nh2/[315879][brother pierrot]/ ,而是其他

    --退回上上旧版(无错误)

    退回上上旧版 https://github.com/lolishinshi/imsearch/tree/06b4c3705ec5554c7429923dbc5de5bb6fb85645 再新建一个数据库,添加这个 /www/nhentai_jp/ 整个文件夹,未出现中断错误问题

    opened by soutubot 0
Owner
null