ImportError: libodbc.so.2: cannot open shared object file: No such file or directory

[Wu-tn]

Running atomic_pattern_retrieval/biencoder/biencoder_inference.py
import pyodbc
ImportError: libodbc.so.2: cannot open shared object file: No such file or directory
I already install unixodbc and still found this wrong , have you ever met the problem?

[Wu-tn]

I install pyodbc=4.0.34 and found that the question was solved , but still found another question that how to set DSN for pyodbc

[advAdder]

Sorry for the late response.

Have you tried to install packages according to requirements.txt?
DSN is in https://github.com/nju-websoft/EPR-KGQA/blob/master/my_utils/freebase.py#L61

[Wu-tn]

感谢你的回复，上面的问题我已经解决了，但是现在有另外两个问题想问一下：
1.请问你们使用的KB是Freebase-setup中提供的virtuoso.db还是下载freebase-latest-rdf呢？
2.在按照readme.md复现代码时发现在subgraph_extraction阶段获取的数据如下：

通过源码发现在函数td_gen()中，topk_eps = get_instantiable_topk(eps, topk)获取的topk_eps为空，原因为函数
def is_instantiable(ep: str) -> bool:
# query = f""" SPARQL
# SELECT ?j
# WHERE {{{ep}}}
# LIMIT 1
# """
query = f""" SPARQL
SELECT ?j
WHERE {{{ep}}}
LIMIT 1000
"""
return FreebaseODBC.has_query_results(query)
返回的均为false，请问你们遇到过这种情况吗？
以下是我按照步骤获取的CWQ_dev_top100_ap_ranked_ep.json

[advAdder]

因为项目维护人员都已经从NJU毕业了，没法帮你直接复现，我凭记忆说一下：

1. 我们用的是Freebase官方直接dump的数据，setup提供的是virtuoso的教程，也可以参考其他virtuoso教程，我们应该没有用复杂的SPARQL特性，所以能部署的常见virtuoso版本应该都没问题。
2. 可以验证一下你的KB里面是不是有完整数据。至少这个case里，我感觉后面的简单查询都查不到应该是KB里面内容不对。

• 线上服务可以试一下gooogle/wikidata + 第三方服务freebase easy（这个有可能不全），如果线上看起来有但是本地查不到，应该是本地的知识库构建的有问题。
  • 比如这里提到的02vymvp，可以 https://www.google.com.hk/search?kgmid=/m/02vymvp 或者 https://www.wikidata.org/w/index.php?fulltext=Search&search=%2Fm%2F02vymvp ，能知道是什么实体，然后用第三方服务 https://freebase-easy.cs.uni-freiburg.de/browse/#triples=$1%20equals%20:e:Nicholas_S._Zeppos 看看有没有对应的属性。

[Wu-tn]

好的，我一开始使用https://github.com/dki-lab/Freebase-Setup?tab=readme-ov-file中提供的OneDrive链接下载virtuoso.db后出现以上subgraph_extraction为空的情况，后续换用freebase-rdf-latest.gz后使用Freebase-setup连接出现there is a wrong that The VDBMS server process terminated prematurely after opening the database.以下是virtuoso.log的报错信息
。请问你们有遇到这种情况吗

[advAdder]

没遇到过，你freebase是怎么导入virtuoso的？
virtuoso的官方文档是：https://vos.openlinksw.com/owiki/wiki/VOS/VirtBulkRDFLoader

[Wu-tn]

我是按照https://github.com/dki-lab/Freebase-Setup 中将freebase-rdf-latest放在virtuoso_db文件夹中，然后运行
python3 virtuoso.py start 3001 -d virtuoso_db

[advAdder]

freebase官网提供的dump是个特定格式的文本文件，不是数据库文件
virtuoso是传统Semantic Web/Knowledge Graph用的比较多的一个数据库，支持这种格式的导入

[Wu-tn]

所以使用freebase-latest-rdf导入virtuoso是没问题的吗，但是我出现了上述开启服务失败的问题。在使用Freebase-setup提供的数据库文件virtuoso.db时，运行myutils/freebase.py的main函数是没问题的，如下：

但是运行subgrapg_extraction却出现上述topk_ep为空的情况，请问你能提供数据库文件吗？

[Wu-tn]

或者说你们使用的是图中wget提供的数据库文件吗？

[advAdder]

我们用的是Freebase官方直接dump的数据

https://developers.google.com/freebase 试试这里的官方数据，按照virtuoso的正常导入方法，建立一个完整的数据库

你可以试一下在virtuoso后台的isql或者web端的sparql接口手动输入subgraph extraction中出现的查询，验证是否数据库内容本身有问题