caoqianming
7b38d4d234
- 新增通用核心 _crawl_openalex_query:单查询 cursor 分页 + 逐页游标 checkpoint + 停/续标志,全量抓取/每天增量/回补三者共用;顺手修复 get_paper_meta_from_openalex 原先把起始游标写回缓存、年中断点不能续传的 bug - 新增 update_paper_meta_from_openalex:每天按 from_publication_date 增量(days=30)。from_created_date/from_updated_date 需 OpenAlex Premium,当前 key 无权限,故用发表日期 - 新增 update_paper_meta_from_elsevier:ScienceDirect Search(loadedAfter)补充 Elsevier 新刊 - 新增 backfill_paper_meta_from_openalex:按发表日期一次性回补,支持断点续传/配额暂停续跑 - tasks.py 凭证改从 settings 读取(集中到 gitignore 的 config/conf.py) - migration 0007:注册两条每天的增量周期任务(OpenAlex 03:00 / Elsevier 04:00) Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> |
||
|---|---|---|
| .claude | ||
| apps | ||
| log | ||
| media/default | ||
| server | ||
| .gitignore | ||
| CLAUDE.md | ||
| after_click_no.html | ||
| after_click_no.png | ||
| db.json | ||
| manage.py | ||
| readme.md | ||
| requirements.txt | ||
| ruff.toml | ||
| scihub_page.html | ||
| scihub_screenshot.png | ||
| test.png | ||
| todo.html | ||
readme.md
如何运行
将 server 下的 conf_e.json 以及 conf_e.py，移动到config文件夹下并重命名为 conf.json 和 conf.py。
根据自己的情况修改参数
进入虚拟环境后运行 python manage.py migrate
导入初始数据 python manage.py loaddata db.json
默认管理员账户密码为admin xtadmin123!
在项目目录下执行 python manage.py runserver 即可
运行后在 localhost:8000/api/swagger/下查看 api 文档