caoqianming
7b38d4d234
- 新增通用核心 _crawl_openalex_query:单查询 cursor 分页 + 逐页游标 checkpoint + 停/续标志,全量抓取/每天增量/回补三者共用;顺手修复 get_paper_meta_from_openalex 原先把起始游标写回缓存、年中断点不能续传的 bug - 新增 update_paper_meta_from_openalex:每天按 from_publication_date 增量(days=30)。from_created_date/from_updated_date 需 OpenAlex Premium,当前 key 无权限,故用发表日期 - 新增 update_paper_meta_from_elsevier:ScienceDirect Search(loadedAfter)补充 Elsevier 新刊 - 新增 backfill_paper_meta_from_openalex:按发表日期一次性回补,支持断点续传/配额暂停续跑 - tasks.py 凭证改从 settings 读取(集中到 gitignore 的 config/conf.py) - migration 0007:注册两条每天的增量周期任务(OpenAlex 03:00 / Elsevier 04:00) Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> |
||
|---|---|---|
| .. | ||
| auth1 | ||
| ops | ||
| resm | ||
| system | ||
| utils | ||
| wf | ||
| ws | ||
| __init__.py | ||