- 新增通用核心 _crawl_openalex_query:单查询 cursor 分页 + 逐页游标 checkpoint + 停/续标志,全量抓取/每天增量/回补三者共用;顺手修复 get_paper_meta_from_openalex 原先把起始游标写回缓存、年中断点不能续传的 bug - 新增 update_paper_meta_from_openalex:每天按 from_publication_date 增量(days=30)。from_created_date/from_updated_date 需 OpenAlex Premium,当前 key 无权限,故用发表日期 - 新增 update_paper_meta_from_elsevier:ScienceDirect Search(loadedAfter)补充 Elsevier 新刊 - 新增 backfill_paper_meta_from_openalex:按发表日期一次性回补,支持断点续传/配额暂停续跑 - tasks.py 凭证改从 settings 读取(集中到 gitignore 的 config/conf.py) - migration 0007:注册两条每天的增量周期任务(OpenAlex 03:00 / Elsevier 04:00) Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> |
||
|---|---|---|
| .. | ||
| 0001_initial.py | ||
| 0002_paper_has_abstract_xml_paper_has_fulltext_pdf_and_more.py | ||
| 0003_paper_o_keywords.py | ||
| 0004_alter_paper_fail_reason.py | ||
| 0005_alter_paper_fetch_status.py | ||
| 0006_pg_trgm_index.py | ||
| 0007_auto_update_index_periodic_tasks.py | ||
| __init__.py | ||