paper_server/apps/resm
caoqianming 7b38d4d234 feat(resm): 论文索引自动更新 + 通用 OpenAlex 抓取核心
- 新增通用核心 _crawl_openalex_query:单查询 cursor 分页 + 逐页游标 checkpoint + 停/续标志,全量抓取/每天增量/回补三者共用;顺手修复 get_paper_meta_from_openalex 原先把起始游标写回缓存、年中断点不能续传的 bug
- 新增 update_paper_meta_from_openalex:每天按 from_publication_date 增量(days=30)。from_created_date/from_updated_date 需 OpenAlex Premium,当前 key 无权限,故用发表日期
- 新增 update_paper_meta_from_elsevier:ScienceDirect Search(loadedAfter)补充 Elsevier 新刊
- 新增 backfill_paper_meta_from_openalex:按发表日期一次性回补,支持断点续传/配额暂停续跑
- tasks.py 凭证改从 settings 读取(集中到 gitignore 的 config/conf.py)
- migration 0007:注册两条每天的增量周期任务(OpenAlex 03:00 / Elsevier 04:00)

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
2026-06-21 15:12:04 +08:00
..
migrations feat(resm): 论文索引自动更新 + 通用 OpenAlex 抓取核心 2026-06-21 15:12:04 +08:00
__init__.py feat: 添加resm app 2026-01-23 10:37:41 +08:00
admin.py feat: 添加resm app 2026-01-23 10:37:41 +08:00
apps.py feat: 添加resm app 2026-01-23 10:37:41 +08:00
cloudflare_checkbox2.png feat: 添加pyautogui调用 2026-02-09 15:17:02 +08:00
d_oaurl.py feat:通过cloudflare 验证 2026-03-23 16:30:18 +08:00
d_scihub.py feat:通过cloudflare 验证 2026-03-23 16:30:18 +08:00
filters.py feat: paper list 返 abstract + 加 retrieve 端点 + filterset 扩 year range / 多字段 2026-05-21 13:17:46 +08:00
models.py feat: 增加d_scihub 2026-02-03 15:41:44 +08:00
serializers.py feat: paper list 加 pdf_url / xml_url 直链字段 + pg_trgm GIN 索引 2026-05-21 13:48:52 +08:00
services.py feat: 增加download_pdf 2026-01-28 15:01:49 +08:00
tasks.py feat(resm): 论文索引自动更新 + 通用 OpenAlex 抓取核心 2026-06-21 15:12:04 +08:00
tests.py feat: 添加resm app 2026-01-23 10:37:41 +08:00
urls.py feat: 修改pdf 验证cloudflare 2026-03-24 10:34:06 +08:00
views.py feat: paper list 返 abstract + 加 retrieve 端点 + filterset 扩 year range / 多字段 2026-05-21 13:17:46 +08:00