请问如何获取 https://www.springer.com/journal/10450/ 的完整html（即在html中可以搜索到关键词Issue）？

[Derekmini]

您好，请问如何获取网站Adsorption的完整的html内容？

梳理的抓包过程

浏览器访问 Adsorption: https://www.springer.com/journal/10450/ ⬇

• 抓包软件 Charles 中显示先从 idp.springer.com/authorize 获取 cookie ⬇

• 该🔗链接具体为：https://idp.springer.com/authorize?response_type=cookie&client_id=springerlink&redirect_uri=https%3A%2F%2Fwww.springer.com%2Fjournal%2F10450

• 获取的cookie为：idp_session、idp_marker、idp_session_http

• 之后会从 Adsorption: https://www.springer.com/journal/10450/ ， 获取到html内容。

目前尝试的代码

获取cookie的代码

// 从 idp.springer.com/authorize 获取 cookie  ⬇
const response = await got({
    method: 'get',
    url: 'https://idp.springer.com/authorize?response_type=cookie&client_id=springerlink&redirect_uri=https%3A%2F%2Fwww.springer.com%2Fjournal%2F10450',
    headers: {
        'User-Agent' : `Mozilla/5.0 (iPhone; CPU iPhone OS 15_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.5 Mobile/15E148 Safari/604.1`,
        'Host' : `idp.springer.com`,
        'Connection' : `keep-alive`,
        'Accept-Language' : `zh-CN,zh-Hans;q=0.9`,
        'Accept-Encoding' : `gzip, deflate, br`,
        'Accept' : `text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8`				
    },
});
console.log(response.headers['set-cookie'].join());

存在的问题：未能获取到正确的cookie

按照抓包软件中显示的样式，正确的cookie应该显示为如下样式：

idp_session=sVERSION_13bb72660-25ed-4a41-b8aa-9e7d8cdd93dd; 
idp_session_http=hVERSION_1ada616d6-3490-434e-9fce-05b9bb2xfa28; 
idp_marker=3332d129-e6d1-4ae5-9m87-f09fad9ba9a8;

但使用代码获取到的cookie如下，导致后续无法使用。

sim-inst-token=""; 
Domain=.springer.com; 
Path=/; 
HttpOnly

获取html的代码

// 访问 Adsorption: https://www.springer.com/journal/10450/ ， 获取 html 内容 ⬇
const response = await got({
    method: 'get',
    url: 'https://www.springer.com/journal/10450',
    headers: {
        'Accept-Encoding' : `gzip, deflate, br`,
        'Cookie' : `idp_marker=3332d129-e6d1-4ae5-9m87-f09fad9ba9a8; idp_session=sVERSION_13bb72660-25ed-4a41-b8aa-9e7d8cdd93dd; idp_session_http=hVERSION_1ada616d6-3490-434e-9fce-05b9bb2xfa28`,
        // 此处的 Cookie 是从抓包软件获取的 ⬆
        'Connection' : `keep-alive`,
        'Accept' : `text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8`,
        'Host' : `www.springer.com`,
        'User-Agent' : `Mozilla/5.0 (iPhone; CPU iPhone OS 15_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.5 Mobile/15E148 Safari/604.1`,
        'Accept-Language' : `zh-CN,zh-Hans;q=0.9`
    },
});
console.log(response.body);

存在的问题：未能获取到完整的html内容

此处获取的html内容不完整，只能获取html的前半部分（经与抓包软件中内容对比得知）。

寻求帮助

请问，如何正确地从网站Adsorption获取正确的cookie，并获取到该页面完整的html内容？

非常感谢您的讨论与解答！
谢谢

[Derekmini]

@auto-bot-ty

老哥有时间也帮忙看看吗？感谢感谢！

[TonyRL]

CookieJar ?
https://github.com/DIYgod/RSSHub/blob/master/lib/v2/agirls/index.js

[Derekmini]

参照您提供的方法，我直接新建了一个test.js文件，内容如下，但是仍旧无法获取完整的html内容（本意是想通过Issue获取最新的链接，但在返回的html中，无法查找到关键词Issue）。

请问您还使用过其他方法吗？再次感谢您提供的思路！

const got = require('got');
const { CookieJar } = require('tough-cookie');

const cookieJar = new CookieJar();

(async () => {
    try {
        const response = await got({
            method: 'get',
            url: 'https://www.springer.com/journal/10450',
            headers: {
                'User-Agent': `Mozilla/5.0 (iPhone; CPU iPhone OS 15_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.5 Mobile/15E148 Safari/604.1`,
                'Host': `www.springer.com`,
                'Connection': `keep-alive`,
                'Accept-Language': `zh-CN,zh-Hans;q=0.9`,
                'Accept-Encoding': `gzip, deflate, br`,
                'Accept': `text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8`
            },
            cookieJar,
        });
        console.log(response.body);

    } catch (error) {
        console.log(error.response.body);
        //=> 'Internal server error ...'
    }
})();

[TonyRL]

const got = require('@/utils/got');
const { CookieJar } = require('tough-cookie');
const cheerio = require('cheerio');

const cookieJar = new CookieJar();

(async () => {
    try {
        const { data } = await got('https://www.springer.com/journal/10450', {
            cookieJar,
        });
        const $ = cheerio.load(data);
        console.log($('.c-card__body .c-card__title').eq(0).text());
        console.log($('.c-card__body .c-card__title a').eq(0).text());
        console.log($('.c-card__body .c-card__title a').eq(0).attr('href'));
    } catch (error) {
        console.log(error.response.body);
        //=> 'Internal server error ...'
    }
})();

Output:

debug: Requesting https://www.springer.com/journal/10450
debug: Requesting https://idp.springer.com/authorize?response_type=cookie&client_id=springerlink&redirect_uri=https%3A%2F%2Fwww.springer.com%2Fjournal%2F10450
debug: Requesting https://idp.springer.com/transit?redirect_uri=https%3A%2F%2Fwww.springer.com%2Fjournal%2F10450&code=cc3c5a2b-13fa-492e-8ba2-d25f1ff24cef
debug: Requesting https://www.springer.com/journal/10450
Volume 28

                            Issue 1-2, February 2022
                        
https://link.springer.com/journal/10450/volumes-and-issues/28-1

[Derekmini]

谢谢您的回复！我使用您提供的内容实现了想要的功能！实现结果如下图。

同时，我留意到您直接使用('@/utils/got')就可以调用got，而我在调用时会直接报错：Error: Cannot find module '@/utils/got'，所以只能采用绝对地址的方式指明了got所在的位置：('/home/RSSHub/lib/utils/got')。

但这种方式还涉及到对RSSHub/lib/utils中多个文件的改动，使用起来不方便。

所以想请教您一下，请问您是如何配置才能让node知道@代指的是home/RSSHub/lib，进而实现了直接调用('@/utils/got')？

我留意到您的output中还显示了：

debug: Requesting https://www.springer.com/journal/10450
debug: Requesting https://idp.springer.com/authorize?response_type=cookie&client_id=springerlink&redirect_uri=https%3A%2F%2Fwww.springer.com%2Fjournal%2F10450
debug: Requesting https://idp.springer.com/transit?redirect_uri=https%3A%2F%2Fwww.springer.com%2Fjournal%2F10450&code=cc3c5a2b-13fa-492e-8ba2-d25f1ff24cef
debug: Requesting https://www.springer.com/journal/10450

这些内容是您使用的软件提供的功能吗？

我是在Ubuntu上使用VS Code调试的，node版本v14.19.3，调试时，直接显示的输出内容，没有Requesting。请问您这是哪款软件提供的输出啊？

我之前使用Charles抓包软件看到过这几个链接，但没想到您能在debug软件中显示出来，所以比较好奇。

感谢您的解答！谢谢！

[TonyRL]

1. yarn dev
   http://docs.rsshub.app/joinus/quick-start.html#can-yu-tao-lun

2. LOGGER_LEVEL=debug
   

   RSSHub/lib/config.js

   Line 82 in 1d60f41

   loggerLevel: envs.LOGGER_LEVEL || 'info',

[Derekmini]

原来是这样，谢谢，我已经实现提问的功能了！

再次感谢您的帮助，为表示感谢，我已将您写入lib/v2/springer/maintainer.js:

'/:journal': ['Derekmini', 'TonyRL'],