重磅：发现Linux iSCSI疑似丢数据的Bug

?FusionStor为FusionStack的SDS产品，也有较小可能是Linux block的bug，所有存储厂商都会中招，许多存储公司有可能都会中招， 测试命令行如下： while [ 1 == 1 ];do ifdown eth0;ifup eth0;sleep 7;done 报错如下 hazard报错部分： 5.Jul-27 10:27:20.info : 0x000000001bdba1ba) are corrupt 5.Jul-27 10:27:20.info : device seek LBA 1820255 (0x00000000001bc65f) 5.Jul-27 10:27:20.info :Unexpected data extent: relative offset 0; 5.Jul-27 10:27:20.info : length 40960 5.Jul-27 10:27:20.info :Type: write failure; i.e.，我们可以理解为：可能因为这个Bug的存在， 为了让猜想的问题得到验证。

尝试找到问题的根源，其后果真的不好说了， ?Gbase8T为天津南大通用数据库公司的数据库产品。

测试环境分别如下 initator端： ?测试工具：HP hazard 6.23/Gbase8T ?CentOS release 6.4 (Final) Linux version 2.6.32358.el6.x86_64 ?iSCSI Initiator：6.2.0-873.2.el6 target端: ?target：iSCSI Target1.055/FusionStor 4.1 ?intel SSD DC 3500 Series 240G SSDSC2BB240G4 测试环境备注： ?hazard为来自HPE的阵列一致性测试软件，解决不好，方法如下： 一台服务器做iSCSI target， 。

很大可能性对存储设备本身的可靠性与稳定性带来不利影响，运行在intel 企业级SSD上； 一台服务器做iSCSI initator； 中间10GB光纤连接； 用测试软件对 initator端测试； 每7秒钟对initoator端网络做一次ifdown然后立刻启动，FusionStack的测试团队将会采用硬件的target以及Oracle数据库来进一步验证这个问题，阿明将做进一步的测试结果分享，但是，其实现在没有完全定位到initator上，可能是在linux block上或者在于initator本身，目前已经用过两种不同的测试工具，假如真是这样的话，这个bug有较大的可能发生在iSCSI initator在网络中断后对数据进行重传的过程中， 阿明点评 根据FusionStack测试团队目前的结果和分析来看，只有自己设计initator的存储公司才可能有能力解决这个问题，都可以重现这个bug， 发现在30分钟左右就出现数据损坏，对于用户来说，以及两种不同的iSCSI target， FusionStack(华云网际)CTO王劲凯最近设计了一个变态用例，这将是一个非常值得关注的问题，一旦遭遇该Bug问题， read and re-read match 5.Jul-27 10:27:20.info :Corruption Summary: 5.Jul-27 10:27:20.info : 369 blocks had Hazard data (2 sequences) 5.Jul-27 10:27:20.info : 0 blocks had some miscompared/unrecognized data 5.Jul-27 10:27:20.info : 80 blocks had Hazard data but with wrong pattern 5.Jul-27 10:27:20.info : offset 5.Jul-27 10:27:20.info : 0 blocks had no expectation 5.Jul-27 10:27:20.info :Doing halt (cat3=2). 0.Jul-27 10:27:20.ERROR:PR:4: len =52 (0x00000034) 0.Jul-27 10:27:20.ERROR:PR:4: gpid=-1 (0xffffffff) 0.Jul-27 10:27:20.ERROR:PR:4: cmd =0/rpcLog 0.Jul-27 10:27:20.ERROR:PR:4: nW =4 (0x00000004) 0.Jul-27 10:27:20.ERROR:PR:4: nI =2 (0x00000002) 0.Jul-27 10:27:20.ERROR:PR:4: nS =1 (0x00000001) 0.Jul-27 10:27:20.ERROR:Forced abort on bad packet Gbase8T报错部分： 15:48:25 bfcheck: bad page: pg_stamp 0x3713 != page checksum 0xaf32 buffer header 000000017c61f650: 00000000 00000000 00000000 00000000 ........ ........ 000000017c61f660: 00000000 00000000 381a8372 01000000 ........ 8..r.... 000000017c61f670: 381a8372 01000000 50ca567c 01000000 8..r.... P.V|.... 000000017c61f680: f0f6617c 01000000 02000000 04000000 ..a|.... ........ 000000017c61f690: 00000000 00000000 a8727c72 00000000 ........ .r|r.... 000000017c61f6a0: 00000000 00000000 00000000 00000000 ........ ........ 000000017c61f6b0: 80000000 26002000 01000000 00000000 ..... . ........ 000000017c61f6c0: 296a3200 02000000 00e04eb1 01000000 )j2..... ..N..... 000000017c61f6d0: 00000000 00000000 fbb9ea09 00000000 ........ ........ 000000017c61f6e0: 00000000 00000000 00000000 1a513200 ........ .....Q2. page 00000001b14ee000: 296a3200 02001337 06000128 68077c00 )j2....7 ...(h.|. 00000001b14ee010: 00000000 00000000 00410001 8257c132 ........ .A...W.2 00000001b14ee020: 00800000 00000000 00000000 0000616a ........ ......aj 00000001b14ee030: 6f4f5655 487a5049 6e69504d 546a4443 oOVUHzPI niPMTjDC 00000001b14ee040: 47746a56 64734562 71764153 414b2020 GtjVdsEb qvASAK 00000001b14ee050: 20202020 20202020 20202020 20202020 00000001b14ee060: 6d646753 6c4a6462 726a5558 4b54506f mdgSlJdb rjUXKTPo 00000001b14ee070: 61764f4d 447a6420 536e6742 784c534f avOMDzd SngBxLSO 00000001b14ee080: 6858506f 58505557 46756d76 47766720 hXPoXPUW FumvGvg 00000001b14ee090: 4a6b7845 6d68426c 57536268 6e584246 JkxEmhBl WSbhnXBF 00000001b14ee0a0: 754c4441 76636c20 63624a6a 6e794d48 uLDAvcl cbJjnyMH 00000001b14ee0b0: 6e75584d 6d546655 62674e6b 4e557220 nuXMmTfU bgNkNUr 00000001b14ee0c0: 43456d48 70786c4d 566e7a61 57434674 CEmHpxlM VnzaWCFt 00000001b14ee0d0: 534e5471 75495520 53464865 4d4a556b SNTquIU SFHeMJUk 00000001b14ee0e0: 48414e6f 4a634457 4e727344 6c455520 HANoJcDW NrsDlEU 00000001b14ee0f0: 52686879 476a494c 52677571 5850587a RhhyGjIL RguqXPXz 00000001b14ee100: 7467527a 4f6f5520 49645150 52565152 tgRzOoU IdQPRVQR 00000001b14ee110: 7667786d 61415242 7a434779 63526f20 vgxmaARB zCGycRo 00000001b14ee120: 67425a56 6a744d74 59464a4d 794e6e65 gBZVjtMt YFJMyNne 00000001b14ee130: 684d4651 42657120 72494c6a 494b785a hMFQBeq rILjIKxZ 00000001b14ee140: 44757a63 4a4f584a 75654353 446b5620 DuzcJOXJ ueCSDkV 00000001b14ee150: 00420001 8257c151 00800000 00000000 .B...W.Q ........ 00000001b14ee160: 00000000 00006e47 4a4b576e 594f4864 ......nG JKWnYOHd 00000001b14ee170: 73736655 5a72764e 68495066 47454f78 ssfUZrvN hIPfGEOx 00000001b14ee180: 504e6b58 43477266 54642020 20202020 PNkXCGrf Td 00000001b14ee190: 20202020 20202020 4879436d 704d7262 HyCmpMrb 00000001b14ee1a0: 43694866 4e547757 71674341 59696620 CiHfNTwW qgCAYif 00000001b14ee1b0: 434b794d 446d706e 63675672 59784752 CKyMDmpn cgVrYxGR 00000001b14ee1c0: 47575557 725a7920 79674f78 58684958 GWUWrZy ygOxXhIX 00000001b14ee1d0: 68535546 65764c70 514e7556 65424c20 hSUFevLp QNuVeBL 00000001b14ee1e0: 456a5276 57414463 46557875 56576745 EjRvWADc FUxuVWgE 00000001b14ee1f0: 46616f6c 546e5120 62615562 68786b45 FaolTnQ baUbhxkE 00000001b14ee200: 4b544c4e 7346594a 47767243 71547520 KTLNsFYJ GvrCqTu 00000001b14ee210: 564c736b 476e4865 52494363 75476e78 VLskGnHe RICcuGnx 00000001b14ee220: 73745852 75484620 6d7a7458 68514576 stXRuHF mztXhQEv 00000001b14ee230: 744d4151 42646e77 64706777 55585720 tMAQBdnw dpgwUXW 00000001b14ee240: 72737655 6b697242 59484964 4a506946 rsvUkirB YHIdJPiF 00000001b14ee250: 4f4a426e 58544a20 61495859 50794a73 OJBnXTJ aIXYPyJs 00000001b14ee260: 764c5271 53635161 6373624d 53505320 vLRqScQa csbMSPS 00000001b14ee270: 71494a53 42517474 4c554e4d 68465346 qIJSBQtt LUNMhFSF 00000001b14ee280: 734f5942 576d4320 00430001 8257c145 sOYBWmC .C...W.E 00000001b14ee290: 00800000 00000000 00000000 00006647 ........ ......fG 00000001b14ee2a0: 6850486d 79784b65 6e64684f 52494749 hPHmyxKe ndhORIGI 00000001b14ee2b0: 4e414c46 55517541 65516861 79494220 NALFUQuA eQhayIB 00000001b14ee2c0: 20202020 20202020 20202020 20202020 00000001b14ee2d0: 544b5752 4e75546e 7447416d 6f444b78 TKWRNuTn tGAmoDKx 00000001b14ee2e0: 6a796962 75455720 7656754c 43785958 jyibuEW vVuLCxYX 00000001b14ee2f0: 6d7a6561 6a774473 6666564a 41497420 mzeajwDs ffVJAIt 00000001b14ee300: 4856434d 41777a65 424b6d6a 546e4f51 HVCMAwze BKmjTnOQ 00000001b14ee310: 57455064 6a524e20 70427470 45687944 WEPdjRN pBtpEhyD 00000001b14ee320: 787a6652 496b5455 48565772 4e4b6420 xzfRIkTU HVWrNKd 00000001b14ee330: 4a7a5848 5750624c 6e59776c 734f6748 JzXHWPbL nYwlsOgH 00000001b14ee340: 68655068 56504220 45754b6e 42416445 hePhVPB EuKnBAdE 00000001b14ee350: 37303020 2020c714 10071e0d 03334f45 700 .. .....3OE 00000001b14ee360: 43685352 42545a49 7a724345 66446263 ChSRBTZI zrCEfDbc 00000001b14ee370: 4253474f 53637662 624b6469 6745576e BSGOScvb bKdigEWn 问题分析